中信金、台新金引進 機器人客服變「聰明」銀行業導入LLM 新一波軍備賽開打

撰文：右本沖

十幾年前，台新銀行、中國信託銀行為台灣第一批引進大數據模型、資料採礦（Data Mining）的金融機構。在這一波的資訊革新浪頭上，這兩家銀行又率先引進了近兩年最熱門的大型語言模型（large language model，簡稱LLM），以生成式人工智慧技術，升級內部知識管理，強化企業腦，讓組織更有競爭力。

台新金、中信金率先導入LLM

金融界認為，LLM有可能改變企業內部營運和客戶體驗。國內金控看好LLM的潛力，也開始導入。2023年10月，台新金控揭露生成式AI進展，不只制定AI發展關鍵因子和AI導入指引，還發展4項實驗專案，包括協作平台的聊天機器人Teams Chatbot、知識管理平台、程式碼撰寫助理Codex，以及虛擬智能客服。

台新金控表示，實驗的虛擬智能客服，並非僅使用微軟建置在雲端的模型，而是分別採用雲端模型和地端模型進行實驗，以了解各個業務場景適合使用的模型。

同樣在去年11月，「2023台北國際金融博覽會」上，中信金控首次展示生成式AI應用，中國信託商業銀行利用LLM搭配自家銀行產品知識庫，打造理財與信用卡諮詢「AI智能助理」，大幅提升理解與對話能力，以擬人對答、記憶內容互動，使對話前後連貫，服務更有溫度。

據了解，除了這2家金控外，也有其他銀行業者積極布局生成式AI，和以往金融業強調的AI不同。這一波資訊革新的進入門檻，即是LLM，甚至有金融業者在去年就下訂了內建輝達H100 GPU的AI伺服器，一台要價新台幣1,500萬元，預計今年到貨，開始運作大型語言模型。

自ChatGPT於2022年11月面世以來，LLM技術已從單純完善文案和分析模型，不斷擴充，讓企業可進行各種聊天機器人等生成式AI功能的開發。

國際大型銀行應用於輔助系統

根據OpenAI自行公布的資訊，美國跨國投資銀行摩根士丹利（Morgan Stanley）推出一款由OpenAI最新技術支援的高級聊天機器人，以幫助該公司的財務顧問團隊。該工具已經開發了1年，開發的動機是幫助該銀行約16,000名顧問利用該銀行龐大的研究和資料庫。

尤其是當財務顧問和客戶通話時，人工智慧系統在一旁輔助，可減輕財務顧問在回應上的負擔。例如當客戶問到比較複雜的問題，AI輔助系統也許可以提出較好的建議，或客戶問到一些專業，恰好是理財顧問不熟悉的領域時，AI輔助系統也可給出建議的答案。

荷蘭銀行（ABN AMRO）則擴大了生成式人工智慧的使用範圍，以生成銀行理財產品頁面的摘要。這些內容通常龐雜，需要大量的人力與時間編輯，但AI可以輕鬆完成此工作。高盛集團（Goldman Sachs）正在試驗生成式人工智慧工具，以協助其軟體工程師自動產生程式碼。

富國銀行送員工到史丹佛大學進修

美國富國銀行（Wells Fargo）首席資訊長梅爾塔（Chintan Mehta）在今年1月指出，引進生成式人工智慧應用程式，包括該公司的虛擬助理應用程式，自去年3月推出以來已處理了2,000萬次互動。

但他認為這個數字還能大幅成長，今年1月他在一場舊金山的論壇「AI Impact Tour Event」上預估，實際上每年互動應該能進行近1億次或更多次。富國銀行對全面導入人工智慧應用非常積極，該銀行已讓4,000名員工參加了美國史丹佛大學「以人為本」的人工智慧計畫（Stanford's Humancentered AI Program，簡稱HAI）。

富國銀行在該Google Dialogflow基礎上建構，並使用Google的PaLM 2 LLM啟動了自家的大型語言模型，讓客戶可透過手機用語音提問、用文字提問，把一些瑣碎、常見的問題，透過生成式AI順利地回應客戶，降低客服中心人員的負擔。

印度兩大民營銀行加入LLM戰局

不只歐美國家，其他國家的金融業者也越來越重視大型語言模型的應用。例如，印度大型消金銀行HDFC銀行推出由大型語言模型提供支援的網站，而其競爭對手Axis銀行則運用大型語言模型，為客戶推出以生成式人工智慧開發出來的虛擬助理（類似國內銀行推出財務管理小幫手）。

《印度時報》報導，HDFC銀行還將利用GenAI的LLM來編寫信用評分模型，以及過去分析師通常必須手動搜尋大量資料，才能編寫業務需求文件等。

客製化LLM訓練後 變得更「聰明」

客製化大型語言模型（Custom LLMs）現已成為銀行界中耳熟能詳的字眼，毋庸置疑，金融科技組織正在充分利用大型語言模型建立自己的優勢。

應用的共通流程大致如下，第一階段是根據特定資料訓練這些模型，以確保它們能夠獲得有用的資訊。國外的研究逐漸證實，大型語言模式在討論客戶服務和知識、數據行銷時，可發揮巨大的作用。

尤其是這些工具對於金融科技新創公司來說，更能發揮絕對效用。從財務管理的建議到帳戶管理，客製化LLM有能力簡化每個流程，並找出最好及最有價值的重點。

而且LLM透過不斷訓練得以進化。隨著每次迭代，這些語言模型都變得更加先進，這種能力有時會讓人出乎意料之外。透過這些功能，金融科技公司可以簡化其營運過程，從而提高整體效率。

過去，金融機構開發模型程序是透過實驗設計，找出最佳變數，制定最佳預測模型，例如信用評等、成交機率、詐欺偵測等。然而，在客製化LLM時代，模型是「活的」。

在傳統的大數據資料分析中，模型一個接著一個建立，也許彼此之間是獨立的。但在大型語言模型時代，模型藉由不斷的學習而精進。兩家銀行之間，即便向同一家顧問公司、資訊公司引進相同的大型語言模型，但經過1、2年以後，由於訓練的歷程、內涵不同，兩家銀行的LLM模型本質上已有巨大差異。

潛力無窮 但有聲音呼籲納管

然而，若使用現成的大型語言模型ChatGPT，將有資料外洩風險。因此，國內金控多為導入已開發完成大型語言模型，再以自家資料進行訓練。所謂大型語言模型，其可用算參數可以超過100億個，因此需要強大的運算能力，雖然國內多家金控進行資料採礦多年，已有成熟的知識管理體系，但面對大型語言模型，又是另一新層次的挑戰。

此外，大型語言模型領先的OpenAI去年宣布運行ChatGPT的底層模型「GPT-3.5-Turbo」公開測試版。對於銀行業者來說，新模型的成本降低了10倍，速度更快，數學能力更強，並且允許銀行業者透過API與引擎連接。對於已使用大型語言模型的摩根大通銀行、亞馬遜、威訊無線（Verizon Wireless）和埃森哲（Accenture）等來說，仍刻意有限度地使用大型語言模型，以降低風險。

當然，金融機構導入大型語言模型，也並非毫無風險，例如資料正確性、是否違法使用客戶資料而觸法，以及前期投入成本、時間和人力都很可觀。

金融業遇到另一個限制，可能來自於監理機關和現行法規，使得大型語言模型還不能有過多的「突破」作為，仍要遵循既有規範。另外，金融機構內部對於各種資料的使用權限，也決定了LLM能做什麼、不能做什麼。

目前，已有國際學者陸續呼籲，應該對大型語言模型管制，不能放任AI演算法過度發揮。然而，在LLM發展初期，各行各業仍在摸索、嘗試其潛能，這樣的聲音似乎稍嫌過早。但平心而論，不論是哪一種模型、功效有多好，每筆交易的最後都是人，其最終目的還是在於了解並滿足消費者在數位時代的期望與需求。（本文作者在媒體工作近20年，長期關注金融議題）