大模型在金融業的應用探索

ChatGPT的出現讓金融業感受到了強烈的焦慮。這個對技術充滿信仰的行業生怕被時代的浪潮甩在後面。有業內人士表示,今年5月她在大理出差時,甚至在寺廟裏都能聽到金融從業者在討論大模型。

不過,這種焦慮情緒正在逐漸平復,人們的思路也變得更加清晰和理性。軟通動力銀行業務CTO孫洪軍描述了今年金融業對大模型態度的幾個階段:2-3月份,普遍感到焦慮;4-5月,紛紛組建團隊開展工作;接下來幾個月,在落地過程中遇到困難,開始變得理性;現在,他們在關注標杆案例,嘗試驗證過的場景。

值得注意的是,不少金融機構已經開始從戰略層面重視大模型。據不完全統計,A股上市公司中,至少有11家銀行在最新半年報中明確提出正在探索大模型的應用。從近期動作來看,他們也正在從戰略和頂層設計層面進行更深入的思考和規劃。

從熱情高漲到理性回歸

一位大廠金融行業資深人士表示,相比幾個月前,現在金融客戶對大模型的理解明顯提升。年初ChatGPT剛出現時,雖然大家熱情很高,但對大模型的本質和應用方式其實了解有限。

在這個階段,一些大型銀行率先行動,開始做各種"蹭熱度"的宣傳。例如今年3月,某銀行就上線了類ChatGPT的大模型應用。但業界對此評價不一,有人認爲這個應用名稱過於強調ChatGPT中不那麼重要的"Chat"部分,而忽視了更關鍵的"GPT"。

與此同時,隨着國內多家廠商陸續發布大模型,一些頭部金融機構的科技部門開始積極與大廠探討大模型建設事宜。上述資深人士透露,這些金融機構普遍希望自己構建大模型,尋求廠商在數據集制作、服務器採購和模型訓練等方面的指導。某大型銀行旗下的金融科技公司甚至提出,希望完成後還能向同業輸出。

5月以後,情況開始出現變化。受限於算力資源短缺、成本高昂等因素,許多金融機構不再單純追求自建算力和模型,轉而更加關注應用價值。現在每家金融機構都在關注其他機構如何應用大模型及取得的效果。

對於不同規模的企業,也形成了兩種路徑。擁有海量金融數據和應用場景的大型金融機構,可以引入業界領先的基礎大模型,自建企業大模型,同時採用微調方式,形成專業領域的任務大模型,快速賦能業務,以彌補大模型建設週期過長的不足。而中小金融機構則可以綜合考慮投資回報,按需引入各類大模型的公有雲API或私有化部署服務,直接滿足賦能需求。

然而,由於金融行業對數據合規性、安全性和可信性等有着高要求,一些人士認爲,這個行業大模型的落地進展實際上略慢於年初的預期。軟通動力的孫洪軍表示,他們最初預計金融行業可能會最先大規模使用大模型,但從最終對接客戶的情況來看,金融行業的進展不如法律、招聘等行業快。

一些金融機構已經開始尋找解決大模型落地過程中各種"瓶頸"的辦法。

例如在算力方面,業內人士觀察到金融業目前出現了幾種解決思路:

第一,直接自建算力,成本較高但安全性最佳。適合實力雄厚、希望自建行業或企業大模型的金融機構,如部分國有大型銀行。

第二,採用混合部署方式,在敏感數據不出域的前提下,從公有雲調用大模型服務接口,同時通過私有化部署處理本地數據服務。這種方式成本相對較低,只需投入幾十萬元購買幾張GPU卡即可滿足需求,適合資金實力較弱、按需應用的中小型金融機構。

不過,即便如此,許多中小機構仍面臨買不到也買不起大模型所需GPU卡的難題。針對這個問題,上述資深人士透露,監管部門最近正在開展一些課題研究,探索是否能以折中方式,牽頭搭建面向行業的大模型基礎設施,集中算力和通用大模型等資源,讓行業中的中小金融機構也能使用大模型服務,防止它們在技術上落後。

除了算力問題,隨着近半年來對大模型落地的探索,不少金融機構也逐步加強了數據治理工作。

某知名雲服務提供商高管介紹,目前除了在數據治理領域有成熟實踐的頭部大行,越來越多的中型金融機構也開始陸續構建數據中臺和數據治理體系,如今年上半年的一些地方性銀行。他認爲,構建完善的數據治理體系和數據湖技術平台,將成爲未來金融機構IT建設的重要主題。

也有銀行正通過大模型+MLOps的方式解決數據問題。例如某大型銀行通過採用MLOps模式建立大模型數據閉環體系,實現了整個流程的自動化,以及多源異構數據的統一管理和高效處理,據悉目前已構建和沉澱2.6TB高質量訓練數據集。

從外圍場景切入

過去半年多,無論是大模型的服務商,還是各大金融機構,都在積極尋找應用場景。智慧辦公、智能開發、智慧營銷、智能客服、智慧投研、智能風控、需求分析等領域都被逐一探索。

正如某知名金融科技公司高管所說,"金融業務鏈條上每一個關鍵職能,都值得用大模型技術重做一次。"該公司最近發布了金融大模型,並正與合作機構內測共建面向金融產業的大模型產品,目標是爲理財顧問、保險代理、投研、金融營銷、保險理賠等金融從業專家打造全鏈條的AI業務助手。

每家金融機構對大模型的應用都有豐富的構想。某大型銀行稱內部已有20多個場景投放應用,另一家銀行表示他們在30多個場景中進行了試點,某證券公司則表示正在探索將大模型與此前推出的虛擬數字人平台打通......

但當要真正將大模型落地到業務中時,普遍共識是先從內部開始,再向外部推廣。畢竟,當前階段大模型技術尚不成熟,存在諸如幻覺等問題,而金融行業又是一個強監管、高安全、高可信的領域。

"短期內不建議直接對客戶使用。"某大型銀行的技術負責人認爲,金融機構應優先將大模型應用於金融文本和金融圖像分析理解創作的智力密集型場景,以助手形式實現人機協同,提升業務人員工作效率。

上述雲服務提供商高管也表示,很多金融客戶都認爲代碼助手和客服助手是前期能直接產出成果的場景。而像投研、投顧等場景,雖然價值很大,但很難快速見效,且對數據要求較高。

目前,代碼助手已在不少金融機構落地。例如某大型銀行構建了基於大模型的智能研發體系,編碼助手生成的代碼量佔總代碼量的比例達到40%。又如在保險領域,某保險公司研發了基於大模型的輔助編程插件,直接嵌入內部開發工具。

基於此,一些廠商也在圍繞大模型的代碼生成能力,爲金融客戶提供開箱即用的產品。某IT服務公司高管介紹,他們的一款產品在大模型本身的代碼補全能力基礎上,增加了任務分解、精準回答、突破上下文限制等一系列功能,實現用戶的開箱即用。目前,該產品在某國際銀行已爲3000多人使用,代碼自動補全率爲50%~90%。

智慧辦公領域也有不少落地案例。某大型科技公司負責金融行業大模型產品的專家介紹,他們基於金融大模型推出的網點問答功能,7月在某大型銀行上線後已陸續推廣到幾百個網點,答案採納率超過85%。目前,文檔問答孵化成的標準解決方案又快速復制到其他多家銀行和金融機構。

不過,業內人士判斷,這些已經廣泛落地的場景,實際都還不是金融機構的核心應用,大模型距離深入金融行業的業務層面還有一定距離。

"我們自己判斷,在業務應用場景這塊兒做的難度還是挺大的。"某IT服務公司高管表示,營銷、風控、合規等場景都是大模型可能帶來變革,同時也是金融客戶需求點所在的部分,但就目前的情況而言,這些工作還要取決於底層大模型廠商們的能力提升情況,再去把業務場景做起來。

上述大廠大模型資深人士則預測,到今年底之前,會有一批真正在金融機構核心業務場景裏應用大模型的項目建設或招標信息出現。

在此之前,一些頂層設計層面的改變正在進行。

9月初的一場行業大會上,某知名大學教授做出這樣一個判斷:未來的整個智能化、數字化系統,都將重新建立在大模型的基礎之上。這就要求金融行業在推動大模型落地過程中,要重新架構系統。同時,也不能忽視傳統小模型的價值,而應該讓大模型、小模型協同起來。

這一趨勢已在金融行業得到廣泛體現。"現在金融機構試點做大模型,基本上會採取分層的模式。"某雲服務提供商高管介紹,不同於過去一個場景需要搭建一個平台的煙囪化模式,大模型其實給了金融機構們一個從零開始,更加科學地去做整體系統規劃的機會。

可以看到,目前已經有多家頭部金融機構基於大模型,搭建了包含基礎設施層、模型層、大模型服務層、應用層等多個層級的分層系統框架,如多家大型銀行、證券公司和保險公司等。

這些框架體系普遍有兩大突出特點:其一,大模型發揮中樞能力,將傳統模型作爲技能進行調用;其二,大模型層採用多模型策略,內部賽馬,選出最優效果。

實際上,不止金融機構,在當前格局未定的情況下,一些大模型應用提供商也在採用多模型策略,優選服務效果。某IT服務公司高管透露,他們的底層模型層也融合了大量大語言模型,會根據每個大模型返回的回答,組裝優選後給到用戶。

人才缺口依然龐大

大模型的應用,已經開始對金融行業的人員結構帶來一些挑戰和變革。

此前,上海一家金融科技公司的人士曾表示,隨着ChatGPT的出現,從今年初到5月底,他所在的公司已經裁掉了300多位大數據分析師。而在幾年前,這還是一個炙手可熱的職業。這一度引發他的焦慮,甚至開始提前考慮起自己女兒將來的擇業問題。

來自某大型銀行的金融領域資深人士也分享了大模型對人的替代效應。該行原來每天早上都會有實習生將各方面的信息歸納匯總,再給到投研部門的人,但現在實習生的這些工作通過大模型即可完成。

不過,一些銀行其實並不希望大模型帶來減員。例如擁有20萬網點員工的某大型銀行,就明確向技術供應商提出,他們不希望員工被大模型取代,而應該是大模型帶來新的機會,提升員工的服務質量和工作效率,同時也釋放出部分員工,做更多高價值的事情。

這其中不乏人員和結構穩定的考量。但另一方面,也是因爲行內很多崗位還有人才缺口。

某IT服務公司高管表示,大型銀行有大量未完成的工作,部分IT需求的工期甚至排到了明年年底,他們期望大模型能助力員工完成更多工作,提高效率和速度,而不是帶來人員的縮減。

更