Büyük Modellerin Finans Sektöründeki Uygulama Keşfi

ChatGPT'nin ortaya çıkışı finans sektöründe güçlü bir kaygı hissi yarattı. Bu teknolojiye inançla dolu sektör, zamanın dalgalarının gerisinde kalmaktan korkuyor. Sektör içinden bir kişi, bu yıl Mayıs ayında Dali'de iş gezisinde olduğunu ve hatta bir tapınakta finans profesyonellerinin büyük modelleri tartıştıklarını duyduğunu belirtti.

Ancak, bu kaygı duygusu yavaş yavaş yatışıyor, insanların düşünceleri de daha net ve mantıklı hale geliyor. SoftTech Bankacılık İşleri CTO'su Sun Hongjun, bu yıl finans sektörünün büyük model konusundaki tutumunu birkaç aşamada tanımladı: Şubat-Mart aylarında, genel olarak kaygı hissediliyordu; Nisan-Mayıs'ta, ekipler oluşturmaya başladılar; sonraki birkaç ayda, uygulama sürecinde zorluklarla karşılaştılar ve mantıklı olmaya başladılar; şimdi, referans vakalara odaklanıyorlar ve doğrulanmış senaryoları test etmeye çalışıyorlar.

Dikkate değer olan, birçok finans kuruluşunun stratejik düzeyde büyük modelleri önemsemeye başlamasıdır. Tam olmayan istatistiklere göre, A hisseleri borsa şirketleri arasında en az 11 banka, en son altı aylık raporlarında büyük modellerin uygulanmasını araştırdıklarını açıkça belirtmiştir. Son dönem hareketlerine bakıldığında, strateji ve üst düzey tasarım açısından daha derin bir düşünce ve planlama sürecine girdikleri görülmektedir.

Coşkulu Yükselişten Mantıklı Dönüşe

Bir büyük şirketin finans sektöründe deneyimli bir yetkilisi, birkaç ay öncesine kıyasla, şu anda finans müşterilerinin büyük modelleri anlama konusunda belirgin bir artış olduğunu belirtti. Yılın başında ChatGPT ilk kez ortaya çıktığında, herkesin heyecanı çok yüksekti, ancak büyük modellerin doğası ve uygulama şekilleri konusunda aslında sınırlı bir anlayışa sahiptiler.

Bu aşamada, bazı büyük bankalar öncü olarak harekete geçti ve çeşitli "popülerlik kazanma" tanıtımlarına başladı. Örneğin bu yıl Mart ayında, bir banka ChatGPT benzeri büyük bir model uygulaması başlattı. Ancak sektörde buna yönelik değerlendirmeler karışıktır; bazıları bu uygulamanın adının ChatGPT’de o kadar önemli olmayan "Chat" kısmına fazla vurgu yaptığını ve daha kritik olan "GPT" kısmını ihmal ettiğini düşünüyor.

Bu arada, yerel birçok üreticinin büyük modelleri piyasaya sürmesiyle birlikte, bazı önde gelen finansal kurumların teknoloji departmanları büyük model inşası konusunu büyük şirketlerle aktif olarak tartışmaya başladı. Bahsedilen kıdemli kişiler, bu finansal kurumların genellikle kendi büyük modellerini inşa etmeyi umduğunu ve üreticilerden veri seti hazırlama, sunucu satın alma ve model eğitimi gibi konularda rehberlik aradıklarını belirtti. Bir büyük bankanın finansal teknoloji şirketi, tamamladıktan sonra sektördeki diğerlerine de hizmet vermek istediklerini bile ifade etti.

Mayıs ayından sonra durum değişmeye başladı. Hesaplama gücü kaynaklarının kısıtlılığı, yüksek maliyetler gibi faktörlerden dolayı, birçok finans kurumu artık yalnızca kendi hesaplama gücünü ve modelini inşa etmeye odaklanmıyor, bunun yerine uygulama değerine daha fazla önem veriyor. Şu anda her finans kurumu diğer kurumların büyük modelleri nasıl uyguladığına ve elde ettikleri sonuçlara dikkat ediyor.

Farklı ölçeklerdeki işletmeler için iki yol oluşturulmuştur. Büyük finansal kuruluşlar, büyük miktarda finansal veriye ve uygulama senaryolarına sahip oldukları için, sektördeki en iyi temel büyük modelleri benimseyebilir, kendi kurumsal büyük modellerini oluşturabilir ve aynı zamanda ince ayar yaparak, uzmanlık alanına özgü görev büyük modellerini hızlı bir şekilde işlerine entegre edebilirler. Bu, büyük model inşasının uzun süren eksikliğini telafi eder. Orta ve küçük ölçekli finansal kuruluşlar ise yatırım getirilerini dikkate alarak, ihtiyaçlarına göre çeşitli büyük modellerin kamu bulut API'lerini veya özel dağıtım hizmetlerini kullanarak doğrudan yetkilendirme ihtiyaçlarını karşılayabilirler.

Ancak, finans sektörünün veri uyumluluğu, güvenliği ve güvenilirliği gibi yüksek gereksinimleri nedeniyle, bazı kişiler bu sektörün büyük modellerinin hayata geçirilmesinin aslında yılın başındaki beklentilerin biraz altında gerçekleştiğini düşünüyor. Softtech'ten Sun Hongjun, başlangıçta finans sektörünün büyük modelleri en önce geniş çapta kullanmasını beklediklerini, ancak nihai müşteri bağlantılarına bakıldığında, finans sektörünün hukuk, işe alım gibi sektörlerden daha yavaş ilerlediğini belirtti.

Bazı finansal kurumlar, büyük modellerin uygulanması sürecindeki çeşitli "darboğazları" çözmek için yollar aramaya başladılar.

Örneğin, hesaplama gücü açısından, sektörden uzmanlar finans sektöründe şu anda birkaç çözüm yaklaşımının ortaya çıktığını gözlemliyorlar:

İlk olarak, doğrudan kendi hesaplama gücünü inşa etmek, maliyeti yüksek ancak en iyi güvenliktir. Güçlü finansal kurumlar için uygundur, örneğin bazı devlet büyük bankaları gibi, kendi sektörlerinde veya büyük model kurmayı isteyenler.

İkincisi, hassas verilerin alan dışına çıkmadığı bir şart altında karma bir dağıtım yöntemi benimsemek, kamu bulutundan büyük model hizmeti arayüzlerini çağırmak ve aynı zamanda yerel veri hizmetlerini işlemek için özel bir dağıtım kullanmaktır. Bu yöntem, maliyet açısından görece daha düşük olup, ihtiyaçları karşılamak için sadece birkaç yüz bin yuanlık birkaç GPU kartı yatırımı gerektirir; finansal gücü daha zayıf olan ve ihtiyaç bazlı uygulamalar yapan küçük ve orta ölçekli finansal kurumlar için uygundur.

Ancak buna rağmen, birçok küçük ve orta ölçekli kuruluş hala büyük modeller için gereken GPU kartlarını bulamamaktan ve alamamaktan kaynaklanan sorunlarla karşı karşıya. Bu soruna yönelik olarak, yukarıda bahsedilen kıdemli uzmanlar, düzenleyici makamların yakın zamanda bazı araştırma projeleri yürüttüğünü ve sektöre yönelik büyük model altyapısını inşa etme konusunda uzlaşma yollarını araştırdığını açıkladılar. Bu, hesaplama gücü ve genel büyük model gibi kaynakları bir araya getirerek, sektördeki küçük ve orta ölçekli finansal kuruluşların büyük model hizmetlerinden faydalanmalarını sağlamayı ve teknolojik olarak geri kalmalarını önlemeyi amaçlıyor.

Güç hesaplama sorunlarının yanı sıra, son altı aydır büyük modellerin uygulanmasına yönelik keşiflerle birlikte, birçok finans kurumu veri yönetimi çalışmalarını da kademeli olarak güçlendirdi.

Bir tanınmış bulut hizmet sağlayıcısının üst düzey yöneticisi, şu anda veri yönetimi alanında olgun uygulamalara sahip olan büyük bankaların yanı sıra, giderek daha fazla orta ölçekli finansal kurumun da veri merkezi ve veri yönetim sistemleri oluşturmaya başladığını belirtti. Örneğin, bu yılın ilk yarısında bazı yerel bankalar. O, tam bir veri yönetim sistemi ve veri gölü teknolojisi platformu inşa etmenin, gelecekteki finansal kurumların BT yapısında önemli bir tema olacağını düşünüyor.

Bazı bankalar, büyük model + MLOps yöntemi ile veri sorunlarını çözmektedir. Örneğin, büyük bir banka MLOps modelini benimseyerek büyük model veri kapalı döngü sistemi kurmuş, tüm sürecin otomasyonunu sağlamış ve çok kaynaklı heterojen verilerin birleştirilmiş yönetimi ile verimli işlenmesini gerçekleştirmiştir. Raporlara göre, şu anda 2.6TB yüksek kaliteli eğitim veri seti oluşturulmuş ve pekiştirilmiştir.

Dış sahneden giriş

Geçtiğimiz altı ayda, hem büyük model hizmet sağlayıcıları hem de büyük finans kuruluşları uygulama alanları arayışında aktif olarak çalıştılar. Akıllı ofis, akıllı geliştirme, akıllı pazarlama, akıllı müşteri hizmetleri, akıllı yatırım araştırması, akıllı risk kontrolü, ihtiyaç analizi gibi alanlar teker teker keşfedildi.

Bir tanınmış finans teknolojisi şirketinin yöneticisinin dediği gibi, "Finans iş süreçlerindeki her kritik işlev, büyük model teknolojisi ile bir kez daha yapılmayı hak ediyor." Şirket, yakın zamanda finansal büyük modeli duyurdu ve finans endüstrisine yönelik büyük model ürünlerini ortak kurumlarla test etmekte ve inşa etmektedir. Hedef, finansal danışmanlar, sigorta acenteleri, yatırım araştırmaları, finans pazarlaması, sigorta tazminatı gibi finans uzmanları için tam kapsamlı bir AI iş asistanı geliştirmektir.

Her finans kuruluşunun büyük model uygulamaları için zengin tasarımları var. Bir büyük banka, içlerinde 20'den fazla senaryonun uygulamaya alındığını belirtirken, başka bir banka 30'dan fazla senaryoda pilot uygulama gerçekleştirdiklerini ifade etti. Bir menkul kıymetler şirketi de büyük modeli daha önce piyasaya sürdüğü sanal dijital insan platformuyla entegre etmeyi araştırdıklarını belirtti...

Ancak büyük modeli iş süreçlerine gerçekten entegre etmek gerektiğinde, genel görüş önce içten başlamak ve ardından dışa doğru yayılmaktır. Sonuçta, mevcut aşamada büyük model teknolojisi henüz olgunlaşmamış olup, yanılsama gibi sorunlar içermektedir ve finans sektörü ise sıkı düzenleme, yüksek güvenlik ve yüksek güvenilirlik gerektiren bir alandır.

"Kısa vadede müşterilere doğrudan kullanılması önerilmez." Bir büyük bankanın teknik sorumlusuna göre, finansal kuruluşlar büyük modelleri öncelikle finansal metinler ve finansal görüntü analizinin anlama ve yaratma gibi zeka yoğun senaryolarında kullanmalı, asistan biçiminde insan-makine iş birliğini gerçekleştirerek iş gücü verimliliğini artırmalıdır.

Yukarıda belirtilen bulut hizmeti sağlayıcısının yöneticileri, birçok finansal müşterinin kod asistanı ve müşteri hizmetleri asistanının başlangıçta doğrudan sonuçlar üretebileceği senaryolar olduğunu düşündüğünü belirtti. Ancak yatırım araştırması, yatırım danışmanlığı gibi senaryolar büyük bir değere sahip olsalar da, hızlı bir şekilde sonuç vermesi zor ve veri gereksinimleri yüksektir.

Şu anda, kod asistanı birçok finans kuruluşunda uygulanmaktadır. Örneğin, büyük bir banka büyük model temelinde akıllı bir Ar-Ge sistemi inşa etti ve kod asistanı tarafından üretilen kod miktarı toplam kod miktarının %40'ını oluşturmaktadır. Ayrıca sigorta alanında, bir sigorta şirketi büyük model temelinde bir yardımcı programlama eklentisi geliştirdi ve bu eklenti doğrudan iç geliştirme araçlarına entegre edildi.

Buna dayanarak, bazı üreticiler büyük modellerin kod oluşturma yetenekleri etrafında finansal müşterilere hemen kullanıma hazır ürünler sunmaktadır. Bir BT hizmetleri şirketinin yöneticisi, kendi ürünlerinin büyük modelin kod tamamlama yeteneği üzerine görev ayrıştırma, hassas cevaplar verme, bağlam sınırlamalarını aşma gibi bir dizi özellik eklediğini ve kullanıcıların hemen kullanıma hazır hale geldiğini belirtmiştir. Şu anda, bu ürün bir uluslararası bankada 3000'den fazla kişi tarafından kullanılmakta ve kod otomatik tamamlama oranı %50-90 arasında değişmektedir.

Akıllı ofis alanında birçok uygulanabilir örnek bulunmaktadır. Bir büyük teknoloji şirketinin finans sektöründeki büyük model ürünlerinden sorumlu uzmanı, finansal büyük model temelinde geliştirdikleri şube soru-cevap fonksiyonunun, Temmuz ayında bir büyük bankada faaliyete geçtikten sonra yüzlerce şubeye yayılmaya başladığını ve cevap kabul oranının %85'i aştığını belirtti. Şu anda, belgelerle ilgili soru-cevap sisteminin standart çözümü hızlı bir şekilde diğer birçok banka ve finans kurumuna kopyalanmaktadır.

Ancak, sektör uzmanları bu geniş ölçekte uygulanan senaryoların aslında finansal kurumların temel uygulamaları olmadığını değerlendiriyor. Büyük modellerin finans sektörünün iş katmanlarına derinlemesine girmesi için hala bir mesafe var.

"Kendi değerlendirmemize göre, iş uygulama senaryolarında yapmanın zorluğu oldukça yüksek. "Bir IT hizmet şirketinin üst düzey yöneticisi, pazarlama, risk yönetimi, uyum gibi senaryoların büyük modellerin devrim yaratabileceği alanlar olduğunu ve aynı zamanda finansal müşterilerin ihtiyaç noktalarının bulunduğu kısımlar olduğunu belirtti. Ancak mevcut durumda, bu çalışmalar hala altyapı büyük model sağlayıcılarının yeteneklerinin gelişim durumuna bağlı kalacak ve ardından iş senaryolarını hayata geçirecek."

Yukarıda bahsedilen büyük şirketlerin büyük model alanında deneyimli kişileri, bu yıl sonuna kadar finansal kurumların ana iş senaryolarında gerçekten büyük model uygulamalarına yönelik proje geliştirme veya ihale bilgileri ortaya çıkacağını öngörüyor.

Bundan önce, bazı üst düzey tasarım değişiklikleri yapılıyordu.

Eylül ayının başında bir sektörel konferansta, tanınmış bir üniversite profesörü şöyle bir değerlendirme yaptı: Gelecekteki tüm akıllı ve dijital sistemler, büyük modellerin temeli üzerine yeniden inşa edilecektir. Bu, finans sektörünün büyük modellerin uygulamaya konulması sürecinde sistemini yeniden yapılandırmasını gerektirmektedir. Aynı zamanda, geleneksel küçük modellerin değerini de göz ardı etmemek ve büyük modellerle küçük modellerin işbirliği yapmasını sağlamak gerekmektedir.

Bu eğilim finans sektöründe geniş bir şekilde kendini göstermiştir. "Şimdi finansal kuruluşlar büyük modelleri deniyor, temelde katmanlı bir model benimseyecekler." Bir bulut hizmeti sağlayıcısının yöneticisi, geçmişte bir senaryo için bir platform inşa etmenin silo yapısına dayalı modelinin aksine, büyük modellerin finansal kuruluşlara sıfırdan başlayarak, daha bilimsel bir şekilde genel sistem planlaması yapma fırsatı sunduğunu belirtti.

Görülebilir ki, şu anda birçok önde gelen finans kurumu, temel altyapı katmanı, model katmanı, büyük model hizmet katmanı, uygulama katmanı gibi çeşitli katmanları içeren katmanlı sistem çerçevesi kurmak için büyük modelleri kullanmaktadır; bunlar arasında birçok büyük banka, menkul kıymetler şirketi ve sigorta şirketi bulunmaktadır.

Bu çerçeve sistemlerinin genel olarak iki dikkat çekici özelliği vardır: Birincisi, büyük model merkezi yetenekleri ortaya koyar ve geleneksel modeli bir yetenek olarak çağırır; İkincisi, büyük model katmanı çoklu model stratejisi uygular, iç yarışmalar yapar ve en iyi sonucu seçer.

Aslında, yalnızca finansal kurumlar değil, mevcut belirsiz durumda bazı büyük model uygulama sağlayıcıları da çoklu model stratejileri benimsemekte ve hizmet verimliliğini optimize etmektedir. Bir BT hizmet şirketinin yöneticisi, kendi temel model katmanlarının da birçok büyük dil modelini birleştirdiğini ve her büyük modelin verdiği yanıtlara göre en iyi sonuçları kullanıcıya sunacak şekilde bir araya getirdiklerini açıkladı.

Yetenek açığı hâlâ büyük

Büyük model uygulamaları, finans sektöründeki personel yapısında bazı zorluklar ve dönüşümler yaratmaya başladı.

Daha önce, Şanghay'daki bir finansal teknoloji şirketinden bir yetkili, ChatGPT'nin ortaya çıkmasıyla, bu yılın başından Mayıs ayının sonuna kadar, çalıştığı şirketin 300'den fazla büyük veri analistini işten çıkardığını belirtmişti. Birkaç yıl önce, bu hala çok popüler bir meslekti. Bu durum, onun kaygılarını artırmış ve hatta kızı için gelecekteki meslek seçimi sorununu önceden düşünmeye başlamasına yol açmıştı.

Büyük bir bankadan gelen finans alanında kıdemli bir uzman, büyük modellerin insanların yerini alma etkisini de paylaştı. Önceden bu banka her sabah stajyerlerin çeşitli bilgileri derleyip topladığını ve bunu yatırım araştırma departmanındaki kişilere sunduğunu, ancak artık bu stajyerlerin bu işlerinin büyük modeller aracılığıyla yapılabileceğini belirtti.

Ancak, bazı bankalar aslında büyük modellerin iş gücünü azaltmasını istemiyor. Örneğin, 200.000 şubesi olan büyük bir banka, teknoloji tedarikçilerine açıkça belirtti ki, çalışanlarının büyük modellerle değiştirilmesini istemiyorlar; bunun yerine, büyük modellerin yeni fırsatlar sunması, çalışanların hizmet kalitesini ve iş verimliliğini artırması ve aynı zamanda bazı çalışanları serbest bırakıp daha yüksek değerli işler yapmalarını sağlaması gerektiğini söylediler.

Bunun içinde personel ve yapı istikrarı ile ilgili değerlendirmeler de var. Ancak diğer yandan, sektörde birçok pozisyonda hala insan kaynağı açığı bulunuyor.

Bir IT hizmetleri şirketinin üst düzey yöneticisi, büyük bankaların tamamlanmamış çok sayıda işi olduğunu, bazı IT taleplerinin bile süresinin gelecek yılın sonuna kadar uzandığını belirtti. Çalışanların daha fazla iş yapmalarına yardımcı olacağını ve verimlilik ile hızı artıracağını düşündükleri büyük modellerin, personel azaltımına yol açmamasını bekliyorlar.

daha