Exploración de la aplicación de grandes modelos en la industria financiera

La aparición de ChatGPT ha generado una fuerte ansiedad en la industria financiera. Este sector, que tiene una gran fe en la tecnología, teme quedarse atrás ante la ola de la era actual. Según un profesional del sector, en mayo de este año, durante un viaje de trabajo a Dali, incluso pudo escuchar a profesionales financieros discutiendo sobre grandes modelos en un templo.

Sin embargo, esta ansiedad está comenzando a calmarse gradualmente, y las ideas de las personas se vuelven más claras y racionales. Sun Hongjun, CTO del negocio bancario de Softcom Power, describió varias etapas de la actitud de la industria financiera hacia los grandes modelos este año: de febrero a marzo, se sentía una ansiedad generalizada; de abril a mayo, muchos formaron equipos para comenzar a trabajar; en los meses siguientes, se encontraron con dificultades en el proceso de implementación y comenzaron a volverse racionales; ahora, están prestando atención a casos de referencia y tratando de validar escenarios probados.

Es importante señalar que muchas instituciones financieras han comenzado a dar importancia a los grandes modelos desde una perspectiva estratégica. Según estadísticas incompletas, al menos 11 bancos en las empresas que cotizan en la bolsa de A-shares han mencionado explícitamente en sus últimos informes semestrales que están explorando la aplicación de grandes modelos. A partir de las acciones recientes, también están llevando a cabo una reflexión y planificación más profunda desde el nivel estratégico y de diseño superior.

De la emoción a la racionalidad

Un veterano de la industria financiera de una gran empresa ha señalado que, en comparación con hace unos meses, la comprensión de los clientes financieros sobre los modelos grandes ha mejorado notablemente. A principios de año, cuando ChatGPT apareció por primera vez, aunque había mucho entusiasmo, en realidad la gente tenía un conocimiento limitado sobre la naturaleza y las formas de aplicación de los modelos grandes.

En esta etapa, algunos bancos grandes han tomado la delantera y han comenzado a hacer todo tipo de promociones de "aprovechamiento de la fama". Por ejemplo, en marzo de este año, un banco lanzó una aplicación de modelo grande similar a ChatGPT. Sin embargo, las opiniones en la industria son diversas; algunos creen que el nombre de esta aplicación enfatiza en exceso la parte "Chat" de ChatGPT, que no es tan importante, mientras que ignora la parte más crítica "GPT".

Al mismo tiempo, a medida que varias empresas nacionales lanzan modelos grandes, algunos departamentos de tecnología de instituciones financieras líderes han comenzado a discutir activamente la construcción de modelos grandes con grandes empresas. Según personas con experiencia en el tema, estas instituciones financieras generalmente esperan construir sus propios modelos grandes y buscan la orientación de los proveedores en la creación de conjuntos de datos, la compra de servidores y el entrenamiento de modelos. Una empresa de tecnología financiera de un gran banco incluso propuso que, al finalizar, también podría ofrecer sus servicios a otras instituciones del sector.

A partir de mayo, la situación comenzó a cambiar. Limitadas por la escasez de recursos de cómputo y los altos costos, muchas instituciones financieras ya no persiguen simplemente construir su propia capacidad de cómputo y modelos, sino que se enfocan más en el valor de aplicación. Ahora, cada institución financiera está prestando atención a cómo otras instituciones aplican grandes modelos y los resultados que obtienen.

Para empresas de diferentes tamaños, se han formado dos caminos. Las grandes instituciones financieras que poseen una gran cantidad de datos financieros y escenarios de aplicación pueden introducir modelos de lenguaje de base líderes en la industria, construir su propio modelo empresarial y, al mismo tiempo, adoptar un enfoque de ajuste fino para formar modelos de tareas en campos especializados, empoderando rápidamente sus negocios para compensar la desventaja del largo ciclo de construcción de modelos a gran escala. Por otro lado, las pequeñas y medianas instituciones financieras pueden considerar el retorno de la inversión y, según sus necesidades, introducir diversas API de modelos a gran escala en la nube pública o servicios de implementación privada para satisfacer directamente sus requerimientos de empoderamiento.

Sin embargo, debido a las altas exigencias de la industria financiera en cuanto a la conformidad de los datos, la seguridad y la confiabilidad, algunas personas creen que el avance de los modelos a gran escala en este sector ha sido en realidad algo más lento de lo que se esperaba a principios de año. Sun Hongjun de Softcom Power declaró que inicialmente esperaban que la industria financiera fuera la primera en adoptar a gran escala los modelos a gran escala, pero según la situación de los clientes finales, el progreso en la industria financiera no es tan rápido como en sectores como el legal o el de contratación.

Algunas instituciones financieras han comenzado a buscar soluciones para los diversos "cuellos de botella" en el proceso de implementación de grandes modelos.

Por ejemplo, en términos de capacidad de cálculo, los expertos de la industria han observado que actualmente hay varias soluciones en el sector financiero:

Primero, construir la potencia de cálculo directamente implica un costo más alto, pero ofrece la mejor seguridad. Es adecuado para instituciones financieras con gran capacidad, que desean construir modelos grandes en la industria o en empresas, como algunos grandes bancos estatales.

En segundo lugar, se adopta un enfoque de implementación híbrido, que permite llamar a la interfaz de servicio de modelos grandes desde la nube pública sin que los datos sensibles salgan del dominio, al mismo tiempo que se procesan los servicios de datos locales a través de una implementación privatizada. Este enfoque tiene un costo relativamente bajo, ya que solo se requieren decenas de miles de yuanes para comprar algunas tarjetas GPU para satisfacer la demanda, lo que lo hace adecuado para instituciones financieras pequeñas y medianas con recursos financieros limitados y aplicaciones bajo demanda.

Sin embargo, a pesar de esto, muchas instituciones pequeñas y medianas aún enfrentan el problema de no poder comprar ni permitirse las tarjetas GPU necesarias para los grandes modelos. En respuesta a este problema, los expertos mencionados revelaron que los reguladores han estado llevando a cabo algunas investigaciones sobre el tema, explorando si es posible construir, de manera intermedia, una infraestructura de grandes modelos dirigida a la industria, centralizando recursos como capacidad de cálculo y grandes modelos generales, para que las instituciones financieras pequeñas y medianas en la industria también puedan utilizar servicios de grandes modelos, evitando que se queden atrás tecnológicamente.

Además de los problemas de capacidad de cómputo, en los últimos seis meses, con la exploración de la implementación de modelos grandes, muchas instituciones financieras también han comenzado a fortalecer gradualmente su trabajo de gobernanza de datos.

Un alto ejecutivo de un conocido proveedor de servicios en la nube presentó que, actualmente, además de los grandes bancos que tienen prácticas maduras en el campo de la gobernanza de datos, cada vez más instituciones financieras de tamaño mediano también están comenzando a construir plataformas de datos y sistemas de gobernanza de datos, como algunos bancos locales en la primera mitad de este año. Él considera que construir un sistema de gobernanza de datos completo y una plataforma tecnológica de lago de datos se convertirá en un tema importante para la construcción de TI de las instituciones financieras en el futuro.

También hay bancos que están resolviendo problemas de datos a través del modelo grande + MLOps. Por ejemplo, un gran banco ha establecido un sistema de cierre de datos de modelo grande adoptando el modo MLOps, logrando la automatización de todo el proceso, así como la gestión unificada y el procesamiento eficiente de datos heterogéneos de múltiples fuentes. Se informa que actualmente se ha construido y sedimentado un conjunto de datos de entrenamiento de alta calidad de 2.6 TB.

Desde la perspectiva externa

En los últimos seis meses, tanto los proveedores de modelos grandes como las principales instituciones financieras han estado buscando activamente escenarios de aplicación. Se han explorado áreas como oficinas inteligentes, desarrollo inteligente, marketing inteligente, servicio al cliente inteligente, investigación y análisis de inversiones inteligentes, control de riesgos inteligente y análisis de necesidades.

Como dijo un alto ejecutivo de una conocida empresa de tecnología financiera, "Cada función clave en la cadena de valor de los servicios financieros merece ser reconstruida con tecnología de modelos grandes." La empresa ha lanzado recientemente un modelo financiero grande y está colaborando con instituciones asociadas para desarrollar productos de modelos grandes orientados a la industria financiera. El objetivo es crear un asistente de negocios de IA de cadena completa para expertos en finanzas, como asesores de inversión, agentes de seguros, investigación y análisis, marketing financiero y liquidación de seguros.

Cada institución financiera tiene ricas ideas sobre la aplicación de modelos grandes. Un gran banco afirma que ya ha implementado aplicaciones en más de 20 escenarios internos, otro banco indica que han realizado pruebas en más de 30 escenarios, mientras que una firma de valores menciona que está explorando la conexión de modelos grandes con la plataforma de personas digitales virtuales que lanzaron anteriormente...

Pero cuando se trata de implementar realmente un modelo grande en los negocios, el consenso general es comenzar desde adentro y luego promover hacia afuera. Después de todo, en la etapa actual, la tecnología de modelos grandes aún no está madura, existen problemas como las alucinaciones, y la industria financiera es un campo de fuerte regulación, alta seguridad y alta confiabilidad.

"No se recomienda su uso directo a los clientes en el corto plazo." El responsable de tecnología de un importante banco considera que las instituciones financieras deberían priorizar la aplicación de modelos grandes en escenarios de análisis y comprensión de textos e imágenes financieras, de manera que se logre una colaboración humano-máquina en forma de asistente para mejorar la eficiencia laboral del personal.

Los ejecutivos de los proveedores de servicios en la nube mencionados también señalaron que muchos clientes financieros consideran que los asistentes de código y los asistentes de servicio al cliente son escenarios que pueden generar resultados directamente en la etapa inicial. Sin embargo, escenarios como la investigación de inversiones y la asesoría de inversiones, aunque tienen un gran valor, son difíciles de implementar rápidamente y tienen altos requisitos de datos.

Actualmente, el asistente de código se ha implementado en varias instituciones financieras. Por ejemplo, un gran banco ha construido un sistema de desarrollo inteligente basado en un modelo grande, y la cantidad de código generada por el asistente de codificación representa el 40% del total del código. Asimismo, en el sector de seguros, una compañía de seguros ha desarrollado un complemento de programación asistida basado en un modelo grande, que se integra directamente en las herramientas de desarrollo internas.

Basado en esto, algunos proveedores también están ofreciendo productos listos para usar para clientes financieros, centrados en la capacidad de generación de código de modelos grandes. Un ejecutivo de una empresa de servicios de TI presentó que su producto, sobre la base de la capacidad de autocompletado de código del modelo grande, ha agregado una serie de funciones como descomposición de tareas, respuestas precisas y superación de limitaciones de contexto, logrando que los usuarios puedan usarlo de inmediato. Actualmente, este producto ya está siendo utilizado por más de 3000 personas en un banco internacional, con una tasa de autocompletado de código del 50 % al 90 %.

En el ámbito de la oficina inteligente también hay numerosos casos de implementación. Un experto de una gran empresa tecnológica responsable de productos de modelos a gran escala en la industria financiera presentó que, basándose en el modelo financiero a gran escala, lanzaron la función de preguntas y respuestas en las sucursales, que se ha ido promoviendo a cientos de sucursales desde su lanzamiento en julio en un gran banco, con una tasa de adopción de respuestas que supera el 85%. Actualmente, la solución estándar que ha incubado el sistema de preguntas y respuestas de documentos se está replicando rápidamente en otros bancos y instituciones financieras.

Sin embargo, los expertos de la industria juzgan que estos escenarios que ya se han implementado ampliamente, en realidad, aún no son aplicaciones centrales de las instituciones financieras, y los grandes modelos todavía tienen un cierto camino por recorrer para profundizar en el nivel de negocio de la industria financiera.

"Nosotros mismos juzgamos que la dificultad en el ámbito de las aplicaciones comerciales es bastante alta." Un alto ejecutivo de una empresa de servicios de TI expresó que los escenarios de marketing, gestión de riesgos y cumplimiento son partes donde los grandes modelos podrían traer cambios, y también son los puntos de necesidad de los clientes financieros. Sin embargo, en la situación actual, este trabajo aún depende de la mejora de las capacidades de los proveedores de grandes modelos subyacentes para llevar a cabo los escenarios comerciales.

Los expertos de grandes modelos en las grandes empresas mencionaron que antes de finales de este año, aparecerán proyectos de construcción o información de licitación que realmente apliquen grandes modelos en los escenarios de negocios centrales de las instituciones financieras.

Antes de esto, se están llevando a cabo algunos cambios a nivel de diseño superior.

En una conferencia de la industria a principios de septiembre, un profesor de una universidad conocida hizo este juicio: todo el sistema de inteligencia y digitalización del futuro se volverá a construir sobre la base de grandes modelos. Esto requiere que la industria financiera reestructure su sistema en el proceso de implementación de grandes modelos. Al mismo tiempo, no se debe ignorar el valor de los modelos pequeños tradicionales, sino que se debe permitir que los grandes modelos y los pequeños modelos colaboren.

Esta tendencia se ha reflejado ampliamente en la industria financiera. "Ahora las instituciones financieras están pilotando modelos grandes, y básicamente adoptarán un enfoque jerárquico." Un ejecutivo de un proveedor de servicios en la nube explicó que, a diferencia del modelo de chimenea del pasado donde se requería construir una plataforma para un solo escenario, los modelos grandes realmente han dado a las instituciones financieras la oportunidad de planificar todo el sistema de manera más científica desde cero.

Se puede ver que actualmente varias instituciones financieras líderes han construido un marco de sistema jerárquico que incluye múltiples niveles, como la capa de infraestructura, la capa de modelo, la capa de servicio de modelo grande y la capa de aplicación, como varios grandes bancos, compañías de valores y compañías de seguros.

Estos marcos generalmente tienen dos características destacadas: primero, el gran modelo desempeña una capacidad central, utilizando modelos tradicionales como habilidades; segundo, la capa del gran modelo adopta una estrategia de múltiples modelos, compitiendo internamente para seleccionar el mejor resultado.

De hecho, no solo las instituciones financieras, en el actual escenario incierto, algunos proveedores de aplicaciones de grandes modelos también están adoptando estrategias de múltiples modelos para optimizar la efectividad del servicio. Un alto ejecutivo de una empresa de servicios de TI reveló que su capa de modelo subyacente también integra una gran cantidad de grandes modelos de lenguaje, y ensamblará las respuestas optimizadas según las respuestas de cada gran modelo para entregarlas al usuario.

La brecha de talento sigue siendo enorme

La aplicación de grandes modelos ya ha comenzado a presentar algunos desafíos y transformaciones en la estructura del personal de la industria financiera.

Anteriormente, una persona de una empresa de tecnología financiera en Shanghai había declarado que, con la aparición de ChatGPT, desde principios de este año hasta finales de mayo, su empresa ya había despedido a más de 300 analistas de big data. Y hace unos años, esta era una profesión muy demandada. Esto le causó ansiedad, e incluso comenzó a considerar anticipadamente el futuro de la elección de carrera de su hija.

Un veterano del sector financiero de un gran banco también compartió el efecto de sustitución de las personas por los modelos grandes. Originalmente, cada mañana, un pasante recopilaba y resumía información de diversas áreas para entregársela a las personas del departamento de investigación y análisis de inversiones, pero ahora este trabajo de los pasantes puede ser realizado por un modelo grande.

Sin embargo, algunos bancos en realidad no desean que los grandes modelos resulten en reducción de personal. Por ejemplo, un gran banco con 200,000 empleados en sucursales ha dejado claro a los proveedores de tecnología que no quieren que los empleados sean reemplazados por grandes modelos, sino que estos modelos deben traer nuevas oportunidades, mejorar la calidad del servicio y la eficiencia del trabajo de los empleados, al mismo tiempo que liberan a parte del personal para que realicen tareas de mayor valor.

Esto incluye consideraciones sobre la estabilidad del personal y la estructura. Pero, por otro lado, también se debe a que hay muchas vacantes en el sector.

Un alto ejecutivo de una empresa de servicios de TI declaró que los grandes bancos tienen una gran cantidad de trabajo pendiente, y que algunos de los plazos para los requisitos de TI se han programado incluso hasta finales del próximo año. Esperan que los modelos grandes ayuden a los empleados a completar más trabajo, mejorando la eficiencia y la velocidad, en lugar de provocar reducciones de personal.

más