Los grandes modelos del lenguaje parecen haberse convertido en los únicos protagonistas del sector de la Inteligencia Artificial (IA). Noticias, tutoriales, post de LinkedIn y otras redes sociales, etc. forman parte del día a día si estás inmerso en este sector. Pero, ¿cuál es el estado de arte de los LLM’s? Como en otras ocasiones, nuestros compañeros de Spain AI tratan de resolverlo y en esta última sesión, hemos tenido el honor de volver a aprender de Álvaro Barbero, Chief Data Scientist en el Instituto de Ingeniería del Conocimiento (IIC), que en esta ocasión va acompañado de Alejandro Vaca, Senior Data Scientist también en el IIC. Ambos no solo nos explican el estado del arte de los LLM sino que también nos presentan a un nuevo invitado a la fiesta: RigoChat.
Como bien indica Barbero al inicio de su intervención, a pesar de que la Inteligencia Artificial lleva años estando detrás del funcionamiento de un gran conjunto de sistemas informáticos, la sociedad en su conjunto vinculaba la IA con películas de Hollywood en las que su uso era un tanto catastrófico. HAL 9000, Terminator, Matrix o Her ofrecieron a la sociedad una imagen de la IA un tanto siniestra y alejada de lo que, verdaderamente, en esos años la tecnología era capaz de hacer. Sin embargo, la llegada de ChatGPT ha cambiado esa percepción, y es ahora cuando verdaderamente la cultura popular sabe y conoce lo que es la IA por una herramienta que es real, y no parte de la imaginación de los guionistas de Hollywood.
Desde principios de 2018 y hasta finales de 2022 el sector de la IA ha asistido a un proceso de evolución de las redes neuronales que alimentan a los grandes modelos de lenguaje. Tal y como se muestra en la gráfica presentada por Álvaro, el volumen de datos con los que trabajan estas redes ha ido aumentando. Sin embargo, desde 2023 los modelos lanzados por Google, OpenAI, Meta y otras compañías han bajado el volumen de datos que emplean y necesitan menor GPU, aunque su rendimiento sigue siendo muy potente.
Esta realidad se debe a que en los últimos años se ha observado que esa ingesta ingente de datos solo sería necesaria durante el proceso de entrenamiento del modelo, y no a posteriori. Tal y como indica Barbero, «bastaría con utilizar solo los parámetros relevantes para hacer inferencia«. Pero, ¿de veras piensas que es tan fácil? Evidentemente no, el escollo está en que verdaderamente no se sabe qué parámetros son los relevantes y es más que probable que se trate de parámetros que no son evidentes. Sin embargo, existen diferentes técnicas para trabajar sobre esta realidad:
- Low Rank Adoption: consiste en hacer fine-tuning de únicamente un subespacio lineal dentro del espacio de parámetros de la red.
- Quantización: almacenar los parámetros en menos bytes, lo que reduce la precisión de cada uno de ellos, pero apenas impacta en las predicciones del modelo
- Q-Lora: un sistema que unifica las dos prácticas anteriormente citadas.
El uso de este tipo de técnicas, permite trabajar con GPU’s más pequeñas y baratas, que al mismo tiempo son más sostenibles, pero cuyo rendimiento es igual de óptimo. Y eso no es todo, trabajar con modelos que son demasiado generalistas, es decir, tipo ChatGPT que es capaz de ejecutar y trabajar con un gran conjunto de datos, dan lugar a una serie de alucinaciones cuando se intenta trabajar sobre un campo más concreto. Por lo tanto, modelos más pequeños y más especializados en una tarea concreta, son capaces de, efectivamente, convertirse en unos auténticos expertos.
Partiendo de este contexto, desde Instituto de Ingeniería del Conocimiento han comenzado a trabajar en la creación de sus propios modelos, dando lugar a lo que han bautizado como RigoChat, un conjunto de modelos de lenguaje generativos que están especializados en la realización de diferentes sub-tareas. En concreto, han trabajado en la primera versión de tres modelos:
- RigoInstruct: modelo general de instrucciones, para el cual se ha empleado un corpus formado a partir de corpus públicos junto con otros corpus de instrucciones de alta calidad generados en el IIC.
- RigoChatQA: modelo especializado en tareas de diálogo, especialmente enfocado en la respuesta generativa a preguntas en formato conversacional.
- RigoInstructChat: modelo con entrenamiento mixto para ambas tareas.
A lo largo de la sesión, Vaca comparte cuáles son las tripas de estos modelos, profundizando en qué problemas se han encontrado durante su desarrollo, qué técnicas se han terminado empleado y, como ellos dicen, demostrando cuáles las virtudes de trabajar con los LLM en el Chiquiespacio.
Si te has quedado con saber más detalles de cómo construir modelos Open-Source en español, cuyo rendimiento es igual de óptimo que los modelos propietarios que están en el mercado, no te quedes sin ver la sesión de nuestros amigos de Spain AI: