Los haikus son una forma tradicional y estructurada de poesía japonesa, conocida por representar una vívida imagen del mundo en pocas palabras. El significado de cada uno de estos poemas va más allá de su brevedad y está abierto a diferentes interpretaciones. En este experimento, quiero combinar la belleza de cinco haikus diferentes y emparejarlos con algunas ideas que han revolucionado el machine learning y la inteligencia artificial.
La inteligencia artificial está transformando nuestro mundo, moldeando nuestra forma de vivir y trabajar. Entender cómo funciona y sus implicaciones nunca ha sido tan crucial. Si buscas explicaciones sencillas y claras sobre temas complejos relacionados con la IA, estás en el lugar adecuado.
Hace algún tiempo, cuando salió a la venta DALL-E, tuve la oportunidad de probarlo antes de que estuviera disponible para el público. Impresionado por la capacidad de DALL-E, decidí probar lo que sería capaz de dibujar a partir de las palabras de un poema. Algunas de esas imágenes fueron más acertadas que otras, sin embargo, me quedé con la idea de conectar la belleza del poema con la inteligencia artificial. Hoy, en un experimento inverso, quiero conectar el haiku con algunas ideas que han revolucionado el campo de la IA. Más allá de la elegancia de la técnica que hay detrás de la inteligencia artificial actual, para mí sigue habiendo una sensación de magia detrás de los increíbles resultados que hemos conseguido.
Pediré a DALL-E (en su nueva versión) que vuelva a generar una imagen. Dejo al lector que decida si es preferible la versión antigua o la nueva.
«Encender una vela» de Yosa Buson
La luz de una vela se transfiere a otra vela – Crepúsculo primaveral
Al leer este haiku, pensé en la importancia del aprendizaje por transferencia y en cómo ha revolucionado la inteligencia artificial. En cierto sentido, el aprendizaje por transferencia consiste en encender la «llama» de un modelo utilizando otro. En el aprendizaje por transferencia, un modelo preentrenado en una gran cantidad de datos puede adaptarse a una nueva tarea. Por ejemplo, un modelo entrenado en miles de imágenes (como ResNet en Imagenet) puede utilizarse para clasificar hongos utilizando un conjunto de datos de sólo unas pocas imágenes. Esto puede hacerse manteniendo congelado el modelo preentrenado y añadiendo unas pocas capas para entrenarlo en el nuevo conjunto de datos.
En otras palabras, podemos reutilizar los conocimientos aprendidos de un modelo para adaptarlo a una nueva tarea. De hecho, durante el preentrenamiento, el modelo ha aprendido conceptos básicos (formas, texturas y patrones) que puede reutilizar incluso en la nueva tarea, y que requerirían muchos más datos si quisiéramos crear un modelo desde cero. Veo este conocimiento como una llama que salta de una vela a otra, un flujo de información que permite encender incluso las velas con la mecha más difícil.
El aprendizaje por transferencia supuso una nueva primavera para la inteligencia artificial y para toda la comunidad, que no habría podido entrenar un modelo tan masivo para el preentrenamiento. En mi experiencia, he adaptado modelos como ResNet docenas de veces para conjuntos de datos pequeños con mejores resultados que los que podría haber conseguido con una red convolucional creada desde cero.
«Un mundo de rocío» de Kobayashi Issa
Un mundo de rocío,
Y dentro de cada gota de rocío
Un mundo de lucha
Este Haiku me hizo pensar en un concepto que siempre me ha gustado sobre la inteligencia artificial o aprendizaje de representación. Papers With Code lo define sucintamente así:
El aprendizaje de representación es un proceso en el machine learning en el que los algoritmos extraen patrones significativos de los datos en bruto para crear representaciones que sean más fáciles de entender y procesar. Estas representaciones pueden diseñarse para facilitar la interpretación, revelar características ocultas o utilizarse para el aprendizaje por transferencia (Fuente).
Una red neuronal aprende una representación de los datos y, mediante mecanismos de interpretabilidad, podemos observar qué patrones ha aprendido. Cuando extendemos este concepto a grandes patrones, esta representación es también una representación del mundo. Un modelo que se entrena con una enorme cantidad de datos destila un conjunto de reglas que luego utilizará para responder a las preguntas de los usuarios. Hay algo mágico en cómo un gran modelo lingüístico (LLM) entrenado para predecir el siguiente token de una secuencia puede aprender no sólo reglas lingüísticas, sino también razonamientos.
Cada palabra, como cada gota de rocío, permite enriquecer nuestro modelo con un nuevo concepto. Dado que cada palabra puede tener significados diferentes en función del contexto, el modelo debe aprender una representación para cada token. Debo mencionar que la base de los LLM actuales procede de innovaciones cruciales como las incrustaciones de palabras, en las que los vectores aprendidos para cada palabra contienen en superposición los vectores para cada significado de una palabra.
Además, otra innovación clave fue el uso de mecanismos de atención. Fue una «lucha» encontrar un sistema que permitiera a un modelo captar información relevante, prestarle la atención adecuada y relacionarla con el contexto.
«Haiku [para ti]» por Sonia Sanchez
el amor entre nosotros es
palabra y aliento. amarte es
un largo río corriendo.
Este Haiku me hace pensar en dos conceptos: nuestra lucha por conseguir modelos multimodales y el aprendizaje continuo. En el primer caso, siempre nos hemos centrado en una modalidad a la vez (imágenes, texto, sonido), pero los humanos vivimos en un mundo en el que todos estos estímulos sensoriales nos llegan juntos. La riqueza de nuestro pensamiento también viene de cómo podemos integrar todos estos tipos de información y sacar conclusiones de ellos. Ser capaz de integrar distintas modalidades no es fácil, pero es un paso necesario para tener modelos que puedan comprender realmente el mundo.
El aprendizaje continuo se refiere, en cambio, a disponer de modelos que puedan seguir aprendiendo una vez entrenados. No es una tarea fácil, ya que los modelos presentan dos fenómenos: la falta de plasticidad (incapacidad para aprender una nueva habilidad) y el olvido catastrófico (olvido de las habilidades aprendidas). Hasta la fecha, esto sigue siendo un reto abierto, y nuestros modelos luchan en el largo río del conocimiento.
«De las cenizas» de Nozawa Bonchō
En la pila de leña,
del interior del haz,
surge un brote.
Este Haiku representa para mí uno de los aspectos más interesantes de trabajar con inteligencia artificial, como son los comportamientos inesperados y las propiedades emergentes.
En filosofía, teoría de sistemas, ciencia y arte, la emergencia se produce cuando una entidad compleja tiene propiedades o comportamientos que sus partes no tienen por sí solas, y sólo emergen cuando interactúan en un todo más amplio (Fuente).
Independientemente de que las propiedades emergentes sean reales o no (hay un gran debate al respecto), resulta intrigante que entrenar un modelo para una tarea lleve a desarrollar otras capacidades.
Entre los comportamientos inesperados, uno de los más interesantes son las alucinaciones producidas por los LLM (o contenidos no factuales). Por un lado, las alucinaciones son muy problemáticas hoy en día para todos aquellos campos en los que se necesita rigor (médico, jurídico, financiero, etc.). Por otro, podrían servir para potenciar la creatividad de los modelos. Un «brote» inesperado en el resultado de un LLM.
Intentando un haiku yo mismo
Si el viento es fuerte
una historia va a la deriva como semillas de diente de león,
volando en el crepúsculo.
Es una historia común en el mundo de la inteligencia artificial que un modelo o idea que se publica rápidamente gane tracción y se extienda. Cuando Google publicó el artículo de investigación «Attention Is All You Need» en 2017, probablemente no tenía ni idea de que daría lugar a ChatGPT. Si Google lo hubiera sabido, quizá ni siquiera lo habría publicado. Ese artículo introdujo el Transformer y barrió las RNN que hasta entonces habían dominado el análisis del lenguaje. Aquel artículo fue un soplo que inició una revolución y del que se derivaron miles de modelos. Hoy, cuando vemos las limitaciones del Transformer, cabe preguntarse si no se habrá lanzado ya el próximo modelo que lo sustituya.
Si te ha parecido interesante:
Puedes buscar mis otros artículos, y también puedes conectar o ponerte en contacto conmigo en LinkedIn. Consulta este repositorio, que contiene noticias actualizadas semanalmente sobre ML e IA. Estoy abierto a colaboraciones y proyectos, y puedes contactar conmigo en LinkedIn.