Tabla de contenidos
1. Introducción a la IA de Agentic
El debate en torno a ChatGPT (en general, IA generativa) ha evolucionado hacia la IA de Agentic. Si bien ChatGPT es principalmente un chatbot que puede generar respuestas de texto, los agentes de IA pueden ejecutar tareas complejas de forma autónoma, por ejemplo, realizar una venta, planificar un viaje, reservar un vuelo, contratar a un contratista para que haga un trabajo doméstico o pedir una pizza. La siguiente figura ilustra la evolución de los sistemas de IA Agentic.
Bill Gates imaginó recientemente un futuro en el que tendríamos un agente de IA capaz de procesar y responder al lenguaje natural, y realizar diversas tareas. Gates puso como ejemplo la planificación de un viaje. Normalmente, esto implicaría reservar hotel, vuelos, restaurantes, etc., por cuenta propia. Pero un agente de IA podría usar su conocimiento de sus preferencias para reservar y comprar esas cosas en su nombre.
1.1 Ciclo de vida de la IA con agentes
En esta sección, profundizamos en las etapas típicas de la creación y operación de estos agentes de IA, ilustradas en la Fig. 2.
Primero, necesitamos definir el caso de uso: Esto incluye definir el planteamiento del problema, comprender su contexto empresarial, los requisitos y la disponibilidad de los datos, y establecer objetivos claros para la solución de IA agéntica que cuantifique el retorno de la inversión (ROI).
Segundo, necesitamos un mercado de modelos de razonamiento/modelos de lenguaje extenso (LLM), agentes y herramientas. Definir agentes y crear integraciones de herramientas empresariales sobre la marcha no funciona realmente en la práctica.
Por ejemplo, el protocolo Agente2Agente (A2A) especifica el concepto de una Tarjeta de Agente (un documento JSON) que funciona como una tarjeta de presentación digital para los agentes. Incluye la siguiente información clave:
Identity: name, description, provider information. Service Endpoint: The url where the A2A service can be reached. A2A Capabilities: Supported protocol features like streaming or pushNotifications. Authentication: Required authentication schemes (e.g., "Bearer", "OAuth2") to interact with the agent. Skills: A list of specific tasks or functions the agent can perform (AgentSkill objects), including their id, name, description, inputModes, outputModes, and examples. Los agentes cliente pueden entonces descubrir agentes remotos analizando sus respectivas Tarjetas de Agente para determinar si un agente remoto es adecuado para una tarea determinada, cómo estructurar las solicitudes para sus habilidades y cómo comunicarse con él de forma segura.
En la misma línea, el Protocolo de Contexto de Modelo (MCP) especifica un mecanismo similar para el descubrimiento dinámico de herramientas. Mediante las URI mcp://, los agentes pueden resolver y recuperar información completa de metadatos sobre las capacidades, los requisitos y los métodos de interacción de las herramientas.
Tanto A2A como MCP se basan en descripciones textuales/en lenguaje natural de agentes y herramientas. En un artículo anterior, señalé escenarios en los que esto podría no ser suficiente y necesitamos un modelo de descubrimiento más formal basado en capacidades/restricciones para permitir un descubrimiento preciso y automatizado de herramientas y agentes.
En tercer lugar, necesitamos diseñar la lógica agencial (plan para alcanzar el objetivo). Aquí, debemos diferenciar entre agentes deterministas y autónomos, ya que su diseño y ejecución son muy diferentes.
En el caso de los agentes deterministas, esto implica principalmente definir (estáticamente) un esquema de orquestación inicial con agentes/herramientas predeterminados.
En cambio, en el caso de los agentes autónomos, esto se limita a especificar el objetivo del caso de uso como guía para un modelo LLM/de razonamiento.
El planificador define dinámicamente el plan de ejecución con la capacidad de adaptarlo entre periodos, básicamente reaccionando al entorno según las observaciones en memoria.
En cuarto lugar, debemos considerar la optimización de la implementación de agentes para la inferencia. Con la IA generativa y el gran tamaño de los LLM, se prestó especial atención a la optimización/cuantificación de los LLM a modelos de lenguaje pequeños (SLM). Dado el enfoque actual de la mayoría de los agentes en el flujo de trabajo empresarial, esto parece haber perdido cierta prioridad.
Estoy seguro de que la optimización de costes y la eficiencia energética volverán a ser prioritarias en cuanto tengamos más agentes en producción. Por lo tanto, esta etapa consiste en pensar proactivamente en la optimización de las implementaciones de agentes, en la medida en que puedan implementarse en dispositivos edge.
Para más detalles, consulte mi artículo anterior sobre el dimensionamiento de la inferencia de la IA de agentes.
Por último, analizamos la capa de gobernanza, y es en ella donde nos centraremos principalmente en este artículo. Seamos realistas, sin esta capa, ningún agente entraría en producción en ninguna empresa, ni debería permitírsele hacerlo.
Un buen ejemplo es la carta, ampliamente difundida, del CISO de JP Morgan sobre la necesidad de arquitecturas de agentes seguras y resilientes.
Las barreras de seguridad también parecen haberse convertido en un elemento clave en el ecosistema de IA de agentes con la publicación del SDK de agentes de OpenAI.
En general, la observabilidad de extremo a extremo es fundamental no solo para recuperarse de situaciones en las que el agente se bloquea, sino también para las estrategias de reversión en situaciones en las que el agente empieza a desviarse del guion.
En resumen, la clave es que crear agentes fiables y seguros en producción implica más que escribir unas pocas líneas de código.
2. Arquitectura de referencia de IA agéntica
En esta sección, describimos la arquitectura de referencia de una plataforma de IA agéntica para dar cabida a las etapas del ciclo de vida identificadas en la sección 1, ilustradas en la Fig. 3. Los componentes clave incluyen:
- Mercado de agentes (y herramientas)
- Planificador: capa de razonamiento
- Capa de personalización
- Capa de orquestación
- Capa de observabilidad (con registro, puntos de control, etc.)
- Capa de integración (integración con sistemas empresariales)
- Capa de memoria compartida (memoria a largo y corto plazo)
Dada una tarea de usuario, solicitamos un LLM para la descomposición de la tarea; esta es la superposición con la IA generativa. Desafortunadamente, esto también significa que los sistemas de IA agencial actuales están limitados por las capacidades de razonamiento de los grandes modelos de lenguaje (LLM). Por ejemplo, la descomposición de la tarea GPT4 de la solicitud:
Generar una campaña de correo electrónico personalizada para lograr ventas de USD 1 millón en 1 mes. Los productos aplicables y sus métricas de rendimiento están disponibles en [url]. Conectar al sistema CRM [integración] para obtener nombres de clientes, direcciones de correo electrónico y datos demográficos.
Se detalla en la Fig. 4: (Analizar productos) — (Identificar público objetivo) — (Crear una campaña de correo electrónico personalizada).
El LLM supervisa la ejecución/entorno y se adapta de forma autónoma según sea necesario. En este caso, el agente se dio cuenta de que no iba a alcanzar su objetivo de ventas y, de forma autónoma, añadió las siguientes tareas:
(Buscar productos alternativos) — (Utilizar los datos del cliente para personalizar los correos electrónicos) — (Realizar pruebas A/B).
Esto lleva a la necesidad de una capa de personalización. De forma análoga al ajuste de los LLM a los LLM/SLM específicos del dominio, argumentamos que la personalización/ajuste de los agentes de IA (genéricos) será necesaria en relación con el contexto específico de la empresa (de los perfiles de usuario y los casos de uso aplicables) para impulsar su adopción empresarial.
Las principales ventajas de la personalización del agente de IA incluyen:
- Interacción personalizada: El agente de IA adapta su lenguaje, tono y complejidad según las preferencias del usuario y su historial de interacción. Esto garantiza que la conversación se ajuste mejor a sus expectativas y estilo de comunicación.
- Contexto del caso de uso: El agente de IA conoce los procesos subyacentes del caso de uso empresarial, lo que le permite priorizar o destacar características del proceso, contenido relevante, etc., optimizando la interacción para alcanzar el objetivo del caso de uso de forma más eficiente.
- Asistencia proactiva: El agente de IA anticipa las necesidades de los diferentes usuarios y ofrece sugerencias, recursos o recordatorios proactivos adaptados a sus perfiles o tareas específicas.
Dada la necesidad de orquestar múltiples agentes, se requiere una capa de integración que admita diferentes patrones de interacción entre agentes, por ejemplo, API de agente a agente, API de agente que proporcione resultados para el consumo humano, activación humana de un agente de IA, IA de agente a agente con interacción humana. Los patrones de integración deben ser compatibles con la plataforma AgentOps subyacente.
También es importante mencionar que la integración con sistemas empresariales (por ejemplo, CRM en este caso) será necesaria para la mayoría de los casos de uso. Esto se habilita, por ejemplo, mediante MCP, conectando (dinámicamente) herramientas a sistemas externos donde residen los datos empresariales.
Dada la naturaleza de larga duración de estas tareas complejas, la gestión de memoria es clave para los sistemas de IA de Agentic. Una vez lanzada la campaña de correo electrónico inicial, el agente debe supervisarla durante un mes.
Esto implica compartir el contexto entre tareas y mantener el contexto de ejecución durante largos períodos.
El enfoque estándar consiste en guardar la representación incrustada de la información del agente en una base de datos de almacenamiento vectorial que admita la búsqueda máxima interna de productos (MIPS). Para una recuperación rápida, se utiliza el algoritmo de vecinos más cercanos aproximados (RNA), que devuelve aproximadamente los k vecinos más cercanos principales con una compensación entre precisión y una gran ganancia de velocidad. Consulte mi artículo anterior sobre memoria a largo plazo para IA con agentes para obtener una explicación detallada de este tema.
3. Evaluación integrada de la IA agéntica con medidas de seguridad para una gestión eficaz de riesgos
La adopción empresarial de agentes de IA autónomos atraviesa actualmente una crisis de confianza y fiabilidad. Por ello, destacamos la necesidad de una estrategia de evaluación integral para detectar y mitigar los riesgos específicos de la IA agéntica.
3.1 Estrategia de evaluación para agentes de IA
En esta sección, damos los primeros pasos para definir una estrategia integral de evaluación para agentes de IA empresariales. Se trata de un problema multifacético (ilustrado en la Fig. 5) que requiere diseñar pruebas de validación específicas para cada caso de uso que cubran métricas funcionales y no funcionales, considerando:
- el modelo de razonamiento subyacente (LLM),
- la arquitectura de la solución (recuperación-generación aumentada [RAG], ajuste fino, etc.),
- la normativa aplicable y las directrices/políticas de IA responsables para la empresa.
En términos generales, la precisión de un caso de uso se puede medir en términos de:
- Corrección: se refiere a la precisión fáctica de la respuesta del LLM.
- Fundamentación: se refiere a la relación entre la respuesta del LLM y su base de conocimientos subyacente.
Los estudios han demostrado que una respuesta puede ser correcta, pero aun así carecer de fundamento.
Esto puede ocurrir cuando los resultados de la recuperación son irrelevantes, pero la solución, de alguna manera, logra producir la respuesta correcta, afirmando falsamente que un documento no relacionado respalda su conclusión.
Actualmente, prevalecen principalmente tres tipos de metodologías de evaluación:
- Puntos de referencia genéricos y conjuntos de datos
- LLM como juez
- Evaluación manual
Consideremos primero las tablas de clasificación de LLM disponibles públicamente, como la tabla de clasificación de LLM abierta de Hugging Face. Si bien son útiles, se centran principalmente en probar LLM preentrenados en tareas genéricas de NLP (p. ej., preguntas y respuestas, razonamiento, completar oraciones) utilizando conjuntos de datos públicos, como:
- SQuaD 2.0: Preguntas y respuestas
- Alpaca Eval: Seguimiento de instrucciones
- GLUE: Tareas de comprensión del lenguaje natural (PLN)
- MMLU: Comprensión del lenguaje multitarea
- DecodingTrust: Dimensiones de IA responsable, el marco subyacente a la tabla de clasificación de seguridad de LLM de Hugging Face
La principal limitación radica en que estas tablas de clasificación se centran en la evaluación de LLM fundamentales (preentrenados) en tareas genéricas de procesamiento del lenguaje natural (NLP). La contextualización de casos de uso empresariales implica la aplicación de procesos y datos empresariales para perfeccionar los agentes de IA.
Por lo tanto, estos resultados genéricos de evaluación comparativa no pueden aplicarse tal cual (son insuficientes) para realizar una evaluación de IA específica para cada caso de uso.
El método LLM como juez utiliza un LLM de «evaluación» (otro LLM preentrenado) para evaluar la calidad de las respuestas del LLM objetivo, calificándolas mediante métodos como CriteriaEvalChain de LangChain. Desafortunadamente, las limitaciones específicas de cada caso de uso persisten también en este caso. Ofrece la ventaja de acelerar el proceso de evaluación del LLM, aunque (en la mayoría de los casos) con un mayor coste debido al uso de un segundo LLM.
La última alternativa es la validación manual (externalizada) con la ayuda de expertos empresariales en la materia (SME). Si bien puede funcionar como una opción alternativa, tiene implicancias de (alto) costo y esfuerzo, debe planificarse teniendo en cuenta la disponibilidad de las PYMES y realizarse de manera estandarizada para tener en cuenta los sesgos humanos.
3.2 Gestión de riesgos de la IA agentic
Con el aumento de la implementación de sistemas de IA agentic en producción, observamos una mayor atención a sus riesgos. En lugar de crear una nueva lista, intenté consolidar los riesgos identificados en las dos referencias siguientes:
- Informe técnico de OWASP: IA agentic: Amenazas y mitigaciones, 2025.
- Informe técnico de IBM: La responsabilidad y el riesgo son importantes en la IA agentic, 2025.
Los riesgos R1 a R15 se refieren a los riesgos identificados en [1]. Los riesgos entre paréntesis () se refieren a los riesgos correspondientes identificados en [2]. R16: El sesgo impulsado por la personalidad, por ejemplo, es bastante interesante, ya que se identificó en [2], pero no se encuentra en [1].
- R1: Comportamientos desalineados y engañosos (Engaño dinámico)
- R2: Rompimiento de intenciones y manipulación de objetivos (Desalineación de objetivos)
- R3: Uso indebido de herramientas (Uso indebido de herramientas/API)
- R4: Envenenamiento de memoria (Persistencia del agente)
- R5: Ataques de alucinaciones en cascada (Ataques sistémicos en cascada)
(Vulnerabilidades de seguridad)
- R6: Compromiso de privilegios
- R7: Suplantación de identidad
- R8: Ataques de código y RCE inesperados
(Resiliencia Operativa)
- R9: Sobrecarga de Recursos
- R10: Repudio e Imposibilidad de Rastrear
(Colusión multiagente)
- R11: Agentes no autorizados en sistemas multiagente
- R12: Envenenamiento de la comunicación entre agentes
- R13: Ataques humanos en sistemas multiagente
(Supervisión humana)
- R14: Manipulación humana
- R15: Presencia excesiva de personas involucradas
- R16: (Sesgo personal)
Lo interesante desde el punto de vista de la mitigación de riesgos es que su mitigación suele confiarse a una capa central de protección. Sin embargo, esto no es realista y las correspondientes protecciones/controles deben implementarse en sus respectivos componentes/capas de la plataforma, lo que repercute directamente en la arquitectura de su solución.
El mapeo de la arquitectura de riesgos del componente de IA agéntica se muestra en la Fig. 6, basado en la arquitectura de la plataforma propuesta en la sección 2.
4. Conclusión
Si bien los beneficios de los sistemas de IA con agentes son evidentes, también son sistemas complejos, difíciles de ejecutar de forma fiable y autónoma. Para ello, estudiamos en detalle el ciclo de vida de desarrollo de la IA con agentes, centrándonos en la capa de gobernanza, especialmente en los riesgos, su correspondiente estrategia de evaluación y las barreras de mitigación.
En cuanto a la evaluación con agentes, describimos una evaluación basada en casos de uso de agentes de IA críticos para su puesta en producción en las empresas. Resumimos las estrategias de evaluación actuales, que se centran principalmente en la evaluación comparativa de agentes LLM preentrenados en tareas genéricas de NLP. Posteriormente, describimos una estrategia de evaluación integral que se basa en esta evaluación fundamental de LLM, considerando los datos y procesos relacionados con el ajuste preciso de los agentes de IA basado en casos de uso.
En cuanto a la gestión de riesgos, identificamos los riesgos específicos de la IA con agentes y asignamos sus barreras de protección correspondientes a los componentes relevantes de la plataforma de IA con agentes. Esto permite un enfoque modular y componible para la gestión de riesgos de la IA con agentes. Creemos que ambos aspectos son fundamentales para llevar las soluciones de IA agentiva a producción y que este trabajo contribuirá significativamente a impulsar su adopción empresarial.