Estas son las claves relacionadas con el mundo QnA para chatbots que se comentan en este artículo:
- Microsoft dejará de utilizar Azure QnA Maker el 31 de marzo de 2025.
- Las dos alternativas que ofrece Microsoft son responder a las preguntas utilizando una base de conocimientos o responder a una pregunta buscando en el cuerpo de texto.
- Bases de conocimiento.
- Otro método es la tecnología existente utilizada en LLMs y 🤗HuggingFace Pipelines y comúnmente utilizada dentro de los modelos generativos de LLM.
- Quick Reply Intents es una característica de la que fue pionera Oracle Digital Assistant.
- La NLP intensiva en conocimiento (KI-NLP) está siendo promovida por los LLM y Meta’s Sphere.
- Los motores de búsqueda y Wikipedia son la vía más común para responder principalmente a preguntas no específicas del dominio.
Tabla de contenidos
¿Cuál es el enfoque de Microsoft?
En el pasado mi sensación general era que los servicios de Microsoft eran demasiado dispares y el Azure QnA Maker es un buen ejemplo de ello. En su día, me pareció que era vulnerable a la subestimación y sobreestimación en términos de contenido variado.
La nueva estrategia de Microsoft…
Microsoft tiene 13 categorías de tecnologías de lenguaje en su languaje studio… Creo que esto habla del enfoque de Microsoft de tener «model cards» separadas pero claramente definidas con su languaje studio.
Las APIs creadas a través de estos modelos pueden ser orquestadas en skills o en un agente digital, y más.
Cualquiera de estos elementos del lenguaje puede utilizarse de forma aislada para tareas relacionadas con el lenguaje humano, o bien organizarse en un asistente digital basado en la voz o el chat.
Dos enfoques para la respuesta a preguntas
La imagen siguiente muestra las dos fichas de la API para acceder a la funcionalidad QnA de Language Studio:
- Answer questions
- Respuesta a preguntas personalizadas
Answer Questions (AQ)
Las Answer Questions me recuerdan el enfoque adoptado para responder a las preguntas utilizando un modelo generativo de LLM.
- Este enfoque y la funcionalidad están comúnmente disponibles en los LLM.
- Es muy adecuado para cuerpos de texto muy dinámicos y variados para buscar.
- El texto a buscar no puede ser demasiado largo o complejo y lo más probable es que esté constituido por conversaciones de clientes o datos de interacción que se recuperan y a su vez se buscan.
- Este enfoque también puede utilizarse cuando un proceso impulsado por la intención extrae un cuerpo de información o un documento, y las preguntas de respuesta se utilizan para profundizar en una respuesta específica.
- Lo más probable es que el modelo GPT3 de OpenAI se utilice en las tripas de este servicio.
Respuesta a preguntas personalizadas (CQA)
La respuesta a preguntas personalizadas es un enfoque más estructurado para crear una API de base de conocimientos. Se pueden utilizar documentos y URL’s y definir un diálogo básico y hechos de seguimiento, como se muestra más adelante en el artículo.
- Los proyectos CQA pueden ser creados usando URL’s o Archivos.
- También se puede utilizar para Chitchat.
- Tanto AQ como CQA tienen restricciones de idioma.
- Como es el caso de Chitchat, que actualmente está disponible en los siguientes idiomas: Alemán, chino simplificado, coreano, español, francés, inglés, italiano, japonés y portugués.
Chitchat tiene cinco configuraciones de persona: profesional, amable, ingenioso, atento y entusiasta. - El CQA tiene un panel de prueba similar al de un chatbot a la derecha, y las respuestas pueden ser cortas, largas o ambas. Esto es útil cuando la longitud de las respuestas varía en función de los datos buscados.
- Se pueden añadir preguntas y respuestas personalizadas con indicaciones de seguimiento.
- Se pueden añadir sinónimos que puedan utilizarse en las consultas.
- La mejora continua está disponible donde los usuarios pueden revisar, aceptar o rechazar las frases alternativas sugeridas para las preguntas.
- Estas sugerencias se obtienen de los datos de interacción de los usuarios.
Answer Questions – El detalle
La funcionalidad de las preguntas de respuesta me recuerda bastante a un enfoque de modelo generativo LLM. A continuació,n se muestra un ejemplo de LLM de BLOOM a través de 🤗HuggingFace.
Se utilizó el mismo conjunto de datos (datos de entrenamiento) en BLOOM y en la funcionalidad de Preguntas de respuesta de Microsoft, con el fin de comparar los dos.
El enfoque básico consiste en definir una información y etiquetarla como Hechos, y luego etiquetar la Pregunta, como se ve a continuación. Se define el texto «Respuesta:» y el modelo de texto generativo genera la respuesta a la pregunta cuando se le pide.
Facts: "The Space Needle is one of the most recognizable landmarks in the world and is a treasured Seattle icon. Built for the 1962 World’s Fair—the Century 21 Exposition whose theme was “The Age of Space”—the tower’s futuristic design was inspired by the idea that the fair needed a structure to symbolize humanity’s Space Age aspirations. Since its grand opening on April 21, 1962, the landmark continues to symbolize the innovative and forward-thinking spirit of Seattle. Located at Seattle Center, the Space Needle stands at 605’ tall and is one of the most photographed structures in the world. The tower’s 520’ saucer-shaped “top house” offers visitors Seattle’s only 360-degree indoor and outdoor panoramic views of downtown, Mount Rainier, Puget Sound, and the Cascades and Olympic mountain ranges. To further elevate the visitor experience, the Space Needle embarked on a multi-year venture focused on the preservation and renovation of the 57-year-old icon. The first phase of the renovation, completed in late summer 2018, includes breathtaking, multi-level, floor-to-ceiling glass viewing experiences including an upper level outdoor observation deck with open-air glass walls and Skyriser glass benches. The Oculus, a grand wood, steel, and glass staircase connects the upper-level to The Loupe, the world’s first, and only, rotating glass floor below. The new glass floor experience opened up a never-before-seen downward view of the structure and the surrounding area, putting Seattle, literally, at your feet. Visit the renovation page to learn more about how the Space Needle is further enhancing its visitor experience. The Space Needle is proud to support local organizations who make a positive difference in the Puget Sound region through its community giving and engagement programs. Visit the Space Needle Foundation page to learn more about the Space Needle’s community giving and guidelines."
Question: "What is oculus?"
Answer:
La respuesta corta que BLOOM devolvió:
"The Oculus is the name given to a grand staircase and observation deck.
Así que vamos a comparar el ejemplo de BLOOM que acabamos de ver, con la funcionalidad de Answer Questions de Microsoft, utilizando los mismos datos…
A continuación, de nuevo los mismos datos, pero ahora definidos en la consola de Microsoft. Seguido de la pregunta, y la respuesta generada.
Aquí está el resultado JSON:
{
"answers": [
{
"answer": "The Oculus, a grand wood, steel, and glass staircase connects the upper-level to The Loupe, the world’s first, and only, rotating glass floor below. The new glass floor experience opened up a never-before-seen downward view of the structure and the surrounding area, putting Seattle, literally, at your feet. Visit the renovation page to learn more about how the Space Needle is further enhancing its visitor experience.",
"confidenceScore": 0.9820879101753235,
"id": "id__1417",
"answerSpan": {
"text": "a grand wood, steel, and glass staircase",
"confidenceScore": 0.56610686,
"offset": 11,
"length": 41
},
"offset": 1218,
"length": 420
},
{
"answer": "The first phase of the renovation, completed in late summer 2018, includes breathtaking, multi-level, floor-to-ceiling glass viewing experiences including an upper level outdoor observation deck with open-air glass walls and Skyriser glass benches. The Oculus, a grand wood, steel, and glass staircase connects the upper-level to The Loupe, the world’s first, and only, rotating glass floor below. The new glass floor experience opened up a never-before-seen downward view of the structure and the surrounding area, putting Seattle, literally, at your feet.",
"confidenceScore": 0.9484376907348633,
"id": "id__1417",
"answerSpan": {
"text": "a grand wood, steel, and glass staircase",
"confidenceScore": 0.6114064,
"offset": 260,
"length": 41
},
"offset": 969,
"length": 557
},
{
"answer": "The Space Needle is one of the most recognizable landmarks in the world and is a treasured Seattle icon. Built for the 1962 World’s Fair—the Century 21 Exposition whose theme was “The Age of Space”—the tower’s futuristic design was inspired by the idea that the fair needed a structure to symbolize humanity’s Space Age aspirations. Since its grand opening on April 21, 1962, the landmark continues to symbolize the innovative and forward-thinking spirit of Seattle.",
"confidenceScore": 0.10796824097633362,
"id": "id__1417",
"answerSpan": {
"text": "Space Needle is one of the most recognizable landmarks in the world and is a treasured Seattle icon",
"confidenceScore": 0.17642552,
"offset": 3,
"length": 100
},
"offset": 0,
"length": 466
}
]
}Respuesta a preguntas personalizadas – El detalle
Para crear la base de conocimientos, se pueden cargar diferentes tipos de datos. Estos datos pueden ser enviados a través de URL’s, o se pueden cargar archivos. También se puede definir el chitchat, que también se conoce como «Small Talks». Al cargar los datos, se puede definir la estructura del archivo o utilizar la autodetección.
Utilicé la URL del sitio web de HumanFirst y se inició un proceso automático para recopilar datos. Como se ve a continuación, hay un panel de prueba a la derecha con algunas opciones. Las respuestas se pueden alternar entre respuestas largas y respuestas cortas con opciones avanzadas disponibles.
El ajuste de la base de conocimientos puede definirse con pares de preguntas y respuestas, como se ve a continuación…
Aquí puedes ver los pares de preguntas y respuestas después de ser definidos…
Y por último, la prueba de la derecha con el resultado deseado.
Para terminar
El enfoque de Microsoft parece aprovechar un LLM en general, y muy probablemente el GPT3 de OpenAI…
El enfoque generativo rápido de las Answer Questions es realmente innovador y un gran ejemplo de cómo se puede aprovechar un LLM para implementaciones en el mundo real.
Es interesante que los entornos de desarrollo de QnA sean cada vez más ricos en funciones y, en algunos casos, empiecen a emular los marcos de desarrollo de chatbot.
Por favor, sígueme en LinkedIn para estar al día en la investigación de la IA conversacional 🙂 .