Una cosa con la que los desarrolladores pueden contar cuando construyen una IA conversacional es que los usuarios, inevitablemente, introducirán preguntas que pueden ser desconocidas o estar fuera del alcance de la IA. Dependiendo del uso previsto del chatbot, puede ser fácil romperlos haciendo preguntas extrañas que tienen muy poco que ver con el producto o servicio que ofrece la marca. Basándonos en nuestra experiencia, es probable que los chatbots fallen incluso en el nivel de «conversación trivial», sin llegar a ningún caso límite que justifique su lucha.
Aunque todos los equipos de chatbots están preparados para el desagradable momento en el que el bot no puede detectar la intención del usuario, alejándose del «happy path» o «camino feliz» previsto. Esto se produce cuando el usuario no cumple las reglas de diseño existentes en la comprensión del chatbot, pero también podría ocurrir fácilmente si el cliente utiliza términos que el chatbot ya conoce.
Pero entonces, ¿cómo podemos predecir el comportamiento de nuestro chatbot cuando se enfrenta a entradas inesperadas del usuario? ¿Y cómo podemos mejorar el resultado de esos encuentros?
A medida que un bot avanzado se utiliza y se enfrenta a nuevas entradas imprevistas de diferentes usuarios, utiliza estos datos para entrenarse y volverse aún más preciso con el tiempo. Podemos esperar a que los usuarios propongan intenciones inesperadas significativas, o enseñarles nosotros mismos.
Tabla de contenidos
Generador de datos de Botium potenciado por IA
Para hacer frente a este problema, hemos introducido una nueva característica en Botium. Nuestra solución, AI-powered Data Generator, utiliza tecnología punta de generación de lenguaje natural para crear ejemplos de usuario para el chatbot de tu organización.
Una vez que hagas clic en el elemento Asistente de datos de prueba, podrás acceder al panel de control, donde se te pedirá que rellenes dos campos importantes:
- Dominio del Chatbot: Los chatbots de dominios específicos se centran en temas concretos. Tienen acceso al conocimiento dentro de estos dominios para poder conversar inteligentemente. Algunos ejemplos de dominios son: sanidad, educación, negocios, recursos humanos, etc. Botium también ofrece una variedad de categorías predefinidas para simplificar esta elección.
- Descripción del Chatbot: La descripción es estrecha y aplicable a la preocupación y tarea de la organización a la que sirve el chatbot. Ejemplo: «Un chatbot bancario para transferencia de dinero y saldo de cuenta«.
Al proporcionar estos datos, el generador de pruebas asistido por IA generará las entradas de usuario más probables que sean relevantes para el campo del chatbot.
Para demostrar cómo funciona, he elegido el dominio del chatbot «Food Delivery» y la descripción es «Pizza ordering chatbot» y he hecho clic en la varita mágica para generar casos de prueba.
El generador de pruebas asistido por inteligencia artificial sugirió siete temas que el chatbot debería ser capaz de tratar basándose en su dominio y descripción, como cancelar pedido, pedir pizza con ingredientes o pedir una pizza con queso extra (¿quién no querría eso?).
Una vez satisfechos con los temas generados, podemos «generar scripts» para crear cientos de ejemplos de usuarios a los que el chatbot probablemente se enfrentará en producción.
Si no estás completamente satisfecho con el resultado, puedes pedir a Botium que regenere las listas con el icono de las flechas circulares.
Una vez que hayas terminado con la configuración y hayas seleccionado los ejemplos que te parezcan más útiles, todo lo que tienes que hacer es guardar los guiones y decidir si los añades a un conjunto de pruebas existente o empiezas de cero con un nuevo proyecto de pruebas. Ahora puedes ejecutar las pruebas generadas por AI en cualquier momento.
¿Cuándo es aplicable?
Los casos de prueba asistidos por IA se pueden utilizar para varios propósitos diferentes y pueden mejorar su chatbot de muchas maneras diferentes.
1. Facilitar los primeros pasos
Uno de los mayores retos en el desarrollo de un chatbot es cómo aclarar los temas que el chatbot debe ser capaz de manejar. En esta fase, no se suelen conocer las aportaciones reales de los usuarios, por lo que las expectativas del equipo del chatbot pueden no estar alineadas con la realidad de cómo se utilizará el chatbot.
Existen varias prácticas recomendadas para detectar las solicitudes más urgentes, pero la más habitual es analizar las preguntas entrantes que el equipo de atención al cliente gestiona a diario, sopesarlas según su importancia y crear diferentes grupos de temas en función de este análisis para garantizar que el chatbot pueda gestionar las entradas de los usuarios.
Nuestro Generador de Pruebas asistido por IA ofrece a las organizaciones la sencillez de generar ejemplos significativos de usuarios que tienen más probabilidades de surgir en sus dominios elegidos.
2. Aumentar la cobertura de las pruebas de IA
La cobertura de las pruebas es un indicador muy común e importante en las pruebas de software en términos de calidad y eficacia. Aunque es importante tener en cuenta que en las pruebas de chatbot es imposible alcanzar una cobertura total, porque los usuarios pueden esencialmente decir cualquier cosa a tu bot y, por lo tanto, los conjuntos de pruebas se vuelven infinitamente grandes.
A pesar de que el término «cobertura» no es la métrica más significativa para expresar la calidad del conjunto de pruebas del chatbot, los esfuerzos por aumentar la cobertura de las pruebas ayudarán a que tu bot sea más robusto y esté libre de errores.
Si guardas el tema generado por la IA como una nueva intención, mejorarás la comprensión de tu chatbot, mientras que si lo añades a una de las intenciones existentes aumentarás la cobertura y enriquecerás la conversación sin fallos.
Los ejemplos de usuario generados también pueden ayudarte a identificar casos de prueba sin sentido que no aumentan la cobertura.
3. Prueba tu chatbot para detectar entradas inesperadas del usuario
No hace falta decir que las personas no se expresan con las mismas palabras, pero el chatbot necesita entender cuál es la intención detrás de una frase desconocida.
Las intenciones permiten al chatbot entender lo que el usuario quiere que haga. Una intención categoriza las peticiones típicas de los usuarios por las tareas y acciones que su bot realiza. La intención de nuestro chatbot de pedidos de pizza, por ejemplo, etiqueta una petición directa «Quiero pedir una pizza», junto con otra que implica una acción: «Me apetece comerme una pizza«. Aunque se expresan de forma diferente, la petición que hay detrás de los dos ejemplos de usuario es la misma.
Con el generador de pruebas asistido por IA, puedes capacitar mejor a tu chatbot para entender estas entradas inesperadas del usuario. ¿Listo para poner esto a prueba?