Hola, hoy te voy a mostrar cómo podemos identificar y corregir errores de curación en Rasa X, mirando solo “una imagen”, sin tener que buscar en todo el corpus del asistente. Está bien. Exageré un poco, de hecho, analizaremos los datos que nos muestra Rasa X sobre el comportamiento de esa interacción humana con nuestro asistente virtual.
¡Vamos, es hora de ar-rasa-r!
Tabla de contenidos
Error de entidad
En este caso, podemos ver que el nivel de exactitud de la intención sabor_suco es clara, por lo que descartamos la posibilidad de ofrecer el mensaje default general. Además, como conocemos teóricamente el corpus que estamos analizando, sabríamos que para este fin deberíamos caer en “Quiero un zumo de fresa”. Veamos que el bot no reconoció la entidad fresa, por lo que es un primer error a señalar y corregir. Pero, ¿puede haber también un error de flujo? Puede. Entonces, también tendríamos que revisar lo que se conoce como “stories” exactamente las “stories d suco_morango” e identificar si también hay un error en la construcción de los flujos. Fácil ¿verdad? No fue necesario analizar el NLU / stories / Domain para poder encontrar el error y corregirlo.
Error del flujo
En este otro ejemplo, podemos ver que el bot acertó en la intención con una confianza alta y también predijo correctamente todas las entidades: {“taste”: “pineapple”}, {“ml”: “300”}. Entonces, probablemente sea un error de Story, no nos habíamos dado cuenta de que nuestro usuario podía escribir toda la información en una sola entrada y llegar al flujo final en segundos. De esta forma, crearíamos este flujo para optimizar nuestra experiencia de usuario.
Error de intención
En esta conversación, vemos un clásico error de intención, el concepto “bebida” cayó en agradecimiento debido a un nivel de confianza muy bajo 0.58. También sabemos que este aporte no debería haber caído en esta intención. Entonces, agreguemos el ejemplo de la bebida con la intención juice_sabor_pergunta . ¿Está ahí? No. En este punto, tenemos que entrenar al bot y ejecutar un “rasa test nlu” para asegurarnos de que nuestras intenciones no se hayan desequilibrado. ¡Las pruebas lo son todo!
Respuesta de bot mejorada
Aquí, vemos que el bot hizo la entrada correcta, pero el usuario escribió “No entiendo”. En esta situación, sabríamos que nuestra explicación no es lo suficientemente buena o que hay un término que el usuario no entendió. En esta respuesta la pregunta “qué vaso” no tiene mucho sentido, la idea sería que el usuario entendiera que debe elegir la cantidad de ml de zumo que quiere comprar. Haríamos un tratamiento de ese mensaje, y en las próximas semanas seguiríamos las interacciones en la curación de esa respuesta para ver si el problema se resolvió.
Insertando contenido nuevo
Vaya, pero ya vi este ejemplo !!! Sí, en un mismo análisis puede haber más de un error. Nos dimos cuenta de que el bot no tiene una respuesta chichat para el input “no entendí”. Sería interesante crear una respuesta que reconfortara al usuario y explicara que este bot aprenderá más para ayudar a los usuarios, y que intentará explicarlo mejor la próxima vez.
Y estas son solo algunas de las reflexiones sobre curación y entrenamiento usando los datos que Rasa X pone a disposición de los responsables del chatbot sobre las conversaciones de los usuarios. Es obvio que un entrenamiento completo de estos errores exige un análisis más profundo de las métricas y los ejemplos de conversaciones de otros usuarios que tengan los mismos errores. Lo que quiero decir con estos es: le tus datos, use tu intuición y se consciente de que gracias a ellos podrás corregir tu chatbot de una manera más práctica y sencilla.
