Preguntas al probar aplicaciones de voz

La aplicación de las prácticas que en este artículo se sugieren ayuda a responder las siguientes preguntas:

• ¿Mi aplicación de voz sigue el flujo de conversación diseñado? ¿El flujo de la conversación funciona como se esperaba?
• ¿Cómo funciona mi aplicación de voz en condiciones reales? ¿Tiene baja calidad de audio? ¿Las conexiones de red lentas?
• ¿Mi aplicación de voz está disponible 24×7 o hay interrupciones en el servicio?

El arte de desafiar los chatbots

Los desafíos a la hora de probar chatbots, especialmente los habilitados en canales de voz, son diferentes a los de probar aplicaciones con una interfaz gráfica de usuario: mientras que una interfaz gráfica de usuario restringe las posibles interacciones del usuario mediante los controles que ofrece, con lenguaje natural, el número de posibles usuarios las entradas son ilimitadas. Además, cuando se usa la voz como entrada del usuario, nuevamente hay más variables a tener en cuenta: los matices individualesen las voces, la calidad del micrófono, los ruidos de fondo que rodean al orador y además: al hacer clic en el botón de una interfaz gráfica, la aplicación siempre interpreta lo mismo, independientemente de quién haya hecho clic en ella. En voz, no.

Las plataformas detrás de las poderosas aplicaciones de voz aún están evolucionando y están sujetas a mejoras constantes, lo que significa que los desarrolladores tienen que depender de componentes que no son de su propiedad y la posible influencia es limitada.

Prueba del flujo conversacional de voz

El producto de código abierto Botium te proporciona todas las herramientas necesarias para implementar una estrategia de prueba integral y holísticapara tus aplicaciones de voz. Puedes leer sobre Botium y los antecedentes sobre cómo probar un flujo conversacional en la documentación oficial de Botium.

Botium Tutorial – Botium documentation

Botium Box Live Chat — Grabador

Puedes guardar la conversación como caso de prueba y realizar algunos cambios después.

• Refinando el texto y el audio de entrada y salida.
• Usar listas de expresiones o coincidencias de comodines en lugar de texto completo.
• Agregar pasos de prueba o afirmadores adicionales.

Caso de prueba de voz Botium Box

Sintetizar casos de prueba mediante conversión de texto a voz

En lugar de grabar tu propia voz para los casos de prueba, puedes decidir usar en tu lugar (o adicionalmente) muestras de voz sintetizadas. Botium tiene su propia plataforma Text-To-Speech y Speech-To-Text basada en los mejores motores de código abierto y en la nube disponibles: Botium Speech Processing.

Los casos de prueba ahora muestran texto sin formato en lugar de la entrada de audio auf:

Botium Box Live Chat — Entrada de texto

Eliminación los problemas: asignaciones de homófonos

Un problema típico cuando se prueban aplicaciones de voz es que las transcripciones de audio, especialmente para audio de baja calidad, pueden ser bastante inestables; en la automatización de pruebas, generalmente confiamos en hechos concretos (afirmaciones de texto fijo), y esto conducirá a una mayor falta de precisión en los resultados de la prueba.

En este ejemplo, puedes ver que en lugar de okay milch ist auf deiner liste the transcription says okay milch is auf seiner liste; esta diferencia de un carácter hará que un caso de prueba falle:

Problema de transcripción

Botium ofrece la opción de especificar asignaciones homófonas para tratar fragmentos de audio que el motor Speech-To-Test a menudo malinterpreta.

Especificación de asignaciones de homófonos

Los casos de prueba utilizan estas asignaciones para calificar los resultados de la transcripción como correctos o fallidos.

Problema de transcripción: asignación de homófonos aplicada

Prueba de escenarios de la vida real

Usar tu propio micrófono frente a tu portátil puede ser un buen punto de partida, pero en la vida real, las aplicaciones de voz se usan de otra manera: con un smartphone, con un dispositivo domótico o de entretenimiento como Alexa o Google Home, en un automóvil. Para llegar a casos de prueba significativos de End-2-End para estos escenarios, tendrás que hacer que tus datos de prueba sean similares a esos escenarios.

• Agrega ruido de fondo en varios niveles.
• Sube o baja el volumen.
• Simula varios niveles de distancia
• Simula restricciones técnicas como línea telefónica GSM o ancho de banda bajo.
• Simula una mala calidad de audio, como interrupciones o varios niveles de silencio.
• Llámale…

En Botium Box puedes aplicar varios efectos para simular escenarios de uso de la vida real a tus propias grabaciones limpias o muestras de audio sintetizadas.

Efectos de voz de Botium Box

Monitoreo continuo

La receta para garantizar la disponibilidad de tu aplicación de voz es bastante simple todo lo que necesitas es:

• Una smoke test para verificar el comportamiento básico (por ejemplo, simplemente enviar un saludo simple a la aplicación de voz y listar para obtener una respuesta)
• Un programador para ejecutar la prueba de humo cada pocos minutos.
• Un mecanismo de notificación para informarte en caso de averías.

Con Botium Box, todo lo que necesitas sale de la caja.

Resumen

Ahora que sabes lo que se necesita para las pruebas automatizadas de tu aplicación de voz, puedes probar Botium Box o puedes seguir el plan gratuito y de código abierto con Botium Core.

• Grabar tu propia voz o use voz sintetizada.
• Aplicar efectos de audio para simulación de la vida real.
• Prueba de flujo de conversación con Botium.