Dada la creciente importancia de los chatbots en todos los aspectos de nuestra vida digital (隆incluida la ingenier铆a de software!) y las conocidas dificultades para probar cualquier tipo de bot intensivo en NLP, sin duda podr铆amos utilizar una serie de conjuntos de datos est谩ndar de facto para evaluar y comparar con solidez diferentes bibliotecas y marcos de NLP.

Hay que tener en cuenta que, como nuestro objetivo es comprobar la calidad de los componentes de comparaci贸n de intenciones y detecci贸n de NER, no podemos limitarnos a utilizar conjuntos de datos de NLP sin procesar. Por ello, necesitamos conjuntos de datos que incluyan:

  • El enunciado del usuario
  • La intenci贸n que debe coincidir con ese enunciado.
  • La lista de entidades que deben identificarse en ese enunciado.

Mejor a煤n si el conjunto de datos ya viene con diferentes conjuntos de datos para entrenamiento, prueba y validaci贸n, de modo que diferentes autores/proveedores puedan replicar y comunicar con mayor precisi贸n los resultados de la evaluaci贸n que obtienen al comprobar una biblioteca determinada.

Sin embargo, resulta que, dadas las limitaciones anteriores, no hay mucho donde elegir. Pero, hemos recopilado todos los datos de NLP para chatbots que conocemos en este repositorio de GitHub: Awesome NLP benchmarks for intent-based chatbots (ya vimos que GH se utilizaba a menudo para alojar listas impresionantes y que algunas de ellas pasaron de hecho a formar parte de los proyectos m谩s destacados de GH 馃槈).

Espero que puedas sugerir otros para a帽adir a la lista, especialmente algunos que no s贸lo cubran la parte de intenci贸n sino tambi茅n la de reconocimiento de entidades ya que esta es siempre una parte desafiante pero cr铆tica si quieres construir un chatbot que ofrezca una buena experiencia de usuario (en lugar de uno que necesite preguntarte continuamente por cada dato que le falte).

Por Jordi Cabot

Soy Profesor de Investigaci贸n ICREA en la Universitat Oberta de Catalunya (UOC) y co-fundador de Xatkit una plataforma open source para la creaci贸n de chatbots especializada en chatbots para eCommerce.

Deja una respuesta

Tu direcci贸n de correo electr贸nico no ser谩 publicada. Los campos obligatorios est谩n marcados con *