El 29 de marzo, OpenAI publicó una entrada en su blog en la que compartía «las lecciones extraídas de una vista previa a pequeña escala de Voice Engine, un modelo para crear voces personalizadas«.
Más concretamente…
«un modelo llamado Voice Engine, que utiliza la entrada de texto y una única muestra de audio de 15 segundos para generar un audio de sonido natural que se asemeja mucho al speaker original».
Nos aseguran que…
«Estamos adoptando un enfoque cauteloso e informado para una liberación más amplia debido al potencial de mal uso de la voz sintética. Esperamos iniciar un diálogo sobre el despliegue responsable de las voces sintéticas y sobre cómo la sociedad puede adaptarse a estas nuevas capacidades.»
Y nos advierten de que tomarán la decisión unilateralmente…
«Basándonos en estas conversaciones y en los resultados de estas pruebas a pequeña escala, tomaremos una decisión más informada sobre si desplegar esta tecnología a escala y cómo hacerlo.»
En este artículo vamos a explorar por qué todos deberíamos estar preocupados.
Tabla de contenidos
El espejismo de la IA Generativa
En su comunicado, OpenAI nos cuenta todas las grandes aplicaciones de esta nueva funcionalidad:
- Ayuda a la lectura
- Traducir contenidos
- Llegar a comunidades globales
- Ayudar a las personas que no hablan
- Ayudar a los pacientes a recuperar la voz
Ten en cuenta que para todos estos casos de uso ya existen alternativas que no tienen los inconvenientes de recrear un clon de voz.
También nos enteramos de que otras organizaciones llevan tiempo probando con éxito esta capacidad. En el blog se da por sentado que debemos confiar implícitamente en el juicio de OpenAI, ya que no hay pruebas que detallen cómo se realizaron esas pruebas, qué problemas se descubrieron y qué medidas de mitigación se adoptaron como consecuencia.
La advertencia
Pero la información más importante está al final del artículo. En él, OpenAI nos advierte de lo que debemos dejar de hacer o empezar a hacer a causa de su «motor de voz»:
- Eliminar progresivamente la autenticación basada en la voz como medida de seguridad para acceder a cuentas bancarias y otra información sensible.
- Explorar políticas para proteger el uso de las voces de las personas en la IA.
- Educar al público para que comprenda las capacidades y limitaciones de las tecnologías de IA, incluida la posibilidad de contenidos de IA engañosos.
- Acelerar el desarrollo y la adopción de técnicas para rastrear el origen de los contenidos audiovisuales, de modo que siempre quede claro cuándo se está interactuando con una persona real o con una IA.
En resumen, OpenAI ha decidido desarrollar una tecnología y planea desplegarla, por lo que esperan que el resto del mundo se adapte a ella.
Tecno-paternalismo
Para los que hemos estado siguiendo a OpenAI, el post que anuncia el desarrollo y uso activo de Voice Engine no es un error, sino una característica.
Las grandes tecnológicas tienen la tradición de establecer sus propias reglas, negar la rendición de cuentas e incluso negarse a cooperar con los gobiernos. A menudo, su defensa ha sido que la sociedad o bien no entiende el «panorama general», o bien no merece una explicación, o bien está ahogando la innovación al promulgar las leyes.
Algunos ejemplos
- Microsoft – En 2001, el gobierno estadounidense acusó a Microsoft de monopolizar ilegalmente el mercado de navegadores web para Windows. Microsoft alegó que «sus intentos de «innovar» estaban siendo atacados por empresas rivales celosas de su éxito«.
- Apple – El escándalo Batterygate afectó a los usuarios de iPhones de las familias 6, 6S y 7. Los clientes se quejaron de que Apple había ralentizado a propósito sus teléfonos después de instalar actualizaciones de software para conseguir que compraran un dispositivo más nuevo. Apple replicó que se trataba de «una medida de seguridad para evitar que los teléfonos se apagaran cuando la batería estaba demasiado baja«.
- Meta (Facebook) – Tras destaparse el escándalo de Cambridge Analytica, que dejó al descubierto que los datos personales de unos 50 millones de estadounidenses habían sido recolectados y compartidos indebidamente con una consultora política, Mark Zuckerberg tardó 5 días en reaparecer. Curiosamente, optó por publicar un post en Facebook a modo de disculpa. Nótese que también rechazó tres veces la invitación a declarar ante miembros del Parlamento británico.
- Google – Entre el 50 y el 80 por ciento de las personas que buscan deepfakes porno llegan a los sitios web y herramientas para crear los vídeos o imágenes a través de la búsqueda. Por ejemplo, en julio de 2023, alrededor del 44% de las visitas a Mrdeepfakes.com se realizaron a través de Google. Aún así, la responsabilidad de «limpiar» Internet recae en las víctimas, ya que Google les exige que envíen manualmente solicitudes de eliminación de contenidos con las URL infractoras.
- Amazon – Se negaron durante años a reconocer que los algoritmos de reconocimiento facial utilizados para predecir la raza y el sexo tenían un sesgo en contra de las mujeres más morenas. En lugar de mejorar sus algoritmos, optaron por culpar a la metodología del auditor.
OpenAI está cortada por el mismo patrón. Al parecer, creen que si desarrollan las aplicaciones, tienen derecho a establecer los parámetros sobre cómo utilizarlas -o no- e incluso a cambiar de opinión según les convenga.
Tomemos su postura en tres cuestiones primordiales que nos muestran la brecha entre sus acciones y sus valores.
Código abierto
A pesar de su nombre -OpenAI- y de haber sido creada inicialmente como una organización sin ánimo de lucro, ha sido famosa por sus inconsistentes prácticas de código abierto. Aun así, cada lanzamiento ha parecido ser una oportunidad para darnos lecciones sobre por qué la sociedad está mucho mejor si dejamos que sean ellos quienes decidan cómo controlar sus aplicaciones.
Por ejemplo, Ilya Sutskever, científico jefe y cofundador de OpenAI, dijo sobre el lanzamiento de GPT-4 –que no es un modelo de IA abierto- hace un año.
«Estos modelos son muy potentes y cada vez lo son más. En algún momento será bastante fácil, si uno quisiera, causar mucho daño con esos modelos. Y a medida que las capacidades aumentan tiene sentido que no se quiera divulgarlas».
«Si crees, como nosotros, que en algún momento la IA – AGI – va a ser extremadamente, increíblemente potente, entonces simplemente no tiene sentido abrir el código fuente. Es una mala idea… Espero que dentro de unos años sea completamente obvio para todos que la IA de código abierto no es una opción».
Sin embargo, los reacios proveedores de contenidos para sus modelos -artistas, escritores, periodistas- no tienen los mismos derechos para decidir sobre el uso del material que crearon. Por ejemplo, recordemos cómo Sam Altman se encogió de hombros ante las denuncias de los periódicos de que OpenAI utilizaba su material protegido por derechos de autor para entrenar a ChatGPT.
Seguridad
El lanzamiento de Voice Engine sigue la misma línea que la decisión unilateral de poner Sora, su modelo de conversión de texto a vídeo, a disposición de los «equipos rojos» y de «una serie de artistas visuales, diseñadores y cineastas».
La entrada del blog también nos da una visión de alto nivel de las medidas de seguridad que se pondrán en marcha:
«Por ejemplo, una vez en un producto de OpenAI, nuestro clasificador de texto comprobará y rechazará las entradas de texto que infrinjan nuestras políticas de uso, como las que soliciten violencia extrema, contenido sexual, imágenes que inciten al odio, imágenes de famosos o la propiedad intelectual de terceros.
También hemos desarrollado potentes clasificadores de imágenes que se utilizan para revisar los fotogramas de cada vídeo generado para ayudar a garantizar que se adhiere a nuestras políticas de uso, antes de que se muestre al usuario».
Recordemos que OpenAI utilizó trabajadores kenianos por menos de 2 dólares la hora para conseguir que ChatGPT fuera menos tóxico. ¿Quién hará que Sora sea menos tóxico esta vez?
Además, ¿quién decidirá dónde está la línea entre la violencia «leve» -aparentemente permitida- y la violencia «extrema»?
Sostenibilidad
Por mucho que afirmen que su «principal deber fiduciario es para con la humanidad«, resulta sorprendente su indiferencia por el impacto medioambiental de sus modelos.
Sam Altman ha estado hablando activamente con inversores, incluido el gobierno de los Emiratos Árabes Unidos, para recaudar fondos para una iniciativa tecnológica que impulsaría la capacidad de fabricación de chips del mundo, ampliaría su capacidad para impulsar la IA y costaría varios billones de dólares.
Una portavoz de OpenAI dijo:
«OpenAI ha mantenido debates productivos sobre el aumento de la infraestructura global y las cadenas de suministro de chips, energía y centros de datos, que son cruciales para la IA y otras industrias que dependen de ellos.»
Pero nada es gratis en el universo. Un estudio realizado por la Dra. Sasha Luccioni, investigadora y responsable de clima en Hugging Face, demostró que el entrenamiento del LLM BLOOM, de 176.000 millones de parámetros, emite al menos 25 toneladas métricas de equivalentes de carbono.
En el artículo, los autores también estimaban que el entrenamiento de GPT-3 -un modelo de 175.000 millones de parámetros- emitía unas 500 toneladas métricas de carbono, lo que equivale aproximadamente a más de un millón de kilómetros recorridos por un coche de gasolina medio. ¿Por qué tanta diferencia? Porque, a diferencia de BLOOM, GPT-3 se entrenó utilizando fuentes de energía intensivas en carbono como el carbón y el gas natural.
Y la cosa no queda ahí. El Dr. Luccion realizó otros estudios sobre las emisiones asociadas a 10 tareas populares de IA Generativa:
- La generación de 1.000 imágenes fue responsable de aproximadamente la misma cantidad de dióxido de carbono que conducir el equivalente a 4,1 millas en un coche de gasolina medio.
- El modelo de generación de texto menos intensivo en carbono fue responsable de tanto CO2 como conducir 0,0006 millas en un vehículo similar.
- El uso de grandes modelos generativos para crear resultados consumió mucha más energía que el uso de modelos de IA más pequeños adaptados a tareas específicas. Por ejemplo, el uso de un modelo generativo para clasificar críticas de cine positivas y negativas consumió unas 30 veces más energía que el uso de un modelo ajustado creado específicamente para esa tarea.
Además, descubrieron que las emisiones cotidianas asociadas al uso de la IA superaban con creces las emisiones derivadas del entrenamiento de grandes modelos.
Y no se trata sólo de emisiones. Los centros de datos donde se entrenan y ejecutan esos modelos necesitan agua como refrigerante y, en algunos casos, como fuente de electricidad.
El profesor Shaolei Ren, de la Universidad de California en Riverside, descubrió que el entrenamiento del GPT-3 en los centros de datos de gama alta de Microsoft puede evaporar directamente 700.000 litros (unos 185.000 galones) de agua dulce. En cuanto al uso, Ren y sus colegas calcularon que GPT-3 requiere unos 500 ml de agua por cada 10-50 respuestas.
Cuatro preguntas para nuestros políticos
Es hora de que nuestros políticos afronten el reto de administrar la IA en beneficio de las personas y el planeta. Tengo cuatro preguntas para que se pongan en marcha:
- ¿Por qué se permite que OpenAI tome decisiones unilaterales sobre una tecnología que nos afecta a todos?
- ¿Cómo se puede pasar de una posición reactiva, en la que se permite a las grandes empresas tecnológicas como OpenAI dirigir la regulación de tecnologías que afectan a aspectos clave de la gobernanza -desde nuestros derechos individuales hasta la ciberseguridad nacional-, a convertirse en un actor proactivo clave en las decisiones que afectan al futuro de la sociedad?
- ¿Cómo hacer que las grandes tecnológicas rindan cuentas de los costes medioambientales planetarios?
- ¿Cómo se garantiza la alfabetización digital del público para que pueda desarrollar sus propias opiniones informadas sobre los beneficios y retos de la IA y otras tecnologías emergentes?
Pregunta para los lectores
¿Te parece bien que OpenAI decida sobre el uso de la IA Generativa en beneficio de la humanidad?