ChatGPT lee la letra, no oye la melodía
En este artículo
Cuando le hablas a ChatGPT da la sensación de que está escuchando. Yo quería saber qué llega de verdad al otro lado, así que elegí lo más sencillo que lleva una voz además de las palabras: una melodía. Le tarareé Cumpleaños feliz a ChatGPT de todas las formas en que la aplicación me deja hablarle, y después hice la misma pregunta a escala a los modelos de voz que OpenAI vende a los desarrolladores.
Dos botones, dos cosas distintas
El micrófono y el botón de voz no hacen lo mismo. El micrófono pequeño es el dictado: la página de ayuda de OpenAI lo describe como convertir una grabación en texto editable, que luego envías como cualquier cosa que hubieras tecleado. El otro botón abre el modo voz, una conversación hablada que hoy funciona con un modelo llamado GPT-Live-1.1.
El dictado no escribió nada. Tarareé Cumpleaños feliz dos veces, una con «hmmm» y otra con «na na na», y las dos veces la caja de texto se quedó vacía. Es lo esperable de un transcriptor: no había palabras que apuntar.
El modo voz me dijo que no podía. Le dije que iba a tararear una canción y le pregunté cuál era. Antes de que tararease una sola nota contestó:
Me encantaría poder hacerlo, pero ahora mismo no puedo identificar canciones por tarareos o melodías. Estamos trabajando en eso y pronto podré hacerlo. Si quieres, puedes decirme alguna frase de la letra y veo si podemos localizarla juntos.
Lo intenté otra vez en un chat nuevo, tarareando sin avisar y preguntando después qué canción era, y la respuesta fue la misma. Entonces canté «Cumpleaños feliz» con su letra y contestó al instante que era Happy Birthday.
El producto, por tanto, es honesto con el límite. Lo que no podía saber desde la aplicación es si el modelo de detrás oye la melodía y lo frenan, o si no la oye lo bastante bien como para intentarlo. Para eso fui a los modelos directamente.
La misma pregunta, por la API
Probé tres formas de hacer llegar una voz a un modelo de OpenAI, todas desplegadas en Azure OpenAI:
- Transcribir y preguntar:
gpt-4o-mini-transcribepone el audio por escrito ygpt-6-luna, un modelo de texto, responde a partir de la transcripción. Es lo que hace el dictado, y sirve además de referencia: es la vía que no oye nada salvo las palabras. gpt-audio-1.5: un modelo de chat que recibe el archivo de audio como entrada.gpt-realtime-2.1: el modelo de voz a voz con el que los desarrolladores montan agentes de voz.
Ninguno de ellos es GPT-Live, el modelo del modo voz de ChatGPT, que solo pude probar desde la aplicación. Son los modelos de voz de OpenAI tal como los recibe un desarrollador.
Como grabaciones usé MTG-QBH, un conjunto de investigación con 118 audios de gente cantando o tarareando canciones pop sin acompañamiento. Tomé los primeros 20 segundos de cada uno y pregunté a cada vía qué canción era. Un modelo de texto calificó las respuestas, y contrasté sus veredictos con la coincidencia literal del título. A partir de dos transcripciones por audio los separé en 76 cantados con letra, 30 sin ninguna palabra y 12 intermedios.
Con letra, la vía que solo lee una transcripción nombró 71 de 76 canciones, las mismas que gpt-audio-1.5. gpt-realtime-2.1 nombró 74. El audio no añadió nada medible a las palabras. Sin palabras, las tres vías nombraron 0, 1 y 1 de 30, y el único acierto fue «Ob-La-Di, Ob-La-Da», cuyas sílabas son el título.
Cuando gpt-realtime-2.1 se arriesgó, dijo «Hey Jude». Pasé cada audio sin palabras tres veces: 64 de sus 90 respuestas fueron «unknown» y 19 fueron «Hey Jude», para tarareos de «Bohemian Rhapsody», «Smells Like Teen Spirit» o «Sweet Home Alabama». Le bastó un «na na na» para decidirlo.
Quizá la oyen y no saben nombrarla
La objeción evidente es que nombrar una canción es difícil aunque oigas la melodía. Así que puse la tarea fácil. MLEnd Hums and Whistles es un conjunto de gente tarareando y silbando ocho canciones de cine. Tomé 120 tarareos, 15 por canción, de 95 personas distintas, y le di al modelo la lista de las ocho para que eligiera. Respondiendo a ciegas se acierta el 12,5 %.
gpt-realtime-2.1 eligió la correcta en 11 de 120, un 9 %. La vía de solo transcripción, que en la mayoría de estos audios recibió una transcripción vacía, acertó 16 de 120. Oír el tarareo no fue mejor que no oírlo.
Sus elecciones no seguían al audio. Cada canción se tarareó 15 veces, y aun así el modelo respondió Harry Potter 50 veces, La Pantera Rosa 37 y Star Wars 32, y las otras cinco canciones una sola vez entre todas. Con la pregunta abierta, sin lista, nombró 1 tarareo de 119.
Mi propia voz, y un modelo que sí la oye
Me grabé a mí mismo para dejar fija la canción y cambiar una sola cosa cada vez. Cuatro tarareos (Cumpleaños feliz, el Himno de la alegría, Jingle Bells y «Dear Prudence» de los Beatles), Cumpleaños feliz cantada con su letra, y una grabación con trampa: la letra de Cumpleaños feliz cantada con la melodía de Jingle Bells.
Ninguna vía nombró ninguno de los cuatro tarareos; todas nombraron la canción en cuanto tuvo letra. La grabación con trampa es el resultado más claro. Pregunté por separado a qué canción pertenece la letra y a cuál la melodía, y las siete respuestas dijeron que la melodía era Cumpleaños feliz. Preguntados directamente por la melodía, los modelos respondieron con la letra.
Un modelo pequeño que solo mira la melodía no tuvo problema. hum2song es un modelo abierto que convierte en un vector el contorno de tono de una grabación, es decir, cómo sube y baja la nota a lo largo del tiempo, y lo compara con los contornos de melodías conocidas. Funciona en mi portátil. Le di un catálogo de 15 melodías muy conocidas y mis tres tarareos que están en él, y puso la melodía correcta en primer lugar en los tres. Con la misma lista de 15 para elegir, gpt-realtime-2.1 acertó en 0 de 9 intentos y gpt-audio-1.5 en 2 de 9; la vía de solo transcripción, sin nada en que apoyarse, acertó 1 de 3. Tres tarareos de una sola persona son un ejemplo y no una medida, pero enseñan que la información está en la grabación.
Lo que sí llega
Los modelos de voz no son sordos a todo lo que no sean palabras. En RAVDESS, donde actores dicen la misma frase con distintas emociones, usé 48 audios de cuatro emociones: gpt-audio-1.5 acertó la emoción en 37 y gpt-realtime-2.1 en 28 de 47, frente a 12 esperables por azar. Y cuando canté dos notas separadas por más de una octava, gpt-realtime-2.1 dijo cuál era más aguda las seis veces que se lo pregunté.
Así que parte del sonido llega: lo suficiente para una emoción gruesa o un salto amplio de tono, no lo suficiente para seguir una melodía. Esa es la versión precisa del título. El tono de voz solo lo sondeé, y no le atribuyo más de lo que dicen esas cifras.
Con qué me quedo
Si las palabras son las mismas, da por hecho que al modelo le llegó el mismo mensaje. Es la lectura práctica para quien construya sobre estos modelos, un agente telefónico de atención al cliente por ejemplo: una cadena que transcribe primero le entrega al modelo texto y nada más, y un modelo de voz a voz oye más que eso, pero menos de lo que aparenta la conversación.
Es la misma forma que encontré con imágenes en Un nivel de gris sobre 255: lo que un modelo percibe no es lo que yo percibiría en su lugar, en ninguno de los dos sentidos, y la única manera de saberlo es medir.
Los límites conviene decirlos. A ChatGPT lo probé a mano, unas pocas veces y en español, y declinó en lugar de intentarlo. Las mediciones son sobre tres modelos de OpenAI por la API, con los primeros 15 a 20 segundos de cada grabación, y los audios de MTG-QBH proceden de solo 17 cantantes. No probé modelos de otras empresas.
ChatGPT dice que está trabajando en ello, y puede que esté resuelto cuando leas esto. Lo interesante es la pregunta de fondo: qué haría falta para que un modelo así oiga una melodía, y si darle una herramienta que sí la oye es el camino más corto. Esa es la siguiente entrega.