¿Qué deporte es? Reconocer un deporte solo por cómo se mueven los jugadores

Cuando vemos deporte, hay algo que hacemos sin pensar: reconocemos lo que estamos viendo antes de saber explicar por qué. Me di cuenta viendo un vídeo en el que apenas se distinguía el campo. Aun así, supe enseguida que era rugby y no fútbol. Lo que lo delataba no era el escenario, sino cómo se movían los jugadores.

Me quedé con la pregunta de si eso se puede aislar. Si quito todo lo demás (el campo, el balón, los colores, las camisetas) y dejo a los jugadores convertidos en puntos, ¿sigue ahí el deporte? ¿Y lo ve un modelo?

Para probarlo preparé imágenes como esta, que es exactamente lo que recibieron los modelos:

Ocho instantes de una jugada, separados unos 0,5 segundos. Diez puntos grises, uno por jugador, vistos desde arriba. Nada más: ni campo, ni balón, ni colores, ni escala. ¿Qué deporte es? Al final lo digo, y también qué contestaron los modelos.

La pregunta es hermana de la de ¿Dónde está el balón?, donde escondía el balón y pedía encontrarlo mirando a los jugadores. Aquí escondo todo salvo los jugadores y pregunto por el juego entero: ¿basta el movimiento para reconocer un deporte?

Puntos que se mueven

La representación viene de un experimento clásico de percepción: los point-light displays de Johansson (1973), en los que una persona con unas pocas luces en las articulaciones, grabada a oscuras, se reconoce al instante como alguien que anda o que baila. Aquí cada punto es un jugador entero, y lo que hay que reconocer es el deporte.

Usé datos reales de tracking de cuatro deportes:

• Fútbol americano: NFL Big Data Bowl 2023.
• Baloncesto: NBA SportVU 2015-16, 31 partidos.
• Balonmano: EIGD-H (Bundesliga, sensores Kinexon) y TeamTrack.
• Fútbol: SkillCorner, Metrica y TeamTrack.

El rugby, que era la pregunta original, se queda fuera: no hay datos públicos de tracking de rugby con los que hacer esto bien.

Cada clip son 4 segundos, 10 jugadores escogidos al azar (el número de jugadores delataría el deporte), girados y reescalados al azar para que el tamaño del campo tampoco diga nada. A los modelos les di 400 clips, 100 por deporte, de 151 partidos distintos.

Lo interesante no es solo si aciertan, sino qué parte de la señal usan. Por eso cada clip se presenta en varias condiciones, siempre con los mismos clips:

Primero, comprobar que la señal existe

Antes de preguntar a nadie hacía falta saber si la pregunta tiene respuesta. Entrené dos especialistas pequeños, con validación cruzada por partido para que no pudieran reconocer el partido en vez del deporte: MiniRocket, que es básicamente miles de filtros aleatorios más una regresión, y un DeepSets sobre la trayectoria de cada jugador. Minutos de CPU en un portátil.

Sobre los mismos 400 clips que verían los modelos, MiniRocket acierta el 83 % y DeepSets el 80 %, con un azar del 25 %. Y el movimiento es lo que cuenta: si se desordenan los instantes, MiniRocket pierde 12 puntos, y con un solo instante DeepSets baja al 54 %. La información está en cómo se mueven los jugadores, y un modelo muy pequeño la encuentra.

Es el mismo patrón que en la Parte 2 de ¿Dónde está el balón?: la señal está, y la pregunta interesante es quién la ve.

Lo difícil fue quitar los atajos

Ese 83 % no salió a la primera, y casi todo el trabajo del experimento fue asegurarse de que no mentía. Un clasificador entrenado aprende cualquier cosa que separe las clases, y en datos de tracking hay muchas cosas que separan deportes sin ser el deporte:

• El número de jugadores. Baloncesto tiene 10, fútbol 22. Por eso todos los clips tienen exactamente 10, elegidos al azar.
• El tamaño del campo. Por eso todo se reescala. Y resultó que quedarse con los 10 jugadores más centrales también era un atajo: en fútbol y balonmano ese grupo compacto se parece a una pista de baloncesto. Con 10 al azar, los especialistas suben 7 puntos.
• El sistema de captura. Este fue el más instructivo.

TeamTrack graba con una cámara ojo de pez, y en un campo de fútbol grande sus posiciones tiemblan: unas siete veces más aceleración que el mismo fútbol medido por otros sistemas. Un clasificador que no ha visto TeamTrack lee ese temblor como el para-y-arranca del baloncesto y clasifica casi todo su fútbol como baloncesto. Suavizar todas las fuentes por igual lo arregla, y en el conjunto final llega al 95 % sobre la fuente que no ha visto.

Hubo más, todos del mismo tipo:

• Las jugadas de la NFL empezaban justo antes del snap, así que todos los clips eran «quietos y luego todos a la vez». Ahora cada clip empieza en un momento aleatorio de la jugada, al menos un segundo después del snap.
• TeamTrack marca los jugadores que no detecta con la coordenada (0, 0), que sin filtrar aparece como un punto quieto en una esquina.
• SportVU a veces registra al mismo jugador con dos identificadores, y el modelo veía 9 puntos en vez de 10.
• Las dos partes de un mismo partido de balonmano contaban como partidos distintos en la validación.

Ninguno de estos atajos es exótico. Son lo que pasa cuando se mezclan datos de seis fuentes con sistemas de captura distintos, y ninguno aparece si solo se mira el número final.

Los modelos frontera

Con los datos limpios, preparé una corrida con cinco modelos frontera: GPT-5.6 Sol, GPT-5.6 Terra, Claude Opus 5.5, Claude Sonnet 5 y Gemini 3.1 Pro. Añadí también Jev, un modelo de decisión tipada que solo lee texto y devuelve directamente una probabilidad por opción. Antes de ver una sola respuesta dejé escrito un pre-registro: las hipótesis, los cuatro contrastes principales por modelo, la corrección por comparaciones múltiples y la regla exacta para decir que un modelo «lee el movimiento». Con 20 contrastes y datos de este tipo, sin reglas fijadas de antemano es muy fácil encontrar algo.

Lo primero que salta es que los modelos tienen un deporte favorito al que recurren cuando dudan. GPT-5.6 Sol contesta fútbol americano en el 62 % de los clips, Gemini en el 66 %, Sonnet contesta fútbol en el 64 %. Eso infla el acierto en su deporte favorito y lo hunde en los demás, así que además de la exactitud bruta calculé una corregida por ese sesgo, estimado siempre con partidos distintos al del clip. Con la corrección, Sol, Terra, Opus y Gemini quedan por encima del azar. Sonnet 5 no.

¿Importa el orden?

La pregunta que decide si un modelo ve movimiento es la de la figura de las condiciones: ¿acierta menos cuando se desordenan los instantes?

Con la regla fijada de antemano, Claude Opus 5.5 es el único de los cinco que lee el orden temporal: desordenar los instantes le quita 10 puntos, con un intervalo de 5 a 16, casi lo mismo que a MiniRocket. Se repite en las réplicas y, de forma exploratoria, con clips de 8 segundos.

Hay matices que importan:

• El efecto de Opus se concentra en fútbol americano y baloncesto, y es nulo en balonmano y fútbol. En fútbol americano parte de la señal puede ser la aceleración del arranque de la jugada, que sigue presente aunque los clips empiecen después del snap. La prueba de 8 segundos no tiene fútbol americano y el efecto sigue ahí (+0,08), lo que apunta a que no es solo eso.
• En los otros cuatro no hay evidencia, que no es lo mismo que evidencia de que no lo lean. Por los intervalos, el orden les aporta como mucho de 3 a 6 puntos. Y hay indicios exploratorios: GPT-5.6 Sol pierde 8 puntos con clips de 8 segundos, y Sol y Gemini leen el orden en el fútbol americano, compensado en el total por otros deportes.
• Algo sacan de las formas. Sol, Terra y Gemini aciertan por encima del azar incluso con los instantes desordenados, y Sol incluso con un solo instante. Ven algo de la disposición de los jugadores, pero no hay evidencia de que les sirva cómo cambia.

Lo que no ayudó

Probé también tres cosas que parecían prometedoras, y ninguna movió los resultados de forma clara:

• Coordenadas en texto en lugar de imágenes. Ni empeora ni mejora de forma consistente. Gemini acierta algo más con texto, sin llegar a ser significativo. Jev, que solo puede leer texto, queda en el azar: contesta «fútbol» en el 90-100 % de los clips. Sus probabilidades parecen moverse algo con el orden (corregido su sesgo, 0,34 con los instantes en orden frente a 0,21-0,23 desordenados), pero casi nunca llegan a cambiar su respuesta, y no es una diferencia que pusiera a prueba.
• Decirle qué mirar. Un prompt que describe cómo se mueve cada deporte, sin números, sube el acierto entre 0 y 3 puntos. Nada que sobreviva a la corrección.
• Estelas y vídeo. Dibujar la estela de cada jugador no ayuda a nadie, y a Sol le quita 7 puntos. Con vídeo, Gemini acierta unos 7 puntos más que con la hoja, pero es exploratorio y no alcanza para afirmarlo.

Qué me llevo

La información para reconocer un deporte está en el movimiento de los jugadores, y un clasificador que cabe en un portátil la extrae el 83 % de las veces. Los modelos frontera, en esta tarea y con estas representaciones, se quedan entre el azar y el 47 %, y solo uno de los cinco demuestra que usa el orden de los instantes.

No saco de aquí que los otros «no vean el movimiento»: saco que no hay evidencia de que lo usen, y que si lo usan es poco. Tampoco que Opus lea el movimiento en general: lo hace sobre todo en dos deportes. Lo que sí me parece robusto es la distancia con los especialistas, y lo que costó llegar a un número en el que confiar. Cada atajo que quité habría contado una historia distinta.

Y la hoja del principio es baloncesto. Tres modelos contestaron fútbol americano (los diez puntos casi en línea recuerdan a una línea de scrimmage) y dos contestaron fútbol. Los tres especialistas, MiniRocket, DeepSets y el clasificador de estadísticas de movimiento, acertaron.

---

Código, pre-registro y resultados completos en github.com/JaviMaligno/sport-from-motion. El análisis sigue el pre-registro, y los resultados incluyen todo lo que no salió. Los datos no se redistribuyen; cada fuente tiene su licencia.