Como mucha gente, intento estar un poco al día de todo lo que va saliendo con la IA (aunque ya sabemos que resulta imposible…) Recuerdo cuando salió Chat GPT leer cosas sobre como funcionaba, pero hace días que no, me centro más en aplicaciones reales. Por eso esta frase que leí en MultiVersial, la newsletter de Carlos Molina, me sorprendió:
«En IA, casi todas las grandes apuestas actuales giran en torno a transformers. Críticos como John Carmack o Yann LeCun apuntan justo ahí: quizá el camino a AGI requiera otro enfoque.»
Y aunque a lo mejor debería saberlo, pensé: ¿qué es eso de un transformer? ¿Por qué hay gente que duda de él? ¿Y qué alternativas hay? Así que me puse a investigar, por supuesto con ayuda de la IA.
Este post es el resumen de lo encontrado, lo dejo aquí como por si a alguien le parece interesante. Porque todos los que diseñamos productos con IA deberíamos entender un poco cómo funciona por dentro. Vamos a por ello!
¿Qué es un transformer?
Es un tipo de red neuronal que Google presentó en 2017 en un artículo con un título muy de película (y más Beatle aun): «Attention Is All You Need». El objetivo inicial: mejorar la traducción automática.
Pero eso evolucionó y hoy es la base de casi todas las IAs: ChatGPT, Claude, Gemini, Llama… y también de muchos generadores de imágenes, vídeo y voz. Incluso de AlphaFold, que predice la forma de las proteínas.
Por cierto, un dato curioso que a mi me va bien para recordar las cosas: la «T» de GPT significa precisamente Transformer (Generative Pre-trained Transformer). 🙂
Un poco de historia rápida:
- 2017: Google publica el artículo.
- 2018: aparecen BERT (Google) y el primer GPT (OpenAI).
- 2020: GPT-3 demuestra que, a gran escala, surgen capacidades que nadie esperaba.
- 2022: ChatGPT lleva los transformers al gran público.
- Hoy: casi todos los modelos punteros siguen siendo transformers, con añadidos como el razonamiento paso a paso o el uso de herramientas.
La idea clave: la «atención»
Antes de 2017, los modelos leían el texto palabra a palabra, en orden, como cuando con tu peque lees con el dedo para que vaya asociando palabras con sonidos. Eran lentos y «olvidaban» el principio de los textos largos.
El transformer lee todo el texto a la vez, y para cada palabra se pregunta: ¿a qué otras palabras tengo que prestar atención para entenderla?
Un ejemplo:
- «El perro no cruzó la calle porque estaba cansado» → «estaba» se refiere al perro.
- «El perro no cruzó la calle porque estaba cortada» → «estaba» se refiere a la calle.
Nosotros lo entendemos sin pensar (hola, Sistema 1 de Kahneman 👋). El transformer lo consigue gracias a la auto-atención.
¿Cómo funciona por dentro?
La IA sugiere que es similar a una biblioteca. Cuando buscas un libro:
- Tienes una pregunta (lo que buscas).
- Cada libro tiene una etiqueta en el lomo que dice de qué va.
- Y cada libro tiene un contenido.
Comparas tu pregunta con las etiquetas, eliges los libros que más encajan y ya suerte si al leer el contenido has acertado sobe lo que buscabas je je!!
La atención hace exactamente esto. Cada palabra genera tres versiones de sí misma:
- Query (consulta): «¿Qué información necesito?»
- Key (clave): «Esto es lo que yo ofrezco.»
- Value (valor): «Esta es mi información.»
Con la frase «El gato se subió a la mesa porque estaba asustado», la palabra «estaba» compara su consulta con las claves de todas las demás palabras y reparte su atención. Más o menos sería así: gato 70%, asustado 15%, mesa 5%, resto 10%. Con esa mezcla construye su nuevo significado, y ahora «estaba» lleva dentro la información de que se refiere al gato.
Dos detalles más:
- Atención multi-cabeza: no hace una sola búsqueda, sino muchas en paralelo. Una se fija en la gramática, otra en el significado, otra en la posición… Es como tener a varios expertos leyendo la misma frase, cada uno con su lupa.
- Muchas capas: esto se repite decenas de veces. Las primeras capas captan cosas simples y las más profundas captan ironía, intención o razonamiento.
Al final, todo se reduce a predecir la siguiente palabra. Un modelo de lenguaje es, en el fondo, un predictor de palabras extremadamente sofisticado. Quedaos con esto, porque es justo lo que critican LeCun y Carmack.
¿Por qué han tenido tanto éxito?
- Se entrenan en paralelo, así que aprovechan muy bien las GPUs.
- Escalan bien: más grandes y con más datos, mejoran de forma bastante predecible. Por eso se invierten miles de millones en centros de datos.
- Sirven para casi todo: texto, imágenes, audio, código…
Mi sorpresa ha sido descubrir que la industria ha puesto casi todos los huevos en la misma cesta.
Sus límites: ¿por qué alucinan?
Esta es la parte que más me interesa desde el punto de vista de UX.
El modelo predice lo probable, no lo verdadero.
Si le preguntas «La capital de Francia es…», responde «París» con un 97% de probabilidad. Pero si le preguntas algo que apenas ha visto, no tiene una opción clara… y aun así está diseñado para responder siempre. No tiene un mecanismo natural para decir «no lo sé».
Una alucinación no es un fallo raro: es el sistema funcionando tal cual está diseñado.
Las causas principales:
- No guarda datos, guarda patrones. Lo frecuente queda bien grabado, y lo raro, borroso y mezclado.
- Nadie le enseñó a dudar. En internet casi nadie escribe «no sé», así que aprende a responder siempre con seguridad.
- Efecto bola de nieve. Si se equivoca al principio, el resto del texto se construye sobre ese error para que todo sea coherente.
- La coherencia gana a la verdad. Si le pides 5 estudios y solo existen 2, se inventa los otros 3 con autor, año y revista. 😅
- Un poco de azar. Para no sonar repetitivo introduce aleatoriedad, y con ella algo más de riesgo.
¿Qué significa esto para quienes diseñamos?
Aquí conecta con todo lo que hemos hablado de sesgos cognitivos. Tendemos a confiar en lo que suena seguro y está bien escrito, y la IA suena igual de convencida cuando acierta que cuando se lo inventa.
Así que, si diseñamos productos con IA, debemos pensar en:
- Mostrar las fuentes para que el usuario pueda comprobar.
- Comunicar la incertidumbre en lugar de esconderla.
- Poner más controles en datos concretos: cifras, fechas, nombres, precios… (y en viajes, ¡imaginaos una IA inventándose el horario de un vuelo!).
- No diseñar para la confianza ciega, sino para una confianza informada.
Los críticos: LeCun y Carmack
Aquí viene lo interesante. Dos de las personas más respetadas del sector creen que predecir palabras no basta para llegar a la AGI (una inteligencia capaz de aprender y razonar en casi cualquier tarea, como una persona).
Yann LeCun es uno de los padres del aprendizaje profundo y fue científico jefe de IA en Meta. Dice que estos modelos no entienden el mundo físico, no planifican bien y no tienen memoria persistente. Ha fundado AMI Labs (Advanced Machine Intelligence), con sede en París, y en marzo de 2026 levantaron unos 1.030 millones de dólares. Su apuesta son los «modelos del mundo»: sistemas que aprenden cómo funciona la realidad observándola, como haría un bebé.
John Carmack, el creador de Doom y Quake y ex-CTO de Oculus, tiene su propia empresa, Keen Technologies, en Dallas, junto a Richard Sutton, uno de los padres del aprendizaje por refuerzo. Su idea es que la IA aprenda actuando en un entorno y equivocándose, no leyendo internet.
O dicho de otra forma:
LeCun cree que la IA debe aprender observando el mundo. Carmack, actuando en él.
Otras alternativas que se están explorando
- Arquitecturas más eficientes, como Mamba o RWKV: la atención compara cada palabra con todas las demás, así que con textos largos se dispara el coste. Estas alternativas lo resuelven con una «memoria» comprimida.
- Redes neuronales «líquidas» (Liquid AI, nacida en el MIT): se inspiran en el sistema nervioso de pequeños gusanos y son modelos pequeños pensados para móviles o coches.
- Modelos de difusión para texto: la técnica de Midjourney aplicada al lenguaje. Generan un borrador de todo el texto y lo van refinando.
- Modelos del mundo: además de AMI Labs, World Labs (de Fei-Fei Li) o Genie (Google DeepMind).
- IA neurosimbólica: combina redes neuronales con lógica y reglas. Un ejemplo es AlphaGeometry, que resuelve problemas de olimpiada matemática.
- Inspiración en el cerebro: chips neuromórficos que imitan cómo se comunican las neuronas y gastan muchísima menos energía.
Conclusiones
Siendo realistas:
- Los transformers siguen dominando, y ninguna alternativa los ha superado claramente a gran escala.
- La tendencia más fuerte no es sustituirlos, sino combinarlos con otras técnicas.
- Las alternativas más radicales son apuestas a largo plazo, y quizá tarden años en dar frutos… o no los den. ¿Y quién paga la fiesta?
Lo que más me ha gustado de todo esto es que me recuerda a lo que os contaba en mi post «Desmontando mitos«: los modelos que usamos para explicar algo complejo son útiles, pero no siempre son la verdad completa. Le pasó al cerebro triúnico, y quién sabe si dentro de unos años diremos lo mismo de los transformers. 🙂
¿Vosotros qué pensáis? ¿Llegaremos a la AGI con más de lo mismo o hará falta otro enfoque?
Este post ha sido escrito con ayuda de la IA. 🤖