Una investigación demostró que los modelos de IA tienen graves limitaciones cuando se enfrentan a problemas de creciente dificultad.
Un reciente estudio puso en el centro del debate de la comunidad científica las verdaderas capacidades de la inteligencia artificial avanzada. Según una investigación de Apple, los modelos conocidos como Large Reasoning Models (Grandes modelos de razonamiento o LRM), diseñados específicamente para tareas de razonamiento lógico, muestran graves limitaciones cuando se enfrentan a problemas de dificultad creciente.
El análisis, realizado poco antes del evento WWDC de la empresa de la manzanita, evaluó el desempeño de modelos populares como OpenAI o1 y o3, DeepSeek R1, Claude 3.7 Sonnet Thinking y Google Gemini Flash Thinking, y cuestionó la idea de que estos sistemas piensan como los humanos.
Los resultados fueron contundentes: mientras estos sistemas obtienen buenos resultados en matemáticas y programación básica, su rendimiento se desploma ante desafíos lógicos complejos, y ofrecen lo que los investigadores llaman “la ilusión del pensamiento”.
Para poner a prueba las habilidades de los modelos de IA, los investigadores usaron rompecabezas clásicos como la Torre de Hanoi, el salto de fichas de damas y el problema del cruce del río. Aunque las herramientas de inteligencia artificial resolvieron con éxito las versiones simples de estos desafíos, comenzaron a fallar de manera sistemática al aumentar la dificultad.
Por ejemplo, modelos como Claude 3.7 Sonnet y DeepSeek R1 colapsaron al añadir un quinto disco en la Torre de Hanoi, y ni siquiera el aumento de potencia de cálculo mejoró los resultados.
El estudio de Apple identificó tres variantes de complejidad donde los modelos se comportan de forma distinta. En tareas sencillas, los LLM convencionales superan a los LRM. En desafíos de dificultad media, los LRM muestran cierta ventaja al generar cadenas de pensamiento más extensas. Sin embargo, ante problemas complejos, todos los modelos experimentan un colapso total de precisión.
Curiosamente, a medida que la dificultad aumenta, los modelos tienden a reducir su esfuerzo de razonamiento, y usan menos tokens de pensamiento.
Este fenómeno, llamado overthinking, hace referencia a que los modelos de IA generan respuestas redundantes y continúan explorando alternativas incorrectas incluso después de haber encontrado la solución correcta a un problema sencillo.
Esto implica un uso ineficiente de recursos computacionales y una tendencia a pensar demasiado sin necesidad real, lo que en los modelos se traduce en un procesamiento excesivo y poco productivo.
El overthinking también fue observado en los resultados: en problemas simples, las IA generan respuestas redundantes incluso después de dar con la solución correcta. En tareas de complejidad media, exploran primero caminos erróneos antes de encontrar la respuesta adecuada. Pero cuando la dificultad supera cierto umbral, dejan de encontrar soluciones correctas y ponen en evidencia una incapacidad para autocorregirse frente a desafíos exigentes.
Aunque estos resultados pueden parecer desalentadores para quienes esperan una IA con razonamiento humano, el estudio aclara que los LRM no carecen por completo de habilidades lógicas.
El experto Gary Marcus señaló que incluso las personas tienen límites similares, como el hecho de que muchas personas fallan en la Torre de Hanoi con ocho discos. Sin embargo, la investigación subraya que los modelos actuales no pueden sustituir a algoritmos convencionales bien especificados para este tipo de tareas.
El estudio reconoce que los rompecabezas utilizados no reflejan la diversidad de desafíos reales y que el acceso a modelos cerrados limita el análisis de sus procesos internos. Además, la validación mediante simuladores estructurados puede no ser aplicable a contextos menos controlados.
A pesar de estos límites, la publicación de este informe reavivó el debate sobre el futuro de la IA. Mientras competidores como Google y Samsung apuestan por integrar la inteligencia artificial en el núcleo de sus dispositivos, Apple opta por la cautela y da a entender que todavía existen barreras significativas para lograr una IA que razone de manera general y fiable.
El estudio de Apple deja claro que, aunque los modelos de IA avanzaron notablemente, su capacidad de razonamiento ante problemas complejos sigue siendo un reto sin resolver.
Este informe, además, desafía la narrativa de una inteligencia artificial cercana al pensamiento humano y pone en evidencia la necesidad de seguir investigando para superar las limitaciones actuales.
