Hemos descubierto algo preocupante en los modelos de IA: si el problema es demasiado difícil, se rinden enseguida

Las máquinas no piensan, eso es una ilusión. No lo decimos nosotros, lo dicen un grupo de investigadores de Apple que acaban de publicar un revelador estudio titulado precisamente así ('La ilusión de pensar'). En él dichos expertos han analizado el rendimiento de varios modelos de IA con la capacidad de "razonar", y sus conclusiones son llamativas... y preocupantes. Puzzles para las IAs que "razonan". Lo normal al evaluar la capacidad de un modelo de IA es utilizar benchmarks con pruebas de programación o de matemáticas, por ejemplo. En lugar de eso, Apple creó varias pruebas basadas en puzzles lógicos que eran totalmente nuevos y que por tanto no podían formar parte del entrenamiento de estos modelos. En la evaluación participaron Claude Thinking, DeepSeek-R1 y o3-mini. En Xataka "Teléfono, resuélveme la vida": el agente IA de Anthropic quiere que la IA cambie nuestras vidas de verdad Modelos que se estrellan. En sus pruebas comprobaron como todos estos modelos de razonamiento se acababan estrellando de bruces contra un muro cuando se enfrentaban a problemas complejos. En esos casos, la precisión de dichos modelos cayó estrepitósamente hasta el 0%. No importaba además que concedieras más recursos a estos modelos a la hora de tratar de resolver esos problemas. Si eran de cierta dificultad, no podían con ellos. Se cansan de pensar. De hecho, sucedió algo curioso. A medida que los problemas se volvían más complicados, estos modelos comenzaron a pensar no más, sino menos. Usaron menos tokens para resolverlos y se ridieron antes a pesar de poder utilizar recursos ilimitados. Ni con ayuda. Los investigadores de Apple incluso intentaron darle a los modelos un algoritmo exacto que guiaba a los modelos a que pudieran encontrar la solución paso por paso. Y aquí, otra sorpresa mayúscula: ninguno de los modelos lograba resolver los problemas a pesar de tener esas soluciones guiadas. No podían seguir instrucciones de forma consistente. En estas gráficas se muestran las diferencias entre modelos que no razonan (DeepSeek-V3) con los que sí lo hacen (DeepSeek-R1) en problemas de complejidad baja (amarillo), media (azul) y alta (rojo). Solo hay ventajas para el "razonamiento" en los problemas de dificultad media. En los de alta los modelos sencillamente colapsan. Fuente: Apple. Tres tipos de problemas. En su evaluación dividieron los problemas a resolver en tres clases y comprobaron si los modelos de razonamiento realmente aportaban algo frente a los modelos tradicionales que no "razonan". Problemas de baja complejidad: los modelos de razonamiento efectivamente superaban a los que no tenían esa capacidad de razonamiento. Eso sí, a menudo piensan demasiado para resolver estos problemas sencillos. Problemas de complejidad media: había todavía alguna ventaja frente a modelos convencionales, pero no demasiada. Problemas de alta complejidad: todos los modelos se acabaron estrellando contra dichos problemas. De pensar, nada. Según estos investigadores, la razón de ese fracaso a la hora de razonar en problemas complejos es sencilla. Estos modelos no "razonan" en absoluto, y lo único que hacen es usar técnicas avanzadas de reconocimiento de patrones para resolver los problemas. Eso no funciona con problemas complejos, y ahí los cimientos de estos modelos se desmoronan completamente. Ante esos problemas, si a un modelo se le dan instrucciones claras y más recursos deberían mejorar y ser capaces de intentar resolverlos, pero este estudio demuestra lo contrario. Muy lejos de AGI. Lo que sugieren estos resultados es que la expectación que han generado estos modelos es inmerecida: los actuales modelos de razonamiento simplemente no logran pasar de cierta barrera añadiendo datos o computación. Algunos apuntaban a cómo los modelos de razonamiento podían ser un posible camino hacia la búsqueda de la AGI, pero las conclusiones de este estudio revelan que de hecho no estamos más cerca de lograr modelos que puedan considerarse inteligencia artificial general. No encuentran soluciones, las memorizan y copian. De hecho, el estudio corroboró algo que otros defendieron en el pasado: estos modelos simplemente tienen memorizado el conocimiento, y reproducen la solución que ya tenían memorizada cuando encuentran patrones correspondientes que llevan a esa solución. Así, estos modelos pudieron resolver el célebre problema de las torres de Hanoi de muchísimos movimientos porque una vez saben la solución pueden aplicarla de forma sistemática. Sin embargo en otros puzzles fracasaban a los pocos movimientos. Loros estocásticos. Muchos de los críticos de la IA siempre han defendido que los modelos de IA generativa, razonen o no, son básicamente loros que repiten lo que se les ha enseñado. En el caso de la IA detectan patrones y son capaces de encontrar/predecir la siguiente palabra/pixel al generar texto o imágenes. El resultado suele ser convincente, pero solo porque se han vuelto extremadamente buenos a la hora de detectar esos patrones y responder de forma adecuada y coherente. Pero no es conocimiento nuevo: es repetir el queya tienen. Que no piensan. Otros expertos críticos de esas expectativas llevan tiempo alertándonos de los peligros del antropomorfismo de las IAs. Lo explicaba Subbarao Kambhampti, de la Universidad de Arizona, que por ejemplo analizaba el proceso de "razonamiento" de estos modelos y su "cadena de pensamiento". Usamos verbos como "pensar", cuando no piensan. No entienden tampoco lo que hacen, y eso contamina todas las asunciones que hacemos sobre su capacidad (o falta de ella). En Xataka No sabemos qué miden los benchmarks de IA. Así que hemos hablado con el español que ha creado uno de los más difíciles No te fíes de lo que te dice la IA. El comportamiento de estos modelos confirma lo que se sabe desde que ChatGPT apareció en escena. Por muy convincentes que puedan parecer estos modelos —"razonen" o no—, la realidad es que pueden cometer errores graves y equivocarse, aunque otras ciertamente acierten. De hecho hay casos en los que estos modelos sí sorprenden por su capacidad de resolver problemas: en Scientific American un grupo de matemáticos se vieron superados por un modelo de IA que lograba resolver algunos de los problemas matemáticos más complejos que ellos no lograban solucionar, o que tardaban más en resolver. Imagen | Puzzle Guy En Xataka | Copilot, ChatGPT y GPT-4 han cambiado el mundo de la programación para siempre. Esto opinan los programadores - La noticia Hemos descubierto algo preocupante en los modelos de IA: si el problema es demasiado difícil, se rinden enseguida fue publicada originalmente en Xataka por Javier Pastor .

Comentarios

Noticias tecnológicas

EEUU creó información falsa para alimentar las teorías conspiratorias sobre alienígenas

el confidencial

Hungría está a punto de enviar un astronauta al espacio. Lo sorprendente no es eso: es que Europa no ha tenido nada que ver

hace alrededor de 1 hora

Cómo instalar la beta para desarrolladores de iOS 26, iPadOS 26 o WatchOS 26

xataka

Un lenguaje de diseño para dominarlos a todos: así es Liquid Glass, la nueva interfaz de iOS, macOS, iPadOS, tvOS y watchOS

hace alrededor de 2 horas

xataka

En el nuevo macOS 26 Tahoe hay cambio de interfaz, sí. Pero la sorpresa es poder escribir un correo o lanzar un atajo desde Spotlight

hace alrededor de 2 horas

Apple revoluciona el gaming con su nueva aplicación de juegos: todo lo anunciado en la conferencia

El Periodico de Catalunya

Switch 2 ha tardado exactamente un día en romper su primer gran récord: más de 3 millones de ventas en 24 horas, según NintyPrime

hace alrededor de 6 horas

Hay todo un mercado de libros de colorear para adultos. Y tienen su propia ración de polémicas, demandas y plagios

xataka

El precio del Xiaomi YU7 es todavía un misterio. Eso no ha impedido que la lista de espera para comprarlo sea ya de un año

hace alrededor de 7 horas

xataka

Xàbia puso límite de aforo y control de acceso en sus dos calas más famosas. El problema es que nadie quiere encargarse de ello

hace alrededor de 7 horas

Corea del Norte se ha quedado sin internet este fin de semana. La pregunta es quién usa internet en este país

xataka

Tenemos un problema con el reciclaje de plástico. Unos científicos japoneses han creado uno que se autodestruye en el mar

hace alrededor de 9 horas

xataka

China está dejando de prestar dinero y está empezando a cobrarlo. No son buenas noticias para España

hace alrededor de 9 horas

xataka

A la masificación turística, Ibiza ha añadido otro problema: serpientes invasoras que devoran a sus lagartijas

hace alrededor de 9 horas

El pais

Muere Bill Atkinson, el ingeniero visionario de Apple que hizo accesibles los ordenadores a millones de usuarios en el mundo

hace alrededor de 9 horas

Aemet avisa España: llega una intensa dana en las próximas horas con "tormentas, granizo y reventones" en estas zonas

Elespanol

Adiós a las llamadas de spam con número de móvil: qué nuevos prefijos tienen que usar y qué pasa con las llamadas extranjeras

hace alrededor de 10 horas

Comentarios

Noticias tecnológicas

EEUU creó información falsa para alimentar las teorías conspiratorias sobre alienígenas

Qué debes tener lejos de tu WiFi para que no afecte a la cobertura

Apple cambia el iPhone de arriba a abajo con el nuevo iOS y promete mucha IA

Liquid Glass, iOS 26, macOS Tahoe, watchOS 26, la nueva app Games y todas las novedades que dejó la WWDC 2025 de Apple

Hungría está a punto de enviar un astronauta al espacio. Lo sorprendente no es eso: es que Europa no ha tenido nada que ver

Cómo instalar la beta para desarrolladores de iOS 26, iPadOS 26 o WatchOS 26

Apostar por bicicletas, como en Copenhague, rebajaría CO2 y ahorraría millones en sanidad

Por qué tu iPhone va a pasar directamente de iOS 18 a iOS 26, y por qué tiene todo el sentido

watchOS 26 ha confirmado que el Apple Watch ha encontrado su techo: es un reloj inteligente muy limitado en lo deportivo

iOS 26, todas las novedades: Apple no ha lavado la cara del iPhone. Lo ha sometido a cirugía estética

El aeropuerto de Nápoles ha rechazado un Boeing 787 con 200 pasajeros a bordo por un solo motivo: dos metros de largo

Un lenguaje de diseño para dominarlos a todos: así es Liquid Glass, la nueva interfaz de iOS, macOS, iPadOS, tvOS y watchOS

En el nuevo macOS 26 Tahoe hay cambio de interfaz, sí. Pero la sorpresa es poder escribir un correo o lanzar un atajo desde Spotlight

Apple revoluciona el gaming con su nueva aplicación de juegos: todo lo anunciado en la conferencia

Cómo funcionan los drones Shahed con los que Rusia ataca a Ucrania: esquivan radares e inician incendios

Apple revoluciona su software con iOS 26 y el diseño &#039;Liquid Glass&#039;

WWDC 2025: sigue la keynote de Apple con novedades de iOS 26 y más en directo

El alquiler ha subido tanto en Galicia que sus playas tienen problemas para contratar algo fundamental: socorristas

WWDC 2025: Apple presenta el primer rediseño de sus sistemas operativos desde 2013

El motivo por el que los mosquitos pican a unas personas y a otras no

Apple WWDC 2025: sigue en directo la presentación de todas las novedades de la marca

Youtube relaja sus políticas de moderación de contenido para permitir más vídeos ofensivos

Este ventilador de ALDI es lo que necesitas este verano si no tienes aire acondicionado. Y si tienes, también

Esta nueva función que prepara Google hará hace que la batería de sus móviles dure más años

¿Cuánto gasta tener el cargador del teléfono móvil siempre enchufado a la corriente?

La última cena de un dinosaurio: los intestinos de un saurópodo que vivió hace 100 millones de años revelan cómo comían