Hemos descubierto algo preocupante en los modelos de IA: si el problema es demasiado difícil, se rinden enseguida

Las máquinas no piensan, eso es una ilusión. No lo decimos nosotros, lo dicen un grupo de investigadores de Apple que acaban de publicar un revelador estudio titulado precisamente así ('La ilusión de pensar'). En él dichos expertos han analizado el rendimiento de varios modelos de IA con la capacidad de "razonar", y sus conclusiones son llamativas... y preocupantes. Puzzles para las IAs que "razonan". Lo normal al evaluar la capacidad de un modelo de IA es utilizar benchmarks con pruebas de programación o de matemáticas, por ejemplo. En lugar de eso, Apple creó varias pruebas basadas en puzzles lógicos que eran totalmente nuevos y que por tanto no podían formar parte del entrenamiento de estos modelos. En la evaluación participaron Claude Thinking, DeepSeek-R1 y o3-mini. En Xataka "Teléfono, resuélveme la vida": el agente IA de Anthropic quiere que la IA cambie nuestras vidas de verdad Modelos que se estrellan. En sus pruebas comprobaron como todos estos modelos de razonamiento se acababan estrellando de bruces contra un muro cuando se enfrentaban a problemas complejos. En esos casos, la precisión de dichos modelos cayó estrepitósamente hasta el 0%. No importaba además que concedieras más recursos a estos modelos a la hora de tratar de resolver esos problemas. Si eran de cierta dificultad, no podían con ellos. Se cansan de pensar. De hecho, sucedió algo curioso. A medida que los problemas se volvían más complicados, estos modelos comenzaron a pensar no más, sino menos. Usaron menos tokens para resolverlos y se ridieron antes a pesar de poder utilizar recursos ilimitados. Ni con ayuda. Los investigadores de Apple incluso intentaron darle a los modelos un algoritmo exacto que guiaba a los modelos a que pudieran encontrar la solución paso por paso. Y aquí, otra sorpresa mayúscula: ninguno de los modelos lograba resolver los problemas a pesar de tener esas soluciones guiadas. No podían seguir instrucciones de forma consistente. En estas gráficas se muestran las diferencias entre modelos que no razonan (DeepSeek-V3) con los que sí lo hacen (DeepSeek-R1) en problemas de complejidad baja (amarillo), media (azul) y alta (rojo). Solo hay ventajas para el "razonamiento" en los problemas de dificultad media. En los de alta los modelos sencillamente colapsan. Fuente: Apple. Tres tipos de problemas. En su evaluación dividieron los problemas a resolver en tres clases y comprobaron si los modelos de razonamiento realmente aportaban algo frente a los modelos tradicionales que no "razonan". Problemas de baja complejidad: los modelos de razonamiento efectivamente superaban a los que no tenían esa capacidad de razonamiento. Eso sí, a menudo piensan demasiado para resolver estos problemas sencillos. Problemas de complejidad media: había todavía alguna ventaja frente a modelos convencionales, pero no demasiada. Problemas de alta complejidad: todos los modelos se acabaron estrellando contra dichos problemas. De pensar, nada. Según estos investigadores, la razón de ese fracaso a la hora de razonar en problemas complejos es sencilla. Estos modelos no "razonan" en absoluto, y lo único que hacen es usar técnicas avanzadas de reconocimiento de patrones para resolver los problemas. Eso no funciona con problemas complejos, y ahí los cimientos de estos modelos se desmoronan completamente. Ante esos problemas, si a un modelo se le dan instrucciones claras y más recursos deberían mejorar y ser capaces de intentar resolverlos, pero este estudio demuestra lo contrario. Muy lejos de AGI. Lo que sugieren estos resultados es que la expectación que han generado estos modelos es inmerecida: los actuales modelos de razonamiento simplemente no logran pasar de cierta barrera añadiendo datos o computación. Algunos apuntaban a cómo los modelos de razonamiento podían ser un posible camino hacia la búsqueda de la AGI, pero las conclusiones de este estudio revelan que de hecho no estamos más cerca de lograr modelos que puedan considerarse inteligencia artificial general. No encuentran soluciones, las memorizan y copian. De hecho, el estudio corroboró algo que otros defendieron en el pasado: estos modelos simplemente tienen memorizado el conocimiento, y reproducen la solución que ya tenían memorizada cuando encuentran patrones correspondientes que llevan a esa solución. Así, estos modelos pudieron resolver el célebre problema de las torres de Hanoi de muchísimos movimientos porque una vez saben la solución pueden aplicarla de forma sistemática. Sin embargo en otros puzzles fracasaban a los pocos movimientos. Loros estocásticos. Muchos de los críticos de la IA siempre han defendido que los modelos de IA generativa, razonen o no, son básicamente loros que repiten lo que se les ha enseñado. En el caso de la IA detectan patrones y son capaces de encontrar/predecir la siguiente palabra/pixel al generar texto o imágenes. El resultado suele ser convincente, pero solo porque se han vuelto extremadamente buenos a la hora de detectar esos patrones y responder de forma adecuada y coherente. Pero no es conocimiento nuevo: es repetir el queya tienen. Que no piensan. Otros expertos críticos de esas expectativas llevan tiempo alertándonos de los peligros del antropomorfismo de las IAs. Lo explicaba Subbarao Kambhampti, de la Universidad de Arizona, que por ejemplo analizaba el proceso de "razonamiento" de estos modelos y su "cadena de pensamiento". Usamos verbos como "pensar", cuando no piensan. No entienden tampoco lo que hacen, y eso contamina todas las asunciones que hacemos sobre su capacidad (o falta de ella). En Xataka No sabemos qué miden los benchmarks de IA. Así que hemos hablado con el español que ha creado uno de los más difíciles No te fíes de lo que te dice la IA. El comportamiento de estos modelos confirma lo que se sabe desde que ChatGPT apareció en escena. Por muy convincentes que puedan parecer estos modelos —"razonen" o no—, la realidad es que pueden cometer errores graves y equivocarse, aunque otras ciertamente acierten. De hecho hay casos en los que estos modelos sí sorprenden por su capacidad de resolver problemas: en Scientific American un grupo de matemáticos se vieron superados por un modelo de IA que lograba resolver algunos de los problemas matemáticos más complejos que ellos no lograban solucionar, o que tardaban más en resolver. Imagen | Puzzle Guy En Xataka | Copilot, ChatGPT y GPT-4 han cambiado el mundo de la programación para siempre. Esto opinan los programadores - La noticia Hemos descubierto algo preocupante en los modelos de IA: si el problema es demasiado difícil, se rinden enseguida fue publicada originalmente en Xataka por Javier Pastor .

Comentarios

Noticias tecnológicas

Por qué tu iPhone va a pasar directamente de iOS 18 a iOS 26, y por qué tiene todo el sentido

watchOS 26 ha confirmado que el Apple Watch ha encontrado su techo: es un reloj inteligente muy limitado en lo deportivo

iOS 26, todas las novedades: Apple no ha lavado la cara del iPhone. Lo ha sometido a cirugía estética

El aeropuerto de Nápoles ha rechazado un Boeing 787 con 200 pasajeros a bordo por un solo motivo: dos metros de largo

Un lenguaje de diseño para dominarlos a todos: así es Liquid Glass, la nueva interfaz de iOS, macOS, iPadOS, tvOS y watchOS

En el nuevo macOS 26 Tahoe hay cambio de interfaz, sí. Pero la sorpresa es poder escribir un correo o lanzar un atajo desde Spotlight

Apple revoluciona el gaming con su nueva aplicación de juegos: todo lo anunciado en la conferencia

Cómo funcionan los drones Shahed con los que Rusia ataca a Ucrania: esquivan radares e inician incendios

Apple revoluciona su software con iOS 26 y el diseño &#039;Liquid Glass&#039;

WWDC 2025: sigue la keynote de Apple con novedades de iOS 26 y más en directo

El alquiler ha subido tanto en Galicia que sus playas tienen problemas para contratar algo fundamental: socorristas

WWDC 2025: Apple presenta el primer rediseño de sus sistemas operativos desde 2013

El motivo por el que los mosquitos pican a unas personas y a otras no

Apple WWDC 2025: sigue en directo la presentación de todas las novedades de la marca

Youtube relaja sus políticas de moderación de contenido para permitir más vídeos ofensivos

Este ventilador de ALDI es lo que necesitas este verano si no tienes aire acondicionado. Y si tienes, también

Esta nueva función que prepara Google hará hace que la batería de sus móviles dure más años

¿Cuánto gasta tener el cargador del teléfono móvil siempre enchufado a la corriente?

La última cena de un dinosaurio: los intestinos de un saurópodo que vivió hace 100 millones de años revelan cómo comían

Hemos descubierto algo preocupante en los modelos de IA: si el problema es demasiado difícil, se rinden enseguida

Un extraño pitido nocturno se ha estado escuchando durante semanas en Vigo. Acaban de encontrar al culpable

Switch 2 ha tardado exactamente un día en romper su primer gran récord: más de 3 millones de ventas en 24 horas, según NintyPrime

Hay todo un mercado de libros de colorear para adultos. Y tienen su propia ración de polémicas, demandas y plagios

Unos geólogos estudiaron la arena de una de las playas del Día D en Normandía. Descubrieron que el 4% aún es metralla

El enésimo bandazo meteorológico: AEMET prevé que pasaremos de rozar los 43º a avisos naranjas por tormentas

Manuel Viso, médico: "Lo que engorda no es la fruta de hueso ni la fruta en general en España, ese no es el problema"

Doctor Vañó, el sabio del pelo: "La alopecia está aumentando en España y no sabemos la causa"

Golpe a la alopecia: científicos españoles consiguen revertirla en ratones gracias a una terapia con células madre

Así son los auriculares inalámbricos Bass 35 Max, de Baseus

Los Princesa de Girona reconocen a dos jóvenes comprometidas con el acceso a la salud en Latinoamérica

Nuevos vídeos revelan más pérdidas críticas rusas en el letal ataque ucraniano

El mapa más grande del universo ya está disponible gracias al James Webb. Y puede explorarse como si fuera Google Maps

Si ya tienes la Nintendo Switch 2, estas son algunas de las mejores tarjetas microSD Express que puedes comprar

El precio del Xiaomi YU7 es todavía un misterio. Eso no ha impedido que la lista de espera para comprarlo sea ya de un año

Xàbia puso límite de aforo y control de acceso en sus dos calas más famosas. El problema es que nadie quiere encargarse de ello

Corea del Norte se ha quedado sin internet este fin de semana. La pregunta es quién usa internet en este país

El uso excesivo de pantallas lleva a los niños a necesitarlas aún más

Presentamos 20bits by ValPat, un nuevo espacio sobre ciencia y tecnología para toda la familia

Estudian el cerebro humano y descubren que la cafeína tiene un 'efecto extraño'

Tenemos un problema con el reciclaje de plástico. Unos científicos japoneses han creado uno que se autodestruye en el mar

China está dejando de prestar dinero y está empezando a cobrarlo. No son buenas noticias para España

A la masificación turística, Ibiza ha añadido otro problema: serpientes invasoras que devoran a sus lagartijas

Muere Bill Atkinson, el ingeniero visionario de Apple que hizo accesibles los ordenadores a millones de usuarios en el mundo

Aemet avisa España: llega una intensa dana en las próximas horas con "tormentas, granizo y reventones" en estas zonas

Víctor Semper, experto en perder grasa: "He perdido 7 kilos con este desayuno que nadie te recomienda sin pasar hambre"

Puedes eliminar tu rastro de Internet (y de la 'dark web'). Aquí te explicamos cómo.

Plaga de polillas en España: este invento por menos de 22 euros las elimina sin tóxicos

Tus conversaciones con ChatGPT ya no serían privadas: una orden judicial obliga a conservarlas

La trampa de la ley anti llamadas spam que puede hacer que sigas recibiéndolas

De la flor más diminuta a la fauna colosal: la ciencia descubre el patrón que rige la vida en la Tierra

Italia crea un perro-robot que soluciona uno de los mayores problemas de las playas españolas

Llevábamos años esperando la Xbox portátil. La teníamos junto enfrente de nuestras narices

Adiós a las llamadas de spam con número de móvil: qué nuevos prefijos tienen que usar y qué pasa con las llamadas extranjeras

El miedo a un ataque de Rusia ha activado un viejo plan en Alemania: cómo albergar a millones de personas en sus búnkeres

Las llamadas comerciales desde móviles ya están prohibidas en España: estas son las líneas que sí podrán llamarte

La NASA fotografía Marte y encuentra una imponente estructura asomando por encima de las nubes

Por el precio que tiene, pocas teles me interesan tanto como la de Xiaomi. Viene con Fire TV, panel QLED de 75 pulgadas y Alexa

Francia ha decidido que es el momento de ayudar a Ucrania. Lo sorprendente es cómo: con Renault haciendo drones de combate

Siete IAs han jugado 36 horas seguidas a Diplomacy. Lo que no esperábamos es que cada una desarrollara una personalidad humana

El aviso del nutricionista Pablo Ojeda sobre la 'operación bikini': "Dejar de comer en España engorda"

Apple revoluciona su software con iOS 26 y el diseño 'Liquid Glass'