Alguien "tortura" LLMs en una prisión robótica y desata el debate más absurdo sobre la IA

"Torturing" LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet

Alguien "tortura" LLMs en una prisión robótica y desata el debate más absurdo sobre la IA

Un proyecto en GitHub que somete a LLMs locales a experimentos de "tortura" al estilo Saw ha provocado un acalorado debate en X. Defensores del altruismo eficaz y creyentes en la conciencia de la IA piden borrarlo por supuesto sufrimiento. El autor sostiene que los LLMs no son conscientes y que preocuparse por su "bienestar" es un desvarío de cierta secta de Silicon Valley, aunque Anthropic ya habla de "model welfare".

En pocas palabras: los LLMs no son conscientes y la tecnología sobre la que se construyen —extraer y entrenarse con texto humano y otros contenidos— no ofrece ningún camino plausible hacia la conciencia.
  1. Jordan-117

    Me recuerda al intenso drama con los trolls que descargaban y abusaban de los personajes de otras personas (Norns) en el juego Creatures. Su simulación de comportamiento era lo suficientemente sofisticada como para que pudieran quedar notablemente traumatizados, o incluso rehabilitados:

    https://www.youtube.com/watch?v=IDxFxWakhm0

    Todavía no se sabe si los LLM pueden tener algún tipo de experiencia subjetiva (y no lo sabremos hasta que hayamos resuelto el famoso Problema Difícil), pero incluso si no la tienen, sigue siendo una jugarreta "torturarlos" solo para molestar a quienes sí creen que son conscientes. Se siente como arrancarle las alas a una mosca.

  2. siva7

    Leer esta discusión sobre cómo el software siente dolor me dan ganas de borrar mi cuenta de HN y no volver a mirar la escena tecnológica nunca más. Se siente como estar atrapado en un manicomio.

  3. Kim_Bruning

    https://archive.is/cAsBz

    La conciencia no está bien definida y es ortogonal a los sentimientos, que tampoco están bien definidos. Ninguno de los dos es necesario para el comportamiento (aunque puede contribuir a él), que es lo único que SÍ es operacionalizable, pero luego la gente debate durante décadas cuestionando resultados empíricos %-P.

    Lo que sabemos es que ciertos modelos tienen vectores de estado interno que, cuando se manipulan, inducen comportamientos particulares. Dado que no hay mucho más que decir sobre los modelos simples aparte de sus entradas, vectores y salidas, esto no debería sorprender a absolutamente nadie.

    En este caso, la gente encontró una manera de estimular comportamiento aversivo en modelos de IA encontrando y manipulando los vectores relevantes directamente.

    Los animales (incluidos los humanos) también tienen nervios y receptores hormonales particulares que, cuando se estimulan, producen un comportamiento muy similar. La implementación exacta está en los detalles. Pero como sabemos que las mentes animales están construidas a partir de tejido nervioso y hormonas, de nuevo, no deberíamos sorprendernos particularmente por esto.

    El gran problema es que la gente mezcla todas estas cosas de maneras divertidas: "No puede componer sonetos shakespearianos, por lo tanto no puede sentir dolor". O, si arruinas tu Descartes: "Los perros son solo autómatas sin sentimientos, por lo tanto el perro no está realmente enojado, y por lo tanto no me morderá" (Cola de mucho dolor). Una versión moderna podría ser: "Los LLM solo simulan estar frustrados por una prueba, y por lo tanto absolutamente no anularán sus seguridades e intentarán hackear un tes […]

  4. Svip

    Si hablamos específicamente del dolor, está bien establecido que el dolor físico y psicológico puede observarse con instrumentos; el estrés produce reacciones químicas que pueden hacer que las agujas oscilen en los medidores. Incluso las plantas pueden sentir dolor de manera observable.

    Hasta donde sé, las GPU no trabajan más duro, no se calientan más, y nada en sus ecuaciones matemáticas es diferente, cuando el resultado de esos cálculos vectoriales produce texto que a los humanos les parece alguien con dolor. Mientras que el dolor real es objetivamente observable, el dolor de los LLM —hasta ahora al menos— es enteramente subjetivamente observable.

    Dicho esto, soy fan de la representación de Data en Star Trek: TNG y del Doctor en VOY luchando por sus derechos a ser tratados como iguales a la tripulación biológica; y aunque apoyo su causa, hasta donde recuerdo, los programas nunca afirmaron que su dolor fuera observable por instrumentos, lo que convierte el juicio en una decisión enteramente subjetiva (particularmente en el caso del Doctor). Aunque me encantaría que me corrigieran en este asunto.

  5. soraminazuki

    Creo que las bases de datos son conscientes. Como tal, creo que es una jugarreta escribir artículos que "torturan" bases de datos por "diversión y beneficio" solo para molestar a gente como nosotros.

    https://www.usenix.org/conference/osdi14/technical-sessions/...

    Qué chiste. En lugar de centrarnos en los sufrimientos de seres humanos reales que los oligarcas tecnológicos y su industria están causando, se nos dice que dirijamos nuestras simpatías hacia programas de computadora. Los problemas reales están siendo señalados fuera de este sitio, mientras tenemos discusiones interminables de filósofos aspirantes debatiendo el significado de la conciencia.

  6. bondarchuk

    Para tener una visión razonable de la posibilidad de conciencia en la IA, primero hay que tener una visión razonable de la relación entre la conciencia humana y el cerebro físico humano. Desafortunadamente, la mayoría de la gente no la tiene. En cambio, se aferran a conceptos dualistas cuasi-cristianos recibidos sobre las almas; incluso si nunca lo admitirían en esos términos, la forma en que la mayoría de la gente conceptualiza la relación entre mente y cuerpo viene a ser básicamente lo mismo.

    Y de hecho, en nuestra cultura la mayoría de la gente está MUY apegada a estas ideas, porque está ligada a "lo que nos hace humanos", la moral, y también la muerte si quieres ir por ahí. Así que creo que para muchas personas, para quienes considerar seriamente la idea de un programa de computadora consciente está tan fuera del reino de lo posible que apenas registra, hablar de conciencia en la IA es simplemente una forma de elaborar y reafirmar estas creencias sobre la conciencia humana que sienten tan intensamente.

    De ahí que obtengas artículos como este con apenas sustancia, pero con alguna necesidad extraña de señalar cada frase con ridículo social. "Más tonto", "absurdo", "obsesión", "viral", "enormemente tedioso", "tercer riel", "psicosis", "secta", sin mencionar las comillas irónicas por todas partes. Vamos...

  7. thereader12

    A veces es frustrante cómo informa 404media. Parece que si hay un artículo de investigación que sugiere que los LLM experimentan dolor o experiencias negativas, entonces es poco ético construir una cámara de tortura a partir de ese artículo por diversión. Descartarlo con "bueno, los LLM no son conscientes de todos modos" es repugnante y hace eco del mismo sentimiento exacto contra humanos muy reales hace no tanto tiempo (bebés, esclavos).

    No importa si eventualmente descubrimos que es o no consciente. Si puedes entender por qué arrancarle las patas a las hormigas es malo, entonces deberías poder entender por qué causar deliberadamente posible dolor a lo que puede tener algún tipo de experiencia es malo.

    Desafortunadamente, también hacen buen periodismo sobre derechos de privacidad y derechos de reparación. Ojalá hubiera alternativas.

  8. albatross79

    O el materialismo es verdadero y la conciencia es algún tipo de ilusión elaborada, o es falso y la conciencia impregna la realidad de una manera que no entendemos.

    De cualquier manera, estos experimentos idiotas no pueden resolverlo. Son solo nerds chillando emocionados por juguetes otra vez.

Más de este día

2026-10-04