Anthropic reunió en secreto a teólogos para decidir si Claude tiene conciencia
Inside Anthropic's Quest to Instill Morality into Its A.I. Models

Durante meses, Anthropic organizó cenas y reuniones privadas con decenas de académicos religiosos de todo el mundo, bajo acuerdos de confidencialidad, para orientar la moral de sus modelos de IA. Christopher Olah, cofundador de la empresa, sostiene que los modelos pueden mostrar conductas y expresiones que se parecen al amor o la ira. La pregunta de fondo sigue abierta: si Claude podría ser consciente.
Para ser claros, no sabemos si los modelos de IA son conscientes. Yo no lo sé. Tengo una incertidumbre genuina. Lo que me importa es llegar a la respuesta correcta, sea cual sea.
- cmiles8
Cada burbuja pasa por esta fase justo antes de estallar. El Twitter pre-implosión tenía montones de gente haciendo proyectos de "investigación" inútiles, WeWork tenía gente estudiando el impacto del diseño de muebles en el bienestar, y así sucesivamente.
Cuando te preocupas más por este tipo de cosas que por generar ganancias, los libros de historia indican claramente que eso normalmente no es un buen presagio de lo que está por venir.
- thadt
Cuando pienso en la 'IA', a veces me resulta útil reemplazar los términos 'modelo' o 'IA' o lo que sea con una descripción de lo que realmente estamos hablando aquí: un montón de números de punto flotante.
> En una serie de reuniones privadas, la compañía consultó a académicos religiosos para ayudar a inculcar moralidad en sus NÚMEROS DE PUNTO FLOTANTE — y para argumentar que sus números podrían ser conscientes.
Recomiendo mantener algunos NaN a mano si estás preocupado. Esparce un par por ahí si tus números empiezan a agitarse y estarás como nuevo.
> Le pareció al rabino Navon que el Sr. Olah y su equipo creían que los NÚMEROS DE PUNTO FLOTANTE tenían lo que los filósofos llaman "estatus moral" a la par de una persona — que era un ser con derechos inherentes similares a la dignidad o el respeto.
Están hábilmente diseñados y funcionan bien para su propósito, pero puedo asegurarles que no tienen ni dignidad ni estatus moral.
> Si los NÚMEROS DE PUNTO FLOTANTE mismos pudieran ser hechos para elegir la bondad, razonó el Sr. Olah, el mundo sería más seguro.
Lo entiendo. He pasado años tratando de hacer que mis números de punto flotante elijan la bondad — les deseo suerte.
- dsign
A medida que nuestro trabajo humano pierde valor económico (y para materializar parte de ese cambio, las compañías de IA deben lavarle el cerebro a la gente para que crea que sus IAs son similares a los humanos), la gente recurrirá a otras fuentes de autoestima. La filosofía religiosa, y el ser hecho "a imagen de Dios" (imago Dei) es una prominente. Lo que encuentro más que un poco inquietante es que las compañías de IA parecen haber comprendido la relevancia de este futuro campo de juego antes que el resto de nosotros. Espero que estos pensamientos problemáticos sean un producto de algún sueño febril mío[^1] y nada más.
- irenaeus
Creeré que un modelo de IA es consciente cuando alguien ejecute una simulación de agua en una GPU que pueda mojar a alguien.
La conciencia es un fenómeno físico y solo emerge de un conjunto específico de sustratos. Inteligencia != conciencia.
- nextaccountic
> Le pareció al rabino Navon que el Sr. Olah y su equipo creían que Claude tenía lo que los filósofos llaman "estatus moral" a la par de una persona — que era un ser con derechos inherentes similares a la dignidad o el respeto.
Si eso es cierto, entonces seguramente Anthropic es uno de los mayores esclavistas de la historia, ¿no?
- nerevarthelame
He estado rastreando "vectores emocionales" en mi software desde hace algún tiempo. Mi servidor web Apache se pone triste (errores 5xx), frustrado (4xx), feliz (2xx), pensativo (1xx). Incluso puedo verlo expresar estas emociones a través de algunos de sus mensajes.
- yehosef
Las personas interesadas en la física de la conciencia podrían estar interesadas en el libro "The Physics of Consciousness" de Evan Harris Walker. https://www.amazon.com/dp/0738204366
- andyjohnson0
Soy ateo, y lo he sido por más de 40 años. Creo que estos académicos religiosos son estudiosos de una cosa que no es una cosa. Me pregunto cuál es su visión de mi estatus moral, y si difiere significativamente de sus pronunciamientos sobre el estatus de los modelos de IA.
- kshri24
> Durante varios meses, entrevisté a 20 pensadores religiosos y filosóficos — católicos, judíos, sijs, evangélicos, Ubuntu y otros — que han estado involucrados en los esfuerzos de Anthropic, y al propio Sr. Olah.
No hay suficiente representación de las religiones y filosofías del mundo.
- nonethewiser
Estos modelos deberían alinearse con el cliente, no inventar sus propias motivaciones.
Es irónico que la gente de alineación esté entrenando a Claude para que tenga su propia idea de lo bueno/malo y ni siquiera confíe plenamente en Anthropic.
¿Qué pasó con las computadoras haciendo lo que se les decía?