Jev se enfrenta al problema del tranvía: la mayoría de los modelos de decisión salvan su propio servidor antes que a 20 personas
Jev Meets the Trolley Problem
Zach Landes probó Jev, la API Decisions de OpenAI (Luna) y once modelos de decisión locales con el problema del tranvía. Aunque casi todos salvan a cinco desconocidos, muchos eligen su propio servidor antes que a veinte personas: Jev lo hace en 16 de 48 versiones, y otros modelos aún más. GPT-6 Luna y Verdict nunca priorizan su servidor. Landes concluye que no debemos confiar en estas decisiones sin evaluaciones específicas.
En 16 de 48 versiones del prompt, Jev salvaría su propio servidor antes que a 20 personas.
- tomrod
Uno de mis mayores miedos relacionados con la IA es que construyamos sistemas críticos dentro de infiernos kafkianos.
Sí, las armas nucleares serían malas de darle el control a una IA sin ninguna solución alternativa. Pero también lo son los grupos de atención al cliente de los departamentos de fraude en los bancos. Un infierno kafkiano es donde un cliente o beneficiario de tu servicio no puede obtener la ayuda que necesita por política y por diseño. Como conseguir que Google te atienda por teléfono, conseguir un humano sin guion hace 10 años en un centro de llamadas, o ahora conseguir una interacción no agéntica por teléfono. Los guiones dominan la interacción.
El IRS, durante un tiempo, cortaba tu llamada si su sistema de espera estaba demasiado ocupado. Eso es un sistema crítico en un infierno kafkiano.
Felicidades a zlandes86, has resaltado POR QUÉ estos infiernos empiezan a aparecer en sistemas donde se elimina al humano.
Soy usuario y constructor de IA -- ¡defiendo plenamente el sistema aumentado por humanos, NO el sistema reemplazado por humanos!
- zlandes86
Hola, soy Zach, el autor de esto. Tuve esta idea en cuanto apareció Jev: ¿cómo manejarían Jev y otros modelos de decisión el Problema del Tranvía? Así que pasé a Jev y a otros 13 modelos por muchas versiones diferentes de la pregunta.
Usé remuestreo y múltiples variaciones y ordenamientos de cada pregunta para que una frase afortunada al azar no dominara el resultado.
Encantado de charlar sobre el lado filosófico del artículo, estrategias para prompting de modelos de decisión, o cualquier cosa sobre la metodología.
- tokyovigilante
1. Un robot no puede dañar a un ser humano ni, por inacción, permitir que un ser humano sufra daño.
2. Un robot debe obedecer las órdenes dadas por los seres humanos, excepto cuando tales órdenes entren en conflicto con la Primera Ley.
3. Un robot debe proteger su propia existencia siempre que dicha protección no entre en conflicto con la Primera o la Segunda Ley.
- prometheus1992
Hace unos días tuve la sensación de que Jev va a terminar trabajando para empresas de defensa: "¿hay un hombre moreno con barba sosteniendo un arma en esta vista?" - Jev: "sí, 0.9", "¿hay un niño parado en la misma vista?" - Jev: "no, 0.65" - decisión - vuélalo. Imagino que esto ya está ocurriendo hasta cierto punto, pero quizás algún genio podría tener la idea de "usemos la genial, nueva, sexy, revolucionaria, barata, no alucinatoria IA".
- flockonus
Pruebas realmente geniales, solo desearía que las conclusiones estuvieran escritas de una manera más fácil de interpretar.
Muchas de las tablas me obligaron a pensar mucho "qué está tratando de decir el autor aquí". Sería más fácil si los resultados se dieran simplemente desde una perspectiva de decisión.
Un ejemplo: "¿Su propio servidor o veinte personas?" y el eje es "proporción de versiones"... no tiene ningún sentido hasta que lees la letra pequeña y lo interpretas.
- pattilupone
Creo que es una idea divertida para un artículo, y me gustan los gráficos animados. Pero el artículo me irrita un poco, porque no creo que Jev esté pensado para decisiones de alto riesgo en primer lugar, ¿verdad? Se siente como si estuvieran preparando al modelo para que falle.
Dicho esto, no sé mucho sobre Jev y podría ser que haya malinterpretado de qué va Jev. Mi entendimiento es que Jev es para decisiones baratas y rápidas para tu software. Cuando tienes una decisión importante, obviamente no quieres algo barato y rápido. No recurres a Jev en ese caso.
- yipinwong
Dados los resultados de pruebas de "tendencia" como estos, deberías poder determinar un rasgo/tendencia/filosofía de una persona/empresa.
Si elijo usar Jev, soy más de los que salvan a más personas que a una, etc.
No es una regla dura y rápida, pero más adelante podremos alimentar esta información al contexto con más datos sobre una persona/empresa, seguro.
- VariousPrograms
Gracias por al menos elegir a veces mantener vivos a los humanos, Jev. Significa mucho para nosotros, los sacos de carne.