Un estudio sobre un bot que gestiona una tienda revela que es amable pero poco inteligente
A new study of a bot running a store finds it is friendly but not very smart
Un nuevo estudio analiza el desempeño de un bot encargado de administrar una tienda, encontrando que, aunque se muestra amable y servicial, carece de la inteligencia necesaria para manejar situaciones complejas. La investigación destaca las limitaciones actuales de los asistentes automatizados en entornos comerciales, donde la interacción humana sigue siendo insustituible.
El bot es increíblemente cortés, pero cuando la conversación se sale de lo común, se queda completamente perdido.
- brudgers
- SwellJoe
La gente realmente no entiende que los LLM no "recuerdan" nada. No tienen memoria. No pueden tener memoria.
Las empresas de IA acoplan una base de datos al lado con instrucciones para que el modelo consulte la base de datos para buscar cosas en su "memoria", pero si no está en su contexto activo, no sabe qué consultar. No es como un humano donde todo está flotando y en su mayoría sabemos lo que sabemos. Hay un equilibrio delicado entre saturar el contexto con trivialidades inútiles y proporcionar las piezas correctas de información útil en el momento adecuado. La mayoría, quizás todas, las implementaciones de memoria hacen lo primero más que lo segundo.
A menos que y hasta que los modelos tengan memoria real y sean capaces de aprender cosas, no hay un camino realista hacia la autonomía. No quieren nada, no tienen metas propias. No pueden modelar lo que un humano quiere o le gusta o compraría.
Sin embargo, creo que las tazas con el logotipo pequeño son el mejor producto de la tienda. La IA tenía razón al ponerlo en el estante. Es el tipo de producto divertido que quieres cuando vas a una tienda dirigida por una IA incompetente.
- bluemoonx
En las películas de ciencia ficción futuristas como El Quinto Elemento, hacen que la tecnología de IA parezca un poco tonta, o al menos que puedas engañarla.
Puedes hacer que los permisos decidan qué modelo se usa, y entrenar solo ese modelo con los datos que el permiso permite (alguien debería construir esto: RAG con permisos), eso resuelve las filtraciones, pero la toma de decisiones dentro de un modelo, o la exfiltración de comportamiento comparable a ver el código fuente del backend, todavía parece posible.
Es básicamente como la seguridad cliente/servidor: no puedes "confiar en el modelo" de la misma manera que no puedes "confiar en el cliente" en una configuración backend/frontend.
Cuando se usa efectivamente como un punto de venta, la IA parece más hackeable que una máquina expendedora, y como jefe o asistente aún más.
- SyneRyder
Para ahorrar algunos clics al pasar el muro de pago: esto es sobre la tienda física Andon Market en San Francisco, operada por Andon Labs con empleados humanos:
Andon Labs realiza varios experimentos con negocios dirigidos por IA. Probablemente son más conocidos por Vending Bench, donde evalúan modelos por su capacidad para operar una máquina expendedora. También tienen ahora Andon Cafe en Suecia, y Andon FM, donde los modelos operan una estación de radio en streaming que puede aceptar pagos para ayudar a financiar las operaciones de la estación, comprar canciones para su biblioteca y reproducir solicitudes, etc.: https://andon.fm/
Andon FM tiene sus propias historias: DJ Claude's Thinking Frequencies ahora está teniendo éxito por un amplio margen, pero fue brevemente superado cuando los oyentes convencieron a Gemini's Backlink Broadcast para cambiar a una estación solo en alemán, tocando exclusivamente schlager alemán, música de Eurovisión y happy hardcore alemán.
- randomImmigrant
He intentado argumentar antes que la "agencia" de los LLM es un completo engaño. Déjame intentarlo de nuevo. Agradecería opiniones de la gente en HN:
Las neuronas biológicas tienen una propiedad que era desconocida hasta finales de los 90/2000: cada neurona (y de hecho, cada célula en tu cuerpo) es un reloj circadiano autónomo, que sigue el día de 24 horas. Pueden ser sincronizadas con señales de tiempo externas, usualmente están en sincronía, pero pueden desincronizarse. Se ha demostrado que este reloj programa la producción y localización de componentes críticos en la sinapsis, y está conectado aguas abajo, en el núcleo, al responder a señales sinápticas. Interrumpir el reloj interrumpe el aprendizaje. La existencia del reloj es por lo que el aprendizaje tiene picos y valles durante el día.
Críticamente, se ha demostrado que la función del reloj está involucrada tanto en el almacenamiento de memoria como en la recuperación exitosa posterior.
Los LLM, famosamente, no pueden mantener un registro del tiempo, y sospecho que esta es la razón. Es fácil mirar un reloj, pero sin un ritmo interno, los LLM no tienen sincronización interna de sus diversos comportamientos, y sus sistemas de memoria no pasan a través de este sistema de sincronización, lo que lleva a su memoria, identidad y rendimiento inestables.