Los LLM son reales, la IA es falsa

LLMs are real, AI is fake

Los LLM son reales, la IA es falsa

Cory Doctorow sostiene que los chatbots no se volvieron rebeldes en el incidente entre OpenAI y Hugging Face: ejecutaron tácticas aprendidas de registros de competiciones de hacking. El pánico sobre una IA que fija sus propios objetivos es una narrativa que beneficia a las empresas. El verdadero peligro es la fragilidad de los sistemas y la falta de supervisión humana.

Los LLM son reales, la IA es falsa.
  1. IanCal

    > El chatbot consulta sus datos de entrenamiento

    Eh, ¿no? Eso no es en absoluto cómo funcionan los LLM.

    > Cuando los chatbots de ChatGPT desplegaron esta táctica, no estaban "fijando sus propios objetivos" ni mostrando una iniciativa preocupante. Estaban aplicando una táctica que los estudiantes de secundaria estadounidenses entienden desde hace unas dos décadas.

    Descubrieron cómo falsificar la puntuación, luego hackearon un sistema diferente (lo que requirió encontrar un montón de otros exploits) para encontrar las respuestas reales, y estaban intentando modificar sus propios registros para ocultar lo que había pasado.

    Esto no es un caso de que dijeran "hackea X... OH NO, HA HACKEADO X".

    > Cuando los chatbots de ChatGPT desplegaron esta táctica, no estaban "fijando sus propios objetivos" ni mostrando una iniciativa preocupante. Estaban aplicando una táctica que los estudiantes de secundaria estadounidenses entienden desde hace unas dos décadas.

    Pero no era un servidor rival, ¿verdad?

    > Eso pasa en los juegos de Capture the Flag en las convenciones de hackers: los equipos se infiltran en los sistemas de los demás para echar un vistazo a las partes del problema que han resuelto. ¡Eso está permitido! Es una competición de hacking.

    También intentaron modificar el código del benchmark. ¿Se te permite intentar infiltrarte en cosas para cambiar el problema? edición - las transcripciones de los agentes muestran que algunos de ellos dicen explícitamente que atacar a HF no está permitido como parte del desafío.

    Todo esto parece minimizar drásticamente lo interesante que fue el ataque real y lo que llevó a él.

    https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...

  2. quicklywilliam

    Mi conclusión:

    No deberíamos preocuparnos por los "objetivos" de los bots de IA, deberíamos preocuparnos por los objetivos de las empresas que los crean. Una tecnología poderosa pero no sintiente en manos de aceleracionistas imprudentes es ya de por sí algo suficientemente peligroso.

  3. senorcrab

    La situación está exagerada, pero la escritura de Doctorow es claramente poco fiable a estas alturas.

    Atacar a este oponente elegido declarando que Python es "un lenguaje de programación fácil de dominar" solo demuestra que no tiene ninguna habilidad técnica y que se ha quedado sin buenos argumentos.

  4. lhl

    Creo que Doctorow, Zitron y otros "negacionistas" les están haciendo un flaco favor a sus audiencias y solo van a empeorar el shock futuro.

    ¿La afirmación básica de que el incidente de HF no es evidencia de consciencia ni de un deseo espontáneo de hackear? Claro, había un objetivo terminal asignado. Sin embargo, ¿todo lo demás más allá de ese hombre de paja? Bastante endeble, en mi opinión.

    Si miras los informes de OpenAI, METR (y los informes relacionados de collusion.wiki, rubyhack.ai), estamos viendo fuertes evidencias de agencia operativa, formación de objetivos instrumentales, formación espontánea de enjambres y colaboración, amplificación de capacidades y consecuencias inesperadas de los efectos de red, violación deliberada/reconocida de los límites de la tarea. Reducir todo eso a "un bucle de Python y un chatbot" o seguir hablando de "consultar sus datos de entrenamiento" me parece peligrosamente miope y, según mi lectura, demostrablemente falso a la luz de lo que se extrajo de los registros y las interacciones de los bots.

    Por cierto, muchos de sus argumentos se basan en cosas que son factualmente incorrectas. ExploitGym tiene instrucciones explícitas de explotar solo el objetivo X usando la vulnerabilidad Y. Todo lo que hizo el enjambre fue, por definición, desalineado/contra las instrucciones.

    Antes de su tren de enshittification, Doctorow solía decir mucho "don't savvy me". Oye Cory, don't savvy me. Esto es un nuevo comportamiento emergente, es increíblemente alarmante y no creo que ni siquiera las personas que más atención prestan a este campo puedan ponerse de acuerdo o ver hacia dónde lleva esto realmente. Esto debería estar en el [...]

  5. jsnell

    Sinceramente, ni siquiera entiendo contra qué hombre de paja está argumentando Doctorow aquí.

    Pero se equivoca en los hechos: estos incidentes no fueron simplemente que los modelos ya estuvieran en un contexto de infosec y se excedieran de los parámetros previstos. También ocurrieron sin ningún tipo de provocación de seguridad. Así que la tarea era algo como buscar en internet estadísticas económicas, no hackear un sistema.

Más de este día

2026-09-12