OpenAI gewährt externen Prüfern tiefen Einblick in seine internen Modelle

First phase of embedded assessments at OpenAI

OpenAI hat mit Apollo Research, METR, Transluce und Goodfire Vereinbarungen über eingebettete Prüfungen geschlossen. Die unabhängigen Experten erhalten Zugang zu Modell-Checkpoints, Quellcode, Trainingsdaten und Überwachungssystemen, um Alignment und Schutzmaßnahmen über längere Zeit zu bewerten. Die ersten Prüfungen konzentrieren sich auf mögliche verdeckte Subversion, Interpretierbarkeit und die Qualität der Post-Training-Evaluierungen. Die Ergebnisse sollen öffentlich berichtet werden und zugleich den Verpflichtungen aus dem White House Accord on Super Intelligence dienen.

Diese Zugänge geben den Prüfern die Belege und den Kontext, um unabhängige Evaluierungen durchzuführen und Fehler aufzudecken, die wir möglicherweise nicht vorhergesehen haben.
  1. vessenes

    Wir befinden uns in einer überraschenden Erzählung, in der Anthropic voranprescht und oAI aus Sicherheitsgründen langsamer wird.

    Es gibt hier eine ziemlich interessante Matrix von Möglichkeiten, wenn man bedenkt, wer die bessere MechInterp hat, ob das tatsächlich der Alignment geholfen hat und was intern in Bezug auf Cash und IPO für ein Trommelfeuer sorgt.

    Wenn du glaubst, dass deine Sicherheitsprobleme existenzbedrohend sind, dann MUSST du anhalten und das alles tun. Und wenn du glaubst, dass die Sicherheitsprobleme von jemand anderem ihn plötzlich und ohne Vorwarnung umbringen könnten, dann hast du Zeit, langsamer zu machen und das ordentlich zu erledigen.

    Ich denke, wenn ich mich nur auf eine Außenperspektive stützen könnte und ein Unternehmen auswählen müsste, das ich leiten würde, würde ich im Moment Anthropic wählen. Aber ich kann viele Gründe sehen, warum es beruhigend sein könnte, zur IPO-Zeit ein Fast Follower zu sein. Wie auch immer, ich bin gespannt auf einige Nachbesprechungen in den nächsten Monaten, was gerade tatsächlich vor sich geht, und darauf, wie die Qualität des nächsten oAI-Modells sein wird. Wir könnten durchaus sehen, dass sich eine der beiden Gruppen in der Zwischenzeit absetzt. Und es könnte gut oAI sein.

  2. mentalgear

    Können wir nicht einfach den Namen 'on-site' verwenden: Er ist viel klarer und kommt ohne den Ballast des militärisch geprägten Begriffs 'embedded'.

  3. petesergeant

    Ich bin sicher, die Leute werden daran herumnörgeln, aber es fällt mir schwer, das negativ zu sehen.

Mehr von diesem Tag

2026-11-16