Anthropic научила Claude доказывать, что ответ выдала именно заявленная модель
Progress on provable inference for large language models
Anthropic представила FlashProve — открытый прототип доказуемого инференса на основе zkSNARK. Для Llama 4 Maverick на 400 млрд параметров один H100 генерирует доказательства со скоростью около 110 токенов в секунду, а размер доказательства — примерно 19 МБ на запрос в 1 024 токена. Это в 70–95 раз больше GPU-времени, чем нужно vLLM на сам инференс, но на порядки быстрее прежних открытых систем. Вместе с кодом выложены формальные доказательства на Lean: они позволяют аудиторам проверять заявленные гарантии безопасности, не раскрывая веса модели.
Когда вы разговариваете с другом лично, у вас есть много способов убедиться, что это действительно он: вы его видите, слышите, можете пожать ему руку. Когда вы разговариваете с AI-моделью, у вас почти ничего этого нет.