Anthropic, LLM 추론을 암호학적으로 증명하는 FlashProve 공개
Progress on provable inference for large language models
Anthropic이 zkSNARK 기반 provable inference 시스템 FlashProve를 오픈소스로 공개했다. 400B 파라미터 Llama 4 Maverick에서 H100 GPU 한 장으로 초당 110토큰 속도로 증명을 생성하며, 1,024토큰 요청당 증명 크기는 약 19MB다. vLLM 대비 70~95배의 GPU 시간이 들지만, 기존 오픈소스 시스템보다는 훨씬 빠르다. 모델 가중치를 노출하지 않고 응답이 실제 그 모델에서 나왔음을 검증할 수 있어, AI 개발 속도 조절과 규제 준수, 변조 탐지에 활용될 전망이다.
악의적인 제공자는 자신의 하드웨어가 실제로 올바른 모델을 서빙하지 않는 한 이 요청을 충족할 수 없다.