AI가 쏟아낸 '형식 검증' 소프트웨어, 정말 믿을 수 있을까
Formal Verification Is Not Verifiable
AI 덕분에 형식 검증이 주류로 떠오르며 검증된 소프트웨어가 폭발적으로 늘었다. 하지만 저자는 '형식 검증된 소프트웨어'라는 표현 자체가 오해를 부른다고 지적한다. 증명은 검토가 필요 없지만, 정의와 모델, 증명기 등 신뢰해야 할 부분은 여전히 크고 검증하기 어렵다. 테스트는 사람이 검토할 수 있는 버그 리포트를 남기지만, 형식 검증은 그렇지 않다. 저자는 '무엇을 신뢰하고 무엇을 증명했는지'를 밝히는 미묘한 구분이 시급하다고 주장한다.
AI가 세계의 소프트웨어 양을 10배로 늘렸다면, '형식 검증된 소프트웨어'의 양은 아마 1000배로 늘렸을 것이다.
HN 토론
59- Mikhail_Edoshin
프로그램이 명세와 일치하는지 기계적으로 검증할 수 있다고 가정하면, 다음 논리적 단계는 명세만 유지하고 프로그램을 기계적으로 생성하는 것입니다.
작성된 코드는 그 자체로 인간이 단계를 검증하기에 충분한 논리적 추론처럼 보여야 합니다.
- mjb
> 프로그램의 일차 논리 전칭 양화 속성 중 속성 기반 테스트로 작성할 수 있는 모든 것에 대해, 우리는 수백만 시간의 테스트로 검증된 아키텍처 모델에 대해 바이너리 수준에서 증명을 생성할 수 있을 것이라고 생각합니다. 이를 다중 스레드 프로그램, 분산 시스템 등으로 확장하는 과제는 수천 명의 검증 엔지니어와 연구자들이 수년 더 수행해야 할 작업입니다.
분산 및 동시성 버전은 더 빨리 올 것으로 예상합니다. 사실 2030년 말까지 여기서 언급된 단일 스레드 소프트웨어의 기준이 비적대적 실패 모드 하의 다중 스레드 및 분산 시스템에서 충족될 것이라고 장담할 수 있습니다. 이는 업계 대부분(저는 기껏해야 업계 인접입니다)보다 훨씬 공격적이지만, 발전 속도를 고려하면 실제로는 상당히 보수적인 내기라고 생각합니다(정말 공격적인 내기는 '2027년 7월'이겠죠).
> 소프트웨어나 특정 계층이 더 '부바'할수록 그것이 왜 올바른지 말하기가 더 어렵습니다. 우리는 항상 어떤 올바른 속성에 대해 말할 수 있지만, 획일적인 정확성 개념에 대해 말하는 것은 제 의견으로는 불가능합니다.
이에 대체로 동의하지만, 소프트웨어의 사용성과 '룩 앤 필' 측면을 정량화(따라서 검증)하는 데 예상보다 더 많은 진전이 있을 것이라고 생각합니다. 위험은 이것이 '좁은' 방식으로 일어나 모든 '올바른' 소프트웨어가 동일한 룩 앤 필을 갖도록 강제하는 것입니다. 왜냐하면 […]
- cmrx64
메타이론을 기계화하고 시스템 모델링에 공격적으로 나서면 상상했던 것보다 훨씬 깊이 도달하는 정련 연쇄를 만들어낼 수 있으며, (검증된!) 물리학까지의 근사는 정말 미친 일을 할 수 있습니다(라니언처럼). 그리고 https://github.com/emberian/svenvs (hol-reflection과 candle을 결합) 같은 자기 편집 검증기/반영적 검증 정리 증명기도 마찬가지입니다. 공학 및 과학 프로세스의 형식적 표현은 거의 완전히 탐구되지 않았습니다.
게임 기반 증명에서 \forall Adv는 측정학적으로 검증된 제조 공정을 범위로 삼기 시작합니다