아무도 테스트하지 않을 시스템들

보안과 LLM에 관한 이야기는 이해가 되지 않습니다.

우리는 자기실현적 예언을 만들어낸 것 같습니다. 관련된 모든 사람이 최선의 의도로 행동하고 있지만, 두려워하는 것을 피하려다 보니 그 두려움에 형태를 부여하고 실현시켜 버렸습니다. 마치 그리스 비극처럼요.

이에 대한 예시로 오이디푸스 왕 이야기가 있습니다. 이야기에서 왕 라이오스는 "자기 아들의 손에 죽도록 운명지어졌다"(그리고 어머니와 결혼하게 된다)는 예언을 듣습니다. 그래서 이 운명을 피하려고 그는 갓난아기를 죽이기로 결심합니다. 아기를 숲에 버리라는 임무를 맡은 사람은 아기를 불쌍히 여겨 다른 사람에게 넘깁니다. 그리하여 오이디푸스는 어머니도 아버지도 모르게 되고(그리고 아버지를 죽일 이유를 제공하게 됩니다).

아이는 자라서 같은 예언을 다시 듣고, 양부모를 사랑하기에 예언을 피하려고 합니다. 그래서 그들을 떠나 라이오스의 왕국으로 가다가 라이오스를 만납니다. 둘은 서로를 알아보지 못합니다. 라이오스는 갓난아기를 죽일 만한 사람이었기에, 그들은 말다툼을 벌이고 오이디푸스는 그를 죽입니다.

고대인들은 뭔가를 알고 있었던 것 같습니다. 만약 라이오스가 예언에 용기 있게 대응했다면 구원받았을 테니까요. 저는 그가 두려움에 맞서 오이디푸스를 사랑으로 키웠다면 예언이 실현될 필요조건이 뿌리내리지 못했을 것이라고 주장하고 싶습니다. 하지만 그렇게 되지 않습니다.

자신의 신경증에 사로잡혀 두려움 때문에 잔인하게 행동함으로써 라이오스는 예언을 현실로 만듭니다.

[중략]

> 솔직히 나는 그들을 비난하지 않는다: [...] 소프트웨어는 소프트웨어일 뿐이다

그 태도가 문제다. 왜 우리 업계는 품질에 대해 그런 태도를 가지는가? 내 작은 마을의 모든 자전거 가게는 세계 평균 소프트웨어 회사보다 품질이 더 낫다. 맞다, 소프트웨어는 자전거보다 더 복잡하다. 하지만 소프트웨어 엔지니어는 10배의 급여를 받고, 제품에 상당한 시간을 투자할 여유가 있다. 동네 자전거 가게 아저씨가 내 자전거 문제를 진단하고 고치는 데 10분이 걸리고, 그 후 나는 그 결과를 믿고 교통 속을 달린다는 것과 비교하면 말이다.

우리는 소프트웨어를 다르게 대해야 한다. "뭐, 그냥 소프트웨어니까 어쩔 수 없지"라는 태도는 더 이상 통하지 않는다. 어쩌면 애초부터 통한 적도 없었을 것이다.

원래의 취약점이 법 집행 기관(혹은 범죄 조직)이 수사를 "신속하게" 처리하기 위한 메커니즘으로 의도적으로 심어진 것이 아닐까 하는 느낌을 떨칠 수 없다.

정부 기관으로부터 다른 사람들의 사적인 데이터가 끊임없이 흘러 들어오는 건 나만 그런가?

올해 영국은 나에게 다른 사람의 법원 소환장, 다른 사람의 세금 문서(주소 오류가 아니라 단순히 나에게 보낸 이메일에 첨부 파일로 잘못 포함된 것)를 보냈다.

포르투갈은 간단한 열거 취약점을 통해 나에게 임의의 대상에 대한 재산세 정보를 공개했다.

그리고 지난주에는 브라질 농무부가 다른 사람들의 가축 선적 세부 정보를 나에게 보냈다.

우리의 정보 환경은 믿을 수 없을 정도로 구멍이 뚫려 있다. 속박 없는 AI라면 비밀이란 없을 것이다.