좋아하는 웹사이트가 있다면, 직접 백업하세요

제게는 시의적절한 이야기네요. 제가 아끼는 웹 포럼 하나가 오프라인이 되었는데, 동시에 웨이백 머신이 왠 일인지 그 대부분을 크롤링한 적이 없다는 걸 알게 됐거든요. Claude에게 여러 아카이브와 다른 출처에서 건질 수 있는 것들로 정적 사이트를 만들어 달라고 했지만, 요즘 AI가 할 수 있는 일이 기적적이라 해도 진정으로 사라진 데이터는 복원할 수 없더군요. 그래서 건진 것만으로도 없는 것보다는 낫지만 여전히 많은 게 빠져 있어요.

5년 안에 클라우드 LLM이 정보의 원천으로서 개방형 인터넷을 상당 부분 대체할지도 모릅니다. 중앙집중적 통제와 과거를 다시 쓸 수 있는 능력을 갖추게 되면서요.

제발, 제발 책을 사서 잘 보관하시고, 중요한 정보가 있는 웹사이트는 아카이빙하세요(관할 지역에서 합법적이라면요). 2000년대, 아니 그 이전의 훌륭한 사이트와 블로그가 아직 많이 남아 있지만 영원히 있지는 않을 겁니다. 아이러니하게도 코딩 에이전트 덕분에 아카이빙이 훨씬 쉬워졌어요. 미리 만들어진 도구를 쓰는 데서 늘 문제를 겪었는데, Claude나 Qwen을 쓰면 로컬에서 사이트를 다운로드하고 테스트하고 아카이빙하는 게 사소한 일이 됩니다.

저는 Angelfire에 올린 오래된 웹사이트를 업데이트를 그만둔 뒤 20년 동안이나 너무 무심하게 방치하면서 이걸 뼈저리게 배웠습니다.

그 사이트에는 예전에 사진을 손으로 스캔하던 시절, 인화 필름에서 직접 스캔한 사진이 많이 있었어요. 그때는 사진을 수동으로 스캔하는 데 꽤 시간이 걸렸거든요.

그 사이트는 늘 웃음거리였습니다. 아직 살아 있다는 걸 보여주려고 사람들에게 열어 보여주곤 했죠... 그러다 어느 순간 사라졌고, 사진 전체를 백업해 둔 걸 찾을 수 없었습니다. 아카이브 사이트에는 웹사이트의 '뼈대'만 있고 사진은 없더군요. 충분히 피할 수 있었던 일이라 더 아픕니다.

최근 며칠 동안 웹 아카이브에서 2000년대 초반의 제 옛 웹사이트와 이것저것을 찾아보려고 애썼습니다. 제 기억이 이렇게까지 나빠졌는지 몰랐는데, 잊고 있던 것들을 찾으니 활력이 생기더군요. 제가 기억하는 것 중 많은 부분이 안타깝게도 오래전에 사라져 없어졌습니다.

초기 인터넷이 더 나았다는 생각은 장밋빛 안경일지도 모른다고 생각했는데, 십 대 시절의 발자취를 되짚어 보는 시간을 보내고 나니 정말로 더 나았다는 확신이 더 커졌어요. 너드들이 만든 엉뚱한 작은 웹사이트가 얼마나 많았는지, 취약한 사람들을 노리지 않는 재미있는 게임과 웹사이트가 얼마나 많았는지, 그리고 모든 것이 여러 곳에 분산되어 있었지 대기업 손에 중앙집중화되지 않았죠. 저는 그 시절의 개념들을 재현하며 노는 데 LLM을 쓰고 있습니다. 제 포럼 소프트웨어를 직접 만드는 것 같은 일종의 반진보랄까요. 재미있습니다.