Специалист по веб-архивам призывает: полюбил сайт — сохрани его
If you love a website, back it up
Автор, работающий в сфере веб-архивирования, рассказывает, как упустил любимый фан-сайт teapuppies.com: домен перешёл к рекламе онлайн-казино. На личном опыте он показывает, что сохранять сайты может каждый — с помощью расширения ArchiveWeb.page, отдельного приложения или краулера Browsertrix. Все инструменты работают со стандартными форматами WARC и WACZ, а готовый архив можно просматривать через ReplayWeb.page и делиться им с другими.
Я работаю в веб-архивировании, так что должен был знать, что сайт когда-нибудь исчезнет, и у меня были инструменты, чтобы что-то с этим сделать. Я мог бы заархивировать тот сайт, пока он ещё существовал, но не сделал этого.
- drpfenderson
Полностью согласен. Грустно наблюдать, как мои собственные закладки постепенно умирают: пытаешься открыть важные ресурсы или медиа всего лишь нескольких летней давности и натыкаешься на 404 или заглушку домена. И во многих случаях на Archive.org или подобных сервисах ничего нет.
Расширение ArchiveWeb выглядит отлично для кастомных сохранений. Выбор страниц и элементов, которые хочешь захватить, — отличная функция.
Для быстрых разовых сохранений SingleFile даёт один HTML-файл со всеми медиа страницы: https://www.getsinglefile.com
Если вы делаете архивирование более серьёзной частью своего рабочего процесса, очень рекомендую ArchiveBox. Он умеет сохранять практически любой тип файлов откуда угодно, почти в любом мыслимом формате, попутно строя индексируемый поиск по архивам. Успешно пользуюсь им много лет: https://archivebox.io
- phaedrus
Для меня это очень своевременно: веб-форум, который мне дорог, ушёл в офлайн, и я одновременно обнаружил, что Wayback Machine по какой-то причине так и не просканировал большую его часть. Я попросил Claude попробовать собрать статический сайт из того, что можно спасти из разных архивов и других источников, но, как бы чудесно ни работал ИИ сегодня, он не может восстановить данные, которые действительно исчезли. Так что то, что удалось спасти, лучше, чем ничего, но многого всё равно не хватает.
- geye1234
Через 5 лет облачные LLM, возможно, в значительной степени заменят открытый интернет как источник информации, с централизованным контролем и возможностью переписывать прошлое.
Пожалуйста, покупайте книги и держите их в хорошем состоянии, и, пожалуйста, архивируйте сайты с важной информацией (при условии, что это законно в вашей юрисдикции). Вокруг всё ещё полно отличных сайтов и блогов из 2000-х и даже более ранних, но они не будут существовать вечно. По иронии судьбы, кодирующие агенты сделали архивирование гораздо проще — я всегда находил проблемы с использованием готовых инструментов, но Claude или Qwen делают скачивание, тестирование и архивирование сайтов на локальной машине тривиальным.
- ceroxylon
Я усвоил это на горьком опыте, слишком легкомысленно отнесясь к Angelfire, который держал старый сайт в сети 20 лет после того, как я перестал его обновлять.
На нём было много фотографий, которые я вручную сканировал с плёнки, в те времена, когда ручное сканирование фотографий занимало немало времени.
Сайт был ходячей шуткой: я открывал его, чтобы показать людям, что он всё ещё существует... пока он не перестал, и я не смог найти резервную копию всех этих фотографий. На архивных сайтах есть «скелет» сайта, но нет фотографий. Этого легко можно было избежать, поэтому и больно.
- robotmay
Недавно я провёл несколько дней, пытаясь разыскать и обнаружить свои старые сайты и вещи начала 2000-х в веб-архиве. Я не осознавал, что моя память настолько ухудшилась, но было воодушевляюще найти кое-что из забытого. Многое из того, что я помню, давно мертво и утрачено, к сожалению.
Я думал, что это розовые очки — что ранний интернет был лучше, — но, потратив время на то, чтобы пройтись по своим подростковым следам, я убедился в этом ещё сильнее. Столько неуклюжих маленьких сайтов, сделанных гиками, столько весёлых игр и сайтов, которые не охотились на уязвимых людей, и всё было распределено по множеству мест — не централизовано в руках крупных корпораций. Я использовал LLM, чтобы развлечься, воссоздавая концепции того времени, вроде моего собственного форумного движка, как своего рода антипрогресс. Было весело.