S3 — это будущее, S3 — это прошлое
S3 Is the Future, S3 Is the Past
Amazon S3 и его аналоги стали основой современной облачной архитектуры: почти каждая data-intensive система строится вокруг S3. Но аппаратные допущения, заложенные в дизайн S3, устаревают. S3 — это миллион жёстких дисков за HTTP API: задержки в десятки миллисекунд, пропускная способность менее 100 МБ/с на запрос. Это накладывает архитектурный налог: нужны кэши, батчинг, отдельные metadata-хранилища, невозможность обновления на месте. При этом SSD подешевели, а разрыв в цене с HDD сократился до ~3×. S3 Express One Zone ограничен одной зоной доступности и всё ещё имеет многомиллисекундные задержки. Технологических барьеров для создания полноценного SSD-based disaggregated storage нет — мешает только инерция облачных провайдеров.
Ирония в том, что архитектура на основе S3 становится отраслевым стандартом именно в тот момент, когда аппаратные ограничения, которые её породили, исчезают.