ニュース
壊れたファイルが「200 OK」で保存される — 「S3互換」のさくらのオブジェクトストレージで見つけた、確認値の落とし穴とその対策
要点
- Qiitaの記事では、「S3互換」をうたうさくらのオブジェクトストレージで、壊れたファイルが「200 OK」で保存される問題が報告されている
- 記事によると、正しいMD5を付けて置いた場合は200で保存され、わざと違うMD5を付けた場合は400で拒否された
- まとめて削除する操作では、SDKがCRC32を必須として付与し、200で指定した2件が消えたと報告されている
なぜ重要か
エラーが返らないまま壊れたデータが保存されると、後から気づくのが難しい。さくらのオブジェクトストレージを使うアプリでは、確認値(MD5やCRC32)の扱いを見直す必要がある。
影響を受ける人
- さくらのオブジェクトストレージを利用する開発者
- S3互換APIとSDKでオブジェクトストレージを操作するチーム
取るべき対応
- 記事で示された確認値の落とし穴と対策を読み、自分たちのアップロード処理に当てはまるか確認する
- アップロード後に確認値を照合する検証処理を入れるかどうかを検討する
- まとめて削除する処理を使う場合は、対象が意図どおり消えたかを確認する
- #オブジェクトストレージ
- #さくらのクラウド
- #S3互換
- #MD5
- #データ整合性
記事の要点 図1: 確認値の行き違いの経緯。 図2: 3つの状態の比較。 正しいMD5を付けて置く: 200で保存された。 わざと違うMD5を付けて置く: 400で断られた。 まとめて消す操作(SDKがCRC32を必須として付ける): 200で、指定した2件が消えた。...