生成AI時代のオブジェクトストレージ：ルールの再構築

最新の「AI対応データレイク」は、耐久性があり、予期せぬコストが発生しないデータ基盤を構築するという、分かりやすい問題を解決するためのものでした。しかし、生成AIの登場により、データアーキテクチャはもはや単なるバックグラウンドのインフラではないことが明らかになりました。多くの場合、それが最大のボトルネックとなっています。

生成AIは通常、モデル、GPU、フレームワークといった観点から語られます。しかし実際には、最初のボトルネックはもっと早い段階、つまり「データ」で発生します。トレーニング、ファインチューニング、検索、推論、継続的学習といったライフサイクルのあらゆる段階は、大量の非構造化データへの持続的かつ反復的なアクセスに依存しています。

初期のアナリティクスのワークロードとは異なり、生成AIは「一度書き込んで、たまに読み取る」というパターンには従いません。データは次のように扱われます：

• 実験やイテレーション（反復）を通じて継続的に再読み込みされる

• 埋め込み（エンベディング）、インデックス、プロンプト、出力などの派生アーティファクト（生成物）に変換される

• 再現性、ガバナンス、再トレーニングのために長期保存される

• 変化の激しいコンピュート（計算）層から切り離される

問題は、多くのクラウドストレージプラットフォームがこのような「再利用」を想定して設計されていないことです。Wasabiのオブジェクトストレージは、従来のクラウドの常識に逆らい、ストレージの経済性とアーキテクチャを、生成AIのワークロードの実際の動作に合わせています。

新興の生成AIワークロード：ストレージへの要件

生成AIのワークロードはすべて同じというわけではありませんが、「非構造化データへの反復アクセス」という共通点があります。主要なパターンと、それがストレージに何を要求するかを以下に示します。

基盤モデルのトレーニング 基盤モデルのトレーニングは、テキスト、画像、音声、動画などの膨大な非構造化データセットに依存しており、トレーニングの実行や実験のたびに繰り返し読み込まれます。 ストレージの観点から見ると、これらのワークロードは以下の特徴を持ちます：

• 読み取り集約型でスループット重視

• レイテンシよりもコストの予測可能性に敏感

• アーカイブの効率性よりも「データの再利用」に依存

問題は、従来のクラウドストレージモデルでは、読み取りやデータの移動に対して課金（マネタイズ）されることが多い点です。この価格設定は、AIトレーニングに必要な反復アクセスパターンには逆効果です。 Wasabiは、アクセスベースの課金ではなく、容量ベースの価格設定を中心に構築されています。読み取りや下りデータ転送に対するペナルティ料金を排除することで、コスト変動の恐怖やアーキテクチャ上の妥協をすることなく、データを自由に再利用して実験を繰り返すことができます。

ファインチューニング、アライメント、反復的なモデル開発 種類のプレッシャーをもたらします。データセットは小さくなりますが、変更頻度は高くなり、結果が再現可能で追跡可能であるようにデータを慎重に保存する必要があります。これらのワークフローには以下が必要です：

• データセットの不変性（イミュータビリティ）とバージョニング

• データと、それが生成するモデル間の明確なリネージ

• チーム間での並行実験

階層化や手動のライフサイクル移行に大きく依存するストレージでは、ここで足かせになり始めます。Wasabiは、データを異なるストレージクラスに移動させることなく、大規模なオブジェクトの不変性とバージョニングをサポートします。データセットは安定してアクセス可能な状態を保ち、チームはガバナンスを維持したまま迅速に開発を反復できます。

検索拡張生成（RAG）RAGは、生成AIがもたらした最大のアーキテクチャ的変化の1つです。 RAGパイプラインは継続的に非構造化コンテンツを取り込み、強化し、埋め込みを生成し、推論中に関連するコンテキストを検索します。ベクトルデータベースは類似性検索には優れていますが、記録システムではありません。 アクセスにペナルティを与えたり、データ移動に高額な料金を課したりするストレージモデルは、分離されたRAGアーキテクチャを必要以上に脆弱にし、コストを押し上げます。Wasabiを使用すれば、未加工データや強化されたデータを耐久性のある「信頼できる情報源」としてオブジェクトストレージに保存し、反復アクセスにかかるコストを予測可能に保つことができます。

推論、フィードバックループ、継続的学習 推論はデータの増加を遅らせるどころか、加速させます。プロンプト、出力、ユーザーのやり取りは、監査、モデル評価、将来の再トレーニングのために保持される傾向にあります。時間とともに、推論データは次世代モデルの重要な入力となります。 Wasabiの容量優先の設計は、データ移行を強制したりアクセスにペナルティを与えたりすることなく、大量のデータ取り込みと長期保存をサポートします。

AI対応データレイクからAI駆動型ビジネスインテリジェンスへ

AI対応データレイクの構築は出発点にすぎません。真の価値は、そのデータが「使いやすくなる（照会しやすく、強化しやすく、日々の意思決定を加速する答えに変換しやすくなる）」ことで現れます。 社内的には、Wasabiのビジネスインテリジェンス（BI）チームは、WasabiオブジェクトストレージとSnowflakeを組み合わせてこのパターンを適用し、セールスチーム向けに生成AIレスポンスを提供しています。未加工の資産（PDF、プレゼン資料、ログなど）はオブジェクトストレージに保存され、長期間にわたって経済的にアクセス可能な状態を維持します。一方、Snowflakeは構造化されたインテリジェンス層として機能します。

なぜ生成AIは従来のストレージの常識を打ち破るのか

ほとんどのクラウド・オブジェクトストレージは、生成AIの世界では通用しない次のような前提に基づいて構築されていました：

• データは一度書き込まれ、めったに読み込まれない

• ストレージ階層化がコスト最適化の主な方法である

• ストレージの経済性は、コンピュートの革新ほど重要ではない

• データは単一のエコシステムに密接に結びついている

生成AIは、これらの前提の限界を露呈させます。再読み込みが高額になると、運用チームはクリーンなシステムを構築するのではなく、コストを回避するためのアーキテクチャ設計を始めてしまいます。

Wasabiは、以下の点を優先することでこれらの制約に逆らいます：

• アクセスベースの価格設定よりも、予測可能な経済性

• 階層化の複雑さよりも、データの再利用性

• 特定のエコシステムへのロックインを防ぐ、柔軟でポータブルなアーキテクチャ

• バックエンドサービスではなく、戦略的インフラとしてのオブジェクトストレージ

生成AI対応のオブジェクトストレージ・アーキテクチャ

トレーニングからRAG、推論に至るまで、共通のアーキテクチャパターンが現れます：

• オブジェクトストレージが耐久性のある「記録システム」として機能する

• コンピュート層はモジュール式で交換可能にする

• メタデータ、不変性、アクセス制御はストレージ層で適用される

• 派生した生成物は使い捨てで再生成可能にする

アーキテクトとプラットフォームチームにとっての意味

生成AIプラットフォームを構築する場合、以下の点が不可欠となります：

1. ストレージを後回しにせず、最優先の依存関係として扱う

2. データの再利用を容易かつ手頃な価格にする

3. 未加工データは「永続的」、派生アーティファクトは「使い捨て」として扱う

4. 経済性がシステム開発の反復（イテレーション）を妨げるのではなく、可能にするようにする

オブジェクトストレージは、もはや単なるデータの保存場所ではありません。システムが迅速に動き、ガバナンスを維持し、コストのサプライズなしに拡張できるかどうかを決定づける重要な要素なのです。

新興のAIワークロードは、常識に逆らうストレージを求めている

生成AIシステムは、反復、再利用、そして洗練を重ねることで向上していきます。アクセスにペナルティを与えたり、厳格な階層化を強制したり、データをコンピュート層に密接に結びつけたりするストレージアーキテクチャは、あらゆる段階でそうした現実と相反してしまいます。

従来のクラウドストレージモデルの常識に逆らうことで、Wasabiはオブジェクトストレージを、AI対応データレイクから本番環境の生成AIシステムに至るまで、新興の生成AIワークロードの実際の動作と適合させています。これにより、チームは技術的、運用的、そして経済的に長期にわたってスケールできるプラットフォームを構築できるようになります。