Rapidly scaling online storage to serve over 1 billion ChatGPT users は、OpenAI がオンラインストレージ基盤 Habitat をどう拡張してきたかを説明した技術記事です。Habitat は Python ライブラリから独立サービスへ進化し、週10億人超の利用者、毎秒7000万件超のリクエスト、500PB超のデータを扱う基盤になっています。
ここで重要なのは、ChatGPT の体験を支えているのがモデル推論だけではない、という点です。ログイン、設定取得、会話開始の裏側では、多数のデータ参照が発生します。どれか一つの参照が遅ければ、ユーザーには「AIが遅い」と見える。つまり大規模AIサービスの品質は、モデル性能だけでなく、保存層の予測可能性に強く依存します。
Habitat の変化は、その判断をよく示しています。最初は product engineer が簡単にデータを保存・取得できる Python ライブラリでした。しかし利用サービスが増えると、クライアント側にロジックを配る方式は限界に達します。ルーティング変更や障害範囲の制御を各サービスに展開するたび、調整コストと事故の余地が増えるからです。
そこで OpenAI は、保存ロジックを中央のサービスへ移しました。これは単なる再設計ではなく、統制点を作る判断です。デプロイ、観測、アクセス制御、監査、レート制限を一カ所で扱えるようにすることで、全プロダクトの改善速度と安全性を同時に上げられます。
興味深いのは、Python を短期的な技術的負債として受け入れた点です。高スループット用途では不利でも、当時の優先事項は最適化より、プロダクト開発者を止めずに基盤を安定させることでした。その後、Rust への移行で CPU 効率とメモリ効率を改善しています。
この事例から得られる実務上の示唆は明確です。AI導入が進むほど、差が出るのはモデル選定だけではありません。権限、データ配置、キャッシュ、接続管理、重いクエリの封じ込めをどこで制御するかが、サービス品質を左右します。AI時代の基盤設計では、「賢いモデルをどう呼ぶか」と同じくらい、「予測可能なデータアクセスをどう作るか」が問われています。
関連記事
- Perplexity trusts GPT-6 Astra with end-to-end systems
- GitHub Copilot app for Beginners: Using the diff, terminal, and browser
- 3 ways to prep for your next big race with Search
参考文献
コメント