2026-09-12 — views
OpenAI、1秒あたり7000万リクエストを処理するためHabitatストレージをスケール
読む理由 短期間の技術的負債を認めることで急速なプラットフォームの安定性を達成し、ストレージロジックを分離するという、指数関数的な成長を管理するためのケーススタディ。
OpenAIエンジニアが、PythonベースのHabitatストレージプラットフォームを、過去にない成長を遂げながら10億人以上のユーザーに対応するためにどのようにスケールさせたかを詳述する。
前例のない成長とスケール
OpenAIは、オンラインストレージプラットフォームであるHabitatをスケールさせ、ほぼ40の地理的リージョンにわたる1億人以上の週次アクティブユーザーをサポートすることに成功しました。システムは現在、1秒あたり7000万リクエスト以上を処理し、500ペタバイト以上のデータを管理しています。このインフラストラクチャは、ChatGPTやCodexを含むすべてのOpenAI製品にとって重要であり、ログイン認証から会話の開始に至るまでのあらゆるアクションに対して、高速かつ信頼性の高いデータアクセスを保証します。これらのリクエストが失敗したり遅延したりすると、ユーザー体験は著しく低下し、製品が使用不能になる可能性があります。
ライブラリからサービスへの進化
Habitatは2023年、GPTをサポートするためのシンプルなPythonクライアントサイドライブラリとしてローンチしました。これは、スキーマルックアップ、ルーティング、認証、暗号化などのデータベース管理の詳細を抽象化し、プロダクトエンジニアが基盤となるストレージの仕組みではなくアプリケーションロジックに集中できるように設計されていました。しかし、2025年半ばまでに、クライアントサイドの実装は限界に達しました。OpenAIのサービス数が増加するにつれて、後方互換性の維持は不可能になりました。数十のサービスにわたってデプロイメントを調整してクライアントライブラリを更新するのは、脆く非効率的なものでした。1つのチームによる単一のロールバックが、エンジニアリングチームが必死に防ごうとした障害を引き起こす可能性があります。
この運用上の脆弱性を解決するため、OpenAIはストレージロジックをスタンドアロンのサービスとして分離しました。この集約により、デプロイメント、観測性、プラットフォームの強化に対する単一の制御ポイントが確立されました。また、アクセス制御ポリシーや監査ログなど、データセキュリティとプライバシーの基本機能のより厳格な強制を可能にしました。このサービスは、外部、内部、またはエージェントのアクターによる不正なアクセスからユーザーデータを保護するためのチョークポイントとして機能します。
Pythonの戦略的利用
高スループットサービスにおけるPythonの既知のオーバーヘッドにもかかわらず、OpenAIはHabitatをPythonサービスとして構築することを選びました。この決定により、ローカルライブラリ実行と比較して、ネットワークレイテンシの増加、CPUおよびメモリのスケーリングコストの上昇が生じました。エンジニアリングチームは、Pythonが100倍のスケーリングでは持続可能ではなく、将来的な書き換えが必要になることを認識していました。しかし、彼らはこれを技術的負債の戦略的な侵入と見なしました。主な目的は、プロダクト開発者のブロックを解除し、即時のプラットフォーム安定性を達成することでした。彼らは、CodexやGPTなどの自社のコーディングモデルの急速な進歩が、最終的にPythonからの移行を容易にすると計算しました。この賭けは的中し、チームは堅牢なインフラストラクチャを構築しながら、即座のリソース最適化よりも安定性を優先することができました。
実装ノート
エンジニアは、デプロイメントの脆弱性を軽減し、セキュリティ制御を一元化するために、クライアントサイドのロジックをスタンドアロンのサービスとして分離することを検討すべきです。移行パスが見込まれている場合、言語選択における短期間の技術的負債を受け入れることは、プラットフォームの安定性とプロダクトの速度を加速する有効な戦略となり得ます。