2026-09-12 — views
OpenAI 将 Habitat 存储扩展至每秒处理 7000 万次请求
为什么值得读 通过接受 Python 中的短期技术债务来实现快速平台稳定性和解耦存储逻辑，从而管理指数级增长的案例研究。
OpenAI 工程师详细阐述了他们如何扩展基于 Python 的 Habitat 存储平台，以应对前所未有的增长并服务于超过十亿用户。
前所未有的增长与规模
OpenAI 已成功将其在线存储平台 Habitat 扩展，以支持近 40 个地理区域中超过十亿的周活跃用户。该系统现在每秒处理超过 7000 万次请求，并管理超过 500 PB 的数据。该基础设施对于所有 OpenAI 产品（包括 ChatGPT 和 Codex）至关重要，确保从登录验证到对话发起等各种操作都能快速可靠地访问数据。如果这些请求失败或变慢，用户体验将显著下降，或者产品变得无法使用。
从库到服务的演变
Habitat 于 2023 年作为支持 GPTs 的简单 Python 客户端库推出。它旨在抽象数据库管理细节，如模式查找、路由、授权和加密，使产品工程师能够专注于应用逻辑，而不是底层存储机制。然而，到 2025 年中，客户端实现达到了其极限。随着 OpenAI 服务数量的增加，保持向后兼容性变得不可行。协调数十个服务以更新客户端库被证明是脆弱且低效的。一个团队的单次回滚可能导致工程团队努力防止的中断。
为了解决这种操作上的脆弱性，OpenAI 将存储逻辑解耦为独立服务。这种集中化确立了部署、可观察性和平台增强的单一控制点。它还允许更严格地执行数据安全和隐私原语，包括访问控制策略和审计日志。该服务充当瓶颈，以保护用户数据免受外部、内部或智能体行为者的未经授权的访问。
Python 的战略使用
尽管 Python 在高吞吐量服务中已知的开销问题，OpenAI 选择将 Habitat 构建为 Python 服务。这一决定引入了比本地库执行更高的网络延迟，并增加了 CPU 和内存的扩展成本。工程团队承认，Python 在 100 倍规模下不可持续，未来可能需要进行重写。然而，他们将其视为技术债务的战略入侵。主要目标是解锁产品开发者并实现即时平台稳定性。他们计算认为，他们自己的编码模型（如 Codex 和 GPT）的快速进步最终将简化从 Python 迁移的路径。这一赌注被证明是正确的，使团队能够在构建稳健基础设施的同时，优先考虑稳定性而非即时资源优化。
实务笔记
工程师应考虑将客户端逻辑解耦为独立服务，以减少部署的脆弱性并集中安全控制。如果语言选择上的短期技术债务能加速平台稳定性和产品速度，并且预见了迁移路径，那么这是一种可行的策略。