OpenAI Habitat：模型很快，产品也可能慢在存储层
工程 / 数据基础设施 · 8/10｜工程读者可深读
OpenAI 披露，存储平台 Habitat 每秒处理超过 7000 万次请求，服务的数据量超过 500 PB。这是存储访问量，不能当作模型推理请求数。它从 Python 客户端库逐步变成独立服务，将路由、权限和发布更新集中管理。
文章里最值得读的是一次拥堵故障：慢节点的连接归还得晚，而连接池优先复用刚归还的连接，结果新流量继续涌向已经很慢的节点。团队调整连接复用顺序，才打断了这个循环。另一个延迟来源，是大量进程同时解析配置文件。
这类细节提醒做 Agent 产品的人：一次任务可能引发很多次数据读取，用户等到的是其中最慢的那部分。排查延迟时，除了模型速度，还得看事件循环、连接池与下游服务。文中的规模和改善均为 OpenAI 自述，本期没有独立测量。