OpenAI兼容API
OpenAI Compatible API
提供OpenAI协议兼容的HTTP/gRPC推理服务端点
子问题
1.协议兼容性维护
2.流式SSE输出
3.多端点路由
4.认证与限流
5.任务感知动态端点注册
6.Responses API 后台异步执行与状态管理
7.多 API 协议并行（OpenAI + Anthropic + gRPC）
8.自定义中间件动态加载
各项目的解法1 solutions
Signals
横向对比
| 维度 | vLLM |
|---|---|
| 协议兼容性 | 直接导入 openai SDK 的 Pydantic 模型，支持 Chat/Completion/Responses/Realtime/Anthropic 全端点 |
| 路由架构 | FastAPI + 模块化 APIRouter + attach_router() 挂载，按 supported_tasks 条件注册 |
| 流式输出 | AsyncGenerator → SSE event: type\ndata: json 格式，sequence_number 自增排序 |
| 认证机制 | ASGI 级 AuthenticationMiddleware，SHA-256 哈希存储 + secrets.compare_digest 时间安全比较 |
| 中间件扩展 | --middleware CLI 参数 + importlib 动态加载，支持 ASGI 类和 HTTP 协程函数两种形式 |
| 云平台适配 | SageMaker /invocations 自动路由 + model_hosting_container_standards 库集成 |
| 多协议支持 | HTTP/REST + gRPC + WebSocket(Realtime) + Anthropic Messages API 四协议并行 |
最佳实践
1.保持与OpenAI SDK完全兼容
2.使用gRPC提升内部服务间通信效率
3.用 ASGI 原生中间件替代 FastAPI Depends 实现认证以支持 WebSocket
4.SHA-256 哈希存储 token + secrets.compare_digest 防止 timing attack
5.按模型 supported_tasks 条件注册路由避免暴露不支持的端点