API兼容层
API Compatibility Layer
实现第三方API协议兼容(如Ollama)，让现有工具无缝接入自定义RAG系统
子问题
1.协议模拟与适配
2.流式响应兼容
3.模型信息伪装
4.多端点路由
5.第三方工具特殊请求检测与智能分流
6.多 Content-Type 请求体兼容解析
7.消息前缀编码自定义查询参数
各项目的解法1 solutions
Signals
横向对比
| 维度 | LightRAG |
|---|---|
| 协议模拟 | 完整实现 Ollama 5 端点（chat/generate/tags/ps/version），12 个 Pydantic 模型精确匹配协议 |
| 流式响应 | NDJSON 格式 + tiktoken token 估算 + Ollama 性能统计字段（total_duration/eval_count） |
| 模型伪装 | OllamaServerInfos 伪造 name:tag/size/digest/quantization_level，支持环境变量配置 |
| 多端点路由 | FastAPI 四路由器并行（documents/query/graph/ollama），共享 RAG 实例和认证 |
| 查询模式透传 | 消息前缀路由（/local /global /bypass）+ 方括号 user_prompt 注入 |
| 第三方工具适配 | 自动检测 Open WebUI 的 chat_history 标记，bypass RAG 直接走 LLM |
| Content-Type兼容 | 同时支持 application/json 和 application/octet-stream 请求解析 |
最佳实践
1.伪装为已有生态模型降低接入成本
2.RESTful+兼容层双API并行
3.用消息前缀在标准协议内透传自定义查询模式
4.检测第三方工具元数据请求自动 bypass 核心逻辑
5.伪造完整模型详情（size/digest/quantization）通过工具校验