特征工程管道
Feature Engineering Pipeline
并发获取多源金融数据并计算特征向量供 LLM 决策
子问题
1.多时间粒度 K 线获取
2.市场快照实时采集
3.技术指标计算
4.特征向量统一模型
5.多时间粒度 K 线并发获取与技术指标批量计算
6.实时行情快照多端点(ticker/OI/funding)聚合
7.特征向量分组标签与下游按组过滤
8.双层并发(管道层×数据源层)的并发度控制
各项目的解法2 solutions
Signals
横向对比
| 维度 | ValueCell | seedance-2 |
|---|---|---|
| 管道架构 | ABC 抽象 + asyncio.gather 双层并发(管道层×数据源层) | — |
| 特征类型 | 11 维 K 线技术指标 + 9 维市场快照(价格/OI/资金费率) | — |
| 并发模型 | asyncio.gather 多粒度×多 symbol 二维并发,总并发度 = (configs+1)×symbols | — |
| 数据模型 | Pydantic FeatureVector 统一模型,meta.group_by_key 分组标签 | — |
| 可替换性 | BaseFeaturesPipeline ABC + 构造函数 DI + from_request 工厂方法 | — |
| 容错策略 | 字段级 try/except 跳过 + symbol 级空列表降级 + 端点级 best-effort | — |
最佳实践
1.asyncio.gather 并发数据获取
2.Pipeline 模式封装数据流
3.FeatureVector 统一数据契约
4.用 asyncio.gather 将多数据源获取从 O(N) 串行降为 O(1) 并发
5.统一 FeatureVector 数据模型 + meta.group_by_key 分组标签
6.字段级 try/except 容错,单字段失败不阻塞整个 symbol
7.ABC 抽象接口 + from_request 工厂方法支持测试时 DI 替换