问题域/PD-420

特征工程管道

Feature Engineering Pipeline

并发获取多源金融数据并计算特征向量供 LLM 决策

子问题

1.多时间粒度 K 线获取

2.市场快照实时采集

3.技术指标计算

4.特征向量统一模型

5.多时间粒度 K 线并发获取与技术指标批量计算

6.实时行情快照多端点(ticker/OI/funding)聚合

7.特征向量分组标签与下游按组过滤

8.双层并发(管道层×数据源层)的并发度控制

各项目的解法2 solutions

Signals

横向对比

维度ValueCellseedance-2
管道架构ABC 抽象 + asyncio.gather 双层并发(管道层×数据源层)
特征类型11 维 K 线技术指标 + 9 维市场快照(价格/OI/资金费率)
并发模型asyncio.gather 多粒度×多 symbol 二维并发,总并发度 = (configs+1)×symbols
数据模型Pydantic FeatureVector 统一模型,meta.group_by_key 分组标签
可替换性BaseFeaturesPipeline ABC + 构造函数 DI + from_request 工厂方法
容错策略字段级 try/except 跳过 + symbol 级空列表降级 + 端点级 best-effort

最佳实践

1.asyncio.gather 并发数据获取

2.Pipeline 模式封装数据流

3.FeatureVector 统一数据契约

4.用 asyncio.gather 将多数据源获取从 O(N) 串行降为 O(1) 并发

5.统一 FeatureVector 数据模型 + meta.group_by_key 分组标签

6.字段级 try/except 容错,单字段失败不阻塞整个 symbol

7.ABC 抽象接口 + from_request 工厂方法支持测试时 DI 替换