批量生成管道
Batch Generation Pipeline
批量AI内容生成的并发控制、断点续传、进度追踪和失败重试
子问题
1.可配置并发度的批量执行
2.断点续传从中断位置继续
3.内容审核失败自动跳过
4.视觉连续性帧传递
5.双重 token 约束(input + output)的自适应分批
6.60K Hard Cap 防止 Lost in the middle
7.多模型轮询调度与批量任务的协同
各项目的解法1 solutions
Signals
横向对比
| 维度 | moyin-creator |
|---|---|
| 并发模型 | 信号量 + 错开启动(stagger),用户可配置 concurrency |
| 分批策略 | 双重约束贪心分组(input token + output token),60K Hard Cap |
| 容错策略 | 单批次指数退避重试 + 审核关键词检测跳过 + PromiseSettledResult 隔离 |
| 断点续传 | 基于 videoStatus 字段过滤,只重新生成 idle/failed 的 items |
| 视觉连续性 | extractLastFrameFromVideo 提取尾帧 → 下一分镜首帧 |
| 进度可视化 | BatchProgressOverlay 组件 + onProgress 回调实时更新 |
最佳实践
1.并发度由用户配置适配不同API限制
2.尾帧传递实现视觉连续性
3.PromiseSettledResult 实现批次级容错隔离
4.错开启动(stagger)避免瞬间并发打满限流
5.TOKEN_BUDGET_EXCEEDED 错误不重试避免无效重试