模型注册与适配
Model Registry & Adaptation
统一的模型架构注册表和运行时适配层，支持多架构动态加载和monkey patch
子问题
1.多架构统一抽象
2.运行时模型补丁
3.权重加载策略
4.推理后端适配
5.RLHF actor/critic 角色的并行模型变体管理
6.transformers 库跨版本 API 兼容
7.视觉语言模型的 3D 位置编码与序列并行集成
各项目的解法1 solutions
Signals
横向对比
| 维度 | VRAG-RL |
|---|---|
| 注册机制 | 三层字典注册表：模型类 + 权重加载器 + monkey patch，架构名字符串统一 key |
| 动态加载 | importlib.import_module 延迟加载，按约定路径 verl.models.{arch}.megatron 构造模块名 |
| 运行时补丁 | 直接替换 FlashAttention2.forward 方法引用，版本感知分支（4.45-4.47 vs 4.48-4.49） |
| 角色区分 | 每架构注册 3 个类变体（CausalLMRmPadPP / ValueRmPadPP / CausalLMRmPad），value 参数切换 |
| 权重转换 | 函数级注册，每次调用重新构建字典 + 延迟导入，支持 loader/saver 双向转换 |
| 序列并行 | Ulysses AllToAll 通信集成到 monkey patch 的 attention forward 中 |
最佳实践
1.注册表模式解耦模型架构与训练框架
2.目录约定驱动的 importlib 动态加载消除硬编码导入
3.LRU 缓存版本检测避免重复解析包版本
4.函数级注册替代类继承降低权重转换层复杂度