记忆去重与强化
Deduplication & Reinforcement
通过内容哈希去重,重复信息转为强化计数,结合时间衰减实现记忆显著性排序
子问题
1.内容归一化与哈希
2.重复检测与强化计数
3.Salience 评分公式设计
4.时间半衰期衰减
5.多存储后端的去重查询一致性(dict遍历 vs json_extract vs JSONB)
6.Tool 类型记忆的独立去重策略(MD5 call_hash)
各项目的解法1 solutions
Signals
横向对比
| 维度 | memU |
|---|---|
| 去重粒度 | 摘要级 SHA256 前 16 字符,按 memory_type 隔离 |
| 强化机制 | 写入时原子递增 reinforcement_count,无后台任务 |
| 评分公式 | similarity × log(count+1) × exp(-ln2 × days/T) |
| 衰减模型 | 指数半衰期,默认 30 天,可配置 |
| 存储方式 | extra JSON 字段存储元数据,无 schema 迁移 |
| 多后端一致性 | InMemory/SQLite/Postgres 三后端共享去重逻辑 |
最佳实践
1.对摘要而非原文做哈希
2.用对数函数抑制强化次数的极端影响
3.memory_type 参与哈希前缀,避免跨类型误判
4.未知 recency 给 0.5 中性值而非 0 或 1
5.去重开关默认关闭,向后兼容已有用户