问题域/PD-529

记忆去重与强化

Deduplication & Reinforcement

通过内容哈希去重,重复信息转为强化计数,结合时间衰减实现记忆显著性排序

子问题

1.内容归一化与哈希

2.重复检测与强化计数

3.Salience 评分公式设计

4.时间半衰期衰减

5.多存储后端的去重查询一致性(dict遍历 vs json_extract vs JSONB)

6.Tool 类型记忆的独立去重策略(MD5 call_hash)

各项目的解法1 solutions

Signals

横向对比

维度memU
去重粒度摘要级 SHA256 前 16 字符,按 memory_type 隔离
强化机制写入时原子递增 reinforcement_count,无后台任务
评分公式similarity × log(count+1) × exp(-ln2 × days/T)
衰减模型指数半衰期,默认 30 天,可配置
存储方式extra JSON 字段存储元数据,无 schema 迁移
多后端一致性InMemory/SQLite/Postgres 三后端共享去重逻辑

最佳实践

1.对摘要而非原文做哈希

2.用对数函数抑制强化次数的极端影响

3.memory_type 参与哈希前缀,避免跨类型误判

4.未知 recency 给 0.5 中性值而非 0 或 1

5.去重开关默认关闭,向后兼容已有用户