tencent/Hy-Memory-30B-A3B-GGUF

8.03 GB 专家混合版 LoCoMo 57.25%，仅比 Q6_K 低约 1.5 个百分点。

Hy-Memory-30B-A3B-GGUF 是腾讯混元为约3B激活参数的长期记忆写入模型 Hy-Memory-30B-A3B 提供的 llama.cpp 量化版；原模型替代 Mem0、MemOS、Hy-Memory 中的通用 LLM 执行外部记忆写路径，经 Memory On-Policy Distillation 与 Attributed Memory Reinforcement Learning 两阶段训练，可迁移到未见过的 EverMemOS。量化采用 imatrix 校准加 MoE 感知混合精度，路由专家压至 IQ1_M/IQ2_XXS，共享专家、注意力、嵌入输出保持 Q8_0；在固定 20% Mem0 LoCoMo 上，最低体积的专家混合文件得 57.25%，接近最强 Q6_K 的 58.78%。官方跨四框架固定 20% 评测平均 55.49，高于 Claude Opus 5 的 54.62。使用 llama.cpp 以 no-think 模式启动 Q6_K 服务，通过 OpenAI SDK 或 curl 调用；全部六个文件通过张量检查与完整 LoCoMo，但分数为单次运行，社区 Q1/Q2 超低比特文件会加载成功却无法写入记忆，需按文件名区分。

1. 18.03 GB 专家混合版 LoCoMo 57.25%，比 Q6_K 低约 1.5 个百分点。
2. 2社区 Q1/Q2 文件加载成功，但 8 个提示下 0/8 输出有效 JSON。
3. 3两阶段训练：OPD 蒸馏 + 归因 RL，留出 EverMemOS 得分 56.89。

为什么重要　为本地部署 MoE 记忆写入器提供低比特方案：8GB 文件接近 24GB Q6_K 质量，并给出 llama.cpp 命令、评测设置与社区低比特失效警示。适合　适合关注本地部署 MoE 记忆写入器、llama.cpp 量化与评测复现的工程人员。

来源

huggingface.co

发布

2026/10/19

作者

tencent