github.com·2026/09/15·kvcache-ai
KTransformers新版把Qwen VLM与Kimi K2.5/K2.6的LoRA微调接入LLaMA-Factory，用主机内存承载权重、GPU加速计算，形成CPU-GPU异构执行，面向多模态适配与个性化对话。Qwen侧支持MoE图文LoRA，覆盖视觉、语言和路由专家模块，由Bowen Wu贡献；Kimi侧提供原生RAWINT4文本LoRA，复用原始打包专家权重，避免把整模型展开。用户需按模型专属指南分别完成依赖安装、数据准备与训练命令，文档同时覆盖训练和推理；页面也列出代码、文档、测试贡献者，并致谢内核与性能优化建议。
为什么重要 私有化微调 Kimi K2.5/K2.6 与 Qwen3-VL 接入同一 CPU–GPU 异构训练栈，RAWINT4 打包权重可直接训练，关系训练基建选型。适合 需要在有限 GPU 上做 MoE/多模态大模型私有化微调的算法与基建工程师
$ doc/en/SFT/KTransformers-VLM-LoRA-Fine-Tuning-Guide.md
$ .github/release/examples/kimi-k25/README.md
KTransformers v0.7.1 通过 LLaMA-Factory 汇集了 Qwen VLM 与 Kimi K2.5 / K2.6 的 LoRA 微调。CPU–GPU 异构执行将主机内存与 GPU 加速结合，用于多模态适配和个性化对话。
请按照模型专属指南完成完整依赖设置、数据准备和训练命令：
感谢 @JimmyPeilinLi、@Illumination111、@yyj6666667，以及所有贡献代码、文档和测试的人。
特别感谢 @05yuki 对 MXFP4 内核与性能优化提供的宝贵见解。
KTransformers v0.7.1 brings together Qwen VLM and Kimi K2.5 / K2.6 LoRA fine-tuning through LLaMA-Factory. CPU–GPU heterogeneous execution combines host memory with GPU acceleration for multimodal adaptation and personalized dialogue.
Follow the model-specific guides for the complete dependency setup, data preparation, and training commands:
Thanks to @JimmyPeilinLi, @Illumination111, @yyj6666667, and everyone who contributed code, documentation, and testing.
Special thanks to @05yuki for valuable insights into MXFP4 kernels and performance optimization.
EVIDENCE / METHODS
判断
术语解释原始打包的整数权重形式，本版 Kimi LoRA 训练直接复用它，无需解包为全模型 BF16 让 Kimi LoRA 训练跳过全模型 BF16 展开，直接消费发布态打包权重。
两条新路线里分量更重的是 Kimi：发布说明明确本版「用原始打包专家权重训练，避免全模型 BF16 展开」——对 MoE 模型而言，BF16 全量展开常是私有化微调最吃内存的一步，跳过它意味着训练栈与发布权重形态对齐。配合 CPU–GPU 异构执行（主机内存参与），定位是低配硬件上的 LoRA 微调。代价：说明全文没有显存占用、吞吐或精度数字，评估只能看两份指南的实测。
注释 · callout 为编辑判断；前半是原文机制，后半是工程解读。出自 发布说明全文