AI 基础设施 / 发布

unsloth MOSS-Image, Flint & NVIDIA Bolt E4B

github.com·2026/10/23·unslothai

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于版本说明 8.9 万字 · 超长，已按章节压缩为 6.9 万字

Unsloth 发布 v0.1.910-beta：本地新增 Flint 40B、MOSS-Image、Nemotron 4B 与 OpenAI 微调 API

Unsloth 本次更新把 Recursive 的 Flint、OpenMOSS 的 MOSS-Image 与 NVIDIA Bolt 调优版纳入本地运行：Flint 是 40B MoE 编码代理模型、仅 2.5B 激活参数，作者报告其在 SWE-bench Pro v2 得 89.7，远超 Qwen 3.6 的 73.8；MOSS-Image 是 5.1B 图像模型，可生成中英文文字图，GGUF 支持 Mac 与无 GPU 机器。图像侧新增 Hires fix 一步放大精修、多 GPU 拆分与参数块粘贴。桌面端支持仅聊天的 GGUF 精简安装，Mac 上 MLX MoE 把专家放 SSD，使大型 MoE 在较小内存 Mac 上运行。训练侧 Whisper、Canary、Parakeet 等语音模型微调不再失败且显存下降，Data Recipes 增加书籍/文档转预训练文本，Windows/Linux 可经 REAP 剪枝 MoE 专家导出更小模型，并支持 OpenAI 兼容微调 API 上传数据做本地监督微调。另有 DPO 等序列填充训练在 Ampere 及更新 GPU 上提速、聊天采样按模型保存、MCP 资源读取、UI 统一及 eMudhra 伪造证书拒绝等修复。

1新增 OpenAI 微调 API，SDK 可 SFT 本地模型
2REAP 剪枝可移除 MoE 25% 或 50% 专家
3可选 vLLM/SGLang 仍信任受攻击的 emSign 证书

为什么重要　24GB 可本地跑 40B 编码智能体，OpenAI SDK 可直接对接本地 SFT，Mac 小内存也能跑大型 MoE适合　适合在本地部署 40B 智能体、图像生成或 OpenAI SDK 微调本地模型的工程师

来源: github.com
发布: 2026/10/23
作者: unslothai
版本: v0.1.910-beta

新增4 项

支持 Recursive Flint 40B MoE 与 NVIDIA Gemma Nemotron 4B
新增 OpenAI 兼容微调 API（/v1/files、/v1/fine_tuning/jobs）
新增 REAP MoE 专家剪枝，可移除 25% 或 50% 专家
新增 MOSS-Image 5.1B 图像模型及 GGUF 支持

改进3 项

图像/视频模型可跨多 NVIDIA GPU 拆分
MLX MoE 专家驻留 SSD，大模型可跑小内存 Mac
DPO 序列 padding 训练最高提速 3.8x

修复3 项

DPO 在 Gemma 4 E2B/E4B 不再崩溃
gpt-oss BF16 load_in_4bit 不再随机加载专家权重
Desktop 拒绝 eMudhra/emSign 被盗用中间证书

得 89.7，Qwen 3.6 为 73.8

Flint 40B MoE
89.7
Qwen 3.6
73.8

注释 · 原文未说明评测上下文与基线的显存/量化条件。出自 §Flint

3.8x

DPO 加速

注意力内存降

55%

语音训练省

注释 · 7x 注意力内存下降仅限无 bf16 GPU 且 torch 2.13 或更旧。出自 §Performance / §Training

版本: v0.1.910-beta
Flint 上下文: 256K
激活参数: 2.5B
MOSS 显存: 16GB GPU

中文（AI 翻译）

Recursive 的 Flint、MOSS-Image 和 NVIDIA 的 Nemotron Bolt 4B 来了！可在 Unsloth 中本地运行。新增内容包括：仅聊天的 Unsloth Desktop 安装、比 Mac 内存更大的 MLX MoE 模型，以及兼容 OpenAI 的微调 API。

亮点

Mac 上更大的 MoE 模型：超出内存的 MLX MoE 模型将专家保留在 SSD 上，因此 Qwen3.8-Flash-Next 可在 32 GB Mac 上运行。
仅聊天安装：用于 GGUF 聊天的更小 Unsloth Desktop；之后可在设置中增加训练功能。
Flint：Recursive 的 40B 编码智能体 MoE，以 3-bit 运行时占用 24 GB 指南。
MOSS-Image：5.1B 图像模型，面向顶级生成 GGUF + FP8。
NVIDIA Nemotron 3.5 Bolt E4B：NVIDIA 的新 Gemma 4 E4B 微调，Tau2-Bench 得分 63.2，原始模型为 38.7 指南。
MoE 专家剪枝：使用 REAP 移除 25% 或 50% 最无用专家，导出更小 MoE 模型。
UI 改进：Unsloth 界面更一致。

图像和视频

使用 OpenMOSS 的 5.1B MOSS-Image（SFT 或 Base）生成包含英文或中文文本的图像 GGUF · Base GGUF。
MOSS-Image 这一新图像模型可在 16 GB GPU 上运行；其 GGUF 版本也可在 Mac 和没有受支持 GPU 的计算机上运行。

原文

Recursive's Flint, MOSS-Image and NVIDIA's Nemotron Bolt 4B are here! Run them locally in Unsloth. Also new: a chat-only Unsloth Desktop install, MLX MoE models bigger than your Mac's memory and an OpenAI-compatible fine-tuning API.

Highlights

Bigger MoE models on Mac: MLX MoE models too big for memory keep experts on SSD, so Qwen3.8-Flash-Next runs on a 32 GB Mac.
Chat-only install: a much smaller Unsloth Desktop for GGUF chat; add training later in Settings.
Flint: Recursive's 40B coding-agent MoE, runs in 24 GB at 3-bit Guide
MOSS-Image: 5.1B image model designed for top-tier generation GGUF + FP8
NVIDIA Nemotron 3.5 Bolt E4B: NVIDIA's new Gemma 4 E4B fine-tune, 63.2 on Tau2-Bench vs the original's 38.7 Guide
MoE expert pruning: Export a smaller MoE model by removing 25% or 50% of its least useful experts with REAP.
UI overhaul: More consistent UI across Unsloth

Images + video

Generate images containing English or Chinese text with OpenMOSS's 5.1B MOSS-Image, SFT or Base. GGUF · Base GGUF
MOSS-Image, the new image model, runs on 16 GB GPUs; its GGUFs also run on Macs and computers without a supported GPU.
Most ima…

要点卡片

三款新模型支持

本版新增 Flint 40B、 5.1B、Nemotron 4B 三款本地模型

Flint 40B MoE

coding a

2.5B 激活、256K 上下文；3-bit 适配 24 GB，得 89.7

5.1B

image

OpenMOSS 图像模型，支持中英文文字；16 GB GPU，GGUF 可 Mac/无 GPU

tool cal

Gemma 4 E4B 推理调优；NVIDIA 21 项测试胜 16 项，工具调用提升最大

注释 · 三项均提供 GGUF 或指南，覆盖编码智能体、图像生成、工具调用。出自 §Highlights

Unsloth 发布 v0.1.910-beta：本地新增 Flint 40B、MOSS-Image、Nemotron 4B 与 OpenAI 微调 API

1新增 OpenAI 微调 API，SDK 可 SFT 本地模型

2REAP 剪枝可移除 MoE 25% 或 50% 专家

3可选 vLLM/SGLang 仍信任受攻击的 emSign 证书

来源

github.com

发布

2026/10/23

作者

unslothai

版本

v0.1.910-beta

中文（AI 翻译）

亮点

Mac 上更大的 MoE 模型：超出内存的 MLX MoE 模型将专家保留在 SSD 上，因此 Qwen3.8-Flash-Next 可在 32 GB Mac 上运行。
仅聊天安装：用于 GGUF 聊天的更小 Unsloth Desktop；之后可在设置中增加训练功能。
Flint：Recursive 的 40B 编码智能体 MoE，以 3-bit 运行时占用 24 GB 指南。
MOSS-Image：5.1B 图像模型，面向顶级生成 GGUF + FP8。
NVIDIA Nemotron 3.5 Bolt E4B：NVIDIA 的新 Gemma 4 E4B 微调，Tau2-Bench 得分 63.2，原始模型为 38.7 指南。
MoE 专家剪枝：使用 REAP 移除 25% 或 50% 最无用专家，导出更小 MoE 模型。
UI 改进：Unsloth 界面更一致。

图像和视频

使用 OpenMOSS 的 5.1B MOSS-Image（SFT 或 Base）生成包含英文或中文文本的图像 GGUF · Base GGUF。
MOSS-Image 这一新图像模型可在 16 GB GPU 上运行；其 GGUF 版本也可在 Mac 和没有受支持 GPU 的计算机上运行。

原文

Highlights

Bigger MoE models on Mac: MLX MoE models too big for memory keep experts on SSD, so Qwen3.8-Flash-Next runs on a 32 GB Mac.
Chat-only install: a much smaller Unsloth Desktop for GGUF chat; add training later in Settings.
Flint: Recursive's 40B coding-agent MoE, runs in 24 GB at 3-bit Guide
MOSS-Image: 5.1B image model designed for top-tier generation GGUF + FP8
NVIDIA Nemotron 3.5 Bolt E4B: NVIDIA's new Gemma 4 E4B fine-tune, 63.2 on Tau2-Bench vs the original's 38.7 Guide
MoE expert pruning: Export a smaller MoE model by removing 25% or 50% of its least useful experts with REAP.
UI overhaul: More consistent UI across Unsloth

Images + video

Generate images containing English or Chinese text with OpenMOSS's 5.1B MOSS-Image, SFT or Base. GGUF · Base GGUF
MOSS-Image, the new image model, runs on 16 GB GPUs; its GGUFs also run on Macs and computers without a supported GPU.
Most ima…

unsloth MOSS-Image, Flint & NVIDIA Bolt E4B

Unsloth 发布 v0.1.910-beta：本地新增 Flint 40B、MOSS-Image、Nemotron 4B 与 OpenAI 微调 API

变更清单

新增4 项

改进3 项

修复3 项

Flint SWE-bench Pro v2 评测

训练与推理性能增益

关键规格

原文摘要

中文（AI 翻译）

原文

Highlights

Images + video

三款新模型支持

Flint 40B MoE

5.1B

unsloth MOSS-Image, Flint & NVIDIA Bolt E4B

Unsloth 发布 v0.1.910-beta：本地新增 Flint 40B、MOSS-Image、Nemotron 4B 与 OpenAI 微调 API

变更清单

新增4 项

改进3 项

修复3 项

Flint SWE-bench Pro v2 评测

训练与推理性能增益

关键规格

原文摘要

中文（AI 翻译）

原文

Highlights

Images + video

三款新模型支持

Flint 40B MoE

5.1B

Unsloth 发布 v0.1.910-beta：本地新增 Flint 40B、MOSS-Image、Nemotron 4B 与 OpenAI 微调 API

变更清单

新增4 项

改进3 项

修复3 项

Flint SWE-bench Pro v2 评测

训练与推理性能增益

关键规格

原文摘要

中文（AI 翻译）

原文

Highlights

Images + video

Flint 40B MoE

MOSS-Image术语解释OpenMOSS 的 5.1B 图像模型，支持中英文文字生成 5.1B

Gemma Nemotron 4B术语解释NVIDIA 基于 Gemma 4 E4B 的推理调优模型，面向工具调用

Unsloth 发布 v0.1.910-beta：本地新增 Flint 40B、MOSS-Image、Nemotron 4B 与 OpenAI 微调 API

变更清单

新增4 项

改进3 项

修复3 项

Flint SWE-bench Pro v2 评测

训练与推理性能增益

关键规格

原文摘要

中文（AI 翻译）

原文

Highlights

Images + video

Flint 40B MoE

MOSS-Image术语解释OpenMOSS 的 5.1B 图像模型，支持中英文文字生成 5.1B

Gemma Nemotron 4B术语解释NVIDIA 基于 Gemma 4 E4B 的推理调优模型，面向工具调用

5.1B

5.1B