unsloth DeepSeek-V4.1 & FLUX-3Unsloth 支持本地运行 DeepSeek-V4.1-Flash 与 FLUX.3,1-bit 仅需 125GB
Unsloth 支持本地运行 DeepSeek-V4.1-Flash 与 FLUX.3,1-bit 仅需 125GB
552B/16B 激活、1M 上下文的模型可单机 1-bit 量化运行,且支持 FSDP2 多卡训练和一条命令接入 MCP,直接降低本地微调与私有部署的成本门槛。
DOMAIN OBSERVATORY
资料 50 条 · 常规内容近 60–90 天,综述/报告保留一年最近同步 27 分钟前
(暂无权威综述,基于前沿内容归纳)本条聚焦大模型/基础模型的新一代模型权重、评测、长上下文、推理与开源生态。
Unsloth 支持本地运行 DeepSeek-V4.1-Flash 与 FLUX.3,1-bit 仅需 125GB
552B/16B 激活、1M 上下文的模型可单机 1-bit 量化运行,且支持 FSDP2 多卡训练和一条命令接入 MCP,直接降低本地微调与私有部署的成本门槛。
Claude Haiku 5.5 发布:1M 上下文、128k 输出、默认自适应思考,缓存读价降至 0.05x
高吞吐低成本模型再升级,且 Haiku 4.5 代码会因采样参数、budget_tokens、prefill 报 400,升级需同步改造推理调用层
vLLM v0.32.0:NVFP4/FP8 KV cache 全面落地,814 次提交
低精度 KV cache 与 Elastic EP、GPU n-gram 投机解码直接影响显存占用与吞吐,值得尽快评估升级