ollama v0.40.8Ollama v0.40.8 上线 Flint,支持 262K 上下文
Ollama v0.40.8 上线 Flint,支持 262K 上下文
Apache 2.0 编码 MoE 模型接入 Ollama,长上下文与多轮工具调用面向代码智能体;当前支持 MacOS。
DOMAIN OBSERVATORY
资料 49 条 · 常规内容近 60–90 天,综述/报告保留一年最近同步 5 分钟前
(暂无权威综述,基于前沿内容归纳)本批资料覆盖训练、推理、集群、运行时与能效评测,可概括为以下主干:
Ollama v0.40.8 上线 Flint,支持 262K 上下文
Apache 2.0 编码 MoE 模型接入 Ollama,长上下文与多轮工具调用面向代码智能体;当前支持 MacOS。
sglang v0.5.22 发布,DeepSeek-V4.1 H200 吞吐提升 2.3x
重要推理框架版本更新,带来多款新模型适配与 H200、B200、B300 等硬件性能优化,对后端部署有直接参考价值。
Ollama v0.40.9 新增 Phonon 语音与 d3 决策模型
Ollama 增加语音输出端点与决策模型,便于应用集成语音和分类/评分能力。
Ollama v0.40.11 新增 macOS 语音与 d3 决策模型
为本地推理增加 OpenAI 兼容语音端点与决策模型,便于语音应用与分类路由集成。
SGLang v0.5.21 发布:779 PRs,PD 热切换
面向推理服务,PD 实例可免重启在 prefill/decode 间切换,Rust prefix cache 成默认;新增多模型支持。
KTransformers v0.7.1 新增 Qwen/Kimi LoRA
为 Qwen VLM/Kimi 提供 LoRA 微调;CPU-GPU 异构执行结合主机内存与 GPU 加速。