mudler/LocalAI

LocalAI v4.11.0 将 60+ 后端拆成按需 OCI 镜像，本地跑多模态 API

LocalAI 是开源 AI 引擎，支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 及纯 CPU，本地运行 LLM、视觉、语音、图像、视频模型，无需 GPU。核心为小核心加按需拉取的后端镜像，封装 llama.cpp、vLLM、whisper.cpp 等引擎，提供 OpenAI、Anthropic、ElevenLabs 兼容 API 与多用户配额。可通过 Docker 镜像或 macOS DMG（未签名需去除隔离属性）部署，用 local-ai run 从模型画廊、Huggingface、Ollama、OCI 加载模型，另有 Fyne 启动器和 kong CLI。项目已到 4.11.0，支持 60+ 后端，含 vllm.cpp、parakeet.cpp、face-detect.cpp 等自研 C++/GGML 引擎，以及分布式模式、内置 Agents、Realtime API；vllm.cpp 为 alpha，macOS DMG 未签名。

1. 1小核心不捆绑，后端按需拉取
2. 2兼容 OpenAI/Anthropic/ElevenLabs 三套 API
3. 3v4.11 新增 Decisions API 与故障转移链

为什么重要　对推理基础设施读者：一条 docker run 即可拉起 OpenAI 兼容 API，后端按需拉取，省掉全家桶安装；自研 GGML 引擎无 Python 依赖。适合　需要快速搭建本地推理 API 的 AI 工程/平台团队

来源

github.com

发布

2026/10/21

作者

mudler