AI 基础设施

LocalAI 支持本地运行 LLM/视觉/语音等多模态模型，无需 GPU

为本地/离线/边缘部署多模态模型提供统一开源引擎，显著降低硬件门槛与集成成本

vLLM 提供高吞吐、内存高效的 LLM 推理服务

LLM 服务化的主流开源推理引擎，适合评估吞吐、显存与部署成本。

AirLLM 支持单个 4GB GPU 推理 2.8T 大模型

显著降低大模型本地推理门槛，对边缘部署和低成本实验有直接工程价值。

freellmapi 聚合 34 家免费 LLM 提供商

统一 /v1 端点并提供智能路由、自动故障转移与加密密钥，便于个人实验接入免费模型。

SGLang 面向 LLM 与多模态的高性能 serving 框架

信息不足，影响待观察

Colibri 用纯 C 零依赖运行前沿 MoE 模型

提出磁盘流式加载专家的轻量 MoE 推理思路，但材料过少，工程成熟度待观察。