AI 研究助理

基于站内最新资料，回答 AI 前沿问题

回答带出处引用，支持多轮追问，当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
项目自动驾驶自动驾驶开源模型多任务学习NVIDIA

NVlabs/alpamayo2

在 GitHub 查看
AI 解读已生成 · AI 生成，数字以原文为准
AI 全文总结值得深入基于项目 README 1.6 万字 + 1 个源文件 · 完整阅读

34B 自动驾驶基础模型推理仓库开源，VLM 生成因果链后由 2B 扩散专家出轨迹

Alpamayo 2 Super 是面向自动驾驶开发的多任务基础模型，将 32B VLM 骨干与 2B diffusion expert 组成 34B 系统，推理时先由 VLM 生成 Chain-of-Causation 因果推理文本，再让 action expert 采样未来轨迹。仓库提供 CLI、notebook 和可导入 API，默认基于 PhysicalAI-AV 样例运行冒烟推理，输出推理文本、minADE 轨迹距离诊断、图像与指标及多相机可视化；CLI 会校验本地检查点目录，再下载样例片段并保存结果，notebook 沿用相同清单、加载、生成设置与可视化。部署需在 Linux、NVIDIA GPU、CUDA、Python、uv 环境完成安装与登录，并取得 Hugging Face 模型及数据集权限；可选 CUDA graph 用额外显存降低扩散专家启动开销。进阶 Navigation CFG demo 展示手动跨 GPU 放置的导航引导推理，记录导航文本、引导权重与设备分布，官方称其不是默认公共 API。文本任务 notebook 覆盖 meta-action、auto-labeling、VQA/grounding，其中自动标注遵循训练契约，不传入未来相机帧；项目另提供可视化 API 与冒烟测试，代码用 Apache 许可，权重用 OpenMDW 许可。

  1. 1多任务自动驾驶基础模型结合 VLM 骨干与扩散动作专家
  2. 2双 GPU CFG 需要两张 80GB H100 并手动放置模块
  3. 3代码 Apache-2.0，权重 OpenMDW-1.1 且需 HF 授权访问

为什么重要　为自动驾驶数据与模型工程师提供可直接运行的 34B 多任务推理入口，包含双卡 CFG、自动标注与可视化 API。适合　自动驾驶数据闭环、模型推理与多任务评估工程师

来源
github.com
发布
2026/10/07
作者
NVlabs
Star
283

语言占比

  • Python 90.5%
  • Jupyter Notebook 9.5%
34B

总参数

模型整体规模

32B

VLM 骨干

生成因果链文本

2B

扩散专家

采样未来轨迹

约 67 GiB

VLM GPU 峰值

双卡 CFG 路径

约 71 GiB

专家 GPU 峰值

双卡 CFG 路径

注释 · 67/71 GiB 是双 GPU 导航 CFG demo 在验证检查点上的峰值记录出自 双 GPU CFG 章节

  • examples/4 个文件

    存放验证样本清单与双 GPU CFG demo

  • notebooks/5 个文件

    提供推理和三本文字任务笔记本

  • src/36 个文件

    推理、模型、可视化等核心实现

    • alpamayo2_super/

      模型与扩散专家、推理入口的具体包

  • tests/2 个文件

    仓库测试目录，pytest 指向

  • LICENSE

    Apache-2.0 代码许可文本

  • pyproject.toml

    锁定 Python 3.12 及依赖版本

  • README.md

    记录安装、模型访问、推理与支持流程

代码分布（各目录文件数）

  • src/
    36 个
  • (根目录文件)
    8 个
  • notebooks/
    5 个
  • examples/
    4 个
  • tests/
    2 个
  1. 1
    配置环境并安装依赖
    $ export UV_PROJECT_ENVIRONMENT=.venv
      uv sync --locked --dev
      source "${UV_PROJECT_ENVIRONMENT}/bin/activate"
      hf auth login --token "$HF_TOKEN"
  2. 2
    运行 CLI 推理烟测
    $ PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True python -m alpamayo2_super.inference_smoke --model-id "$ALPAMAYO2_SUPER_MODEL_ID" --manifest examples/validation_samples.json --sample-index 0 --save-viz "$ALPAMAYO2_SUPER_OUTPUT_DIR/sample0.png" --save-json "$ALPAMAYO2_SUPER_OUTPUT_DIR/sample0.json"
  3. 3
    双 GPU 导航 CFG demo
    $ CUDA_VISIBLE_DEVICES=0,1 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True python examples/two_gpu_nav_cfg_demo.py --model-id "$ALPAMAYO2_SUPER_MODEL_ID" --manifest examples/nav_cfg_validation_samples.json --sample-index 0 --save-viz "$ALPAMAYO2_SUPER_OUTPUT_DIR/nav_cfg_sample0.png" --save-json "$ALPAMAYO2_SUPER_OUTPUT_DIR/nav_cfg_sample0.json"

深度总结

1 / 7
固定依赖版本· 参数清单

pyproject.toml 钉死 torch==2.8.0 与 transformers==4.57.1，配合 `physical-ai-

Python
3.12
torch
2.8.0
transformers
4.57.1
flash-attn
=2.8.3
accelerate
=1.12.0
physical-ai-av
=0.2.0
CUDA Toolkit
12.x
环境管理
uv

注释 · 所有依赖均来自 pyproject.toml 或 Prerequisites 章节出自 pyproject.toml