多模态 / 模型
inclusionAI/Realtime-Venus
- 视觉编码
- SigLIP2
- 音频编码
- Whisper-Medium
- 语言骨干
- Qwen3-8B
- 输入
- 视频/图像、音频、文本
- 输出
- 文本和可选语音波形
- 权重精度
- BF16
- 1安装下载依赖$ python -m pip install 'huggingface_hub>=0.34' 'PyYAML>=6.0'
- 2获取下载脚本$ hf download inclusionAI/Realtime-Venus download_models.py --local-dir .
- 3下载全部模型$ python download_models.py --model all --local-dir .
- 4安装推理依赖$ python -m pip install -r Realtime-Venus-Omni/requirements.txt
- 5ModelScope 镜像$ modelscope download --model inclusionAI/Realtime-Venus --local_dir .
方法、结果与局限
1 / 10
表格
两个检查点分工
Omni 处理视频/图像+音频，Audio 只做音频对话
| 检查点 | 输入 | 输出 |
|---|---|---|
| Realtime-Venus-Omni | 视频/图像、音频、文本 | 文本和可选语音波形 |
| Realtime-Venus-Audio | 音频和文本 | 文本和语音波形 |
注释 · 两者均为 9B，基于 MiniCPM-o 4.5 / Omni-Flow；Audio 推理不使用视觉编码器。出自 §3 Model Details