AI 研究助理

基于站内最新资料,回答 AI 前沿问题

回答带出处引用,支持多轮追问

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告

多模态

共 50 条 · 按质量与时效综合排序 · 仅收录近 3 个月内容最近同步 56 分钟前

已折叠 · 展开查看该领域的技术路线图、最新技术与成果、发展态势与前景趋势(含表格与 Mermaid 路线图)。

全部 50发布 0论文 20模型 5项目 8工具 0数据集 0报告 0博客 17综述 0
细分方向全部视觉语言理解 17图像生成与编辑 7视频生成 7语音与音频 43D 与空间智能 1全模态与统一模型 2文档与 OCR 0
论文多模态图像生成与编辑NeurIPS 20263 天前
Velocity Ambiguity Profiles: Time-Resolved Bayes-Risk Diagnostics for Flow Matching

提出 VAP:CIFAR-100 速度损失降 6.78%、FD 降 23.6%

提供可定位模糊受限/数据受限区域的诊断工具,可指导 flow matching 时间采样,减少冗余训练并提升生成质量。

Flow MatchingVAP诊断arxiv.org
论文多模态视觉语言理解12 天前
OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding

提出 OmniCompass 基准:820 视频与 2,460 实例评测 50 个 MLLMs

统一全模态视频定位与理解评测,揭示开源模型在音视频理解上的差距,可用于多模态模型选型与诊断。

多模态基准视频理解音视频推理👍 745arxiv.org
论文多模态视觉语言理解25 天前
GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

4B 的 GroundingPI 在 34 个 grounding 基准达 SOTA,超过 GPT-6 Astra

为 VLA/WAM 提供快速精确的视觉 grounding 基座,直接决定机器人闭环控制在杂乱场景与小目标上的可用性

VLA视觉 grounding基座模型👍 148arxiv.org
博客多模态语音与音频2 天前
Amazon Polly delivers a major upgrade to its Generative engine

Amazon Polly Generative 引擎升级:新增 14 个语音覆盖 9 个区域,Hindi/Finnish 正式可用

对使用 Polly 的 LLM 智能体语音应用,无需改代码即可获得更自然准确低延迟的语音,值得直接评估。

TTS语音合成低延迟aws.amazon.com
项目多模态视频生成4 天前
FlashML-org/FreeVideo

FreeVideo 可在 8GB VRAM、16GB RAM 上运行 MiniMax H3 生成视频

大幅降低视频生成本地推理的硬件门槛,使消费级设备即可运行 MiniMax H3,便于快速实验与部署。

视频生成本地推理MiniMax H32.3kgithub.com
项目多模态视觉语言理解7 天前
Anionex/dsh-vision-toolkit

DeepSeek 视觉工具箱支持图片问答、OCR与UI还原

为纯文本模型补齐视觉输入,适合 agent 截图/OCR/前端还原工作流。

多模态Agent工具OCR907github.com
模型多模态视觉语言理解12 天前
nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

NVIDIA Nemotron 3.5 VL 120B FP4 模型发布

NVIDIA 多模态大模型以 FP4/MoE 形态进入 transformers,可评估低精度视觉语言部署。

NVIDIA多模态FP4huggingface.co
博客多模态视觉语言理解2026/08/04
Generate Trajectories, Reasoning Traces, and Auto-Labels with NVIDIA Alpamayo 2 Super

NVIDIA 开源 34B 推理视觉模型 Alpamayo 2 Super,可生成轨迹、推理链与自动标注

AV 开发长期因轨迹、意图、场景、标注各用独立模型而难以比对与复用;单一开源模型覆盖多环节,直接利好数据闭环工程。

自动驾驶开源模型轨迹生成developer.nvidia.com
项目多模态语音与音频4 天前
debpalash/VoiceStudio

VoiceStudio:本地开源语音克隆,支持 646 种语言

本地开源语音克隆与转录方案,可作为 ElevenLabs 替代评估起点。

语音克隆开源本地推理本周 +12.2kgithub.com
项目多模态视觉语言理解7 天前
ARahim3/DigUp

本地文件多模态搜索工具DigUp基于EmbeddingGemma 2

提供跨平台端侧检索实践,可评估用于数据闭环与知识管理。

多模态端侧EmbeddingGemma5.7kgithub.com
项目多模态视觉语言理解12 天前
Anionex/agent-vision-toolkit

agent-vision-toolkit 为纯文本模型补齐看图与 GUI 自动化

可让 Codex/Claude Code 等 Agent 低成本获得多图理解、长截图 OCR 与 GUI 操作能力

多模态AgentGUI自动化1.2kgithub.com
博客多模态语音与音频2 天前
Stream low-latency speech from AI agents using Kokoro TTS on Amazon SageMaker AI

Kokoro-82M 流式 TTS 降低语音 agent 延迟

按句流式调用 Kokoro-82M TTS,避免等待完整响应,降低语音 agent 可感延迟与推理成本。

TTS语音 agent低延迟aws.amazon.com
第 2 / 5 页 · 共 50 条
2 / 5
12345
← → 键翻页