arxiv.org·2026/10/21
对话推荐按域分别适配视觉语言模型会令成本线性增长且需路由,合并多域又因属性差异掉点。LightCRS以冻结GTE-base和LLaVA-v1.6离线预计算标题、特征、描述、图像描述与视觉token五类表示,在线仅5.3M可训练参数,跨域共享query-conditioned cross-attention,并用候选间Transformer联合比较候选。作者构建MM-R2A-25基准,将Reddit对话与Amazon商品配对,与PRIME、LaViC、MSCRS及检索、生成式基线比较。作者报告平均HR@1达0.2618,较最强基线PRIME提升35.4%,每查询延迟降266倍;联合多域训练较单域HR@1再高15.2%。消融显示候选间比较、跨注意力和视觉token贡献最大,标题是最有用文本视图;局限是受第一阶段检索质量制约,未见域性能偏低,且只重排不生成对话。
为什么重要 它把冻结编码离线化,只用小型在线模块融合 25 域商品证据,适合评估多模态推荐服务成本与统一模型。适合 做多模态推荐、对话式电商排序与低延迟服务的工程师
对话推荐系统最近采用 vision-language models,将用户对话意图与多模态商品信息匹配。然而,把这些方法扩展到许多产品域会面临一个困境:为每个域部署单独适配的 VLM 会使成本随域数量线性增长,并要求把每个对话路由到正确模型;而天真地把所有域合并到单个 VLM 会降低准确率,因为不同类别的商品特征差异很大。我们提出 LightCRS,一个用于统一多域多模态对话推荐的轻量、查询条件化框架。
LightCRS 使用冻结编码器在离线阶段一次性预计算多模态商品表示。在线阶段,一个紧凑的 5.3M 参数模块通过查询条件化 cross-attention 为每个对话融合这些证据,其参数在所有域之间共享,并使用 inter-candidate Transformer 联合比较候选。为了实现严格评估,我们构建了 MM-R2A-25,一个 25 域基准,将自然的 Reddit 寻求推荐对话与 Amazon 商品列表配对。
LightCRS 达到 state-of-the-art 的平均 HR@1、NDCG@5 和 MRR,将 HR@1 相比最强基线提升 35.4%,同时把每查询延迟降低 266 倍。联合多域训练本身将 HR@1 相比单独训练的单域模型提升 15.2%。
Conversational recommender systems have recently adopted vision-language models to match user dialogue intents with multimodal product information.
However, extending these methods to many product domains faces a dilemma: deploying a separately adapted VLM per domain scales cost linearly with the number of domains and requires routing each dialogue to the right model, while naively merging all domains into a single VLM degrades accuracy because product characteristics vary widely across categories.
We propose LightCRS, a lightweight, query-conditioned framework for unified multi-domain multimodal conversational recommendation.
LightCRS precomputes multimodal product representations once offline with frozen encoders.
Online, a compact 5.3M-parameter module fuses this evidence for each dialogue via query-conditioned cross-attention, whose parameters are shared across all domains, and compares candidates jointly with an inter-candidate Transformer.
To enable rigorous evaluation, we construct MM-R2A-25, a 25-domain benchmark pairing natural Reddit recommendation-seeking conversations with Amazon product listings.
LightCRS achieves state-of-the-art average HR@1, NDCG@5, and MRR, improving HR@1 by 35.4% over the strongest baseline while reducing per-query latency by 266 times.
Joint multi-domain training itself improves HR@1 by 15.2% over separately trained single-domain models.
HR@1 增幅
相对 PRIME
延迟降低
每查询延迟
FLOPs 降低
每查询计算量
吞吐提升
服务端吞吐
注释 · 相对最强多模态基线 PRIME 的官方报告相对变化。出自 §4.2.1

EVIDENCE / METHODS
判断
离线预计算 是低延迟关键
LightCRS 把静态商品编码移到离线,用冻结 GTE-base 和 LLaVA-v1.6 缓存五视角表示;在线只训练小型模块。代价是效果仍受第一阶段检索质量约束,且未面向对话生成。
注释 · 该设计把重型 VLM 编码从在线路径移除,但依赖候选召回质量。出自 §3.2
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。