GenRecs Tokenization: Transforming Ads Recommendation at Meta with Stable Model Vocabulary

Meta 用稳定语义词汇表替代广告 ID，官方称转化 +0.35%

Meta 将 GenRecs Tokenization 作为生成式广告推荐的数据基础，把系统从给候选逐个打分转向用 LLM 同时推理广告内容与用户偏好：不再为每个广告、商品、页面和 pixel 维护专属 ID，而用稳定语义词表中的 token 表示物品，使新品或低曝光广告继承同类已有学习信号。系统先用预训练多模态模型读取文本与图像并编码成语义嵌入，再融合用户交互表示，经独立子空间分解后映射到 codebook，形成短序列离散 token；广告侧会结合 learned encoder、residual decomposition 与 learned vector codebooks。官方用 cluster purity、distribution balance、codebook utilization 评估词表质量，在 8 个 tokenizer 版本中发现这些指标与下游 CTR 预测正相关。配合 GEM 与 Adaptive Ranking Model，Meta 内部测得跨场景转化提升 +0.35%，并称该机制能改善尾部广告冷启动、跨活动迁移和训练数据飞轮，后续将扩大 token 覆盖、把 tokenizer 质量作为一等目标，并用紧凑 verbalized tokens 与 semantic IDs 服务 LLM-native 检索与排序。

1. 1用语义 token 替代专属 ID
2. 2与 GEM 和 Adaptive Ranking 配套
3. 3three-stage：嵌入、分解、码本量化

为什么重要　为广告推荐提供稳定语义数据层；冷启动、长尾与 tokenizer 质量指标可迁移到其他数据闭环。适合　推荐系统工程师、广告算法与数据闭环团队

来源

engineering.fb.com

发布

2026/10/20