arxiv.org·2026/10/21
针对英语开发验证的LLM管线能否跨语言复用,论文在支票提取、Mintaka九语言问答和FinanceBench金融QA(SEC 10-K文件)三项任务上,用GPT-5.1、Claude Opus 4.6、Gemini 3.5 Flash三族模型及固定证据语料,从准确性、推理effort迁移、引用行为三方面测试。作者报告,支票提取中Gemini联合准确率跨提示语言保持在95.2%以上,模型选择压倒语言;Mintaka上跨语言差距小,但FinanceBench四语言均值跨度仅5.8pp,且Hindi从Mintaka最差逆转为金融问答最优82.9%。推理effort在一般知识问答收益微弱,金融内容上最高+8pp;引用集与英语的Jaccard重合稳定在约78%,但自报置信度与语义相似度均不能预测跨语言准确率。结论支持翻译后有条件复用英语管线,每领域每语言仍需验证;局限包括英语证据翻译混淆推理与翻译质量、引用代理指标非人工、FinanceBench仅四语言且规模小。
为什么重要 对金融 AI 工程师:英文验证过的抽取/QA 管线翻译后可复用,但需按领域和语言验证;语义相似度与置信度不能做筛选信号。适合 金融 AI 平台/风险团队、多语言 RAG/QA 工程师、评估管线负责人。
金融机构越来越多地在多语言市场中部署大语言模型(LLMs),这带来一个实际问题:用英语开发和验证的流程能否跨语言复用,还是必须为每个地区重新构建?我们通过三个互补任务,从三个维度——准确性、推理努力迁移和行为稳定性——测试跨语言可复用性。
任务1(支票提取)和任务2(Mintaka 问答,在九种语言和九种模型努力配置下使用固定证据)测试准确性和努力设置是否可迁移;任务3(FinanceBench 试点,在四种语言、SEC 10-K 文件上共 50 项)验证这些模式是否能推广到金融内容。
准确性可复用性得到广泛确认:Gemini 3.5 Flash 在不同提示语言上取得了 95.2-97.6% 的提取准确率,FinanceBench 各语言均值跨度为 5.8 个百分点(77.1-82.9%),不过语言难度排序在领域之间发生反转(Hindi 在 Mintaka 上最差,在 FinanceBench 上最好,为 82.9%)。
努力可复用性因领域而异:更高的推理努力在通用知识问答上只带来边际收益,但在金融内容上最高带来 8 个百分点的提升;在英语中有帮助的努力配置在其他语言中也会按比例带来帮助。行为可复用性成立:与英语的引用集重叠平均为 77-79% Jaccard,没有哪一种语言始终更差。
综合来看,这些结果支持对英语构建的流程进行有条件复用,但仍需按领域、按语言进行验证——语义相似度和自报置信度都不能可靠预测跨语言准确率。
Financial institutions increasingly deploy large language models (LLMs) in multilingual markets, raising a practical question: can pipelines developed and validated in English be reused across languages, or must they be rebuilt per locale?
We test cross-lingual reusability along three dimensions--accuracy, reasoning-effort transfer, and behavioural stability--through three complementary tasks.
Task 1 (cheque extraction) and Task 2 (Mintaka QA with pinned evidence across nine languages and nine model-effort configurations) test whether accuracy and effort settings transfer; Task 3 (FinanceBench pilot, 50 items over SEC 10-K filings in four languages) validates whether these patterns generalise to financial content.
Accuracy reusability is broadly confirmed: Gemini 3.5 Flash achieves 95.2-97.6% extraction accuracy across prompt languages, and FinanceBench per-language means span 5.8pp (77.1-82.9%), though the language-difficulty ranking reverses between domains (Hindi is worst on Mintaka, best on FinanceBench at 82.9%).
Effort reusability is domain-dependent: higher reasoning effort yields marginal gains on general-knowledge QA but up to 8pp on financial content, and effort configurations that help in English help proportionally in other languages.
Behavioural reusability holds: citation-set overlap with English averages 77-79% Jaccard, with no single language consistently worse.
Together, these results support qualified reuse of English-built pipelines, but per-domain, per-language validation remains necessary--neither semantic similarity nor self-reported confidence reliably predicts cross-lingual accuracy.
注释 · 联合准确率 = courtesy 与 legal 两个字段同时正确,基于 124 个评估项。出自 表1



EVIDENCE / METHODS
表格
七项模式中有两项不迁移:语言难度排名与冗长=错误信号在 FinanceBench 反转。
| 模式 | Mintaka | FinanceBench | 迁移? |
|---|---|---|---|
| 语言难度排名 | en > es > de > hi | hi > es > en > de | 否 |
| 跨语言差距 | +0.9pp | +0.2pp(混合) | 部分 |
| 深度增益低→高 | +0.5pp | +2.0pp | 部分 |
| 模型家族排名 | Cl > GPT > Gem | Cl > GPT > Gem | 是* |
| 数值答案稳健 | +1.0pp | +2.0pp | 是 |
| 冗长=错误 | 全部更长(1.95×) | 混合(0.88×) | 否 |
| 校准差 | gap 0.015–0.022 | gap 0.028 | 是 |
注释 · 表示整体排名保留,但高努力时 GPT-5.1 在 FinanceBench 领先,Claude 在 Mintaka 领先。 出自 表4
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。