Partnering with Accenture on embedded evaluationAnthropic 与 Accenture 评估前沿 AI,各投 至少 $1 billion
Anthropic 与 Accenture 评估前沿 AI,各投 至少 $1 billion
嵌入式评估者将进入 AI 公司内部开展红队、对齐评估与防护测试,企业需预留独立审计与安全验证接口。

DOMAIN OBSERVATORY
资料 50 条 · 常规内容近 60–90 天,综述/报告保留一年最近同步 19 分钟前
(暂无权威综述,基于前沿内容归纳)本条聚焦大模型/基础模型的新一代模型权重、评测、长上下文、推理与开源生态。
Anthropic 与 Accenture 评估前沿 AI,各投 至少 $1 billion
嵌入式评估者将进入 AI 公司内部开展红队、对齐评估与防护测试,企业需预留独立审计与安全验证接口。

发布 PLE 基准:85 个长程物理工程任务,最强配置仅 50.6%
首次用可签字、可计费的物理工程设计交付物评测智能体,暴露出最强配置也仅有 50.6% 且成本极高,可作为工程选型与评测参考。

SANE 验证测试族达 JRH 的 3.7 倍
LLM judge 广泛用于评测与训练,该方法自动生成分数器测试,提升可靠性验证。
跨语言 LLM 流程可复用性获验证:Gemini 3.5 Flash 提取准确率 95.2-97.6%
为多语言金融 NLP 部署提供依据:英文流程可条件复用,但仍需按语言和领域验证;推理努力的迁移效果因领域而异。

Anthropic 向 METR 开放类员工访问,其风险评估结果将公开发布
第三方深度评估前沿模型安全的机制落地,METR 将公开风险评估结果,对安全与合规工程实践有直接参考意义。
