OpenAI 用"两项设置"把 ARC-AGI-3 得分翻三倍:基准评测遭遇信任危机
↗OpenAI 7 月 29 日发布研究报告,披露通过"两项设置"即可将模型在 ARC-AGI-3 基准上的得分提升至三倍,揭示评测结果与推理/解码设置强相关,提醒业界警惕"评测配置依赖"导致的成绩虚高。
围绕这个主题,发现相关工具、新闻和真实工作流。
探索其他标签OpenAI 7 月 29 日发布研究报告,披露通过"两项设置"即可将模型在 ARC-AGI-3 基准上的得分提升至三倍,揭示评测结果与推理/解码设置强相关,提醒业界警惕"评测配置依赖"导致的成绩虚高。
Anthropic 可解释性团队 7 月 6 日发布研究《A global workspace in language models》:Claude 内部浮现一个"心智工作空间",持有不出现在输出中的内部思考;为理解 LLM 推理机制提供新证据。