标签 · #runtime

SWE-Flux基准测试揭示大语言模型在运行时推理方面的困境

为什么值得读 大语言模型在运行时行为方面仍然薄弱。SWE-Flux提供了一个严格、自动化的基准测试，以衡量其在真实Python仓库中这一能力的差距。

新的仓库级基准测试SWE-Flux显示，顶级大语言模型在动态执行推理任务上的准确率仅为37%。