2026-09-24 — views
SWE-Flux基准测试揭示大语言模型在运行时推理方面的困境
为什么值得读 大语言模型在运行时行为方面仍然薄弱。SWE-Flux提供了一个严格、自动化的基准测试，以衡量其在真实Python仓库中这一能力的差距。
新的仓库级基准测试SWE-Flux显示，顶级大语言模型在动态执行推理任务上的准确率仅为37%。
运行时推理的挑战
大型语言模型正越来越多地集成到编码工作流中，然而它们对代码执行进行推理的能力仍然是一个未解之谜。虽然现有的仓库级问答基准测试主要评估静态代码理解能力，但它们通常依赖基于大语言模型的评价方法，这些方法可能并不可靠。此外，专注于执行推理的基准测试通常局限于小型代码片段或单个函数，缺乏完整软件项目的复杂性。
引入SWE-Flux
为了解决这些局限性，研究人员引入了SWE-Flux，这是一个专为动态执行推理设计的新型仓库级基准测试。该基准测试包含480个基于执行的实例，分布在12个真实的Python仓库中。SWE-Flux的一个关键创新在于其生成事实真相（ground truth）的方法。与依赖人工编写或主观的大语言模型判断不同，正确答案是从经过插桩的测试执行中自动获取的。这种方法确保了在评估模型性能时具有更高的保真度和客观性。
基准测试范围与评估
SWE-Flux涵盖了广泛的动态编程概念，包括单测试和多测试问题。任务评估了对控制流、循环、程序状态、数据流、异常和程序不变量的理解。该研究在基准测试上评估了五种不同的大型语言模型，以衡量它们的能力。结果表明，对运行时行为进行推理仍然是当前人工智能系统面临的一个重大挑战。
性能结果
评估显示，表现最好的模型准确率仅为37%。这一低分突显了任务的难度。对模型性能的分析显示出成功与失败的不同模式。模型在局部行为方面表现相对较好，例如理解不变量、过程内控制流、异常和简单循环。然而，它们在更复杂的任务上遇到了显著困难。这些困难领域包括数据流分析、过程间执行、精确的状态推理以及套件级聚合。
生成新变体
除了评估之外，该研究还展示了用于创建基准测试的预言机提取管道的实用性。该管道可以通过输入扰动生成新的基准变体。研究人员发现，这种方法成功地为几乎所有90%的选定实例提取了有效的变体。重要的是，这些新生成的变体对评估模型来说具有显著更高的挑战性，这表明基准测试可以进一步扩展以测试模型的极限。
实务笔记
开发人员应认识到，当前的大语言模型在推理复杂的运行时行为或过程间状态变化方面尚不可靠。依赖这些模型来处理涉及复杂数据流或套件级逻辑的代码，需要严格的验证和测试。