具体而言，这一新基准测试评估了这些 LLMs 在处理 Upwork 上的两类任务时的表现：一类是个体任务，涉及修复漏洞并实施修复措施；另一类是管理任务，要求模型从更宏观的角度做出更高层次的决策。值得注意的是，在测试过程中，这些模型被禁止访问互联网，因此它们无法直接抄袭网上已有的类似答案。这些模型所承担的任务在 Upwork 上的价值累计可达数十万美元，但它们仅能解决一些表面的软件问题，却无法在大型项目中真正找到漏洞及其根源。这种“半成品”的解决方案，对于与 AI 有过合作经验的人来说并不陌生 ——AI 擅长输出听起来自信满满的信息，但在仔细审查时往往漏洞百出。
