OpenAI 最新研究：当前 AI 模型仍无法媲美人类程序员

尽管论文指出，这三款 LLMs 通常能够“远快于人类”地完成任务，但它们却无法理解漏洞的广泛性及其背景，从而导致解决方案“错误或不够全面”。研究人员解释称，Claude 3.5 Sonnet 的表现优于另外两款 OpenAI 模型，并且在测试中“赚取”的金额也超过了 o1 和 GPT-4o。然而，其大多数答案仍然是错误的。研究人员指出，任何模型若想被真正用于实际编程任务，都需要具备“更高的可靠性”。简而言之，该论文似乎表明，尽管这些前沿模型能够快速地处理一些细节任务，但它们在处理这些任务时的技能水平，仍远远不及人类工程师。