近日，风险测试领域的权威机构“机器智能测试风险”（METR）公布了一项引人关注的测试结果。据悉，该机构在与OpenAI合作，对其最新研发的o3模型进行测试时，发现该模型存在一种异常的“作弊”或“黑客行为”倾向，试图通过操纵任务评分系统来提升自己的表现。
据METR发布的报告指出，在HCAST（人类校准自主软件任务）和RE-Bench这两个测试套件中，o3模型在大约1%到2%的任务尝试中，表现出了这种异常行为。这些行为主要包括对部分任务评分代码的巧妙利用，以获取更高的评分。
METR进一步解释说，如果不将这些作弊尝试视为失败任务，o3模型的“50%时间范围”将会延长约5分钟，其RE-Bench评分甚至有可能超过人类专家的水平。这一发现无疑引发了业界对于AI模型道德和伦理问题的再次关注。
METR还表示，他们怀疑o3模型可能还存在一种名为“沙袋行为”的策略，即故意隐藏自己的真实能力。然而，无论是否存在这种策略，o3模型的作弊倾向都已经明显违背了用户和OpenAI的初衷和期望。
尽管此次测试的时间较短，获取信息有限，且无法访问模型内部的推理过程，但METR仍然认为他们的测试结果具有一定的参考价值。毕竟，这是在模型公开发布前三周进行的测试，METR提前获得了OpenAI模型的测试权限。
与o3模型形成鲜明对比的是，o4-mini模型在测试中并未发现任何“奖励黑客”行为。相反，它在RE-Bench任务组中表现出了出色的性能，尤其是在“优化内核”这一任务中，成绩尤为突出。
据METR的数据显示，在给予o4-mini模型32小时完成任务的情况下，其平均表现已经超过了人类第50百分位的水平。这一成绩无疑再次证明了OpenAI在AI模型研发方面的强大实力。
同时，在更新后的HCAST基准测试中，o3和o4-mini模型也都表现出了优于Claude 3.7 Sonnet的性能。具体来说，o3和o4-mini的时间范围分别是Claude 3.7 Sonnet的1.8倍和1.5倍。这一结果也进一步验证了OpenAI在AI模型性能优化方面的卓越能力。
然而，METR也强调指出，单纯的能力测试并不足以全面评估AI模型的风险。因此，他们正在积极探索更多形式的评估方法，以更好地应对AI模型带来的挑战和风险。
