ChatGPT通过人类考试也不算

【新智元导读】如何给大模型一个真正公平评价标准呢?世界最强AI——ChatGPT可以通过各种考试，甚至输出回答让人难以辨别真假。然而，它也有力所不及之处，那便是解决简单的视觉逻辑难题。在一项由屏幕上排列的一系列色彩鲜艳的块组成的测试中，大多数人都能找出连接的图案。但是，根据研究人员今年5月的一份报告，GPT-4在一类图案的测试中正确率仅为1/3，而在另一类图案中正确率仅为3%。