4在图形推理任务上表现不佳

要点:美国圣塔菲研究所的研究显示，GPT-4在图形推理任务上的准确率仅为33%，而多模态版本GPT-4v的表现更差，只有25%。通过使用ConceptARC数据集，作者对451名人类受试者进行了图形推理任务测试，结果显示人类的平均正确率为91%，远高于GPT-4。