大模型测试题爆火

一项新的“大模型Benchmark”在推特上爆火，LeCun也点赞转发了!而且无论是GPT-4还是Claude3，面对它都如同被夺了魂，无法给出正确答案。难倒一众大模型的，是逻辑学当中经典的“动物过河”问题，有网友发现，大模型对此类问题表现得很不擅长。甚至有人观察到，几个不同的模型都给出了一致的（错误）答案，让人怀疑他们是不是用了相同的训练数据。