研究揭示

**划重点:**1.📉卡内基梅隆大学研究指出，GeminiPro在基准测试中不如GPT-3.5，远远落后于GPT-4。2.🔄与谷歌在Gemini发布会上提供的信息相矛盾，强调了中立基准测试机构或流程的必要性。3.🧐研究发现GeminiPro在数学推理和多选题方面表现不佳，对自身基准的依赖不足以可靠衡量语言模型性能。

文章概要:1.针对FlappyBird的一项实验表明，AI无法轻松让非程序员创建复杂游戏。2.实验中，使用Python和ChatGPT生成FlappyBird游戏的35次尝试，并未找到稳定的生成方法。3.改进方法，包括尝试不同编程语言、更精确的提示和更有效地整合ChatGPT。