智源研究院开源代码生成训练数据集与评测基准TACO

TACO 是一个专注于算法的代码生成数据集，旨在为代码生成模型提供更具挑战性的训练数据集和评测基准。

与当前主流代码评测基准相比，TACO 在数据规模、数据质量和细粒度评测方案上具有明显优势。它包括更大规模的训练集和测试集，每个题目都具备多样化的解题答案，并提供了细粒度的标签，如任务主题、算法、编程技能和难度等级。

实验结果表明，当前流行的代码生成模型在 TACO 评测中与 GPT-4存在显著差异，说明这一领域仍有巨大的提升空间。

TACO 数据集不仅提供了一个挑战性的测试方法，还能作为研究和改进模型性能的训练数据。通过社区的共同努力，可以激发更多创新的解决方案，进一步推动代码生成领域的发展。

具体特性如下：

规模更大:TACO 包括训练集（25443道题目）和测试集(1000道题目)，是当前规模最大的代码生成数据集。

质量更高:TACO 数据集中的每个题目都尽可能匹配多样化的解题答案，答案规模高达155万条，确保训练时模型不易过拟合以及评测结果的有效性。

提供细粒度标签:TACO数据集中每个题目均包含任务主题、算法、技能及难度等细粒度标签，为代码生成模型的训练与评测更精确的参考。

TACO 开源地址：

论文:https://arxiv.org/abs/2312.14852

智源开放数据仓库:https://data.baai.ac.cn/details/BAAI-TACO

GitHub:https://github.com/FlagOpen/TACO

Hugging Face:https://huggingface.co/datasets/BAAI/TACO

新鲜AI产品点击了解：https://top.aibase.com/