中文大模型比英文更烧钱,这居然是AI底层原理决定的?
ChatGPT等AI工具的使用正越来越普遍。在与AI交互时,我们知道,输入的提示词差异会对输出结果产生影响。那么,如果相同意思的提示词,用不同语言分别表述,结果差异是否较大?另外,提示词的输入和输出是和模型背后的计算量直接挂钩的。因此,不同语言之间在AI输出和成本消耗方面是不是有着天然的差异性或者说是“不公平性”?这种“不公平性”又是如何产生的呢?
据了解,提示词背后其实对应的不是文字,而是token。当接收到用户输入的提示词之后,模型会将输入转换为token列表进行处理和预测,同时将预测的token转换为我们在输出中看到的单词。也就是,token是语言模型处理和生成文本或代码的基本单位。可以关注到,各家厂商会宣称自家模型支持多少token的上下文,而不是说支持的单词或汉字的数量。
影响Token计算的因素
首先,一个token并不对应一个英文单词或一个汉字,token跟单词之间没有具体的换算关系。比如,根据OpenAI发布的token计算工具,hamburger一词被分解为ham、bur和ger,共计 3 个token。另外,同一个词语,如果在两句话中的结构不同,会被记作不同数目的token。
具体token如何计算主要取决于厂商使用的标记化(tokenization)方法。标记化是将输入和输出文本拆分为可由语言模型处理的token的过程。该过程可以帮助模型处理不同的语言、词汇表和格式。而ChatGPT背后采用的是一种称为“字节对编码”(Byte-Pair Encoding,BPE)的标记化方法。
目前来看,一个单词被分解成多少token,跟它的发音和在句子中的结构有关。而不同语言之间的计算差异似乎较大。
拿“hamburger”对应的中文“汉堡包”来说,这三个汉字被计作 8 个token,也就是被分解成了 8 部分。

再拿一段话来进行中英文语言token计算的“不公平性”对比。
下面是OpenAI官网的一句话:You can use the tool below to understand how a piece of text would be tokenized by the API, and the total count of tokens in that piece of text.这段话共计 33 个token。

对应的中文为:您可以使用下面的工具来理解API如何将一段文本标记化,以及该段文本中标记的总数。共计76token。

中英文语言在AI上存在天然“不公平”
可以看到,相同意思的中文token数是英文的两倍多。中文和英文在训练和推理上的“不公平性”,也许是因为中文通常一个词汇可以表达多种含义,语言组成较为灵活,中文还有着深厚的文化内涵,具有丰富的语境意义,这极大增加了语言的歧义性和处理难度;英语语法结构较为简单,这使得英语在一些自然语言任务上比中文更容易被处理和理解。
中文需要处理的token更多,模型所消耗的内存和计算资源也就越多,当然所需要的成本也就越大。
同时,ChatGPT虽然可以识别包括中文在内的多种语言,但它训练使用的数据集大都为英文文本,在处理非英语语言时,可能面临语言结构、语法等方面的挑战,进而影响输出效果。近日的一篇题为《多语言语言模型在英语中表现得更好吗?》(Do Multilingual Language Models Think Better in English?)的论文中提到,当将非英文语言翻译成英文后输出的结果,要好于直接使用非英文语言作为提示词的结果。
对中文用户来说,似乎先将中文翻译成英文,然后再与AI交互,似乎效果更好,也更划算。毕竟使用OpenAI的GPT- 4 模型API,每输入 1 千token至少要收费0. 03 美元。
那由于中文语言的复杂性,AI模型在使用中文数据进行准确训练和推理方面可能面临挑战,并增加了中文模型应用和维护的难度。同时,对开发大模型的公司来说,做中文大模型由于需要额外的资源,或许要承担更大的成本。
美图推出AI数字人生成工具DreamAvatar 上线AI演员、AI主播等功能
美图公司宣布,旗下AI数字人生成工具DreamAvatar上线,首期推出“AI演员”数字人服务,服务于视频内容创作、影视处理与剪辑等生产力场景。站长网2023-08-30 08:18:170000今日AI:英伟达大模型Nemotron-4登场;ai贴纸Face to sticker火了;KOALA AI 模型问世;Hugging Face发现100个恶意模型
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/🤖📱💼AI应用英伟达最强通用大模型Nemotron-4登场!【AiBase提要:】站长网2024-03-01 17:05:180000Anthropic 超越 OpenAI 的聊天机器人 Claude AI 能在一分钟内分析整本书
聊天机器人经常被忽视的一个限制是记忆能力。虽然这些系统的AI语言模型是基于TB级的文本上训练的,但它们在使用过程中能够处理的文本量(即输入文本和输出的组合,也称为「contextwindow上下文窗口」)是有限的。对于ChatGPT来说,大约是3000个单词。虽然有办法可以解决这个问题,但它仍然不是大量的信息。站长网2023-05-15 11:43:210001重视隐私保护你会用吗?微信键盘更名微信输入法
快科技6月28日消息,去年12月,微信键盘1.0.0正式在Android、iOS平台上线,这是微信官方出品的中文输入法。今日,微信键盘iOS版本发布1.1.0版本更新,更新后支持发送颜文字、输入更多特殊符号、优化横屏下输入法体验、优化体验和问题修复。值得一提的是,更新后的微信键盘正式更名为微信输入法,命名算是同步了其它几家输入法,相比原来的微信键盘”,改成微信输入法更加直观。站长网2023-06-29 11:40:020000iPhone中国销量暴跌30%!分析师公布2024年首周手机销量报告
据国外媒体报道,苹果在中国市场遭遇重创,iPhone销量在2024年第一周出现了断崖式下跌,较上年同期暴跌30%。该分析人士认为,这主要源于中国本土竞争对手的激烈竞争,尤其是华为的强势反扑。0001