DeepMind研究人员发现,深度学习模型在图像和音频压缩方面表现出色
文章概要:
1. DeepMind研究人员发现,深度学习模型在文本领域之外,出人意料地在图像和音频数据的压缩方面表现出色。
2. 研究发现,虽然主要训练于文本数据,但这些大型语言模型(LLMs)在图像和音频数据的压缩方面表现出令人瞩目的性能,甚至超过了专门的压缩算法。
3. 将LLMs从压缩的角度看待为数据压缩器,为评估模型性能和规模提供了新的洞察,对模型的大小和性能之间的关系提供了重要见解。
近日,Google旗下的人工智能子公司DeepMind发布的一项研究表明,大型语言模型(LLMs)除了在文本数据处理方面表现出色之外,还具备出色的图像和音频数据压缩能力。这一发现为重新审视LLMs的潜力提供了新的角度。
研究的核心观点是将LLMs视为强大的数据压缩器,而非仅仅是文本生成模型。研究作者提出“通过压缩的角度来看待预测问题”,这为我们理解这些模型的能力带来了全新的视角。
在研究中,DeepMind的研究人员对LLMs进行了一些微小的修改,使其能够执行算术编码,这是一种无损压缩算法。值得注意的是,LLMs的训练过程是基于对文本序列的极大概率和交叉熵的最小化,这使得它们能够生成概率分布,与数据压缩之间存在一对一的等价关系。这种无损压缩算法,如gzip,可以从压缩的数据完美重构原始数据,确保不丢失任何信息。
研究人员对LLMs在文本、图像和音频数据上的压缩能力进行了评估。不出所料,LLMs在文本压缩方面表现出色。例如,Chinchilla模型(拥有700亿参数)将数据压缩到原始大小的8.3%,远远超过gzip和LZMA2,它们分别只能实现32.3%和23%的压缩率。
然而,更引人注目的发现是,尽管LLMs主要在文本数据上进行训练,但它们在图像和音频数据的压缩方面也取得了显著的成功,超过了领域专用的压缩算法,如PNG和FLAC。
尽管取得了令人鼓舞的结果,但与现有的压缩模型相比,LLMs在实际数据压缩中并不实用。这是因为LLMs的体积较大,运行速度较慢。例如,研究人员发现,gzip可以在CPU上在不到一分钟内将1GB的文本数据压缩,而具有320万参数的LLM需要一个小时才能完成相同数量数据的压缩。
研究还发现,LLMs的规模对其性能有重要影响。虽然一直以来,人们普遍认为越大的LLMs性能越好,但研究人员发现,对于较小的数据集,更大的模型并不一定更好。这表明LLMs的性能与数据集的大小有关,压缩率可以作为评估模型对数据集信息学习的指标。
AI生成的西游记短片震惊网友 博主:借助AI技术一周完成
最近,网络上疯传一部令人叹为观止的《西游记》动画短片,这部短片由四川的知名博主“AI疯人院”利用先进的AI技术创作而成。其精湛的视觉效果立即引发了网友们的热议,大家纷纷感叹科技进步的速度之快令人难以想象。据了解,这部短片以《西游记》原著的第一集为创作蓝本,全长约3分56秒,生动描绘了石猴从降生到拜师学艺的精彩过程。站长网2024-02-19 14:27:380000东方甄选自己搞直播了!
各位村民好,我是村长。7月5日-7月9日,东方甄选开启了甘肃文化、旅游、带货之旅,并且在东方甄选自营app上同步开启直播带货。许多人认为这是俞敏洪对流量的焦虑,为出走抖音做准备。01东方甄选也有不确定东方甄选到现在刚在抖音火了一年左右,除了东方甄选既有老牌直播间交个朋友又有新秀三只羊网络等品牌直播间,同时还有各类明星、企业家、达人的直播间。站长网2023-07-06 14:58:400000阿里开源千亿参数模型 Qwen1.5-110B,性能超越 Meta-Llama3-70B
近日,阿里巴巴宣布开源其最新的Qwen1.5系列语言模型-Qwen1.5-110B。这是Qwen1.5系列中规模最大的模型,也是该系列中首个拥有超过1000亿参数的模型。站长网2024-04-28 17:54:540000五角大楼启动2.4万元AI赏金计划,寻找偏见证据
划重点:1.🇺🇸美国国防部推出赏金计划,旨在发现人工智能模型中的法律偏见。2.🕵️♂️参与者需从Meta的开源LLama-270B模型中获取明显的法律偏见例证。3.💰赏金计划分两阶段,前三名提交者将分享总额为24000美元的奖金。站长网2024-02-01 14:05:360000IBM推出新的企业AI平台 Watsonx
IBM推出了一个名为watsonx的新人工智能和数据平台,该平台旨在帮助企业通过可信数据、速度和治理来加速高级人工智能的使用。据悉,atsonx包含三个主要组件,分别如下:Watsonx.ai,旨在帮助AI构建者训练、测试、调整和部署传统机器学习和由基础模型提供支持的新型生成AI功能。站长网2023-05-10 14:34:110000