谷歌最新的人工智能大型语言模型 PaLM 2 在训练中使用的文本数据是其前身的近五倍
据 CNBC 披露,谷歌上周宣布的新型大型语言模型 PaLM 2 使用的训练数据量几乎是 2022 年前身的 5 倍,可执行更高级的编码、数学和创意写作任务。据 CNBC 获悉,谷歌的新通用大型语言模型(LLM)PaLM 2 已训练了 3.6 万亿个 token。而 token 是单词字符串,是训练 LLM 的重要组成,因为它们使模型能够预测序列中接下来出现的单词。
过去谷歌的 PaLM 使用了 7800 亿个 token,虽然谷歌一直渴望展示其人工智能技术的强大功能以及如何将其嵌入搜索、电子邮件、文字处理和电子表格中,但公布训练数据量及其它细节方面一直非常保密。微软支持的 ChatGPT 的创建者 OpenAI 也保密其最新的 LLM GPT-4 的细节。
两家公司都表示,不公开训练数据等细节是因为业务竞争的原因,但研究界呼吁进行更大的透明度。自公布 PaLM 2 以来,谷歌已表示新模型比以前的 LLM 更小,这表明谷歌的技术正在变得更加高效,同时可以完成更复杂的任务。PaLM 2 据内部文档所示,已经训练了 3400 亿个参数,是模型复杂性的指标。而初始的 PaLM 则是训练了 5400 亿个参数。至于 PaLM 2 的训练数据具体来自哪里,谷歌发言人拒绝发表评论。
据谷歌在 PaLM 2 的博客文章中表示,这种新技术称为「compute-optimal scaling」,通过这种方法,LLM 运行效率更高,性能更好,包括更快的推理、更少的服务参数以及更低的服务成本。谷歌证实 PaLM 2 已经训练了 100 种语言,并且可以执行广泛的任务,已经被用于推动 25 个功能和产品,包括谷歌的实验性聊天机器人 Bard。它提供四种大小的选择,从最小的 Gecko 到最大的 Unicorn。
众所周知,PaLM 2 比现有任何模型都更强大,在公开披露的数据中如此。Facebook 的 LLM 称为 LLaMA,是在今年 2 月宣布的,使用了 1.4 万亿个 token 训练。上一次 OpenAI 披露 ChatGPT 的训练规模是在 GPT-3 时,当时公司表示它使用了 3000 亿个 token,而现在 OpenAI 在 3 月份推出了 GPT-4,并表示该模型在许多专业测试中达到了「人类水平的表现能力」。
如今,随着新的 AI 应用快速走向主流,围绕 AI 的争议也变得越来越激烈。谷歌的高级研究科学家 El Mahdi El Mhamdi 在 2 月份因公司缺乏透明度而辞职。周二,OpenAI 首席执行官 Sam Altman 在参议院隐私和技术小组的听证会上作证,同意议员们需要一个处理 AI 的新系统。「对于这项非常新的技术,我们需要一个新的框架,」Altman 说:「像我们这样的公司肯定要对我们在世界上推出的工具负起很大的责任。」
万人试用AI新应用:真人视频转动漫、像素风,从未如此丝滑
视频的次元壁就这么被打破了。在AI的加持下,一张照片可以千变万化,其实视频也能。这是新AI应用DomoAI公布的一些demo:只需要给AI一些原始视频,它就可以帮你把视频改成你想要的风格,比如动漫风、像素风或者3D卡通风格。这一应用在X平台上引起了很多人的关注。因此,除了官方demo,我们还能看到很多网友晒出的作品。站长网2023-12-19 18:56:330003FF:已收到超300台FF 91限量版免订金预订
贾跃亭旗下FaradayFuture(FF)宣布,在阿布扎比举行FF中东战略发布会后72小时内,已收到300多份FF912.0FuturistaiFalcon限量版的不具约束力的免订金预订。站长网2023-11-28 16:40:06000032k上下文可商用!长颈鹿来袭,开源大模型长度再创新高
要点:长颈鹿是基于LLaMA模型打造的,上下文长度达到32k,是目前开源大模型中最长的。研发团队Abacus.AI通过测试不同的上下文外推方法,发现线性插值效果最好,并在此基础上提出了PowerScaling和TruncatedBasis两种新思路。尽管Abacus.AI宣称长颈鹿是首个32k开源模型,但Together.AI更早发布了类似规模的版本,两者可以说并列第一。站长网2023-08-26 16:04:510000DeepMind 联合创始人:人工智能威胁白领员工 将在未来十年内创造「大量输家」
人工智能的进步将会威胁到白领员工,并在未来十年内创造「大量输家」,人工智能实验室DeepMind的联合创始人、该技术的先驱MustafaSuleyman表示。站长网2023-05-12 09:45:500001Edge疑屏蔽百度搜索结果 双方暂未回应
1月29日,“百度Edge”事件引发微博热议,许多网友反映,Edge浏览器显示百度搜索结果存在风险,搜索结果出现“此网站不安全已被人投诉”的提示语,要查看详情,然后选择“仍要访问此不安全网站(不建议)”才能进入相关页面。经过测试发现,目前为止,相关问题还没有解决,在Edge浏览器上点击百度相关链接,所有页面都出现“红色”警告。百度和微软中国方面都表示不清楚情况,正在向业务部门询问了解情况。站长网2024-01-29 17:40:230000