苹果 AI 新突破:在 iPhone 上部署大型语言模型成为可能
苹果公司的人工智能研究人员表示,在将大型语言模型(LLMs)部署到 iPhone 和其他内存有限的苹果设备上取得了关键性突破。他们发明了一种创新的闪存利用技术,可有效应对内存限制问题。
LLMs 与内存限制
像 ChatGPT 和 Claude 这样基于 LLM 的聊天机器人,通常需要大量的数据和内存才能运行。对于内存容量有限的设备如 iPhone,这是一个挑战。苹果研究人员开发了一种新技术,利用闪存(即存储您的应用和照片的内存)来存储 AI 模型的数据。
闪存中的 AI
在名为「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」的新研究论文中,作者指出移动设备中的闪存比传统用于运行 LLMs 的 RAM 更为丰富。他们的方法巧妙地绕过了这一限制,使用了两种关键技术来最小化数据传输并最大化闪存吞吐量:
- 窗口化技术: 这可以看作是一种回收方法。AI 模型不是每次都加载新数据,而是重用它已经处理的一些数据。这减少了对持续内存提取的需求,使过程更快更顺畅。
- 行列捆绑技术: 这种技术类似于一次阅读更大的数据块,而不是一次一个单词。通过更高效地分组数据,可以更快地从闪存中读取数据,加快 AI 理解和生成语言的能力。
这些方法的结合使 AI 模型能够运行的规模达到 iPhone 可用内存的两倍。据论文称,这将使标准处理器(CPU)上的速度提高 4-5 倍,图形处理器(GPU)上的速度提高令人印象深刻的 20-25 倍。作者写道:「这一突破对于在资源有限的环境中部署先进的 LLMs 至关重要,从而扩大了它们的应用范围和可及性。」
iPhone 上的更快 AI
这一 AI 效率的突破为未来的 iPhone 开启了新的可能性,如更先进的 Siri 功能、实时语言翻译和在摄影和增强现实中的复杂 AI 驱动功能。此技术还为 iPhone 上运行复杂的 AI 助手和聊天机器人铺平了道路,据悉苹果公司已在研究这方面的应用。
苹果公司正在开发自己的生成式 AI 模型「Ajax」,据称在设计上能与 OpenAI 的 GPT-3 和 GPT-4 相媲美。Ajax 运行在 2000 亿参数上,表明其在语言理解和生成方面的高度复杂性和能力。内部称为「Apple GPT」的 Ajax 旨在统一苹果公司的机器学习开发,表明了将 AI 更深入地整合到苹果生态系统中的更广泛战略。
据最新报道,Ajax 被认为比早期的 ChatGPT 3.5 更有能力。然而,也有人认为,截至 2023 年 9 月,OpenAI 的新模型可能已超越了 Ajax 的能力。
根据《The Information》和分析师 Jeff Pu 的说法,苹果预计将在 2024 年晚些时候在 iPhone 和 iPad 上推出某种生成式 AI 功能,届时将发布 iOS 18。据称,苹果计划提供云端 AI 和设备上 AI 处理的结合。
苹果 iPhone 15 选择直观的人工智能应用 而非生成式 AI
站长之家(ChinaZ.com)9月14日消息:2023年技术产品的推出已经变得可预测:现在所有产品都配备了生成式人工智能功能,可以提供健谈且知识渊博的文本或惊人的图像。本周iPhone15的发布显示出苹果选择了「不同的思考」(ThinkDifferent非同凡想)。站长网2023-09-14 19:43:060000“羊了个羊”们熄火,中重度游戏王者归来
不可否认,这两年来,小游戏成为了游戏行业中最亮眼的一个细分领域。无论是《合成大西瓜》,还是今年年初爆火的《羊了个羊》,都将小游戏推向了新的高度。然而,近段时间开始,这种高光再次被中重度游戏所淹没。近3个多月来,包括腾讯游戏、字节游戏、米哈游等,都推出了爆火的中重度游戏,涉及开放世界、射击等领域。0000腾讯或将在9月初正式发布混元大模型
据中国证券报报道,腾讯将在9月初举行的2023年腾讯全球数字生态大会上正式发布混元大模型,但并未提及是否面向公众开放。此前,腾讯表示混元大模型已进入公司内部应用测试阶段,并已应用于腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档等多个业务和产品中,并取得了初步效果。站长网2023-09-04 08:40:250000PyTorch团队重写Meta“分割一切”模型 性能提速8倍
要点:PyTorch团队通过对Meta的「分割一切」(SAM)模型进行重写,使其在原始实现的基础上提速8倍,同时保持准确率。优化方法包括采用PyTorch原生特性如Torch.compile、GPU量化、SDPA等,以及使用半精度(bfloat16)、自定义Triton内核、NestedTensor、量化、半结构化稀疏性等操作。站长网2023-11-22 11:56:360001搞笑达人“李炮儿”勇闯《中国好声音》,涨粉千万还差点出道?
搞笑短视频达人接受粉丝提出的挑战,参加《中国好声音》,竟一路过关斩将到全国总决赛,还涨粉近千万?这不是段子,这是李炮儿的真实经历。近日,李炮儿参加《中国好声音》的系列视频火爆出圈,如今其全网粉丝数已经近2000万,仅抖音就达到了1400万。从拍摄第一个参加《中国好声音》的视频至今,仅抖音就涨粉900多万。站长网2023-07-16 18:49:280002