智源发布FlagAttention算子集 适配多种大模型训练芯片
站长网2023-12-08 15:01:410阅
为了满足大模型对计算资源的需求,智源研究院开发了 FlagAttention 项目,旨在构建一套适配多种芯片的大模型核心算子集合。
该项目选择使用 Triton 作为开发语言,通过 Triton 的开放性和易用性,使得 FlagAttention 不仅支持 NVIDIA GPU,还可以显著降低不同芯片之间模型适配的成本,提高大模型的训练与推理效率。
FlagAttention 目前包含两个算子:piecewise_attention 和 flash_attention。
其中,piecewise_attention 是针对长文本模型的分段式 Attention 算子,而 flash_attention 是基于 Triton 的高效 Multihead Attention 实现。
通过 FlagAttention,希望能够消除现有 AI 生态中的软件壁垒,让更广泛的模型用户能够使用到最新的模型优化技术。
未来,FlagAttention 还将支持更多功能,并与其他芯片厂商合作,优化算子的性能和适配。
项目地址:
https://github.com/FlagOpen/FlagAttention
https://github.com/FlagOpen/FlagAttention/issues
0000
评论列表
共(0)条相关推荐
即时3D搜索技术OVIR-3D开源 可从文本提示中检索3D对象
要点:1.OVIR-3D是一个开放词汇的3D实例检索系统,能够在没有对3D数据进行训练的情况下,从RGB-D视频和语言查询中返回排名的3D实例段。2.该系统通过将问题视为从语言引导的2D区域提议进行3D融合的问题,提供了一种直观而有效的解决方案,避免了由于缺乏足够种类的注释3D数据而难以直接训练开放词汇3D分割模型的问题。站长网2023-11-10 10:26:340000高盛报告预测:全球人工智能投资将在 2025 年达到 2000 亿美元
高盛在一份报告中预测,到2025年,全球对人工智能的投资可能达到2000亿美元,其中美国的投资将达到1000亿美元。该报告指出,生成式人工智能具有巨大的经济潜力,预计在未来十年中广泛应用后,将每年提高全球劳动生产率超过1个百分点。站长网2023-08-03 10:36:380000报告显示:中国发布79个10亿级以上大模型 地域和领域分布相对集中
据中新网报道,近日在北京举行的中关村论坛平行论坛“人工智能大模型发展论坛”上,中国科学技术信息研究所所长赵志耘发布了《中国人工智能大模型地图研究报告》。报告指出,中国大模型技术路线正在并行突破,特别是在自然语言理解、机器视觉、多模态等方面,出现了多个在行业有影响力的大模型。站长网2023-05-30 14:51:150000大型语言模型DeBERTa:具有解纠缠注意力的解码增强型 BERT
近年来,BERT在自然语言处理任务中取得显著成就,但DeBERTa通过引入“解缠注意力”和“增强遮罩解码器”等创新机制,进一步提升了模型性能。DeBERTa引入了解缠注意力,这是一种新颖的机制,其中每个令牌由两个单独的向量表示,考虑了内容和相对位置。注意力分数是使用一种独特的方法计算的,该方法考虑了令牌之间的相对距离。站长网2023-11-29 11:07:310000AI图像生成工具Visual Electric发布多张图像组合重绘功能
昨晚,AI图像生成工具VisualElectric推出了两个强大的功能,为AI图像创作流程降低了门槛。首先,它允许用户将生成的多张图像进行组合并进行重绘。其次,用户可以利用几张图片快速自定义图像生成风格,类似于Lora训练的方式。站长网2023-12-15 12:02:410000