智源发布FlagAttention算子集 适配多种大模型训练芯片
站长网2023-12-08 15:01:411阅
为了满足大模型对计算资源的需求,智源研究院开发了 FlagAttention 项目,旨在构建一套适配多种芯片的大模型核心算子集合。
该项目选择使用 Triton 作为开发语言,通过 Triton 的开放性和易用性,使得 FlagAttention 不仅支持 NVIDIA GPU,还可以显著降低不同芯片之间模型适配的成本,提高大模型的训练与推理效率。

FlagAttention 目前包含两个算子:piecewise_attention 和 flash_attention。
其中,piecewise_attention 是针对长文本模型的分段式 Attention 算子,而 flash_attention 是基于 Triton 的高效 Multihead Attention 实现。
通过 FlagAttention,希望能够消除现有 AI 生态中的软件壁垒,让更广泛的模型用户能够使用到最新的模型优化技术。
未来,FlagAttention 还将支持更多功能,并与其他芯片厂商合作,优化算子的性能和适配。
项目地址:
https://github.com/FlagOpen/FlagAttention
https://github.com/FlagOpen/FlagAttention/issues
0001
评论列表
共(0)条相关推荐
亚马逊 AWS 副总裁淡化人工智能存在威胁 生成式 AI 不会一个模型统治市场
尽管科技界有一些知名人士担心人工智能(AI)带来的潜在生存威胁,但AWS产品副总裁MattWood并不是其中之一。Wood一直是AWS在机器学习(ML)领域的旗帜人物,并且是该公司活动中的重要角色。在过去的13年里,他一直是AWS关于AI/ML的主要发声人,在几乎每次AWSre:Invent活动中都会就技术、亚马逊的研究和服务进展发表演讲。站长网2023-07-05 19:13:320000Apple Vision Pro将采用SK海力士提供的定制低延迟DRAM芯片
据《韩国先驱报》报道,AppleVisionPro头戴式设备将使用一种新型的动态随机存取存储器,或DRAM,这种存储器是为了支持Apple的R1输入处理芯片而定制设计的。AppleVisionPro由两颗芯片驱动。主处理器是M2,负责处理内容,运行visionOS操作系统,执行计算机视觉算法,和提供图形内容。站长网2023-07-12 14:30:240000双11商家已全面应用AI技术!阿里妈妈两大AI投放产品、AI创意能力等服务百万商家!
进入2023年双11倒计时,所有的经营者也即将迎来全年最大的“经营力”爆发场。早在9月份m峰会上,阿里妈妈就已经率先拉开双11战役帷幕,发布淘系三中心经营新格局,分享了当下淘系电商经营的重点资源和能力提升。一个月之后,阿里妈妈给出了系统性的大促经营策略,并释放超30亿重磅补贴。今年双11,阿里妈妈围绕三中心场,将节奏升级为“多频快收”,更进一步推动商家在双11周期内的多波段、长效递进式增长。站长网2023-10-14 10:50:380000强大AI字幕工具Kdenlive 可轻松剪辑视频
Kdenlive是一款基于MLTFramework和KDEFrameworks5的免费开源视频编辑软件。它拥有广泛的功能和工具,可帮助用户轻松编辑和制作视频内容。无论是专业视频编辑师还是初学者,Kdenlive都提供了强大的工具,以满足各种视频编辑需求。项目地址:https://invent.kde.org/multimedia/kdenlive功能:站长网2023-11-02 16:59:480000WPS被指套娃式收费 负责人回应: AI功能福利期已到
站长之家(ChinaZ.com)5月10日消息:近日,针对消费者普遍关注的WPS套娃式收费问题,WPS官方负责人做出了积极回应。据了解,WPS的AI功能此前作为会员用户的福利之一,随着其商业化的推进,福利期已告一段落。WPS方面表示,WPSAI作为一项全新的会员服务,目前正在进行灰度测试,并作为付费升级选项提供给用户。站长网2024-05-10 17:23:060000