腾讯发布超强算力集群HCC 性能提升3倍
站长网2023-04-14 13:56:450阅
腾讯宣布发布面向大模型训练的新一代HCC高性能计算集群(申请内测地址:cloud.tencent.com/act/pro/hccpnv5),整体性能比过去提升了3倍。它搭载了NVIDIA H800Tensor Core GPU,能够提供高性能、高带宽、低延迟的智算能力支撑。
腾讯云HCC采用最新一代星星海自研服务器,基于自研网络、存储架构带来3.2T超高互联带宽、TB级吞吐能力和千万级IOPS。
计算层面,新一代集群的单GPU卡在不同精度下,支持输出最高1979TFlops的算力。针对大模型场景,星星海自研服务器采用6U超高密度设计,相较行业可支持的上架密度提高30%;利用并行计算理念,通过CPU和GPU节点的一体化设计,将单点算力性能提升至更高。

网络层面,腾讯自研的星脉高性能计算网络,具备业界最高的3.2T RDMA通信带宽。实测结果显示,搭载同等数量的GPU,3.2T星脉网络相较1.6T网络,集群整体算力提升20%。

存储层面,腾讯云自研的存储架构,具备TB级吞吐能力和千万级IOPS,支持不同场景下对存储的需求。COS GooseFS对象存储方案和CFS Turbo高性能文件存储方案,充分满足大模型场景下高性能、大吞吐和海量存储要求。

此外,新一代集群集成了腾讯云自研的TACO训练加速引擎,对网络协议、通信策略、AI框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。
0000
评论列表
共(0)条相关推荐
今日六一儿童节 微信上线“卖萌”“带娃”全新状态
今日是六一儿童节,微信上线了两个全新的状态:“卖萌”和“带娃”。有需要的用户可以在微信“我”的界面中,点击“状态”并选择更换。据了解,微信状态是微信8.0版本后更新的一个新功能,设置状态后,可以在这里分享心情,还可以上传图片、视频或音乐。站长网2023-06-01 14:31:280000国家密码管理局:规范商用密码检测活动和应用安全性评估
据央视新闻消息,为了规范商用密码检测活动和应用安全性评估工作,国家密码管理局日前出台了《商用密码检测机构管理办法》和《商用密码应用安全性评估管理办法》。两部管理办法将于今年11月1日正式施行。站长网2023-10-08 15:04:290001欧盟征询新的技术规则是否适用于微软 Bing 和苹果 iMessage
站长之家(ChinaZ.com)10月10日消息:据路透社消息,欧盟反垄断监管机构正在征询微软的用户和竞争对手的意见,询问Bing是否应该遵守新的严格技术规则,以及是否应该适用于苹果的iMessage,知情人士周一表示。站长网2023-10-10 10:16:120000不用4个H100!340亿参数Code Llama在Mac可跑,每秒20个token,代码生成最拿手|Karpathy转赞
【新智元导读】现在,34BCodeLlama模型已经能够在M2Ultra上的Mac运行了,而且推理速度超过每秒20个token,背后杀器竟是「投机采样」。开源社区的一位开发者GeorgiGerganov发现,自己可以在M2Ultra上运行全F16精度的34BCodeLlama模型,而且推理速度超过了20token/s。站长网2023-09-02 09:28:3300074080要大降价节奏!消息称英伟达将推RTX 4080 Ti:9499元买吗?
快科技10月7日消息,如果英伟达真的打算推出RTX4080Ti,那么RTX4080就必要要往下调价,那么其余产品势必也会跟随。其实,英伟达之前虽然取消了RTX408012GB,但是看到RTX4080不怎么受欢迎的情况后,就势必会想到推出后者的加强版,所以整活还得看老黄嘛....有消息人士表示,英伟达可能会在2024年初的时候推出RTX4080Ti,其可以看作是RTX4080的升级版。站长网2023-10-07 20:03:310000