英伟达发布RAPIDS cuDF框架 pandas在GPU上运行速度快了150倍
要点:
Nvidia 发布的 RAPIDS cuDF 框架的新版本可以将 pandas 运行在 GPU 上,据称性能提升了150倍。
RAPIDS cuDF 框架是基于 Apache Arrow 构建的 Python GPU dataframe 库,通过新版本的 pandas 加速模式,可以在 GPU 加速环境下运行不经修改的 pandas 代码,实现了最高150倍的性能提升。
以往在使用 cuDF 时,存在一些限制,比如不支持某些 pandas 功能、需要手动切换 cuDF 和 pandas 等,而新版本的 RAPIDS 解决了这些问题,提供了统一的 CPU/GPU 体验,将最佳性能带给数据科学家。
Nvidia 发布了一款名为 RAPIDS cuDF 的新版本,据称可以将 pandas 运行在 GPU 上,并且性能提升了150倍。pandas 是一款流行的基于 Python 的数据框架库,用于数据处理和分析。它的开源版本由 Wes McKinney 开发和发布,全球约有950万开发者使用。新版本的 RAPIDS cuDF 是基于 Apache Arrow 构建的 Python GPU dataframe 库,提供了类似 pandas 的 API,可以加载、过滤和操作数据。

之前使用 cuDF 时,存在一些限制,导致一些 pandas 功能无法受益于 GPU 加速计算。此外,需要为 GPU 和 CPU 执行设计不同的代码路径,并且在与其他 PyData 库交互时需要手动切换 cuDF 和 pandas。新版本的 RAPIDS cuDF 解决了这些问题,提供了统一的 CPU/GPU 体验,使得 pandas 代码可以在 GPU 加速环境下运行而不需要修改。
Nvidia 表示,他们使用 DuckDB 的 H2O.ai 的 Database-like Ops Benchmark 对性能提升进行了基准测试。测试中使用了一个5GB 的数据集,包含了一个连接操作和一个高级分组操作。在 CPU 上运行的 pandas 平均需要约5分7秒来执行这两个任务,而在使用 RAPIDS cuDF 加速的 pandas 上平均只需要约1.5秒。
GPU 加速的 pandas 现在已经作为 beta 版在开源的 RAPIDS 版本23.10中提供。Nvidia 表示,它将很快加入到 Nvidia AI Enterprise 中。这个新功能对于想要继续使用 pandas 进行大型数据处理的数据科学家来说非常有用,因为随着数据规模的增长,pandas 的性能会下降,而使用 GPU 加速可以获得更好的性能。
Nvidia 发布的新版本的 RAPIDS cuDF 框架为数据科学家提供了一个性能更高的选择。通过将 pandas 运行在 GPU 上,可以获得最高150倍的性能提升。这对于处理大规模数据的任务非常有用,使得数据科学家可以更高效地进行数据处理和分析。
字节AI出海,再造AI时代的TikTok?
探索大模型应用的字节,已经在海外尝到了甜头。最近,“字节Gauth碾压作业帮”、“Gauth下载量暴涨,仅次多邻国”等消息备受瞩目。据第三方数据统计,4月,字节旗下的AI教育产品Gauth在GooglePlay上下载量超79万次,并保持着高访问量。图片来源:SimilarWeb站长网2024-05-28 07:25:040000体验当甲方的快乐!用嘴指挥DALL·E 3设计LOGO、做梗图、画漫画……
*头图来源于DALL·E3,描述:一个由拟人化的秋天树叶组成的民谣乐队的2D动画,每一片树叶都演奏着传统的蓝草乐器,在乡村森林的背景中,点缀着丰收之月的柔光。全自动画图神器来了!ChatGPT现在能直接出图了。站长网2023-10-12 17:48:170003秘史公开,当年,马斯克离开 OpenAI 的真相
在ChatGPT的影响下,目前OpenAI成为了全球最火爆的AI公司。然而回顾过去,它与马斯克之间的恩怨从创立之初就埋下了。在ElonMusk(埃隆·马斯克)帮忙创立人工智能研究公司OpenAI三年后,他本人却退出了。站长网2023-05-12 20:26:520001淘天回应淘特逐步并回淘宝:增加手淘全量供给服务原有用户
阿里巴巴旗下的电商平台淘特,一直专注于源头直供和M2C模式的运营。然而,根据《晚点LatePost》的报道,淘特平台上的商家和商品正开始逐渐迁回淘宝。在迁移过程中,商品将保留原有的销量、评价等数据标签。目前,部分淘特商家已接到通知,并开始进行迁移测试,以优化更多细节。站长网2024-02-26 17:16:340000无镜头AI照相机:收集GPS坐标等数据 剩下的交给AI
一位荷兰设计师发明一款无镜头照相机Paragraphica,这款照相机的镜头是封死的,也被形容为一款文字生成图片的相机,因为它可以它使用GPS坐标数据和AI来生成特定地点和时刻的“照片”。如下图,在相机上,有三个物理拨盘,可控制数据和AI参数以影响照片的外观,类似于传统相机的操作方式。取景器显示会当前位置的实时描述,按下拍摄键,相机将创建描述图。站长网2023-06-10 08:46:510000