港大开源OpenGraph:攻克图基础模型难题,实现多领域通用图模型
站长网2024-03-15 09:40:100阅
要点:
1. 港大发布OpenGraph,首次攻克图基础模型的三大难题,实现零样本学习适配多种下游任务。
2.OpenGraph通过统一图Tokenizer、可扩展的图Transformer和大语言模型知识蒸馏三部分构建通用图模型。
3.实验验证显示OpenGraph在跨数据集预测和图Tokenizer设计方面的优越性,以及基于LLM的知识蒸馏方法的有效性。
近期,香港大学发布了OpenGraph,这是一项突破性的成果,成功攻克了图基础模型领域的三大难题。该模型通过巧妙的技术实现了零样本学习,可以适配多种下游任务。OpenGraph的构建主要分为统一图Tokenizer、可扩展的图Transformer和大语言模型知识蒸馏三个部分。
OpenGraph通过创建统一的图Tokenizer解决了不同数据集之间节点集合和特征空间的变化问题。采用拓扑感知映射方案,实现了对不同图数据的高效tokenization,使得模型能够更好地理解和处理不同的图结构。
论文地址:https://arxiv.org/pdf/2403.01121.pdf
可扩展的图Transformer部分引入了采样技巧,包括Token序列采样和自注意力中的锚点采样方法。这些技巧有效降低了模型的训练时间和空间开销,同时保证了模型在复杂依赖关系建模方面的强大能力。
OpenGraph利用大型语言模型进行知识蒸馏,通过生成各种图结构数据进行训练,弥补了真实数据稀缺的问题。实验验证显示,OpenGraph在跨数据集预测和图Tokenizer设计方面具有显著优势,并且基于LLM的知识蒸馏方法也得到了有效验证。
OpenGraph的问世填补了图基础模型领域的空白,为通用图模型的发展提供了新的思路和技术支持,具有广泛的应用前景。
0000
评论列表
共(0)条相关推荐
小米汽车回应送北京牌照:消息完全失实
近日,有媒体报道称,小米前期员工透露,小米正在策划一项新政策,可能会为没有北京牌照的首批购买小米汽车的车主赠送牌照。然而,针对这一传闻,小米公司发言人迅速做出回应,明确表示:“完全失实。”小米公司发言人表示,小米汽车的定价、交付及销售政策均以官方发布为准,希望公众能够周知。这一回应直接否定了购买小米汽车会赠送北京牌照的传闻,让公众对小米公司的真实政策有了更清晰的了解。站长网2024-02-23 15:17:240000Salesforce 和埃森哲合作创建生成式人工智能加速中心
Salesforce和全球专业服务公司埃森哲合作,以加速跨客户关系管理(CRM)技术部署生成式人工智能。两家公司计划为生成人工智能建立一个加速中心,让客户能够扩展Salesforce的EinsteinGPT,这是一种用于CRM的生成人工智能工具。站长网2023-05-05 10:51:070000独家:AI大模型时代或更集中到“强”团队
时间拉回到2015年,梁斌刚刚获得清华大学人工智能博士学位,同年10月八友科技成立,并常年为客户提供国内外数据资料。2023年上半年,GPT大模型进入公众视线,短短半年时间,国内就已有近百家GPT大模型,“八友”成为绝大多数大模型服务商的首选,据统计,这一数字接近50%。站长网2023-09-13 17:08:350000DALL·E 3被兽圈网友玩成“老公模拟器” 网友直呼“犬系男友”真香
最近,小红书博主“Forty_Seven947”以《动物狂想曲》中的狼人雷格西为原型,用DALL·E3画了一系列超写实的狼拟人形象,俘获了一众网友。这些形象非常逼真,让网友们感叹不已。站长网2023-10-25 19:27:290000