OpenAI最强竞品训练AI拆解LLM黑箱,意外窥见大模型「灵魂」
Anthropic的模型可解释性团队,从大模型中看到了它的「灵魂」——一个可解释的更高级的模型。
为了拆开大模型的「黑箱」,Anthropic可解释性团队发表了一篇论文,讲述了他们通过训练一个新的模型去理解一个简单的模型的方法。
Anthropic发表的一项研究声称能够看到了人工智能的灵魂。它看起来像这样:
论文地址:https://transformer-circuits.pub/2023/monosemantic-features/index.html#phenomenology-fsa
在研究者看来,这个新的模型能准确地预测和理解原本模型中神经元的工作原理和组成机制。
Anthropic的可解释性团队最近宣布他们成功分解了一个模拟AI系统中的抽象高维特征空间。
创建一个可解释的AI去理解「AI黑盒」
研究人员首先训练了一个非常简单的512神经元AI来预测文本,然后训练了另一个名为「自动编码器」的AI来预测第一个AI的激活模式。
自动编码器被要求构建一组特征(对应更高维度AI中的神经元数量),并预测这些特征如何映射到真实AI中的神经元。
结果发现,尽管原始AI中的神经元本身不易理解,但是新的AI中的这些模拟神经元(也就是「特征」)是单义的,每特征都表示一个指定的概念或功能。
例如,特征#2663代表「God」这个概念。
激活它的训练语句中最强的一条来自「Josephus」的记录中「当God降下暴雪时,他前往Sepphoris」。
可以看到顶端的激活都是关于「God」的不同用法。
这个模拟神经元似乎是由一组真实神经元(包括407,182和259)组成的。
这些真实神经元本身与「God」没有太大关系,例如神经元407主要对非英语(尤其是重音拉丁字母)和非标准文本(如HTML标签)有响应。
但是在特征层面,一切都是井井有条的,当特征2663被激活时,它会增加文本中出现「bless」、「forbid」、「damn」或「-zilla」的概率。
这个AI并没有将「God」这个概念与怪兽名字中的「God」区分开来。这可能是因为这个简易AI没有足够的神经元资源来专门处理这个事。
但随着AI具备的特征数量增加,这种情况会发生改变:
在这棵树的底部,你可以看到当这个AI具有越来越多的特征时,它在数学术语中对「the」的理解是如何变化的。
首先,为什么会有一个数学术语中「the」的特定特征?这很可能是由于AI的预测需求——知道某些特定的「the」之后应该会跟随一些数学词汇,比如「numerator」或者「cosine」。
在研究人员训练的最小的那个只有512个特征的AI中,只有一个表示「the」的特征,而在具有16384个特征的最大AI中,这个特征已经分支出了一个表示机器学习中「the」的特征,一个表示复分析中「the」的特征,以及一个表示拓扑学和抽象代数中「the」的特征。
因此,如果能将系统升级到一个具有更多模拟神经元的AI,那表示「God」的特征很可能会分裂成两个——一个表示宗教中「God」的含义,另一个表示怪兽名字中「God」的含义。
后来,可能会有基督教中的God、犹太教中的God、哲学中的God等等。
研究小组对412组真实神经元和相应的模拟神经元进行了主观可解释性评估,发现模拟神经元的可解释性整体上比较好:
一些特征,比如表示「God」的特征,是用于特定概念的。
许多其他高度可解释的特征,包括一些最可解释的,是用于表示文本的「格式」,比如大写或小写字母、英语或其他字母表等。
这些特征有多常见呢?也就是说,如果你在相同的文本数据上训练两个不同的4096个特征的AI,它们会有大部分相同的4096个特征吗? 它们会都有某些代表「God」的特征吗?
或者第一个AI会将「God」和「哥斯拉」放在一起,而第二个AI会将它们分开?第二个AI是否就完全不会有表示「God」的特征,而是用那个空间存储一些第一个AI不可能理解的其他概念?
研究小组进行了测试,发现他们的两个AI模型是非常相似的!
平均而言,如果第一个模型中有一个特征,第二个模型中最相似的特征会有0.72的中值相关性。
看到了AI的灵魂
后续的工作将是什么呢?
今年五月,OpenAI试图让GPT-4(非常大)理解GPT-2(非常小)。他们让GPT-4检查了GPT-2的个307200个神经元,并报告它发现的内容。
GPT-4找到了一系列有趣的结果和一堆随机废话,因为他们还没有掌握将真实神经元投射到模拟神经元并分析模拟神经元的技巧。
尽管结果效果不明显,但这确实是非常雄心勃勃的尝试。
与Anthropic可解释性文章中的这个AI不同,GPT-2是一个真实的(尽管非常小)AI,曾经也给大众留下了深刻印象。
但是研究的最终目的是要能够解释主流的AI系统。
Anthropic的可解释性团队承认他们还没有做到这一点,主要基于以下几个原因:
首先,扩大自动编码器的规模是一个很困难的事情。为了解释GPT-4(或Anthropic的等效系统Claude)这样的系统,你需要一个差不多同样大小的解释器AI。
但是训练这样规模的AI需要巨大的算力和资金支持。
其次,解释的可扩展性也是一个问题。
即使我们找到了所有关于God、哥斯拉以及其他一切的模拟神经元,并画出它们之间如何相连的巨大关系图。
研究人员任然需要回答一些更复杂的问题,解决这些问题需要涉及成百上千万的特征和连接的复杂交互。
所以需要一些自动化的流程,也就是某种更大规模的「让GPT-4告诉我们GPT-2在做什么」。
最后,所有这些对理解人类大脑有什么启发?
人类也使用神经网络进行推理和处理概念。
人类大脑中有很多神经元,这一点和GPT-4是一样的。
人类获得的数据也非常稀疏——有很多概念(如乌贼)在日常生活中很少出现。
我们是否也在模拟一个更大的大脑?
目前这还是一个非常新的研究领域,但已经有一些初步的发现,表明人类视觉皮层中的神经元确实以某种超定位的方式编码特征,与AI模型中观察到的模式相似。
参考资料:
https://transformer-circuits.pub/2023/monosemantic-features/index.html#phenomenology-fsa
花西子余波未消,国货美妆大洗牌?
国货美妆又一次洗牌。在今年双11的预售榜单上,珀莱雅彩棠、花知晓、毛戈平冲到了前面,而曾经的头部代表完美日记、花西子消失在视野。花西子跌出榜单似乎在预料之内。但透过双11的战况,可以看到,花西子销量的变化也是行业现状的一种折射。在行业挤出泡沫后,国内美妆品牌的竞争开始回归产品本身。而重新出发后,消费者也不再是之前的消费者,华丽的外表、包装好的新国货潮故事等已经不能留住他们。0000阿里巴巴发布2024财年第二财季财报 阿里云拟暂停分拆
昨日,阿里巴巴发布了截至2023年9月30日的2024财年第二财季财报,财报显示,该季度阿里营收为2247.90亿元,同比增长9%。净利润为266.96亿元,而上年同期净亏损224.67亿元;其中,淘宝、天猫集团营收976.54亿元,同比增长4%。具体为,来自于中国商业零售业务的营收为925.60亿元,同比增长3%。来自于中国商业批发业务的营收为50.94亿元,同比增长18%。站长网2023-11-17 08:42:410000百度将举行“百度世界大会2023” 文心一言将再次升级百度搜索将全新亮相
百度宣布将在10月17日举行“百度世界大会2023”。对此,李彦宏透露,将在百度世界上“手把手教你做AI原生应用”,也将带来文心一言、搜索、地图、网盘等应用产品的全新亮相。以下是五大亮点:1.李彦宏将在主题演讲中“手把手教你做AI原生应用”。他将分享对AI原生化重构的心得,重点介绍“理解、生成、逻辑、记忆”四大AI核心基础能力,并展示生成式AI的想象和创新空间。站长网2023-10-08 08:18:390000深入解析SDXL潜在空间以及如何改善其生成图像的方法
要点:SDXL潜在空间包括4个通道,分别是亮度、青/红、绿/紫、图案/结构。SDXL生成的颜色范围偏向黄色,原因是模型在生成过程中更偏向认知中的亮度、青/红、绿/紫,而相对较少使用蓝色。通过实验性地探索SDXL潜在空间,作者提出了一些纠正SDXL输出的方法,包括去除异常值、平衡颜色、增加颜色范围等。站长网2023-11-24 11:32:320002大一统视频编辑框架:浙大&微软推出UniEdit,无须训练、支持多种编辑场景
随着Sora的爆火,人们看到了AI视频生成的巨大潜力,对这一领域的关注度也越来越高。除了视频生成,在现实生活中,如何对视频进行编辑同样是一个重要的问题,且应用场景更为广泛。以往的视频编辑方法往往局限于「外观」层面的编辑,例如对视频进行「风格迁移」或者替换视频中的物体,但关于更改视频中对象的「动作」的尝试还很少。站长网2024-03-04 19:32:370000