13 个字母价值 4 万美元?21 岁大学生用 AI 破译千年古卷!
近来,一位21岁的计算机科学学生,因为一个历史性成就获得了4万美元奖金。
提问:什么历史性成就?答:成功破译了2000年前被掩埋、已碳化且无法打开的赫库兰尼姆古卷中的一个单词。
提问:卷轴都没打开,他是怎么破译的?答:利用 AI 技术。
这位获奖者名为 Luke Farritor,而这个价值4万美元的奖项是维苏威火山挑战赛的 First Letters Prize(首字母奖),其获奖要求是参赛者在卷轴中4平方厘米的区域内找到至少10个字母。
利用高能 X 射线和 AI 技术,对古代卷轴进行成像
公元79年,维苏威火山爆发,摧毁了庞贝城和赫库兰尼姆城,连带着存于庞贝附近一座私人图书馆中的古代卷轴也被掩埋。近2000年来,这座唯一幸存的图书馆一直被埋在地下20米深的火山泥中,直到1700年代才被挖掘出来。可由于在火山灰和气体的灼热作用下,这些卷轴早已碳化、非常脆弱,稍微处理不当就会立即化为灰烬。
如何在不打开卷轴的前提下,阅读其中的内容?数百年来,这个问题一直没有答案。基于此,2023年3月,维苏威火山挑战赛正式发起——而它的设立,最早源自于2019年肯塔基大学 EduceLab 的 Brent Seales 教授在粒子加速器中,成功对赫库兰尼姆古卷进行了成像。
多年来,专家们尝试通过各种方法试图展开古代卷轴,但有些在展开过程中就毁坏了,有些则是展开后文字暴露在空气中会导致墨水褪色。Brent Seales 教授带领的团队曾通过高能 X 射线识别出了恩盖迪(En-Gedi)卷轴中的文字。
但恩盖迪卷轴的墨水是金属基的,因此在 X 射线数据中会显示出来,而赫库兰尼姆古卷上的墨水可能是碳基的,与纸张成分有重合,因此在 X 射线扫描中无法明显成像。也就是 Brent Seales 所说的:用肉眼无法从略微不同的 X 射线技术捕捉到的扫描结果中,解读出赫库兰尼姆古卷中的字母。
基于这个现状,Brent Seales 研究小组提出了一种新方法:利用高能 X 射线和 AI 技术中的机器学习模型。具体来说,就是先扫描并拍摄带有可见墨水的分离卷轴碎片照片,然后将这些照片喂给机器学习模型,使其找出并学习 X 射线扫描中墨水区域和空白区域之间的细微差别。一旦经过这样的碎片化训练,该模型就有望与完整卷轴的数据结合使用,从而识别其中的文字内容。

通过这种方法,2019年 Brent Seales 团队在粒子加速器中对赫库兰尼姆卷轴进行成像,成功生成了分辨率高达4微米的3D CT 扫描。
这一成功引起了科技企业家 Nat Friedman 和 Daniel Gross 的注意,并为了加快破译古代卷轴,发起了维苏威火山挑战赛:总奖池高达70万美元,还为开源工具和技术的开发颁发了几个较小的奖项。
训练 AI 模型识别“裂纹图案”
自今年3月维苏威火山挑战赛正式发起,吸引了诸多参赛者,其中 Casey Handmer 是前 JPL 公司的创始人,他在八月初写了一篇博文,提到他发现了一种看起来像是墨水痕迹的 “裂纹图案”。

(左图:可见有裂纹的墨水纹理。右图:显示墨水位置的标注。它可能是“pi”,也可能是大写“eta”的底部)
通过连续数小时盯着分段 CT 扫描图像,Casey Handmer 发现了这一图案——这绝对是一个重大而令人惊讶的发现,因为此前在卷轴中并没有看到过这种图案。
基于 Casey Handmer 的发现,不少参赛者也开始寻找裂纹图案,此次获得4万美元奖金的 Luke Farritor 就是其中一员,他是一名在读大学生,也曾是一名 SpaceX 暑期实习生。
Luke Farritor 在 Discord 上看到有人在讨论这一话题,便开始利用晚上和深夜的时间对裂纹图案进行机器学习模型训练。他找到了几十个墨迹笔画和一些完整的字母,将其进行标记并用作训练数据。每发现一个新的裂纹,模型就会得到改进,从而找出卷轴中更多的裂纹图案——在这种循环中,模型不断进化。
没过多久,Luke Farritor 训练下的 AI 模型就找到了他肉眼看不见的裂纹图案,并开始形成了一些字母和实际单词的蛛丝马迹。于是 Luke Farritor 向维苏威火山挑战赛的 First Letters Prize(首字母奖)提交了第一份参赛作品(要求在 4平方厘米的区域内找到至少10个字母):

发现13个字母,获得4万美元奖金
在这幅图中,隐约可以看到 ΠΟΡΦΥΡΑϹ(porphyras)一词的轮廓。Brent Seales 教授看到这张照片时也非常惊讶:尽管字母很模糊,但他们一眼就能读出 "porphyras "这个单词。
经过全面的技术审查后,挑战赛官方将 Luke Farritor 提交照片的更新版本发给了专业技术小组,他们在其中标注了13个可见字母,尽管可信度各不相同(绿色:可信度超过80%;黄色:可信度在50-80%;红色:可信度低于50%):

其中,Porphyras 这个单词虽然在古代文献中比较罕见,但也经得起推敲,其意思就是“紫色的”(注:这种古文字中的字母与现代文字看起来有点不同,且该时期的文本不使用空格,因此很难确定单词的边界)。
对此,一位相关专家补充道:“πορφυ̣ρ̣ας̣,可能是 πορφύ̣ρ̣ας̣(名词,紫色染料或紫色布)或 πορφυ̣ρ̣ᾶς̣(形容词,紫色)。由于缺乏上下文,无法排除 πορφύ̣ρ̣α ς̣κ[ 或 πορφυ̣ρ̣ᾶ ς̣κ[ 的可能性。
最终,Luke Farritor 提交的这张照片得到维苏威火山挑战赛的官方认可,获得了4万美元的 First Letters Prize(首字母奖),而他本人在得知这个好消息的第一时间也十分兴奋:
此后不久,另一位参赛者 Youssef Nader 基于 Luke Farritor 的机器学习方法进行了改进——采用领域转移技术,使这些模型适用于卷轴:在卷轴数据上进行无监督预训练,然后在片段标签上进行微调。通过这种方式,Youssef Nader 在同一区域发现了同样的单词,其结果更为清晰可见,从而赢得了该奖项的第二名,获得了1万美元的奖金。

值得一提的是,几天前Youssef Nader 的 AI 模型识别出了令人震惊的清晰度和大小的新图像:虽然并非所有字母都清晰易读,但可以看到有四列半的文本内容。

“我们的专家团队正在努力进一步调查,很快会有这方面的更新。”对于这个发现,维苏威火山挑战赛官方的乐观情绪空前高涨:这些进展表明,斩获70万美元的大奖“指日可待”!
参考链接:
https://scrollprize.org/firstletters
https://caseyhandmer.wordpress.com/2023/08/05/reading-ancient-scrolls/
https://www.theguardian.com/science/2019/oct/03/ancient-scrolls-charred-by-vesuvius-could-be-read-once-again
大模型的算力竞赛,火山引擎给出了解决办法
ChatGPT横空出世后,通用人工智能AGI成为新方向,大模型LLM成为AI技术的新明珠。因为计算机真正开始理解人类的自然语言,各种大模型开始有了逻辑能力。和之前的语音交互产品只能进行简单机械的对话不同,和ChatGPT的交谈中感受到的是对方是个拥有思想且大脑迅速运转的年轻人,不仅能写论文、写文案还能搞创作,编程、作图、写剧本样样精通。站长网2023-04-19 17:36:280000NCSoft将推出系列AI语言模型VARCO 提高游戏开发效率
韩国的互动娱乐软件公司NCSoft宣布将推出一组名为VARCO的人工智能语言模型LLM,它由四种语言模型以及由这些语言模型提供支持的生成式人工智能服务组成。具体来说,VARCO提供的三项生成式人工智能服务旨在提高游戏开发效率。据该公司介绍,VARCO是“ViaAI,RealizeyourCreativityandOriginality”的缩写。站长网2023-08-17 14:50:210001华为发布AI百校计划:培养AI人才 每年获最高100万支持
快科技8月26日消息,华为公司最近正式启动了华为AI百校计划”,向国内高校提供基于昇腾云服务的AI计算资源。该计划致力于解决高校师生在AI领域的科研创新和人才培养过程中,常遇到的算力资源不足等问题。计划将重点资助那些在AI领域有深入研究和影响力的高校团队,无论是在科研创新、AI基础技术研究方面,还是与华为合作解决行业技术难题的项目,或是高校在AI领域的人才培养工作。00000粉丝带货,也能月入过万
各位村民好,我是村长。我来拍视频,你只要负责上传,在家就能月入上万。包开橱窗、包原创、只要几百块,不想出镜、不拍视频、不会剪辑,我问帮你。相信许多人,都有在抖音上刷到过这样的广告。无数宝妈、普通打工人蠢蠢欲动啊,这不就是我梦寐以求要找的发财项目嘛!总结就是三个字:割韭菜!今天村长就和大家聊聊,关于这种——【视频分发赚钱项目】的一些看法。01视频分发真能带货吗?站长网2023-06-05 21:29:350002智谱AI刚刚把他们的Sora「清影」,正式开源了,我爱他们。
大半夜的,大洋对岸不卷,国内公司卷起来了。我真的想睡觉,真的。起因是我睡觉之前,在看Github的时候,无意间看到THUKEG这个号,更新了一个项目。CogVideoX。网址在此:https://github.com/THUDM/CogVideoTHUKEG算是智谱的官号,而CogVideoX,则是前两周很火的智谱的第二世代AI视频清影的基模型。站长网2024-08-06 09:06:120000