免费科研利器!Meta祭出Nougat,PDF格式转换,公式表格精准识别,扫描版文档也可以
做研究的童鞋们简直要狂喜!
近来,Meta AI研究人员推出一款OCR神器Nougat,能够分分钟把PDF转换为MultiMarkdown。
各种复杂数学公式、表格、文字、甚至是扫描版的PDF通通可以提取出来。
真有这么神?不如上图说话。
拿出一本很有年代感的书籍,每个公示都可以清晰地识别。
即便文档凹凸不平,也不碍事,公示格式照样重现。
还有PDF中的表格,也能原模原样搬过来。
不过有柱状图的文档,Nougat暂时还不能呈现。
这么神的科研利器,究竟是什么来头?
科研OCR神器,怎么来?
要知道,除了HTML之外,PDF是互联网上第二大重要的数据格式,访问量占比为2.4%。
然而,对于科研人员最不便的是,存储在这些文件中的信息很难提取为任何其他格式。
对于高度专业化的文档更是如此,例如科学研究论文中数学表达式的语义信息会丢失。
对此,Meta的研究人员基于Vision Transformer架构,为处理科学文档量身订制定制了一款光学字符识别(OCR)——Nougat。
与传统OCR不同之处在于,Nougat可以处理整个页面,并且输出格式是MultiMarkdown,适合于学术文档写作。
尤其重要的是,它在处理数学公式中的上标和下标等变得非常容易。
论文地址:https://arxiv.org/pdf/2308.13418.pdf
具体来说,Nougat是一个编码器-解码器的Transformer架构,允许端到端的训练,主要建立在Donut架构之上。
这一模型不需要任何OCR相关的输入或模块,文本由网络隐式识别。
编码器
视觉编码器接收文档图像
,裁剪边距并调整图像大小,以适合大小(H,W)的固定矩形。
如果图像小于矩形,则会添加额外的填充,以确保每个图像具有相同的维度。
这里,研究人员使用Swin Transformer Swin,可将图像分割成固定大小的非重叠窗口,并应用一系列自注意力层来聚合这些窗口的信息。
该模型输出一个嵌入补丁
的序列,其中d是潜在维度,N是补丁的数量。
解码器
使用具有交叉注意力的Transformer解码器架构将编码图像z解码为token序列。
token以自回归方式生成,使用自注意力和交叉注意力分别关注输入序列R和编码器输出的不同部分。最后,输出被投影到词汇量v的大小,产生对数
。
数据增强
在图像识别任务中,使用数据增强来提高泛化能力通常是有益的。
由于研究仅使用数字生成的学术研究论文,因此需要采用多种变换来模拟扫描文档的缺陷和可变性。
这些变换包括腐蚀、膨胀、高斯噪声、位图转换、图像压缩、网格畸变和弹性变换。每个都有应用于给定图像的固定概率。这些转换在Albumentations库中实现。
为了训练模型,团队使用了来自arxiv、PubMed Central等平台的科学论文PDF数据集,以及来自作者的相应LaTeX源代码。
这一数据集总共超过800万页组成。
收集到数据后,研究人员进行了数据处理,首先将原文档转换为HTML,然后再转换为Markdown格式。
具体来说,研究人员根据PDF文件中的分页符拆分Markdown文件,并将每个页面栅格化为图像以创建最终的配对数据集。
编译过程中,LaTeX 编译器会自动确定PDF文件的分页符。
实验结果
测试中,Nougat从科学论文中提取文本、公式和表格的准确率很高。
对于连续文本,它在BLEU分数超过91%,准确率超过96%。
公式和表格的性能较低,略高于75%,但仍然比GROBID等替代品可靠得多,后者的数学公式准确率略低于11%。
不过,在管理跨文档一致性和避免生成过程中重复文本循环方面,仍面临一些挑战。
根据实验结果,logits重复检测示例如下:
Meta团队表示,Nougat是将PDF研究论文转换为结构化的机器可读文本,从而改善科学知识获取的一种有前途的解决方案。
通过弥合PDF与文本之间的鸿沟,这将使数百万篇科学论文更易于获取。
小米宣布小爱同学、小爱音箱升级AI大模型 已开启邀请测试
在昨日晚间的年度发布会上,小米宣布小爱同学已实现全新升级,正式接入大模型。升级后的小爱同学拥有一个更加强大的大脑,可以答疑解惑、激发灵感、创造艺术,还能扮演角色进行自然对话。小米表示,升级至MIUI14后,本次内测机型会分三批进行支持,第二批和第三批邀测时间将于后续公布,用户可在「小米社区APP-右下角“我的”-内测中心」中报名。具体情况如下:第一批(8月14号起陆续审核)站长网2023-08-15 08:53:390000虎牙直播APP在苹果应用商店下架
据网友反馈,苹果AppStore中已无法搜索到虎牙App,不过,在小米、华为手机应用商店进行搜索,发现虎牙直播可正常搜索并下载。数据显示,2022年虎牙总收入为92.2亿元,归属于虎牙的净亏损为4.867亿元,全年虎牙直播移动端MAU(月均活跃用户数)达8430万,同比增长4.2%。站长网2023-04-23 11:59:330000CoDA开源:可在3D场景中检测和命名新物体
CoDA是一个端到端的开放词汇3D目标检测框架,旨在同时实现新对象的定位和分类。它主要包括两大特点:1.3D新对象发现策略:利用3D几何先验和2D语义先验联合发现场景中的新对象,生成新对象的伪标签。2.基于发现的跨模态对齐:将3D点云特征与图像/文本特征对齐,利用已有类别和不断发现的新对象类别进行对齐,使对齐迭代增强。站长网2023-10-08 11:53:330000微软Azure AI新增Phi、Jais等,40种新大模型
微软在官方宣布在AzureAI云开发平台中,新增了Falcon、Phi、Jais、CodeLlama、CLIP、WhisperV3、StableDiffusion等40个新模型,涵盖文本、图像、代码、语音等内容生成。开发人员只需要通过API或SDK就能快速将模型集成在应用程序中,同时支持数据微调、指令优化等量身定制功能。站长网2023-11-27 09:06:110000用AI开淘宝店,单月卖出500多件!是能复制的好生意吗?
最近,商业媒体36氪用AI开了一家淘宝女装店。36氪用AI开的淘宝店(中)小到店铺名、店铺Logo,大到每件衣服的设计、模特图、详情页文案,无一例外,都是由AI生成的。全程无需雇佣任何设计师、摄影师、模特、文案专员,也没有一件真实商品,效果却与主流的淘宝服饰类店铺无异。目前,这条视频在B站已有311万播放,18万点赞,相关话题还上过微博热搜。站长网2023-06-26 23:42:390000