OneChart:仅2亿参数,专门用于图表信息结构化提取
划重点:
🔍 提出了一种新的工具 OneChart,旨在解决图表结构提取中的挑战。
📊 引入了一种辅助标记,通过它提升了数值部分的文本输出。
🏆 OneChart 在图表结构提取任务中取得了最先进的性能表现。
在图表解析领域,由于样式、数值、文本等的多样性,存在着重大挑战。即使是拥有数十亿参数的先进大型视觉 - 语言模型(LVLMs)也难以令人满意地处理此类任务。
为了解决这一问题,研究团队提出了一种可靠的工具 OneChart,专门用于图表的结构提取。它捕获了图表标题、来源和对齐的数值数据等重要组成部分,并将它们输出为 Python 字典格式,可以有效地促进下游图表推理任务。
为了增强文本输出中的数值部分,研究团队引入了一个辅助标记以及一个额外的解码器。这个辅助标记允许后续的文本标记通过因果关注来捕获增强的数值特征。此外,借助一个辅助标记,他们设计了一个可靠的检查机制,在推断过程中通过提供生成内容的自一致性距离来确保输出的可信度。
此外,研究团队还提出了一个大规模的图表转换为字典的基准测试。这些图表涵盖了广泛的主题和类型,并包括英语和中文内容。实验证明,尽管只有2亿 参数,OneChart 在结构提取方面实现了最先进的性能。在缺乏数值标注的图表中,与次优方法相比,其平均精度(AP)提高了19.1% ~29.4%。作为图表解析代理,它还为下游的 ChartQA 基准测试带来了11.2% 的准确率增益,对于 LLaVA-1.6和 LLaVA-1.5分别提高了32.6% 和11.2%。
在传统的图表问答基准测试中,通常局限于从图表中查询小的、孤立的信息片段,例如单个数值,这可能无法有效地衡量模型提取和理解图表中呈现的全部数据的能力。相比之下,OneChart 旨在建立一个以结构提取(SE)任务为中心的基准测试,直接评估模型将图表图像转换为结构化 Python 字典表示的准确性。它包括五个数据集部分,其中一个是 ChartY-zh(2,048个样本),其他是 ChartQA-SE(1,509个样本)、PlotQA-SE(33,657个样本)、ChartX-SE(2,360个样本)、ChartY-en(4,000个样本)。
研究团队提出的 OneChart 在图表结构提取方面取得了令人瞩目的成绩,为解决图表解析中的挑战提供了新的思路和方法。
产品入口:https://top.aibase.com/tool/onechart
全面取代Llama 2!Baichuan 2自曝史上最全训练细节
在国内,Llama的时代,已经过去了。9月6日,百川智能宣布正式开源Baichuan2系列大模型,包含7B、13B的Base和Chat版本,并提供了Chat版本的4bits量化,均为免费商用。下载链接:https://github.com/baichuan-inc/Baichuan2站长网2023-09-15 16:06:410000月入1万,就超过了全国95%的人。
各位村民好,我是村长许多赚不到钱的人,都犯了一个通病。那就是看不上小钱,整天都想着月入3万、5万甚至10万。看着别人做淘客一个月几十万,别人做直播带货一个月几百万,总之就是羡慕别人,自己迟迟不做行动。01小钱看不上一提到某个项目赚钱,大家看到的都是别人赚钱的结果,而忽略了别人赚钱的过程。以为别人从一开始,就是一个月赚几万以上的。0000基于LLaMA!开源模型Giraffe将LLaMA上下文窗口扩大10倍 达3万个token
文章概要:1.研究人员扩展了开源LLaMA模型的上下文窗口,创建了Giraffe,上下文窗口扩大10倍,达到约32,000个标记。2.Giraffe适合需要处理数十页文本的商业应用,为大上下文语言模型研究提供了重要见解。3.该研究还强调了当前技术的局限性以及定制测试的必要性,当前不足以衡量长上下文表现,需要定制测试。站长网2023-08-26 16:14:330003新图像合成模型LCM SD生成图片推导步骤减少至4步!
要点:研究人员提出了一种新的图像合成模型,称为潜在一致性模型(LCM),可以在少步推理的情况下生成高分辨率的图像。LCM是从预训练的潜在扩散模型(LDM)中有效地提取出来的,可以直接预测潜在空间中的概率流ODE的解,避免了多次迭代的需要。LCM还引入了一种新的微调方法,称为潜在一致性微调(LCF),可以在定制的图像数据集上进行快速的少步推理,实现了文本到图像的生成。站长网2023-10-24 22:42:390001万兴科技发布AI视频创作软件Wondershare Filmora13
万兴科技发布了AI视频创作软件WondershareFilmora13。该软件内置了创作助手Copilot,用户可以AI助手对话获取创作建议指导。Copilot还提供了一键助力功能,可以快速完成剪辑创作,简化视频创作流程,提高创作效率。站长网2023-10-31 14:17:550000