机器学习工具Magi:自动为漫画生成文本 帮助视障读者更容易地阅读漫画

划重点:

⭐️ 研究团队在牛津大学开发了名为 Magi 的先进工具，可以帮助视障读者更容易地阅读漫画。

⭐️ Magi 的方法包括智能地识别漫画页面上的面板、人物和文字块。

⭐️ 这项研究不仅突破了漫画可访问性的障碍，还展示了人工智能在提高可访问性方面的潜力。

在讲故事方面，日本漫画，即漫画，在全球范围内赢得了巨大的市场，以其复杂的情节和独特的艺术风格吸引着观众的注意。尽管它们具有全球吸引力，但一个重要的潜在读者群体却被忽视了:视障人士。对于他们来说，漫画的视觉中心性创造了一个无法访问的领域，尽管漫画中有丰富的叙事。

当前漫画之所以难以访问，主要挑战在于将视觉丰富的内容转化为视障人士可访问的格式。早期的漫画在很大程度上依赖于交织的视觉元素和文字，使体验固有地具有视觉性。这种视觉依赖意味着视障人士通常无法参与漫画艺术家创造的故事、人物和世界。

目前使漫画可访问的解决方案远非理想，主要是因为它们依赖于手动转录或音频描述，这种方法劳动密集且难以有效扩展。这种差距突出了需要更有效的自动化方法来使所有观众都能够欣赏漫画，无论其视觉能力如何。

牛津大学的研究团队开发了一种先进工具，名为 Magi，这标志着使漫画对视障读者更具可访问性的突破。Magi 是一个打开以往因视觉障碍而锁定的故事的通道，为所有读者提供了新的参与水平。

Magi 的方法包括智能地识别漫画页面上的面板、人物和文字块，以及将对话与其相应的讲话者相关联，保持叙事的完整性。通过严格测试，Magi 展示了在检测和聚类人物以及将文本与正确的讲话者相关联方面的优越能力，超越了现有方法。这种效率展示了该工具的精确性，以及它改变漫画阅读为一种所有视障人士都可以享受的包容性活动的潜力。

这项研究和开发工作突显了辅助技术方面的重大进展。通过利用复杂的算法和机器学习，Magi 为无法看到的人打开了一个以前无法访问的漫画世界。这一创新的影响超越了漫画，它为技术如何弥合娱乐领域的鸿沟树立了一个先例，使其普遍可访问。

开发 Magi 有助于使文化和娱乐内容的获取更加民主化。它突显了向包容性转变的趋势，打破了享受乐趣的障碍，使故事变得普遍可访问。这项研究不仅突显了人工智能在提高可访问性方面的潜力，还号召进一步在这一领域进行创新。随着技术的发展，希望更多的大门会打开，让每个人无论身体上的限制如何，都能探索广阔多样的娱乐和文化景观。Magi 从概念到实施的历程揭示了通往一个更加包容的世界的道路，让故事的乐趣无限延伸。

产品入口:https://top.aibase.com/tool/magi

论文：https://arxiv.org/abs/2401.10224v1