DINOv2:Meta AI 开源的自监督计算机视觉模型
Meta AI Research 发布了 DINOv2 开源项目,这是一款用于计算机视觉(CV)任务的基础模型。DINOv2 在一个由 1.42 亿张图像构成的筛选数据集上进行了预训练,可用作图像分类、视频动作识别、语义分割和深度估计等多个任务的骨干模型。
Meta 基于 Vision Transformer(ViT)架构构建了该模型,并对其进行了自监督学习目标的修改。团队建立了一个自动化流程,从网络上获取图像并构建了一个筛选数据集来训练模型。其中一个重要的贡献是改进了训练过程,该方法的速度是之前方法的两倍,内存使用量减少了三分之一。在计算机视觉基准测试中,DINOv2 优于其他自监督学习(SSL)模型,并显示出与弱监督模型相媲美或更好的性能。根据 Meta 的说法:
展望未来,团队计划将该模型整合到一个更大、更复杂的人工智能系统中,该系统可以与大型语言模型进行交互。具备丰富图像信息的视觉骨干模型将使复杂的人工智能系统能够对图像进行比单一文本描述更深入的推理。以文本监督进行训练的模型最终受限于图像标题的内容。而使用 DINOv2,则没有这样的内置限制。
计算机视觉任务的深度学习模型通常依赖于带有人工注释的大型图像数据集,例如 ImageNet。2021 年,OpenAI 发布了 CLIP,这是一个使用弱监督训练方法的计算机视觉基础模型,其中的注释是通过爬取与源图像相关的 html 标签和其他网络元数据自动生成的。同年,Google 发布了 ViT 模型,它使用自监督学习进行训练。Meta 也发布了 DINO 的原始版本的研究成果,将 ViT 模型与知识蒸馏相结合,从而获得了性能相当但更小的模型。
对于 DINOv2,Meta 专注于收集更多训练数据并扩大训练过程。对于训练数据,Meta 从互联网上收集了 1.2B 个独特的图像,然后根据它们与 ImageNet 数据集中图像的相似性对它们进行聚类,以获得最终的 142M 图像集。为了扩大训练规模,Meta 实施了自定义版本的 FlashAttention,并使用 PyTorch 进行完全分片数据并行 (FSDP) 训练。总体而言,该项目消耗了大约 20 万个 GPU 日的计算量。
为了评估 DINOv2 作为基础模型的性能,该团队在各种 CV 任务上对其进行了测试,并将其与几个基线 SSL 模型以及 CLIP 等弱监督模型进行了比较。在 ImageNet-1k 分类任务上,DINOv2 与其他 SSL 模型相比表现出「非常显著的改进」,并且表现优于弱监督模型。它还在三个视频动作识别基准测试中创造了新的 SSL 最先进记录,并在实例级识别基准测试和三个单眼深度估计基准测试中表现优于基线。
在 Hacker News 关于这项工作的讨论中,一些用户称赞了 Meta 最近在计算机视觉方面的工作以及 PyTorch 等过去的贡献。有人确实注意到 Meta 围绕他们的工作进行交流的转变:
作为该领域的研究生,在 Yann LeCun 的内部倡导下,Meta 一直为开源机器学习工作做出了不小的贡献。最近发生变化的是他们的公关策略:[OpenAI] 基本上已经向所有人表明,如果你的宣传很糟糕,那么你是否有最好的模型并不重要。
GitHub 上提供了 DINOv2 代码和模型。该项目站点托管了使用 DINOv2 的多个计算机视觉任务的交互式演示。
DINOv2 开源模型 GitHub 地址:https://github.com/facebookresearch/dinov2
DINOv2 开源项目: https://dinov2.metademolab.com/
苹果 iOS 17 加强隐私保护引入新功能:自动删除网站链接中的跟踪参数
苹果iOS17和macOSSonoma在浏览网页时增加了更多的隐私保护功能。链接跟踪保护是一个新功能,在邮件、信息和Safari的私密浏览模式中自动激活。它检测链接URL中的用户可识别的跟踪参数,并自动删除它们。站长网2023-06-11 22:38:320000英国宣布启动投资 1 亿英镑的生成式 AI 特别工作组
英国政府将投资1亿英镑成立一个专门的AI特别工作组,用于开发可以在医疗和教育等领域使用的AI模型。新成立的科学、创新和技术部表示,这笔资金将用于创业公司的初创资金,以支持任务组开发基础模型——这是一种由聊天机器人(如ChatGPT和GoogleBard)使用的人工智能类型。这是最近对这些技术的快速推广。站长网2023-04-25 10:52:040000国民应用彻底打通!QQ新版本正式加入微信登陆支持
快科技7月24日消息,近日,安卓版QQ推送v8.9.70版本更新。根据更新日志提供的信息,此次新版本正式为QQ加入了微信与手机号登陆的渠道。值得一提的是,早在该版本更新之前,就有部分用户反馈,自己的安卓版QQ已经出现了相关的更新。即便到了现在,微信登录QQ的功能也仅局限在安卓平台,在iOS与PC平台,该功能仍未推送。站长网2023-07-25 12:20:390000月入几万,打工人才有“买车自由”?
小汪入手的别克微蓝,与同价位的其他车相比,续航和性能上具有一定竞争力,也可以多开几年。“原本落地要十二万,但算上朋友给到的优惠,首付款也就不到两万”,她认为买的很值。0000淘宝AI装修功能“真能造”将于8月14日全面上线 此前曾引发数千人排队试测
据知情人士透露,淘宝于7月下旬内测的AI装修功能“真能造”将于8月14日的家装家居生态峰会上正式对外发布,届时功能将更加完善,并且在样板间UGC分享和用户交互功能等方面进一步迭代升级。据了解,该产品可以免费为用户生成10种不同风格的装修设计图。在内测上线不到24小时的时间内,就吸引了数千人排队试测该产品。站长网2023-08-02 16:34:310000