微软开源多功能视觉模型Florence-2,分割、识别一切图片!
微软Azure AI 团队宣布开源视觉模型——Florence-2。
据悉,Florence-2是一个多功能视觉模型,可提供图像描述、目标检测、视觉定位、图像分割等。
例如,上传一张风景照片,让其解读一下图片的内容;或者上传一张超市货架的照片,让其精准找出牛奶的所在位置。
Florence-2一共有230M和770M两个版本,在多个知名基准测试中零样本的表现非常出色高于同类模型。目前,Florence-2的总下载量已超过120万非常火爆。
开源地址:https://huggingface.co/microsoft/Florence-2-large
在线demo:https://huggingface.co/spaces/gokaygokay/Florence-2
Florence-2之所以拥有如此多的视觉功能和强大的泛化能力,是因为使用了一个超大的数据集FLD-5B,包含1.26亿张图像和54亿个数据标注。
同时该数据集使用了自动化图像标注技术与模型迭代的结合,通过多个模型协作确保了数据的高质量和多样性。
模型架构方面,Florence-2基于Transformer并采用了序列到序列(seq2seq)的学习方法,模型的这一部分由编码器和解码器组成,编码器负责将图像转换为序列表示,而解码器则将这些表示转换为输出文本。
这种设计不仅提高了模型处理任务的灵活性,也使得模型能够以一种统一的方式来处理各种视觉任务。
其他关键模块包括:图像编码器,主要负责将输入图像转换为视觉token嵌入;Florence-2使用DaViT作为图像编码器,这种编码器通过注意力机制捕捉图像特征,为后续的处理提供了丰富的视觉信息。
多模态编码器-解码器,采用标准的Transformer架构,通过自注意力机制实现多模态信息的融合。这种融合使得模型能够更好地理解和生成与视觉内容相关的文本。

位置编码,为Florence-提供了区域级别的空间信息,在目标检测和分割等任务中尤为重要,使得模型能够识别图像中的具体区域。
统一表示则是Florence-2的一大创新亮点,可将不同类型的视觉信息和语言信息包括图像描述、目标检测、视觉定位和分割等,整合到一个统一的框架中,帮助模型在不同的任务之间共享知识,提高学习效率。
为了评测Florence-2的性能,研究人员在COCO、ADE20K、Flickr30k Entities等知名基准测试平台进行了综合评估。
结果显示,Florence-2在零样本学习和微调学习设置下都展现出了卓越的性能,例如,在COCO目标检测和实例分割任务中,它超越了先前的最佳模型,显示了更强的识别精度和分割能力。
在ADE20K语义分割测试任务中,模型也展示了优越的表现,表明其不仅在高层语义理解上有出色表现,对于底层细节的捕捉同样精准。
尤其是在微调后,Florence-2在公共基准测试中的性能与更大参数的专业模型相媲美。
Google全新发布AI视频Veo2、AI绘图Imagen3 - 何以凌越。
大半夜的,OpenAI的垃圾直播没任何看头,就发了个个性化的AI搜索。但是,Google没有预告、没有营销,默默的在X上发了两个大货。当今最先进的AI视频模型Veo2,还有AI绘图模型Imagen3改进版。我们一群人,一边看效果,一边不断的惊呼卧槽。我几乎从来不使用炸裂这个词,但是AI视频Veo2的效果,真的让我有点想欢呼,甚至,有点像2月16号那个宿命的一夜,看Sora的感觉。0000百度公布文心千帆生态成果,超过300家企业正在探索应用
百度在2023百度智能云合作伙伴大会上展示了文心大模型在场景应用、生态建设领域的最新进展。目前已有超过300家生态伙伴在文心千帆大模型平台上进行探索应用。站长网2023-05-19 14:35:170000网易云音乐崩了上热搜:页面无法加载 获取数据失败
今日下午,“网易云音乐崩了”登上微博热搜。据网友反馈,网页端出现"502BadGateway"的服务器错误,同时网易云音乐的移动应用程序也无法正常使用。对此,网易云官方回应称,因基础设施故障,导致网易云音乐各端无法正常使用,正在加紧修复,非常抱歉。同时,用户们也希望网易云音乐能够尽快解决技术问题,恢复服务,确保用户体验不受影响。站长网2024-08-19 15:18:020000李想发全员信自我批评:理想汽车不再单纯追求销量
理想汽车CEO李想近日发布全员信,深入剖析了公司近期面临的挑战,并针对理想MEGA汽车的上市节奏以及过分关注销量的欲望问题,提出了解决方案。站长网2024-03-22 02:32:000000Sam Altman 将出席英特尔活动 表明进军AI芯片
英特尔代工服务(IFS)定于2024年2月21日在圣何塞McEnery会议中心举办IFSDirectConnect。OpenAI首席执行官SamAltman将作为杰出演讲者出席此次活动。站长网2024-01-31 10:03:350000