苹果Vision Pro头显AI助手来了 会调酒还会打麻将
站长网2023-06-12 17:12:550阅
上周苹果推出的Vision Pro头戴显示器引起了很多人的兴趣。你能想象一下如果加上人工智能的话,会是什么样的体验吗?
最近,新加坡南洋理工大学和微软雷蒙研究所推出了一个多模态的人工智能助手——Otter(水獭)。它能够以视频作为输入,完成多模态的感知、推理和上下文学习,并经过专门的指令遵守训练。
它不仅能够教你打麻将、开飞机,还能教你调酒。它能够实时识别现实场景并回答人类提问,简直是一个全能型的选手。
Otter支持8种语言,包括中文。在训练过程中,团队使用了适用于增强现实头戴显示器的第一人称视角视频,明确表示这是为苹果头戴显示器准备的。有网友发现,在各种测试项目中,Otter的平均成绩比传统的MiniGPT-4、OpenFlamingo等传统模型高出了十几个百分点。
Otter使用视觉识别模块来分析场景信息,并结合ChatGPT生成答案。其中,关键的视觉模块是基于改良版的LLaVA进行训练的。Otter的工作流程大概是这样的:首先要对视觉信息进行处理,并结合系统信息生成激励。生成好的激励会被传递给ChatGPT,得到指令-回应数据。这些回应数据再经过一步筛选器的筛选,由ChatGPT将所选择的语言进行翻译并输出。此外,团队还引入了冷启动机制,用于发现可用于数据库中的情景实例。
在线体验:
https://otter.cliangyu.com/
论文地址:
https://arxiv.org/abs/2306.05425
GitHub页面:
https://github.com/Luodian/Otter
0000
评论列表
共(0)条相关推荐
《蛋仔派对》爆火,丁磊该有所警觉
北京时间5月25日,网易集团发布了2023年第一季度财报。财报显示,第一季度网易实现营收250亿元,同比增加6.3%,主要业务线上游戏板块占比80.4%,净收入201亿元同比增加7.6%,毛利润为149亿元同比增加16.0%,归属公司股东的净利润达68亿元。站长网2023-05-26 18:16:310000阿里巴巴普惠体推出三款全新字体 永久免费支持正版商用
近日,阿里巴巴普惠体(alibabafonts.com/#/more)推出了三款全新的字体,分别是阿里妈妈方圆体、阿里妈妈灵动体和阿里妈妈刀隶体,全部永久免费支持正版商用。阿里妈妈方圆体是一款双轴可变字体,包括简体中文、英文大小写以及常用标点符号等共计7042个字符。这款字体通过智能AI的方式完成,为商家和用户提供了更多的选择和多样化的视觉体验。站长网2023-07-05 19:13:340002报道称百度文心一言即将免费开放200万 -500万长文本能力
划重点:⭐️百度将免费开放长文本能力,文字范围在200万-500万之间。⭐️百度文心一言即将进行版本升级,现文本上限为2.8万字。⭐️这一举措将在下个月实施,提供更广泛的文本处理能力。站长网2024-03-25 17:51:510000腾讯游戏发布2023暑期限玩日历
为了让广大未成年玩家们更好地安排时间,腾讯游戏发布“2023暑期限玩日历”称,结合《关于进一步严格管理切实防止未成年人沉迷网络游戏的通知》,2023年暑假期间(由于各地放假时间有差异,此处的“暑假期间”指2023年7月1日-8月31日),腾讯游戏旗下在中国大陆地区运营的网络游戏面向未成年人的游戏限玩执行如下:站长网2023-06-29 19:07:270001比肩马斯克的AI巨头,华人企业家黄仁勋的20句名言,发人深省
无论如何,都要保持奔跑。AI市场爆火,被称作人工智能芯片“军火商”的英伟达发布一季度超预期财报后,股价一度上涨24.37%,市值逼近万亿美元,其创始人黄仁勋的身价也暴涨至330亿美元以上。近期,黄仁勋的一举一动格外引人关注。先是一张拎麻花逛夜市的照片出圈,5月27日在台大的演讲因为透露了对AI未来表现的看法而引发大量思考。0000