DeepMind新机器学习模型UniSim:模拟现实以训练机器人和游戏角色
划重点:
- Google DeepMind与多所大学合作,研发出一款新的机器学习模型UniSim,用于创建逼真的模拟环境,用于培训各类人工智能系统。
- UniSim的特点是能够模拟现实世界的互动,包括高级指令和低级控制,为其他需要真实世界数据的模型提供训练示例。
- UniSim的应用潜力广泛,包括培训机器人、游戏角色,以及填补模拟和现实世界之间的鸿沟。
谷歌 DeepMind 的研究人员与加州大学伯克利分校、麻省理工学院和阿尔伯塔大学合作开发了一个名为UniSim的机器学习模型,可以为训练各种人工智能系统创建真实的模拟。
研究人员表示,下一个生成模型的重要里程碑是模拟人类、机器人和其他互动实体采取行动时的逼真体验,而UniSim正是他们希望实现这一目标的工具。UniSim被描述为一个“通用的现实世界互动模拟器”。
尽管UniSim仍处于早期阶段,但它已经展现了实现这一目标的第一步。UniSim可以成为需要复杂真实世界互动数据的领域的宝贵工具,例如机器人技术和自动驾驶汽车。
UniSim是一种生成模型,可以模仿人类与环境以及其他实体之间的互动。它能够模拟高级指令(如“打开抽屉”)和低级控制(如“移动到x,y坐标”)的视觉效果。这些模拟数据可以用作其他需要真实世界数据的模型的训练示例。
UniSim的数据源非常广泛,包括互联网文本-图像对、导航、操作、人类活动、机器人数据以及模拟和渲染等。研究人员将这些多样的数据格式整合成一个统一的格式,通过使用Transformer模型和扩散模型进行编码和生成,将观察、行动和结果联系在一起。
UniSim还具有生成逼真视频的能力,包括人物执行各种动作和环境导航。它还能够执行长时间模拟,例如机器人手执行多个动作的序列。
此外,UniSim还能生成“随机环境转换”,例如揭示毛巾下的不同物体,这对于计算机视觉应用中的模拟反事实和不同场景非常有用。
UniSim的真正价值在于与强化学习环境的整合,这使得UniSim可以在机器人等应用中模拟各种结果,无需真实世界训练。这一方法的优势包括无限的环境访问、接近真实世界的观察以及对时间控制频率的灵活性。
UniSim有广泛的应用前景,包括在游戏和电影中创建可控内容,以及在模拟中培训直接用于现实世界的虚拟实体。UniSim还可以为视觉语言模型提供大量的训练数据,这对于需要执行复杂多步任务的模型非常有益。研究人员还指出,UniSim可用于培训高级视觉语言规划器、低级强化学习策略等多种模型。
UniSim还可以模拟罕见事件,这一特性在机器人技术和自动驾驶汽车等领域特别有用,因为数据收集可能既昂贵又有风险。尽管UniSim的培训成本相对较高,但研究人员希望它能够引发广泛的兴趣,以改善机器智能。
特斯拉市值一日蒸发500亿美元,降价战升级引发担忧
特斯拉股价周四下跌近10%,市值损失超过500亿美元,降价战升级引发担忧。马斯克曾暗示,即使利润率受沉重打击,该公司仍将继续降价以提升需求而对价格战升级的担忧也打击了通用汽车、大众汽车和其他汽车制造商的股价。站长网2023-04-21 09:59:420000苹果大模型MM1杀入场:300亿参数、多模态、MoE架构,超半数作者是华人
苹果也在搞自己的大型多模态基础模型,未来会不会基于该模型推出相应的文生图产品呢?我们拭目以待。今年以来,苹果显然已经加大了对生成式人工智能(GenAI)的重视和投入。此前在2024苹果股东大会上,苹果CEO蒂姆・库克表示,今年将在GenAI领域实现重大进展。此外,苹果宣布放弃10年之久的造车项目之后,一部分造车团队成员也开始转向GenAI。站长网2024-03-16 13:45:350001工程师将 ChatGPT 和机器狗 Spot 结合起来 以增强沟通能力
在人工智能和机器人越来越流行的世界里,看到工程师如何推动界限,找到使这些机器更有用的新方式,总是非常令人兴奋的。这正是Santiago通过将ChatGPT与BostonDynamics的机器狗Spot结合起来所做的。乍一看,机器狗使用AI模型与人类进行通信可能看起来像是从科幻电影中来的,然而,这种技术的创新实际上是为了使机器狗执行复杂任务更高效。站长网2023-04-27 14:18:490000小米汽车三名员工未经许可参与研讨会被辞退
小米公司近日发布声明,针对小米汽车相关的恶意泄密和谣言采取法律行动。声明中指出,媒体“ZAKER”员工包某某和“小白买车”员工关某某未经许可有意泄露了保密拍摄内容。小米公司表示将追究两人及所属媒体的泄密责任,包括公开道歉、罚金等措施。站长网2023-12-20 08:58:140000美国联邦航空局否认在系统中使用ChatGPT编写代码
美国联邦航空局(FAA)发表声明,否认在其空中交通运营(ATO)或任何其他系统中使用ChatGPT来编写计算机代码。该声明是在美国交通部发布了人工智能使用清单后匆忙发表的。交通部要求其组织列举所有人工智能使用情况以遵守一项行政命令。站长网2023-07-27 16:44:090000