文本生成高清、连贯视频,谷歌推出时空扩散模型
谷歌研究人员推出了创新性文本生成视频模型——Lumiere。
与传统模型不同的是,Lumiere采用了一种时空扩散(Space-time)U-Net架构,可以在单次推理中生成整个视频的所有时间段,能明显增强生成视频的动作连贯性,并大幅度提升时间的一致性。
此外,Lumiere为了解决空间超分辨率级联模块,在整个视频的内存需求过大的难题,使用了Multidiffusion方法,同时可以对生成的视频质量、连贯性进行优化。
论文地址:https://arxiv.org/abs/2401.12945?ref=maginative.com
时空扩散U-Net架构
传统的U-Net是一种常用于图像分割任务的卷积神经网络架构,其特点是具有对称的编码器-解码器,能够在多个层次上捕获上下文信息,并且能够精确地定位图像中的对象。
而时空扩散U-Net是在时空维度上执行下采样和上采样操作,以便在紧凑的时空表示中生成视频。
下采样的目的是减小特征图的尺寸,同时增加特征图的通道数,以捕捉更丰富的特征。
上采样则是通过插值以及将特征图的尺寸恢复到原始输入的大小,同时减少通道数,以生成更细节的输出。
时空扩散U-Net的编码器部分通过卷积和池化操作实现时空下采样。卷积层用于提取特征,并逐渐减小特征图的尺寸。
池化层则通过降采样操作减小特征图的空间尺寸,同时保留重要的特征信息。通过逐步堆叠这些下采样模块,编码器可以逐渐提取出更高级别的抽象特征。
因此,Lumiere在时空扩散U-Net架构帮助下,能够一次生成80帧、16帧/秒(相当于5秒钟)的视频。并且与传统方法相比,这种架构显著增强了生成视频运动的整体连贯性。
Multidiffusion优化方法
Multidiffusion核心技术是通过在时间窗口内进行空间超分辨率计算,并将结果整合为整个视频段的全局连贯解决方案。
具体来说,Multidiffusion通过将视频序列分割成多个时间窗口,每个时间窗口内进行空间超分辨率计算。
这样做的好处是,在每个时间窗口内进行计算可以减少内存需求,因为每个时间窗口的大小相对较小。同时,这种分割的方式也使得计算更加高效,并且能够更好地处理长视频序列。
在每个时间窗口内,Multidiffusion方法使用已经生成的低分辨率视频作为输入,通过空间超分辨率级联模块生成高分辨率的视频帧。
然后,通过引入扩散算法,将每个时间窗口的结果进行整合,形成整个视频段的全局连贯解决方案。
这种整合过程考虑了时间窗口之间的关联性,保证了视频生成的连贯性和视觉一致性。
AI哨所 |马斯克加入AI大战:组建AI团队成立创业公司 对抗ChatGPT
凤凰网科技讯北京时间4月15日消息,埃隆马斯克(ElonMusk)寻求加入硅谷在生成式人工智能(AI)系统领域的竞赛,目前正在制定计划成立一家新的AI创业公司,与ChatGPT开发商OpenAI竞争。0000微信视频号将于10月31日推出“11.11狂欢节” 活动
微信视频号将于10月31日20:00推出视频号直播“11.11狂欢节”活动,活动将持续至11月11日24点。为鼓励商家和达人参与直播,视频号方面将提供多种激励政策,并通过流量激励、核心推荐位展示、运营指导等帮助商家激活流量。活动期间,平台内所有商家技术服务费率将降至1%,视频号小店运费险费率将根据商家类目下调12%-24%不等。此外,视频号还将上线“极速退款”“先用后付”服务。站长网2023-10-25 18:47:220001iOS17.2为 iPhone15Pro 的操作按钮添加翻译功能
苹果最近发布了iOS17.2更新,为iPhone15Pro系列的操作按钮添加了新的翻译功能。这个功能允许用户将翻译任务分配给操作按钮。当按下操作按钮时,它将启动翻译应用程序的对话模式,无需离开当前应用程序。这极大地简化了在不同语言之间快速翻译短语或进行对话的过程。站长网2023-10-27 09:46:570000如何查看手机是哪年生产的!
今天正在看头条新闻,看到了关于华为P60的相关文章,突然想换手机了。但现在手里的手机还能用,都是华为P系列,没有卡顿,反应慢的现象。所以我就想查一查手机是哪年出厂的,后面经过研究发现,还很有意思。现在分享给大家。因为我用的是华为手机,所以就以鸿蒙系统为例,其它安卓或苹果系统参照类似相关设置进行查询!首先,打开关于手机页面,进入手机设置页面,打开关于手机页面。打开状态信息页面0000淘宝更改销量展示规则,数字背后的营销探索
现在购物平台众多,京东、拼多多、抖音、小红书……但习惯性的,还是更热衷于淘宝购物。根据阿里巴巴集团公布的2023年第二季度业绩,淘天集团收入、利润等核心指标全面超市场预期,在用户规模、用户质量、商家规模、市场规模等方面领先行业。其中,淘宝App日活跃用户数(DAU)同比增长6.5%,在超大用户体量基础上,实现连续5个月高速增长。站长网2023-08-25 17:23:190000