对标Sora?国产公司推文生视频工具Etna 能生成15秒4K视频
要点:
国产公司推出的AI视频技术实现了15秒4K60帧超逼真效果,与小米、快手合作瞄准500亿美元的短剧出海市场。
Etna模型作为成功复现Sora技术的重要成果之一,采用Diffusion Transformer处理不同维度数据,实现了时长、清晰度、细节丰富度和语义理解的优势。
七火山公司布局全产业链,通过AI多模态产品如Etna、Lava、miniTV和Bromo,改造短视频全产业链,受到资本市场的关注和青睐。
随着国产公司推出的AI视频技术的崛起,短剧市场迎来了新的变革。七火山公司在国内率先复现了Sora的成果,并通过Etna模型等创新技术取得了重大突破。
Etna模型采用了Diffusion Transformer处理视频数据,实现了15秒4K60帧的超高清晰度,同时具备了时空理解能力和深度语义理解能力。

官网地址:https://etna.7volcanoes.com/
论文地址:https://arxiv.org/pdf/2212.09748.pdf
从上图可以看出,相较于市场上的现有模型,Etna在时长、高清晰度、丰富生动细节和强语义理解上,都保持着较大优势。
为什么七火山能成为国内率先复现出Sora的公司?Sora的关键创新,是一个可以灵活地处理不同维度数据的Diffusion Transformer。时空压缩器会把原始视频转映射到潜空间中,视觉Transformer(ViT)模型会对已经被分词的潜表征进行处理,并输出去除噪声后的潜表征。

一个与CLIP模型类似的系统根据用户的指令(已经通过大语言模型进行了增强)和潜视觉提示,引导扩散模型生成具有特定风格或主题的视频。经过多次去噪处理之后,会得到生成视频的潜表征,然后通过相应的解码器映射回像素空间。

在相关领域技术积累的基础上,Etna模型迅速抓住了Sora的精髓,另外还引入了几项创新。技术架构创新主要是针对视频的时空特性提出的挑战,如何从空间和时间上将视频压缩到潜空间,以实现高效去噪,如何将压缩潜空间转换为patches,并将其输入到Transformer中,以及如何处理长距离的时空依赖性,并确保内容的一致性。
为此,Etna模型在主干网络上采用了Diffusion架构,同时在一个更大的数据集上实验和适配与Sora相似的Diffusion Transform架构。融合了Diffusion模型和Transformer模型的优势,Etna形成了一种高效且先进的新型模型架构,提升了模型的生成效率,保证了生成内容的高质量和高一致性。
七火山公司不仅布局了AI多模态产品,还与小米、快手等合作伙伴展开战略合作,共同探索短剧出海市场。
资本市场对七火山公司的发展充满了期待,认为其具备了潜在的成长空间和投资价值。AI视频技术的兴起将颠覆整个短视频产业链,为用户带来全新的观影体验,也为产业链上下游企业带来了更多的商机和发展空间。
重磅,Meta开源“次世代”大模型Llama 2,扎克伯格:免费可商用
站长网2023-07-19 20:14:440001百度网盘推出高级图搜功能 更全面、更准确
百度网盘推出高级图搜功能,帮助用户快速找到上万张照片和视频。通过基于向量的语义搜索,百度网盘能够理解包含时间、地点、人物、事件等多个要素的组合搜索语句,提供更准确、全面的搜索结果。网盘还支持OCR识图和以图搜图功能,可以自动关联百科信息和全网信息,大大扩展了信息检索的维度。为了提高搜索速度,百度网盘充分利用云上算力,压缩本地索引大小,采用异构算力调度系统。站长网2023-07-18 00:04:330000月入5万+!“泰山陪爬”爆火,其实是陪伴经济的进阶
最近,陪爬泰山火了。兵法先生在追溯其为何爆火的过程中,发现类似的陪伴业态还有很多,如“相机跟拍”“小众路线陪同”“某地区特色游玩攻略”“陪聊”“陪驾驶”“陪考研”“陪诊聊”“陪购物”“陪娃”“陪相亲”……这样的帖子不在少数,且覆盖人群广、涉及领域五花八门,超乎大众想象。0000小鹏公布全新车型P7+:或采用纯视觉智驾
站长之家(ChinaZ.com)7月10日消息:小鹏汽车董事长何小鹏今日正式揭晓了小鹏家族全新成员“P7”的官方图片。新车无疑是小鹏汽车在设计美学上的新高度,前脸设计深度汲取了P7系列的精髓,标志性的断点式贯穿LED日行灯与分体式大灯相得益彰,搭配大面积封闭式前脸及智能主动闭合式进气格栅,不仅视觉效果出众,更在提升续航方面展现了前沿科技的应用。站长网2024-07-11 08:54:210000腾讯公布五一假期未成年人限玩日历
腾讯游戏已正式发布了关于2024年劳动节假期未成年人游戏限玩时间的通知,为切实保护未成年人的身心健康,防止其沉迷网络游戏,特制定以下限玩日历。根据《关于进一步严格管理切实防止未成年人沉迷网络游戏的通知》精神,结合2024年劳动节假期的实际调休安排,中国大陆地区运营的腾讯网络游戏将对未成年人实施以下限玩措施:在以下特定时间段内,未成年人可以登录游戏,享受短暂的娱乐时光:站长网2024-04-22 14:51:110000