对标Sora?国产公司推文生视频工具Etna 能生成15秒4K视频
要点:
国产公司推出的AI视频技术实现了15秒4K60帧超逼真效果,与小米、快手合作瞄准500亿美元的短剧出海市场。
Etna模型作为成功复现Sora技术的重要成果之一,采用Diffusion Transformer处理不同维度数据,实现了时长、清晰度、细节丰富度和语义理解的优势。
七火山公司布局全产业链,通过AI多模态产品如Etna、Lava、miniTV和Bromo,改造短视频全产业链,受到资本市场的关注和青睐。
随着国产公司推出的AI视频技术的崛起,短剧市场迎来了新的变革。七火山公司在国内率先复现了Sora的成果,并通过Etna模型等创新技术取得了重大突破。
Etna模型采用了Diffusion Transformer处理视频数据,实现了15秒4K60帧的超高清晰度,同时具备了时空理解能力和深度语义理解能力。
官网地址:https://etna.7volcanoes.com/
论文地址:https://arxiv.org/pdf/2212.09748.pdf
从上图可以看出,相较于市场上的现有模型,Etna在时长、高清晰度、丰富生动细节和强语义理解上,都保持着较大优势。
为什么七火山能成为国内率先复现出Sora的公司?Sora的关键创新,是一个可以灵活地处理不同维度数据的Diffusion Transformer。时空压缩器会把原始视频转映射到潜空间中,视觉Transformer(ViT)模型会对已经被分词的潜表征进行处理,并输出去除噪声后的潜表征。
一个与CLIP模型类似的系统根据用户的指令(已经通过大语言模型进行了增强)和潜视觉提示,引导扩散模型生成具有特定风格或主题的视频。经过多次去噪处理之后,会得到生成视频的潜表征,然后通过相应的解码器映射回像素空间。
在相关领域技术积累的基础上,Etna模型迅速抓住了Sora的精髓,另外还引入了几项创新。技术架构创新主要是针对视频的时空特性提出的挑战,如何从空间和时间上将视频压缩到潜空间,以实现高效去噪,如何将压缩潜空间转换为patches,并将其输入到Transformer中,以及如何处理长距离的时空依赖性,并确保内容的一致性。
为此,Etna模型在主干网络上采用了Diffusion架构,同时在一个更大的数据集上实验和适配与Sora相似的Diffusion Transform架构。融合了Diffusion模型和Transformer模型的优势,Etna形成了一种高效且先进的新型模型架构,提升了模型的生成效率,保证了生成内容的高质量和高一致性。
七火山公司不仅布局了AI多模态产品,还与小米、快手等合作伙伴展开战略合作,共同探索短剧出海市场。
资本市场对七火山公司的发展充满了期待,认为其具备了潜在的成长空间和投资价值。AI视频技术的兴起将颠覆整个短视频产业链,为用户带来全新的观影体验,也为产业链上下游企业带来了更多的商机和发展空间。
AI版西游记震撼百万网友!AI电影平台炸裂发布颠覆好莱坞,手把手打造爆款视频
【新智元导读】Sora还没开放,但网友们用Runway、Pika等工具做出的电影级大片已经「上线」,B站西游记的浏览量快破百万了!另外,Lightricks今天推出的革命性AI电影制作平台LTXStudio,让我们可以亲手DIY电影级大片了。最近,全网掀起了AI视频热潮。各种史诗级大片纷纷出炉,逼真的效果、震撼的场面让网友们震惊到失语。站长网2024-03-01 14:07:020000日赚2亿的茅台,为了抓住年轻人有多拼
即便有研究表明,美酒加咖啡可能会影响身体健康,但完全不影响茅台和瑞幸联名推出的酱香拿铁热卖——上线第一天卖出了542万杯,销售额直接破亿,瑞幸CMO杨飞在朋友圈直言虽然预期会爆,但结果仍远超预期。站长网2023-09-09 09:33:320000周鸿祎、王小川谈AI:每个行业将被GPT重塑一遍
昨天,360公司创始人兼董事长周鸿祎和百川智能创始人兼CEO王小川在CCTV对话栏目上共同探讨了AI相关的话题。站长网2023-05-11 11:01:200001视频号离“万亿”还差多远?
斯蒂芬·茨威格在《人类的群星闪耀时》中写道,一个人最大的幸福莫过于在人生中途,富有创造力的壮年,发现自己此生的使命。视频号正是微信中年推出的产品,不仅融合了公域和私域,还融合了未来10年的主流方向,并实现了新的增长空间,成为微信未来10年的产品。站长网2023-06-20 17:58:180001研究人员推出深度学习模型RECAST 改进地震预测
文章概要:-研究人员推出名为RECAST的新模型,利用更大的数据集改进地震预测准确性。-RECAST模型相较当前标准模型ETAS拥有更高灵活性,可处理更大规模数据集。-研究人员在NVIDIAGPU工作站上训练该模型,以提升地震预测的状态。最近,来自加州伯克利分校、圣克鲁斯分校以及慕尼黑工业大学的研究人员发表论文,阐述了一种崭新的模型,将深度学习引入地震预测领域。站长网2023-10-08 15:09:320000