对标Sora?国产公司推文生视频工具Etna 能生成15秒4K视频
要点:
国产公司推出的AI视频技术实现了15秒4K60帧超逼真效果,与小米、快手合作瞄准500亿美元的短剧出海市场。
Etna模型作为成功复现Sora技术的重要成果之一,采用Diffusion Transformer处理不同维度数据,实现了时长、清晰度、细节丰富度和语义理解的优势。
七火山公司布局全产业链,通过AI多模态产品如Etna、Lava、miniTV和Bromo,改造短视频全产业链,受到资本市场的关注和青睐。
随着国产公司推出的AI视频技术的崛起,短剧市场迎来了新的变革。七火山公司在国内率先复现了Sora的成果,并通过Etna模型等创新技术取得了重大突破。
Etna模型采用了Diffusion Transformer处理视频数据,实现了15秒4K60帧的超高清晰度,同时具备了时空理解能力和深度语义理解能力。
官网地址:https://etna.7volcanoes.com/
论文地址:https://arxiv.org/pdf/2212.09748.pdf
从上图可以看出,相较于市场上的现有模型,Etna在时长、高清晰度、丰富生动细节和强语义理解上,都保持着较大优势。
为什么七火山能成为国内率先复现出Sora的公司?Sora的关键创新,是一个可以灵活地处理不同维度数据的Diffusion Transformer。时空压缩器会把原始视频转映射到潜空间中,视觉Transformer(ViT)模型会对已经被分词的潜表征进行处理,并输出去除噪声后的潜表征。
一个与CLIP模型类似的系统根据用户的指令(已经通过大语言模型进行了增强)和潜视觉提示,引导扩散模型生成具有特定风格或主题的视频。经过多次去噪处理之后,会得到生成视频的潜表征,然后通过相应的解码器映射回像素空间。
在相关领域技术积累的基础上,Etna模型迅速抓住了Sora的精髓,另外还引入了几项创新。技术架构创新主要是针对视频的时空特性提出的挑战,如何从空间和时间上将视频压缩到潜空间,以实现高效去噪,如何将压缩潜空间转换为patches,并将其输入到Transformer中,以及如何处理长距离的时空依赖性,并确保内容的一致性。
为此,Etna模型在主干网络上采用了Diffusion架构,同时在一个更大的数据集上实验和适配与Sora相似的Diffusion Transform架构。融合了Diffusion模型和Transformer模型的优势,Etna形成了一种高效且先进的新型模型架构,提升了模型的生成效率,保证了生成内容的高质量和高一致性。
七火山公司不仅布局了AI多模态产品,还与小米、快手等合作伙伴展开战略合作,共同探索短剧出海市场。
资本市场对七火山公司的发展充满了期待,认为其具备了潜在的成长空间和投资价值。AI视频技术的兴起将颠覆整个短视频产业链,为用户带来全新的观影体验,也为产业链上下游企业带来了更多的商机和发展空间。
英国初创公司推出人工智能设计的癌症免疫疗法
本文概要:1.英国生物技术初创公司Etcembly使用生成式AI在11个月内设计了新型癌症免疫疗法ETC-101。2.ETC-101针对多种癌症中存在、健康组织中不存在的肿瘤抗原PRAME。3.Etcembly计划在2025年左右将ETC-101等项目进入人体临床试验阶段。站长网2023-08-26 17:25:480000关不掉的“熟人推荐”
在赛博世界里,年轻人也躲不开熟人。“本想副业赚点钱,却被熟人看见大肚腩。”至今,提到这件事,曾短暂做过一段时间减肥博主的90后女生米米就止不住尴尬。前段时间,米米经常在抖音上刷到减肥博主,其中有些博主只是更新自己每天吃了什么,就会得到很多关注,甚至接到了商务广告。这令同样有减肥计划的米米很是心动,她决定用抖音记录自己的减肥过程,试试能不能也搞出个副业。0000苹果又被迫开放!与欧盟终和解:向第三方开放NFC移动支付
快科技7月11日消息,经过长期的法律纠纷,苹果与欧盟终于达成了解协议,同意向第三方免费开放其NFC移动支付技术。这项为期十年的协议结束了欧盟对苹果的反垄断调查,也标志着苹果又一次被迫开放。根据和解协议,苹果将允许竞争对手使用其NFC技术,这意味着其他移动支付应用开发商可以利用iPhone和iPad上的NFC功能,而不必依赖ApplePay或AppleWallet服务。0000老黄最新采访出炉!自述61年坚持成就了英伟达,AI革命点燃全世界
【新智元导读】过去一年的时间,英伟达市值突破2万亿美元,一举成为21世纪的AI巨头。在老黄的最新采访中,向我们展示了即将到来的工业革命是怎样的。全球进入2万亿美元俱乐部的公司,仅有4家——微软、苹果、谷歌,以及英伟达。在过去一年中,位于加利福尼亚的计算机芯片制造商英伟达,市值从1万亿,飙升到2万亿美元。这得益于大模型掀起的AI狂潮,急剧放大了全世界对算力的需求。站长网2024-04-29 19:28:200000OpenAI CEO:公司目前没有训练GPT-5 且短期内也不会训练
ChatGPT人工智能聊天机器人背后的人工智能研究公司OpenAI,在3月14日已推出了新一代的自然语言处理模型GPT-4,具备了新的功能,在高级推理能力上胜过去年11月份推出、用户已经过亿的ChatGPT。站长网2023-04-16 15:08:050000