Midjourney+Gen2,7步完成「芭本海默」,引Karpathy惊呼|附实测经验
【新智元导读】7步完成「芭本海默」,电影工业2.0真的要来了吗?
在前两天芭比海默全网爆火之后,不断有网友“复现”用MidJourney Gen-2制作电影的神技!
而一位网友更新了一个自己的教程,制作芭本海默只需7步,被Karpathy盛赞为“电影制作工业2.0”。
一部20秒钟,有完整剧情,包含6个分镜头的动画短片,7步完成,曹植看了都要直呼内行!
7步完成芭比海默,效果惊人
下面就给大家具体演示一下:
1.ChatGPT帮你写分镜头剧本,顺便再帮你把字幕也写好
2.根据分镜头脚本,用Midjourney生成每个镜头的开始的一张图片。
这里可能是7步成片中唯一一步稍微有点门槛的操作,每张图片的提示词要自己创作。
但是点击图片放大之后可以看到提示词也不是很长,有一点英语基础的朋友稍微试一下就能做到。
这是短片中另外几个场景的起始图片,也全都是用Midjourney生成。
3. 为了保证短片中的场景色调一致,需要用修图软件调整一下每张图片的色调。
比如短片里的色调是比较复古的风格,Midjourney生成的原图可能不符合。
用任意一款修图软件调整过后,就能让所有场景的风格比较一致了。
4. 使用Gen-2让每一张照片动起来,把6张照片变为6个分镜头。
5.然后用ElevenLabs生成字幕的语音。
6. 然后用FinalCut Pro把动画,声音,和特效结合起来,短片就基本完成了。
7. 再用Capcut添加好字幕,大功告成!
实测之后发现的经验
虽然看着简单,但是亲手实测了一波后发现,没有一个清晰的规划,要想做出自己效果满意的电影,还是很不容易的。
最大的障碍在于,因为Gen-2的动画只能以某一张图随机生成,所以在涉及人脸画面的时候,畸变会比较多。
本来想做一个马老板手搓星舰的视频,但是发现人物面部的畸变太严重了,以至于每段视频只有第一帧图片是马老板本人,一秒钟之后就不知道会变成谁了。
所以如果想要用Gen-2做一个明星相关的视频,现在为止还几乎不可能。
而且这些面部畸变和人物动作时完全随机的,完全不受用户控制。
有一位网友做了一段视频,把每4秒的最后一帧截图下来让Gen-2继续生成新动画。
大概40秒之后,画面中的人物,从一开始的美漫风格的动画角色,最后几乎畸变成了雕塑。
即便图片中有一些比较明显的动态提示的效果,但是Gen-2还不能理解,所以生成的效果也不一定符合你的预期。
人物的动作也没有办法太好的控制,可能为了要生成一段自己满意的动画需要用同一张图尝试好长时间。
所以就目前Gen-2能实现的效果来看,还不太可能随意适应比较复杂的剧本。
所以就要求写剧本时要尽量避免近景人脸特写等场景。
但是如果未来Gen-2能够将prompt和图片完全结合起来,让图片能够跟着prompt的描述动起来,效果就会有一个巨大的飞跃。
其他的Midjourney Gen-2的效果
大神歸藏,用Gen-2做了几个《奥本海默》中的场景,足以以假乱真。
同时,他还比较了相似的场景和Pika Lab生成的区别。
下图是Pika Lab的效果。
除了开头这段「芭比海默」之外,很多网友也用Gen-2和Midjouney这对黄金搭档做起了动画开发的副业。
让我们来欣赏几组效果不错的动画效果演示。
可以看出,在演示之中人脸的效果变形不是很大,这与实测的差异很大,很有可能是因为作者试了很多次之后找到的脸部畸变不大的效果。
有网友生成了一部名人漫威角色的预告片,效果非常逼真,配上一点动画特效和光影,感觉真的像是漫威官方的作品。
这是网友生成的一段恐怖电影的预告片,反而很好的利用了Gen-2人物画面畸变,增加了恐怖片的氛围感。
这一段也是网友用MJ Gen-2做的艺术感很强的视频,加上后期跟新的导演运镜特效。
这是一幅用油画的静图生成的动画,虽然有一点畸变,但是效果确实不错。
参考资料:
https://twitter.com/karpathy/status/1684608881920802816
https://twitter.com/kalsonkalu/status/1684534663472087042
让门店导购变身“专业博主” 小红书开始帮商家做线下生意了
一批线下商家正在用一种新模式,将小红书上的生意机会带到门店。“半个月,向线下引导成交额超过30万,日均留资3-5个。”某全屋定制商家向亿邦动力表示,刚刚尝试小红书上的“人设账号”不久,品牌已经能规律的实现线上向线下门店的引流,并已经获得了实际的生意增长。“据说有家政商家,一个月内收获了超过6000条客资,平均每天有超过200个用户来咨询互动。”另有服务商如是说。站长网2023-09-14 21:40:430002开源论文查询工具DocsGPT登顶GitHub热榜 支持多种文档类型
要点:DocsGPT是一个开源论文查询工具,支持多种文档类型,包括TXT、PDF、ZIP、MD和RST,使用大型模型、Meta相似性搜索库Faiss和LangChain技术来驱动。DocsGPT提供多种模式供用户选择,包括默认的GPT-3.5模式和需要购买Pro的GPT-4模式,还有专门优化的DocsGPT-7b模型。站长网2023-10-07 14:14:530000微信支付手续费免费到明年9月:已让利30亿
微信支付已经成为很多人日常买东西的主要支付手段之一,很多小商家也是靠微信支付收付款,今天腾讯发布消息称面向商户的手续费继续优惠,持续到2024年9月份。为微信支付提供服务的财付通”在公众号宣布积极响应监管对小微企业、个体工商户、有经营行为的个人的降费让利政策要求,对符合标准的小微商户实行支付手续费优惠。0001一款国民游戏,和中国游戏行业的八年
最近葡萄君总是会时不时感慨,游戏行业真的太年轻了。如果只谈国内,大概就三四十年的时间。更不用说,国产游戏逐渐摆脱大众的偏见和误解,真正成为一个主流行业,产值突飞猛进,其实也就是步入移动端时代后的这近十年。这段时间里诞生过很多爆款手游,畅销榜上随时可能出现有趣的画面,直到2015年《王者荣耀》的诞生。我们总说没有人能永立潮头,但它似乎就是那个唯一的例外。站长网2023-11-05 10:03:440000Wonder3D:从单张图像生成3D高保真纹理网格的创新方法
划重点:Wonder3D是一种从单张图像生成高保真纹理网格的创新方法。Wonder3D使用多视角跨领域注意力机制和几何感知的法线融合算法来实现高质量的三维重建。Wonder3D在动物对象上展示了高质量重建结果,并且具备鲁棒的泛化性能和高效性。正文:站长网2023-11-02 11:21:410001