当韩国女团BLACKPINK进军二次元,清华叉院AI神器原来还能这么玩
如果你手机里有一些修图软件,你可能用过里面的「AI 绘画」功能,它通常会提供一些把照片转换为不同风格的选项,比如动漫风格、写真风格。但如今,视频也可以这么做了:
这些动图来自 X 平台(原推特)网友 @CoffeeVectors 生成的一段视频。他把韩国女团 BLACKPINK 代表作《DDU-DU DDU-DU》的原版 MV 输入了一个 AI 工具,很快就得到了动漫版的 MV。
这个视频是借助一个名叫 ComfyUI 的工具来完成的。ComfyUI 是一个开源的基于图形界面的 Workflow 可视化引擎,用于被广泛采用的文生图 AI 模型 Stable Diffusion。它提供了一个用户友好的图形界面,可以将多个 Stable Diffusion 模型及其 Hypernetwork 组合成一个完整的工作流(Workflow)实现自动化的图像生成和优化。同时,社区也开发了各种 ComfyUI 的扩展插件,可以进一步增强其功能。
作者 @CoffeeVectors 表示,在制作这个 MV 的过程时,他在 ComfyUI 中用到了 AnimateDiff 和 multi-controlnet 工作流,前者用于动漫风格的生成,后者用来实现生成效果的控制。更重要的是,他在这次工作流中引入了一个当下很火的神器 ——LCM LoRA。
在《实时文生图速度提升5-10倍,清华 LCM/LCM-LoRA 爆火,浏览超百万、下载超20万》一文中,我们已经介绍过,LCM 是清华大学交叉信息研究院的研究者们构建的一个新模型,它的特点是文生图、图生图的效果都非常快,可以根据你的文字指令或草图指示实时生成新图。
在此基础上,研究者们又进一步开发了 LCM-LoRA,可以将 LCM 的快速生成能力在未经任何额外训练的情况下迁移到其他 LoRA 模型上。由于效果非常惊艳,模型在 Hugging Face 平台上的下载量已超20万次,X 平台上到处都能看到利用 LCM-LoRA 生成的实时视频效果(如下方的视频所示)。
机器之心机动组,赞90
那么,这个动漫版的 MV 是怎么做的呢?@CoffeeVectors 在帖子中详细描述了他的做法。
在下载了原版 MV 视频后,@CoffeeVectors 将 BLACKPINK 的整个 MV 作为单个 .mp4输入进行处理。LCM 可以让他在4090上通过6步进行渲染(之前需要20多步),而且只占用10.5GB 的 VRAM。以下是详细数据:
整个渲染过程耗时81分钟,共2,467帧,每帧大约花2秒。这不包括从视频中提取图像序列和生成 ControlNet 映射的时间。在 SD1.5版中使用 Zoe Depth 和 Canny ControlNets,分辨率为910x512。
要改进输出效果,使其风格更鲜明、细节更丰富、感觉不那么像一帧一帧的转描动画,就需要对单帧画面进行调整。但是,一次性完成整个视频,可以为你提供一个粗略的草稿,以便在此基础上进行迭代。
对于输入视频,他每隔一帧选取一帧,以达到12帧 / 秒的目标。
这是 @CoffeeVectors 添加 LCM LoRA 的截图。他选择了检查点中内置的 VAE:
他把提示写得很泛,想看看这个提示在各种镜头中的适配效果怎么样。
在 K 采样器中,他使用了 LCM 采样器。注意,你需要更新到最新版本的 ComfyUI 才能用这个采样器。
下图描述了 @CoffeeVectors 如何安排 multi-control net 的节点:
最后,@CoffeeVectors 还推荐了一些相关教程:
视频教程:https://www.youtube.com/watch?app=desktop&v=zrxd95Mxz24
技术博客:https://huggingface.co/blog/lcm_LoRA
对这类技术应用感兴趣的开发者们可以玩起来啦!
AntiPlagiarism 推出 AI 文本识别功能:可识别 ChatGPT 等语言模型生成的文本
检测学期论文、毕业论文、学术论文和其他文本材料中的抄袭行为的AntiPlagiarism.NET日前宣布实施一项新功能,可以确定分析的文本是用ChatGPT还是其他主要语言模型生成的。基于多年在自然语言处理(NLP)领域的研究,Antiplagiarism开发了一种用于识别和标记由AI系统生成的文本片段的算法。站长网2023-05-18 11:54:440000盒马上线iPhone15系列 最快18分钟送达
苹果于9月13日凌晨正式发布了iPhone15系列,而盒马将在9月22日与其同步开售。消费者可以直接在盒马App下单购买,最快只需18分钟就能收到现货。盒马将在全国20多个城市的盒马鲜生门店以及9家盒马X会员店同步上线iPhone15系列。此外,盒马云超也将同步开售新机,为不同地区和不同购物偏好的盒马用户提供更多选择。站长网2023-09-13 10:26:480000特斯拉中国召回超110万辆车 车顶维权女车主:不能服众
近日,特斯拉中国召回超110万辆一事,引起网友关注热议,特斯拉官方回应称,此次召回可降低踩错踏板发生碰撞事故的概率。而此前上海车展特斯拉车顶维权女车主,也发表了对此事的看法:首先,一次性召回缺陷汽车110万辆,基本覆盖了特斯拉在中国的所有销量,规模之大,非常少见。说明特斯拉车辆确实存在与刹车相关的批次性缺陷。站长网2023-05-14 09:17:200000极越 01预售价 25.99 万元起 配备AI语音等功能
极越汽车宣布,极越01中大型纯电SUV已经正式下线并开启预售,起售价为25.99万元。这款新车基于SEA浩瀚架构打造,定位为纯电动中大型SUV,并计划于10月份正式上市。站长网2023-09-19 16:36:070000李佳琦做直播,不只靠“上头”
在流量红利期过去之后,考验的是直播电商的玩家从选品、招商、策划、运营、销售、直播甚至到售后整个链条的精细化运营,赚快钱的时代已经过去,直播电商的归途,只能是做“时间的朋友”。作为年中最重要的消费战场,今年的618似乎又恢复到了从前那般火热。站长网2023-05-30 09:42:090000