StoryDiffusion:保持角色一致,可生成多图漫画和长视频
站长网2024-05-06 20:36:040阅
划重点:
🔮 Consistent self-attention 实现角色连贯图像生成
🎥 Motion predictor 实现长视频生成
🎨支持漫画生成、图像转视频、长短视频等多种内容生成功能
南开大学 HVision 团队开发了 StoryDiffusion,一款能够创造神奇故事的工具。StoryDiffusion可以保持角色一致,生成多图漫画和长视频。
该工具通过实现 Consistent self-attention 和 Motion predictor,能够生成连贯的图像和视频。用户可以提供文本提示来生成角色连贯的图像序列,同时也能实现长视频生成,预测不同条件图像之间的运动,实现更大幅度的运动预测。
StoryDiffusion 的应用范围广泛,可用于漫画生成、图像转视频等多种场景。通过 Consistent self-attention 机制生成的图像,可以顺利过渡为视频,实现两阶段长视频生成方法。此外,结合两个部分,还能生成常长且高质量的 AIGC 视频。
用户可以通过提供一系列用户输入的条件图像,使用 Image-to-Video 模型生成视频。此外,用户可以通过 Jupyter notebook 或本地 adio demo 来生成漫画。目前,该项目发布了生成漫画部分的源码。
产品入口:https://top.aibase.com/tool/storydiffusion
试玩入口:https://huggingface.co/spaces/YupengZhou/StoryDiffusion
0000
评论列表
共(0)条相关推荐
2024年AI还能帮你干什么?这十个趋势必须关注
元旦节收假,你身心都复工了吗?新的一年,有没有跟我一样,既想打工挣钱花,又想从具体任务中解放出来的?最好是能在新的一年,实现个人能力的极大增强……所以今天,咱们就好好说一说,新的一年里,怎样能让AI多给自己帮帮忙(doge)。或许你已经关注到了,过去一年,各种大模型、AIGC应用,已经像电子氧气一样:无、处、不、在。0001三星电子举办 2023 年三星人工智能论坛,展示人工智能和计算机工程的关键进展
三星电子日前在韩国京畿道水原会展中心开幕了三星AI论坛,分享人工智能(AI)与计算机工程(CE)领域的最新研究成果,这对提升公司的下一代半导体技术具有重要贡献。站长网2023-11-08 11:44:290000微软为奇特的人工智能背包申请专利 背包布满传感器可收听语音提示指令
站长之家(ChinaZ.com)9月4日消息:微软公司似乎计划推出一款充满传感器、人工智能驱动的背包专利,这款背包可以检测你的声音发布的指令。该专利上周获得美国专利局的批准,首先被MSPowerUser博客发现,不过该背包的一些规格非常奇怪,其中包括该可穿戴设备可能能够检测用户语音并提供建议,类似Siri,还可以出于某种原因记录和存储用户声音。站长网2023-09-04 09:00:300000阿里达摩院发布遥感AI大模型
阿里达摩院发布业内首个遥感AI大模型。据介绍,该模型可识别农田、农作物、建筑等,提升灾害防治、自然资源管理、农业估产等遥感应用的分析效率。目前,该模型已在AIEarth地球科学云平台开放使用。站长网2023-10-20 15:34:560003SK电讯宣布AI金字塔战略,力争成为全球AI巨头
文章概要:-SK电讯(SKT)发布了“AI金字塔战略”,旨在加速创新,重点聚焦于AI基础设施、AI转型(AIX)和AI服务三大关键领域。-AI基础设施将成为SKT作为AI公司的技术平台,包括数据中心、AI半导体和多语言模型(LLM)。-在AI服务领域,SKT正式推出“A.”,计划通过利用其电信和AI资产,打造全球竞争力的个人AI助手服务。站长网2023-09-26 16:38:550000