写在最前面,这个开源项目我早就关注了,但是一直没有合适的硬件来折腾,但是不折腾又不甘心。这不群里傻木小伙伴提供了一台机器暂时折腾一下,我就用这个机器昨天抽空弄了这个的开源整合包,模型是真的多啊。下载了我半夜。。。
虽然整合包是做好了可惜很遗憾,这个视频重绘还是太耗显卡。我估计最低都需要12G 显存,否则一点运行就直接爆了显存。不信的可以看后面的截图。但是看官方的视频演示真的很爽啊。。。
DiffSynth-Studio是一个功能强大的开源项目,它集成了先进的图像和视频合成技术,为用户提供了一个高效、易用的创作平台。该项目通过重新构建包括文本编码器、UNet、VAE等在内的多种模型架构,不仅保持了与开源社区模型的兼容性,还显著提升了计算性能。
DiffSynth-Studio的核心亮点在于其丰富的功能和应用场景。它支持高分辨率图像合成,能够生成细节丰富、清晰度极高的图像作品,分辨率可高达4096x4096。此外,该项目还引入了FastSDXL和FastBlend等前沿算法,进一步优化了视频处理和合成的效率。FastSDXL通过引入可训练的OLSS调度器,优化了计算效率;而FastBlend则是一个强大的视频去闪烁和融合算法,能够显著提升视频的质量和流畅度。
在视频创作方面,DiffSynth-Studio通过ExVideo技术,能够生成长达128帧的稳定视频,极大地拓展了短视频的创作边界。同时,它还支持将现实视频转化为卡通风格,为动画制作提供了新的视角和可能。此外,DiffSynth-Studio还具备视频风格化的能力,用户无需视频模型即可实现视频的风格转换,创作出独一无二的作品。
除了强大的图像和视频合成功能外,DiffSynth-Studio还提供了直观的WebUI界面,让非程序员也能轻松操作和体验。它完全免费且开源,鼓励社区参与开发和贡献,共同推动项目的发展和完善。
总的来说,DiffSynth-Studio是一款极具创新性和实用性的开源项目,它在图像和视频合成领域展现出了强大的潜力和广泛的应用前景。无论是专业设计师还是业余爱好者,都能在这个平台上找到创作的乐趣和灵感。
官方视频演示截图
官方地址
https://ecnu-cilab.github.io/DiffutoonProjectPage/
视频演示
下载链接大家凑合用吧,整合包太大,很多网盘限制上传文件大小,加上有个别网盘提示违规不允许上传一些特定文件,感兴趣的小伙伴下载试试吧!
可以来个迅雷的链接或者百度,123的嘛?博主
迅雷说我违规,百度 123 无法上传这么大的文件
迅雷盘挂了
迅雷认为我这个上传的这个工具 违规,没办法