开源 UltraPixel 文生图超高分辨率出图细节非常丰富远超Stable-diffusion等一键整合包附视频演示 v20241113增强版

2024-12-09 开源 2608

UltraPixel是一个由华为诺亚方舟实验室联合香港科技大学共同开发的开源项目，旨在生成具有丰富细节的高质量图像，其分辨率范围可以从1K一直延伸至6K。该项目不仅优化了细节处理，还显著提升了整体图像效果，将超高清图像合成推向了新的高峰。

随着人工智能技术的不断发展，生成高分辨率图像成为了一个研究热点。然而，现有的图像生成模型在生成高分辨率图像时，往往面临着细节丢失、小物体重复、推理时间长、参数调整繁琐等问题。UltraPixel项目的出现，正是为了解决这些问题，满足人们对4K或8K高分辨率图像生成的需求。

级联扩散模型：UltraPixel利用级联扩散模型，通过低分辨率图像的语义丰富表示来指导高分辨率图像的生成，显著降低了生成复杂性。
隐式神经表示（INR）：项目引入了隐式神经表示进行连续上采样，以及适应不同分辨率的尺度感知归一化层，确保了在生成不同分辨率图像时的一致性和高质量输出。
高效性：在低分辨率和高分辨率处理过程中，UltraPixel在最紧凑的空间内进行操作，绝大多数参数是共享的。高分辨率输出仅增加了不到3%的额外参数，大大提高了训练和推理的效率。
灵活性：UltraPixel支持从1K到6K的任意分辨率图像生成，满足了不同场景下的需求。

要使用UltraPixel进行图像生成，首先需要安装相关依赖，并下载预训练模型和新增参数。然后，可以通过文本引导的方式生成图像。例如，使用详细的描述性提示词“高质量、丰富细节、8k、照片级真实、电影级照明”等，可以生成美观的图像。

此外，UltraPixel还支持个性化图像生成和控制网图像生成。个性化图像生成提供了特定标识符的个性化模型，如使用“cat [roubaobao]”来生成特定猫咪的图像。控制网图像生成则支持使用CannyControlNet进行图像生成，但最高分辨率支持为4K。

UltraPixel项目的成果显著，生成的图像质量媲美MidJourney V6和DALL·E 3等闭源商业产品。在社交媒体上，UltraPixel也获得了广泛赞誉。此外，该项目还被NeurIPS 2024所接受，进一步证明了其学术价值和影响力。

总的来说，UltraPixel是一个高效、灵活且高质量的图像生成开源项目，为相关领域的研究和应用提供了有力的支持。

下面我随手生成的一些图片，图片上传画质会被压缩，实际效果更好

最后说下配置你们看我的运行的时候截图

显卡不能少于16G，内存不能低于40G，就可以愉快的玩了。

这个整合包我做了以下修改

1 、修改默认保存目录为out，图片输出格式为png

2 、修改默认出图的尺寸，默认是4K，我第一次跑的时候我的4070tis 出一张图用了10分钟，改成了2650x1600，出一张图大概30秒。

3 、增加提示防止某些人拿去割韭菜收费。

4 、放入了AI环境搭建包，如果运行不了或者出错先安装好如果不会教程地址如下

v20241028 修改增强

1 修复生图多次后长期100%后无响应，无法保存图片

2 修复保存图片名称的bug，比如提示词里面有括号就导致保存出错

3 增强了显存释放机制，修复了多次生图后可能会爆显存的bug

4 优化了显存占用的情况，粗估12G 也应该可以跑了

5 删除一些没用的文件，压缩包体积明显减少

v20241113 修复一些已知bug 功能上没有修改

最后放一个我用comfyui玩的这个工作流

下载地址

迅雷网盘夸克网盘百度网盘

◎欢迎参与讨论，请自觉遵守国家法律法规。