Awesome Chinese Stable Diffusion 中文文生图模型综述
引言
近年来,随着人工智能技术的快速发展,文本生成图像(Text-to-Image)技术取得了突破性进展。其中,基于Stable Diffusion的文生图模型以其出色的生成效果和灵活性备受关注。然而,大多数主流模型主要针对英文进行优化,对中文的支持相对有限。为了满足中文用户的需求,众多研究机构和开发者开始着手开发专门面向中文的文生图模型。本文将对目前主流的中文文生图模型进行全面介绍和分析。
开源中文文生图模型
SkyPaint
SkyPaint是一个基于Stable Diffusion的中文文生图模型,由SkyWork AIGC团队开发。该模型主要由两部分组成:
提示词文本编码器:基于OpenAI CLIP优化,使模型具备中英文识别能力。扩散模型:经过优化,使模型能够生成高质量的现代艺术风格图像。SkyPaint的优化过程分为两个步骤:首先优化提示词文本编码器,然后优化扩散模型。这种方法使得SkyPaint在保留原有生成能力的同时,显著提升了对中文概念的理解和表达。
Pai-Diffusion
Pai-Diffusion是由阿里云机器学习(PAI)团队开发的中文文生图模型系列。该系列模型不仅适用于通用场景,还包含多个针对特定领域的定制化模型,如古诗配图、二次元动漫和魔幻现实等。
Pai-Diffusion的模型架构包括:
中文CLIP模型Diffusion模型图像超分模型开发团队强调,直接使用机器翻译的英文数据进行中文模型训练往往效果不佳,因为中英文在文化和表达方式上存在显著差异。因此,Pai-Diffusion系列模型采用了更适合中文特性的训练方法和数据集。
通义系列模型
达摩院开发的通义系列包含多个中文文生图模型,其中较为突出的有:
中文StableDiffusion-通用领域:
基于Stable Diffusion 2.1模型框架将英文CLIP文本编码器替换为中文CLIP文本编码器使用大规模中文图文对数据进行训练训练数据包括翻译的公开数据集和互联网搜集数据,经过严格筛选文本到图像生成扩散模型-中英文-通用领域-tiny:
文本特征提取网络采用StructBert结构扩散去噪模型采用UNet结构支持64x64分辨率图像生成通义-文本生成图像大模型-中英文-通用领域:
基于多阶段文本到图像生成扩散模型支持中英双语输入模型参数约50亿采用知识重组与可变维度扩散模型技术支持多分辨率生成,最高可达1024x1024这些模型在架构设计和训练数据选择上都针对中文特点进行了优化,展现了出色的中文文生图能力。
Taiyi系列
Taiyi系列是由IDEA研究院开发的中文文生图模型,包括Taiyi-CLIP、Taiyi-Stable-Diffusion和最新的Taiyi-Stable-Diffusion-XL。
Taiyi-CLIP:
使用中文RoBERTa作为语言编码器使用ViT-L-14作为视觉编码器在悟空数据集(100M)和Zero数据集(23M)上进行预训练Taiyi-Stable-Diffusion:
基于stable-diffusion-v1-4使用Taiyi-CLIP作为文本编码器仅训练文本编码器部分,保留原始模型的生成能力Taiyi-Stable-Diffusion-XL:
基于Stable-Diffusion-XL采用三阶段训练方法:高质量图文对数据集制作、双语CLIP模型训练、扩散模型训练在COCO和COCO-CN数据集上的评估显示出优异的双语能力Taiyi系列模型展现了从基础组件到完整系统的逐步演进,每一代都有显著的性能提升。
AltDiffusion
AltDiffusion是由智源研究院开发的中文文生图模型,包括AltCLIP和AltStableDiffusion两个主要组件。
AltCLIP:
基于OpenAI CLIP训练使用悟道数据集和LAION数据集采用两阶段训练:平行知识蒸馏和双语对比学习AltStableDiffusion:
基于stable-diffusion v1-4使用AltCLIP或AltCLIPM9作为文本编码器在微调过程中冻结大部分参数,仅训练关键层AltDiffusion的特点在于充分利用了大规模中文数据集和先进的训练技术,使模型在中英文生成任务上都表现出色。
VisCPM-Paint
VisCPM-Paint是由清华大学开发的支持中英双语的文生图模型。其主要特点包括:
使用CPM-Bee(10B)作为文本编码器使用UNet作为图像解码器通过扩散模型训练目标融合语言和视觉模型在LAION 2B英文图文对数据上进行训练通过加入中文图文对数据进一步提升中文能力该模型展现了良好的双语能力,特别是在中文生成方面达到了开源模型的最佳效果。
WuKong-HuaHua
WuKong-HuaHua(悟空画画)是由华为诺亚团队与中软国际合作开发的中文文生图模型。该模型基于当时最大的中文开源多模态数据集"悟空数据集"进行训练,具有以下特点:
基于MindSpore框架和昇腾硬件实现2.0版本支持768x768高分辨率输出采用自研Multistep-SDE采样加速技术使用RLAIF算法提升画质和艺术性表达WuKong-HuaHua的训练过程包括:
预训练中文图文判别模型结合Stable Diffusion和预训练文本编码器在悟空数据集上训练该模型展现了华为在大模型领域的技术实力,特别是在中文文生图方面的创新。
PanGu-Draw
PanGu-Draw是由华为开发的大规模中文文生图模型,其最新版本v3具有以下特点:
参数量从1B扩大到5B,是目前业界最大的中文文生图模型支持中英文双语输入支持原生1K分辨率输出支持多种宽高比例输出提供可量化的风格化调整功能基于昇腾硬件和昇思平台进行训练和推理采用自研RLAIF技术提升画质PanGu-Draw展示了华为在大模型领域的持续创新,特别是在模型规模和生成质量方面都达到了新的高度。
MiaoBi
MiaoBi(妙笔)是一个兼容性较强的中文文生图模型,其主要特点包括:
与stable-diffusion 1.5版本结构一致兼容现有的lora、controlnet、T2I-Adapter等插件及权重训练数据包括Laion-5B中文子集、翻译的Midjourney数据等在8张4090显卡上完成训练虽然MiaoBi在一些特定领域(如成语、古诗词、中国地标建筑)的表现可能存在不足,但其良好的兼容性使其成为一个值得关注的中文文生图模型。
闭源中文文生图模型
除了上述开源模型,还有一些闭源的中文文生图模型值得关注:
百度文心一格阿里通义万相腾讯混元DiTMidjourneyZH这些模型虽然未开源,但在实际应用中展现出了强大的中文文生图能力,为用户提供了丰富的创作选择。
总结与展望
中文文生图技术在近年来取得了长足的进步。从最初简单的翻译适配,到如今专门针对中文特点设计的大规模模型,我们看到了技术的迅速演进。这些模型不仅在生成质量上不断提升,还在特定领域和风格化方面展现出了独特优势。
未来,中文文生图技术可能会在以下几个方向继续发展:
模型规模进一步扩大,以提升生成质量和多样性更深入地结合中国文化元素,提升对传统艺术风格的表现力增强模型的可控性和可解释性,使用户能更精确地控制生成结果探索多模态融合,实现文本、图像、音频等多种形式的协同创作加强模型的伦理性和安全性,确保生成内容符合社会道德规范随着技术的不断进步和应用范围的扩大,中文文生图模型将为创意产业、教育、设计等多个领域带来革命性的变化。我们期待看到更多优秀的中文文生图模型涌现,为用户提供更加丰富、精准和个性化的创作体验。
参考资源
Awesome-Chinese-Stable-Diffusion GitHub仓库SkyPaint-AI-Diffusion GitHub仓库阿里云PAI-Diffusion官方文档通义系列模型在ModelScope上的项目页面Taiyi系列模型GitHub仓库AltDiffusion项目页面VisCPM-Paint GitHub仓库WuKong-HuaHua GitHub仓库PanGu-Draw官方介绍页面MiaoBi GitHub仓库通过深入了解这些中文文生图模型,我们不仅可以欣赏到人工智能在创意领域的巨大潜力,还能洞察技术发展的趋势。无论是研究人员、开发者还是普通用户,都可以在这个快速发展的领域中找到自己的机会和乐趣。让我们共同期待中文文生图技术的更多突破和应用!
