我们介绍的DeepFloydIF是一种新颖、先进的开源文本到图像模型,具有高度的逼真性和语言理解能力。DeepFloydIF是一个模块,由一个冻结文本编码器和三个级联像素扩散模块组成:一个基本模型,根据文本提示生成64×64px的图像;两个超分辨率模型,分别用于生成分辨率不断提高的图像:256×256px和1024×1024px。该模型的所有阶段都使用基于T5变换器的冻结文本编码器来提取文本嵌入,然后将其输入到具有交叉注意力和注意力池增强功能的UNet架构中。结果是一个高效的模型,其性能超过了目前最先进的模型,在COCO数据集上获得了6.66分的零镜头FID分数。我们的工作强调了大型UNet架构在级联扩散模型第一阶段的潜力,并描绘了文本到图像合成的美好前景。