图像超分辨率重建是指采用图像处理和机器学习技术，根据一幅或多幅低分辨率图像恢复出一幅具有较高分辨率图像的技术。采用图像超分辨率重建技术提升图像分辨率具有成本低、周期短等优点，因此成为图像领域的一个研究热点，在遥感、卫星、安防、生物医药以及恢复珍贵历史图像资料等诸多领域起到了非常重要的作用^［1］。

图像超分辨率重建技术可根据实现方法分为基于插值^［2］、基于重建^［3］、基于学习^［4］ 3种方法。基于插值的重建方法只是简单利用待插值像素附近的有限个像素点信息，单纯增加图像像素个数，导致重建图像细节较差。基于重建的方法通常需要明确的先验信息对重构结果进行约束，或者进行迭代计算来逼近原始高分辨率图像。由于所获得的先验信息有限，因此，此类方法针对复杂图像的重建性能也有限。基于学习的超分辨率重建方法通过深层网络自动学习输入数据的抽象特征，并且通过反向传播算法来调整网络参数。目前，基于深度学习的超分辨率算法因重建出的图像质量较高、受应用场景限制较小，已成为主流的重建方法。

Dong等人^［5］提出超分辨率卷积神经网络（Super-Resolution Convolutional Neural Network，SRCNN），成功地将深度学习引入超分辨率重构领域。该方法通过训练3层卷积网络进行重建，相较于传统重建方法，性能显著提升。但将插值LR作为模型训练的输入，不仅增加了计算量，更引入了不必要的重影和噪声，影响重建效果。在此研究基础上，Twitter等人^［6］提出一种基于像素重排的ESPCN（Efficient Sub-pixel Convolutional Neural Network）网络模型，通过增加亚像素卷积层减少计算开销，用卷积之后得到的特征进行像素排列，提高了图像的重建效率。Kim等人^［7］提出了VDSR（Very Deep Convolutional Networks for Super Resolution）模型，将学习残差的思想引入超分辨率重构方法中，提升了收敛速度，并将网络层数加深到20层，提高了感受野。Lai等人^［8］提出一种结合金字塔结构进行图片超分辨率重构的LapSRN（Laplacian Pyramid Super-Resolution Network）模型，降低了计算复杂度，抑制了图片的伪影问题，同时采用Charbonnier损失函数获取较为显著的细节信息。Zhang等人^［9］提出一个基于通道注意力机制的网络模型（Residual Channel Attention Networks，RCAN）。该模型由一系列残差模组堆叠而成的RIR（Residual in Residual）结构组成，并在每个残差块中引入通道注意力机制，收敛效果更佳。

生成对抗网络（Generative Adversarial Network，GAN）^［10］的提出为图像超分辨率重建技术提供了一种思路。2017年，Ledig等人^［11］提出了超分辨率生成对抗网络（Generative Adversarial Network for Image Super-Resolution，SRGAN）模型。该模型包括生成器和判别器两部分，二者协同训练，提升了生成图片的感知效果。2019年，Wang等人^［12］在SRGAN基础上进行改进，提出了增强型超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks，ESRGAN），去掉了判别器中的批归一化层，并用残差密集块Dense Block代替原来的基础块Residual Block，使重建图像质量更好。彭晏飞等人^［13］对SRGAN进行改进，以聚合残差网络作为残差块构成生成器，采用其相同的分组拓扑结构对图像进行特征提取以减少超参数使用，提高了模型泛化能力。本文在SRGAN的基础上，提出了一种拆分注意力残差网络的单图超分辨率重建方法。主要贡献如下：（1）以拆分注意力残差网络作为残差块构成生成器，增强对图像的特征提取。（2）在判别器中去掉了破坏原始图像对比度信息、抵消归一化效果的BN层。引入谱归一化处理，使判别器的映射函数满足Lipschitz约束，同时在生成器中也引入谱归一化层使训练更加稳定，泛化能力更强。（3）融合Charbonnier和Focal Frequency Loss损失函数替换MSE损失函数，以减少频域方面真实图像和生成图像之间的差距，同时加入正则化损失来平滑图像。

SRGAN把SRResNet作为GAN的生成网络部分，将GAN引入图像超分辨率领域。如图1所示，SRGAN网络的生成网络部分是一个以5个ResNet块组成的深度网络，使用跳跃连接来加强信息跨层之间的流动并防止网络深度加深导致的梯度消失问题。上采样部分叠加两个子像素卷积层实现4倍上采样。最后用一个卷积层对图像进行重建，并在其后面应用了Tanh激活函数。SRGAN网络的判别器部分是一个没有池化层的VGG网络，如图2所示，采用8组卷积层+Leaky ReLU激活函数的形式来防止一些负性输出坏死，每个卷积层都引入谱归一化处理来提高训练的稳定性。每组卷积核均为3×3，深度依次为64，64，128，128，256，256，512，512。其中每经过一次卷积，图像的尺寸就会减小，下一层的通道数就会翻倍。通过逐渐减小特征图的大小和扩展通道深度提高判别能力，同时交替变换步长从而减少冗余信息的计算。网络的末端使用全连接层+Sigmoid函数做一个二分类，对SR和HR进行打分，最终输出一个单一值，以此来表示输入图像是真实的还是生成器生成的。损失函数部分采用感知损失训练生成网络，感知损失由内容损失和对抗损失组成。

针对SRGAN特征提取能力不足、生成图像清晰度不高、模型训练不稳定等问题，本文的网络在SRGAN基础上进行改进，如图3所示。在SRGAN生成器的特征提取部分引入了5个拆分注意力残差块^［14］，并对其进行谱归一化处理，使其更适用于生成对抗网络。每个残差块包含3个谱归一化处理的卷积层和一个拆分注意力块，增强图像特征提取。每层卷积后面都加入BN（Batch Normalization）层，控制梯度爆炸，防止梯度消失和过拟合。之后加入ReLU激活函数防止神经元丢失。

判别器部分如图4所示。在SRGAN判别器网络的基础上，去掉BN层，并对卷积层引入谱归一化处理提高模型的稳定性。

生成器中的残差块部分如图5（b）所示，主要用于图像的特征提取。针对ResNet模型的感受野大小有限和缺少跨通道信息交换的问题。本文通过借鉴SK-Net和ResNeXt，引入拆分注意力块，将SRGAN生成器部分的残差模块Residual Block替换成ResNeSt Block。ResNeSt Block在网络中引入了分组卷积的思想，将输入特征图沿着通道维度划分为k个基群（Cardinal），每个基群内又划分为r个切片（Split）。在集群内部加入拆分注意力模块（Split Attention Block），同一个基群中的切片通过同一个拆分注意力模块进行输出，拆分注意力模块对通道赋予不同的权重。然后将每个基群输出的特征进行拼接，后面加一个1×1卷积对不同通道进行线性组合，实现多个通道的信息整合。最后将其结果与输入特征进行相加。本文对每个Cardinal中的卷积层进行了谱归一化处理，使残差网络更好地应用于生成对抗网络中，使整体网络结构更加稳定。

增加集群数要比加深网络深度更能提高网络性能，更模块化，同时还能减少超参数的使用，从而降低过拟合的概率。与现有的大多数注意力机制不同，ResNeSt Block没有将空间注意力和通道注意力并行或串行^［15］，而是将通道注意力机制与多分支结构结合，如图6所示，将输入的特征图进行分组，然后对不同组的特征加权生成最终的特征图。在分支网络中使用不同尺度的卷积核来提供不同尺度的感受野，拆分注意力模块中的全局池化层能够进一步扩展感受野。

GAN的目标函数等价于优化生成数据的分布和真实数据的分布之间的J-S（Jensen-Shannon Divergence）散度。JS散度对于没有重叠的两个分布给出的损失函数是一个常数，这就意味着没有梯度来更新模型，从而造成了梯度消失。也就是说判别器训练得越好，生成器梯度消失越严重。通过让判别器满足Lipschitz连续性，可以解决以上问题。所以本文借鉴SNGAN^［16］，在判别器网络的所有卷积层中去掉原始归一化（BN）层，使用谱归一化处理。通过约束判别器的每一层网络的权重矩阵的谱范数约束判别器的Lipschitz常数。同时在生成器中也使用了谱归一化处理。限制了函数变化的剧烈程度，从而防止模型坍塌、不收敛等问题，使模型更稳定。

BN层对于大部分深度学习任务，如图片分类等，可以加快网络训练和收敛的速度，控制梯度爆炸，防止梯度消失，同时还可以防止过拟合。而在图像增强、图像超分辨率重建这种像素级别的“细粒度”任务中使用BN层，图像的色彩分布都会被归一化，会弱化单张图像本身特有的细节信息，不利于图像生成。在面向不同的提高峰值信噪比（Peak Signal to Noise Ratio，PSNR）的任务如图像超分辨率和去除图像模糊中，去除BN层已被证明能够提高模型的性能。

SRGAN的损失函数包含内容损失和对抗损失两部分，内容损失函数又分为两部分：MSE损失和VGG损失。SRGAN的损失函数为：

本文将内容损失中的MSE损失函数替换为Charbonnier损失函数和Focal Frequency Loss^［17］损失函数，通过缩小频域中的间隙进一步改善图像重建和合成的质量，增强其鲁棒性，并加入TV正则化平滑训练结果。

为了保证图像低频信息的正确重建，引入了Charbonnier损失函数。MSE损失函数对大的误差惩罚力度大，对小的误差惩罚力度小。虽然可以直接优化PSNR值，但重构图像往往过于平滑，会产生模糊的预测，产生伪影，无法接近人类对自然图像的视觉感知，同时收敛性比L1损失差。L1损失虽然可以去除斑点和伪影，但却延长了重建时间。所以本文使用Charbonnier损失函数，不仅提高了重构精度，取得了较高的PSNR值，还能减少训练时间。Charbonnier损失函数表示为：

其中：y表示原始图像，y^表示SR图像，σ(x)=x2+ε2为Charbonnier损失的惩罚函数，ε取ε=10-7。

在图像的超分辨率重建过程中，真实图像和生成图像之间仍然存在差距，特别是在频域。所以本文引入Focal Frequency Loss损失函数，该损失函数允许模型通过降低容易合成的频率分量的加权，自适应地关注于难以合成的频率分量，其提供了强大的干扰能力来对抗由于神经网络的不确定性偏差造成的重要频域信息的丢失。

与SRGAN相同，本文使用预训练好的VGG16网络进行特征提取。VGG损失定义为重建图像与原始图像特征表示之间的欧几里得距离：

其中：Wi,j和Hi,j描述了在VGG网络中各个特征映射的大小，ϕi,j表示VGG16网络中第i个最大池化层之前的第j个卷积（激活后）得到的特征映射，GθG(ILR)为重建图像。

对抗损失同SRGAN一样，公式为：

其中：GθG(ILR)为重建图像，DθD(GθG(ILR))表示判别器将生成器生成图像重建为自然图像的概率。

在图像超分辨重建过程中，图像上的任何噪声都可能会对复原结果产生非常大的影响。因为在重建过程中会放大噪声，所以本文加入TV正则项来保持图像的光滑性，消除图像复原可能带来的伪影，防止图像过于像素化，如式（5）所示：

本实验的硬件设备为Intel^®Core^TMi9-10920X CPU@3.50 GHz处理器，128 GB运行内存，NVIDIA GeForce RTX 3090 24 G显卡。配置的虚拟环境为Anaconda3，cuda12，Pycharm（Python 3.8），深度学习框架为Pytorch，操作系统是Win10。

本文使用训练数据集为公开的超分辨率数据集DIV2K^［18］。DIV2K数据集由800张训练图像和100张验证图像组成，为了更好地与其他方法形成客观对比，采用Set5^［19］、Set14^［20］、BSD100^［21］、Urban100^［22］四个通用数据集进行测试。BSD100数据集由100张图像组成，Set5数据集由5张图像组成，Set14数据集由14张图像组成。实验时的LR图像由原图经过放大因子为4的双3次下采样创建。

在训练阶段，图像在输入前统一被裁剪成88像素×88像素的小图像，共训练200轮次，每次抓取8个样本数进行训练。本模型使用Adam算法对收敛速度进行优化。

本文使用图像超分辨率领域常用的峰值信噪比和结构相似性（Structural Similarity Index Measure，SSIM）对图片质量进行评价。PSNR用于检测SR图像与真实图像的相似度，值越大说明图像失真越小；SSIM则考虑了图像的结构信息、亮度与对比度，值越接近1，说明SR图像和原图像的结构越相似，效果越佳。PSNR的公式如式（6）所示：

其中：W、H、C分别表示图像的宽度、长度和通道数，x¯表示SR图像，x表示原始图像。SSIM的公式如式（7）所示：

其中：μX为图像X的平均值，μY为图像Y的平均值，σX为图像X的方差，σY为图像Y的方差，σXY表示图像X和图像Y的协方差，C1和C2是用来维持稳定的常数。

训练过程中的生成器损失函数值和判别器损失函数值变化如图7和图8所示。可以看出，改进后的损失函数收敛迅速，生成器损失函数无限接近于0，判别器损失函数无限接近于1，极少有波动且波动十分微小，非常稳定。

为了探究Radix与Cardinality的取值对模型性能的影响，对Radix和Cardinality进行不同取值。分别取Radix=1，Cardinality=16；Radix=2，Cardinality=16；Radix=1，Cardinality=32；Radix=2，Cardinality=32；Radix=1，Cardinality=64；Radix=2，Cardinality=64；Radix=1，Cardinality=128；Radix=2，Cardinality=128。表1表示不同Radix和Cardinality取值在Set14数据集上的PSNR值和SSIM值。通过表1可知，Cardinality值越大，PSNR值和SSIM值越高，图像质量越好。当取相同的Cardinality值时，Radix值越小，PSNR值和SSIM值越高，图像质量越好。但可以看出，当Cardinality=64和Cardinality=128时，图像的PSNR值差距不大。综合考虑，本文采用Cardinality=128，Radix=1的模块作为图像超分辨率重建算法的特征提取模块，以保证本文所提算法性能达到最佳。

为了验证本文提出的各部分模块的有效性，分别在SRGAN的基础上搭配不同模块组成不同模型，分析不同模块对重建效果的影响。消融实验使用DIV2K数据集进行训练。为了控制变量，所有不同的方法组合均采取了相同的训练参数设置和训练轮数，分别训练200个epoch，测试重建尺度为4时的PSNR值和SSIM值。“Baseline”表示原始SRGAN模型，“Baseline+ResNeSt”表示将经典ResNet残差块替换为ResNeSt拆分注意力残差块，“Baseline+SN”表示在判别器中采用谱归一化，“Baseline+Focal Frequency Loss”表示将Focal Frequency Loss损失函数作为像素损失函数，“Baseline+Charbonnier”表示将Charbonnier损失函数作为像素损失函数，“Ours”表示本文模型即以上模块均引入SRGAN模型。实验结果表明，在Set5数据集上，当模型引入拆分注意力残差块时，PSNR值提高0.476 11 dB，SSIM值提高0.010 6；当模型引入谱归一化处理时，PSNR值提高0.727 8 dB，SSIM值提高0.017 8；当模型引入Charbonnier损失函数时，PSNR值提高0.658 8 dB，SSIM值提高0.018 9；当模型引入Focal Frequency Loss损失函数时，PSNR值提高0.228 5 dB，SSIM值提高0.004 5。上述实验结果如表2所示。从表2可以看出，4个改进点均在一定程度上提高了模型性能，同时使用4种改进点效果提升最大。由此看出，增加各个模块均有益于图像的重建。

实验在数据集Set5、Set14、BSD100、Urban100上进行了测试。为了探究模型整体性能，将本文模型得到的超分辨率重建结果与Bicubic、ESPCN^［6］、SRGAN^［11］、ESRGAN^［12］、FASRGAN^［23］和XLSR^［24］算法进行比较。这些算法性能优越，且与本文算法具有较强的相关性。为了实验的公平性，所有实验的训练集和验证集均为DIV2K，训练中的epoch均为200。因此，所测结果与原论文中的数据有所出入。表3、表4给出了不同SR重建算法的PSNR和SSIM值的比较，黑体数据对应最佳结果。在4倍放大尺度因子下，本文提出模型的实验结果最佳。在Set5、Set14、BSD100和Urban100数据集上，本文提出的模型在PSNR值上比Bicubic、ESPCN、SRGAN、ESRGAN、FASRGAN和XLSR模型分别平均提高4.218 dB、1.037 dB、0.79 dB、1.183 dB、1.151 dB和0.134 dB。在SSIM值上比Bicubic、ESPCN、SRGAN、ESRGAN、FASRGAN和XLSR模型平均提高0.146 7、0.032 2、0.032 9、0.047 8、0.001 6和0.134 25。由此得出，在4倍放大尺度因子下，相比基于插值的方法，基于学习的超分辨率重建方法在PSNR和SSIM值上有着显著优势，这是因为深度学习可以充分融合学习样本的有效信息。在基于学习的方法中，本文提出模型的PSNR和SSIM值比其他模型效果更佳。

为了更直观地观测本文方法的重建效果并证明本文模型的通用性，采用多个数据集进行展示，在不同超分辨率重建方法中裁剪相同的区域并放大预测区域进行比较。本文在Set5测试集中选出“bird”图像，在Set14测试集中选出“ppt3”图像来进行可视化展示。通过图9 “bird”头部局部放大图可以观察到，通过Bicubic重建方法后，SR图像非常模糊，图像出现失真现象并缺少细节信息，重建图像的质量最差。ESPCN是以MSE作为目标函数来指导模型训练的，生成的图像细节接近原图，但出现了模糊、振铃效应，边缘锯齿状较为明显，主观感觉较差。SRGAN和ESRGAN都是基于感知损失建立的模型，SRGAN较优于ESPCN，但过于平滑，缺乏视觉上的真实感。ESRGAN和FASRGAN的视觉效果最好，但PSNR值不高，说明生成图像的细节部分为模型推理填充的，而非真实细节。XLSR相比于本文方法处理的图像在不同颜色的交汇处存在模糊现象。本文方法生成的图像在视觉效果上较好，图像细节更接近原图。通过图10“ppt3”字母局部放大可以看出，本文比其他对比方法在图像边缘部分处理得更好，颜色匹配度更高，并且拥有最佳的PSNR值和SSIM值。其他对比方法均有图像内容边缘模糊、边缘颜色变色的情况。上述实验结果证明，本文模型可以有效恢复更多的高频细节并生成清晰的SR图像。

为了使超分辨率重建图像有更多高频信息和纹理细节，本文在SRGAN模型的基础上，提出一种拆分注意力的生成对抗网络实现单图超分辨率重建方法。该方法在生成器网络中，采用拆分注意力残网络提取图像特征信息，去除了判别器网络中的BN层，防止其弱化图像细节信息。在生成器和判别器中同时使用谱归一化处理，提高网络的稳定性。采用Charbonnier损失函数和Focal Frequency Loss 损失函数代替MSE损失函数，并在损失函数中加入TV正则项平滑训练结果。在DIV2K数据集的实验表明，本文提出的网络模型能够有效提高图像的PSNR值和SSIM值，较好地解决了图像细节模糊和轮廓不清晰等重建问题。实验结果表明，在4倍放大因子下，与其他方法在Set5、Set14、BSDS100、Urban100测试集上进行测试比较，本文方法的PSNR比其他对比方法平均值提升1.419 dB，SSIM比其他方法的平均值提升0.051。