基于深度学习域适应的飞机结冰图像气泡提取方法

赵红梅，彭博，周志宏，易贤; ZHAO Hongmei; PENG Bo; ZHOU Zhihong; YI Xian

2025年6月28日 14:51 星期六

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于深度学习域适应的飞机结冰图像气泡提取方法 PDF

- ORCID：
赵红梅 ¹
- ORCID：
彭博 ¹
✉
- ORCID：
周志宏 ²
- ORCID：
易贤 ³

1. 西南石油大学计算机科学学院，成都 610050； 2. 四川大学建筑与环境学院，成都 610041； 3. 中国空气动力研究与发展中心结冰与防除冰重点实验室，绵阳 621050

中图分类号： TN95

最近更新：2024-04-30

DOI：10.16356/j.1005-2615.2024.02.011

摘要

针对采用深度学习方法提取结冰显微图像中的气泡需要大量标注数据，但人工标注气泡任务较为困难的问题，提出了一种基于风格迁移网络CycleGAN和图像分割网络Attention U‑Net的域适应提取方法。该方法通过程序模拟气泡形态生成的图像为源域，结冰显微图像为目标域，通过CycleGAN将源域图像转为目标域风格，采用风格转换后的源域数据集训练Attention U‑Net网络。通过对比实验对无标注结冰图像和少量标注图像两种情况进行验证。实验结果表明，在无标注图像的情况下，可实现无监督的结冰显微图像的气泡提取；在只有少量标注图像的情况下，该方法可实现更精确的气泡提取。

关键词

动态结冰; 气泡提取; 图像分割; 域适应; Attention U‑Net

飞机动态结冰是云层中的液滴或水汽动态撞击在机体表面不断冻结形成的。飞机结冰会影响飞机气动性能，严重者会导致飞行事故的发生，已成为严重威胁飞行安全的重要因素之一。飞机结冰研究包括结冰形成机制^［

1‑2］、传热特性^{［参考文献 3

百度学术}3］、冰预测^{［参考文献 4‑8}4‑8］和冰形物理特征^{［参考文献 9‑11}9‑11］等。其中研究飞机结冰的形貌、质地和物理特性等特征，解释飞行气象条件与结冰物理特性之间的本质联系，能为飞机结冰和防除冰研究提供重要依据^{［参考文献 4‑5}4‑5］，从而为建立科学有效的结冰防护手段、保障结冰条件下的飞行安全奠定基础。

随着结冰条件变化，结冰的冰形外观和内部结构上均存在较大差异。飞机结冰在宏观上表现为冰形的生长与演化，研究者们采用如转置神经网络、卷积神经网络等算法对飞机结冰冰形宏观相貌进行识别和预测^［

6‑7］。动态结冰在微观结构上则表现为水滴的不断冻结累积，并相互形成孔隙^{［参考文献 4

百度学术}4，8‑9］。随着结冰条件的变化，动态结冰微观结构的气泡也会存在差异。三维状态上的孔隙结构在二维结冰显微图像上表现为气泡形态。这些气泡的含量是影响冰形微观结构特征、宏观透明、致密程度及冰密度。研究者们通过采集结冰显微图像，提取二维图像中的气泡孔隙开展冰形微观结构的相关研究^{［参考文献 7

百度学术}7，11‑13］，且已经证实了结冰条件对结冰微观结构气泡孔隙的影响^{［参考文献 9

百度学术}9，11］。研究证明来流速度、温度和液态水含量等结冰条件都会影响结冰的微观结构。其中，来流速度越低，气泡数量越少，形态越大；来流温度则与气泡数量成反比。通过研究结冰显微图像中的气泡分布、大小和形态等定量信息可从根本上认识其形成机制，也可进一步研究结冰的热/力学特性^{［参考文献 10

百度学术}10］。

结冰显微图像是由显微镜捕捉结冰切片的放大图像，可见光在结冰的气泡孔隙中发生折射，故而动态结冰中的孔隙结构在二维显微图像上多表现为大小和分布随机的黑色类圆。由于其相对固定的气泡形态，目前对结冰微观的定量研究前期常采用图像分割的方式提取图像中的气泡^［

9，11‑12］。如直接采用传统阈值分割进行初步提取^{［参考文献 12

百度学术}12］，或利用变分分割提取更完整的气泡孔隙^{［参考文献 9

百度学术}9］。上述传统图像分割方法可以提取部分具有明显特征的气泡，但处理效果较粗糙，存在分割边界不明确、残留大量噪声等问题。同时易将图像背景上的纹理识别为气泡，并且提取时遗漏大量的小气泡。不正确的分割将直接影响后续统计和分析气泡的分布规律。随着深度学习在图像分割领域的快速发展，深度学习图像分割端到端的处理方式和更精确高效的分割效果使得将深度学习运用到结冰显微图像气泡提取中成为可能。采用深度学习模型提取结冰显微图像中的气泡，不但克服了传统图像分割在结冰显微图像气泡提取中的弊端，而且取得了可信的结果^{［参考文献 13

百度学术}13］。采用深度学习全监督的方法展现出先进的性能，但其高精度在很大程度上依赖于大量带注释的训练图像。然而对图像进行像素级手动注释是一个极其繁琐且耗时的过程，尤其结冰显微图像中的气泡密集且微小，标注十分困难，单张图像需要2 h或更长时间。除此之外，结冰条件不同，气泡形态分布呈现状态随机，常规标注难以囊括所有情况，同时人工标注可能存在部分误标和漏标。

随着深度学习无监督域适应的发展^［

14‑18］，利用一个或多个相关源域中的标记数据来执行目标域中的图像分割任务已成为可能。域适应是一种特殊的迁移学习技术，其可用于源域和目标域的数据分布不一致但任务相同的问题^{［参考文献 17

百度学术}17］。其中源域表示与真实样本不同的领域样本，且拥有丰富的标签信息；目标域表示真实样本所在领域，一般无标签或只有少量标签信息。域适应的主要目标是通过利用带注释的、合成的和未带注释的真实数据，确保模型在真实目标数据上表现良好。针对无标注或少标注的图像分割问题，可以采用迁移学习域适应的解决方案^{［参考文献 16

百度学术}16］，即采用拥有标注数据的源域数据集执行执行目标域中的图像分割任务^{［参考文献 19‑21}19‑21］，以此间接实现无监督或弱监督的分割。无监督域适应主要采用基于对抗学习^{［参考文献 19

百度学术}19］、风格迁移^{［参考文献 22

百度学术}22］和自监督学习^{［参考文献 23

百度学术}23］等方案进行图像分割，且已广泛运用在医学图像分割^{［参考文献 24

百度学术}24］、遥感图像分割^{［参考文献 25

百度学术}25］等方面。其中基于风格迁移的域适应通过学习目标域图像风格特征，将带有标签的源域图像转换为目标域图像，目的是尽可能降低域间差异。再采用转换后的源域数据集训练图像分割网络，执行目标域图像的推理任务，间接实现目标域无监督或弱监督图像分割^{［参考文献 19

百度学术}19］。

针对结冰显微图像标注困难的问题，本文采用深度学习无监督域适应的思想，对结冰图像中的气泡提取进行研究；设计了用于风格迁移的源域图像，采用CycleGAN^［

26］的网络进行风格迁移；在此基础上，采用图像分割网络Attention U‑Net^{［参考文献 27

百度学术}27］提取结冰显微图像中的气泡。实验结果表明，该方法在无标注图像或少量标注图像的情况下，有效实现对结冰显微图像气泡的无监督或弱监督提取，从而为后续建立结冰条件和结冰微观结构之间的定量关系提供可靠的数据支持。

1 基于域适应的气泡提取方法

针对结冰显微图像易获取，而图像中的气泡难标注的特性，提出基于深度学习域适应的结冰显微图像气泡提取方法。采用基于风格迁移的CycleGAN网络生成结冰训练图像和双分支预测融合的Attention U‑Net分割方法^［

13］进行气泡提取。针对结冰显微图像无标注和少标注的两种不同情况，分别采用无监督直接推理和少量标注图像微调后推理即弱监督的方式进行气泡提取，其方法流程如图1所示。方法主要流程分为4步：首先，构造源域数据集用于风格转换；其次，采用非配对风格转换网络CycleGAN将源域数据集转换为结冰显微图像风格；再次，采用风格迁移后的源域图像训练分割网络Attention U‑Net；最后，直接采用真实结冰图像进行气泡提取，或采用少量结冰图像对分割网络进行微调之后进行气泡提取。

图1 整体方法流程图

Fig.1 Flow chart of overall method

1.1　基于CycleGAN的目标域图像生成

气泡提取的实质是分割结冰显微图像中的气泡，在无标注和少标注的情况下，采用生成对抗式网络^［

28］生成目标域图像。生成对抗式网络一般由生成网络和判别网络构成，生成器学习和捕获数据的特征分布，判别器则用于判别生成数据的真假，通过生成器和判别器的博弈指导生成网络的优化。图像到图像转换即图像风格迁移是一类生成技术，其目标是从未配对的目标域和源域数据集中学习跨域映射图像的函数。其中CycleGAN是经典的无配对图像生成网络，该网络不需要成对数据集进行风格迁移，其不仅仅学习2张特定图像之间的映射，而是通过学习两个数据集之间的映射，从而将视觉属性从目标域转移到源域，同时保留源语义信息。

CycleGAN由两个生成器G和两个判别器D组成，其中 $G_{(S, T)}$ 和 $G_{(T, S)}$ 分别为源域S到目标域T的生成器和目标域到源域的生成器。 $D_{S}$ 和 $D_{T}$ 分别代表源域到目标域的判别器和目标域到源域的判别器，其网络结构如图2所示。其中生成器G采用残差卷积网络ResNet101^［

29］网络结构作为生成器。ResNet网络在VGG19^{［参考文献 30

百度学术}30］的基础上，通过短路机制^{［参考文献 28

百度学术}28］加入了残差单元，使用步长为2的卷积做下采样，以及采用全局平均池化替换了全连接层，解决了因为网络加深造成梯度爆炸和梯度消失的问题。判别器G则采用马尔可夫判别器patchGAN^{［参考文献 31

百度学术}31］，与普通GAN判别器通过一系列卷积输出一个标量值鉴别真假不同，patchGAN输出一个N*N的矩阵。其中每个数值代表输入数据相应块的判别概率，通过对每个块进行判别，实现对输入图像局部特征的提取和表征，有利于生成器实现更为高分辨率的图像。

图2 CycleGAN网络结构

Fig.2 CycleGAN network structure

不同于传统的生成对抗网络，CycleGAN共享生成器和判别器，除了采用生成对抗网络常用的对抗损失，引入了循环一致性损失约束生成器，如式（1，2）所示。其中，对抗损失 $L_{G A N}$ 用于保证生成的目标域图像 $G_{(S, T)} (s)$ 在分布上更接近于目标域的图像t。

\begin{array}{l} L_{G A N} (G_{(S, T)}, D_{T}, S, T) = E_{t ~ p_{d a t a} (t)} [l n D_{T} (t)] + \\ E_{s ~ p_{d a t a} (s)} [l n (1 - D_{T} (G_{(S, T)} (s)))] \end{array}

（1）

\begin{array}{l} L_{G A N} (G_{(T, S)}, D_{S}, T, S) = E_{s ~ p_{d a t a} (s)} [l n D_{S} (s)] + \\ E_{t ~ p_{d a t a} (t)} [l n (1 - D_{S} (G_{(T, S)} (t)))] \end{array}

（2）

式中E（·）表示分布函数的数学期望； $p_{d a t a} (t)$ 表示目标域样本的分布； $p_{d a t a} (s)$ 表示源域样本的分布。

循环一致性损失 $L_{c y c} (G_{(S, T)}, G_{(T, S)})$ 则是防止学习到的映射相互矛盾，即生成器生成的图像不但需要拥有目标域的风格，也应保持原有源域的语义特征。其主要思想是源域图像s通过生成器 $G_{(S, T)}$ 生成目标域风格图像 $G_{(S, T)} (s)$ ，再由生成器 $G_{(T, S)}$ 将图像映射回源域得到s'。通过最小化s和s'的差异，使生成器能更有目标的保留源域有效信息，目标域转换为源域风格同理。

\begin{array}{l} L_{c y c} (G_{(S, T)}, G_{(T, S)}) = \\ E_{s ~ p_{d a t a (s)}} [{‖G_{(T, S)} (G_{(T, S)} (s)) - t‖}_{1}] + \\ E_{t ~ p_{d a t a (t)}} [{‖G_{(S, T)} (G_{(T, S)} (t)) - s‖}_{1}] \end{array}

（3）

式中 ${‖•‖}_{1}$ 表示L1范数。

最终的损失 $L_{s u m}$ 由对抗损失和循环一致性损失共同组成，其计算公式为

\begin{array}{l} L_{s u m} = L_{G A N} (G_{(S, T)}, D_{T}, S, T) + \\ L_{G A N} (G_{(T, S)}, D_{S}, T, S) + λ L_{c y c} (G_{(S, T)}, G_{(T, S)}) \end{array}

（4）

式中λ为权重，根据经验设定一般设为10。

1.2　训练及微调Attention U‑Net网络

在风格转换后，采用深度学习分割网络提取结冰显微图像中的气泡。分割网络采用Attention U‑Net网络，其网络结构如图3所示，Attention U‑Net网络在原始U‑Net^［

32］跳跃连接处增加了注意力模块。注意力模块通过融合不同尺度的特征图，生成权重系数进行加权和，突出待分割区域特征，从而提高分割精度。

图3 Attention U‑Net网络结构

Fig.3 Attention U‑Net network structure

在训练阶段，根据数据条件，提供2种选择策略；若没有标注的结冰显微图像标签，则直接采用构造数据集风格转换后的数据进行训练后直接推理预测；若存在少量标注的结冰显微图像，可对风格转换后训练所得的模型进行微调，进一步提升气泡提取检出率和精度。

在预测推理阶段，采用前期提出的双分支融合预测的方法^［

13］对气泡进行提取。具体地，在训练好的Attention U‑Net分割模型上采用2种不同的图像处理方式进行推理后再进行融合。缩放分支直接采用更改大小后的原图像进行模型推理；切块分支将原图像裁剪成小块，分别在Attention U‑Net模型中得到推理结果，然后将推理结果按裁剪方式进行拼接。最后，对两分支结果采用或运算进行融合得到最后的预测图像^{［参考文献 13

百度学术}13］。在该策略中，直接更改大小的分支主要防止大气泡亮点区域因切块被识别为背景，以正确提取完整的大气泡，切块的分支用于提取结冰显微图像中的微小气泡，本质是在不增加计算机计算负担的前提下，采用不同尺度图像推理提升分割精度。

2 实验

2.1　数据集及环境配置

2.1.1　源域数据集

基于风格迁移的域适应目的是尽可能降低域间差异，使生成图像特征更靠近目标域图像，真实结冰显微图像中的气泡多呈现黑色类圆形态，且分布和大小随机。为使源域图像模仿结冰图像中的气泡信息，首先采用程序随机单个像素值生成背景，其次再生成随机大小和分布的圆形图像作为目标。同时采用阈值分割生成相应的图像标签，共生成256像素 $\times$ 256像素大小图像1 500张，构成源域数据集，部分图像如图4所示。

图4 源域图像和标签

Fig.4 Source domain images and labels

2.1.2　目标域数据集

通过中国空气动力研究与发展中心3 m像素×2 m像素结冰风洞动态生成冰层，在采用冷环境切片的方式形成冰块样本，由电子显微镜连接电脑采集获取结冰显微图像，其中显微镜的型号为Olympus CX31。采集不同结冰条件下的原始结冰图像，再由专业人员采用图像标注软件labelme进行标注。共采集和标注55张1 280像素 $\times$ 1 024像素的原始结冰气泡图像构成目标域数据集。其中选择45张作为训练集，10张作为测试集。为方便模型训练，对原始训练集图像进行裁剪和数据增强，最终形成1 600张256像素 $\times$ 256像素大小的目标域训练数据集，最终部分训练图像如图5所示。

图5 目标域图像和标签

Fig.5 Target domain images and labels

2.2　实验细节

本文风格转换网络CycleGAN实验环境为：Ubuntu系统，Intel Xeon E5‑2620 CPU 128 GB内存，NVIDIA RTX3090 Turbo 24 GB显卡上的计算机上进行。本文分割网络Attention U‑Net的实验环境为：Intel Core i5‑9300H CPU @ 2.40 GHz，8 GB内存、NVIDIA GeForce GTX 1650 4 GB显卡的计算机上进行。

本文方法需要训练风格转换网络和图像分割网络。在风格转换网络训练后，分别选用第60 epoch、75 epoch和80 epoch的生成模型分别对源域的图像进行风格转换。通过这种方式不但可增加生成图像背景的多样性，也能最大限度地保留源域图像中气泡的形状特征，每个epoch生成1 500张虚拟结冰图像，共生成4 500张训练分割网络。

2.3　评价指标

为了更客观评价本文方法能有效地分割结冰显微图像中的气泡，选择图像分割常用的像素精度（Pixel accuracy，PA）、平均像素精度（Mean pixel accuracy，MPA）和平均交并比（Mean inter‑section over union，MIoU）作为评价指标，其计算公式分别为

P A = \frac{\sum_{i = 0}^{k} p_{i i}}{\sum_{i = 0}^{k} \sum_{j = 0}^{k} p_{i j}}

（5）

M P A = \frac{1}{k + 1} \sum_{i = 0}^{k} \frac{p_{i i}}{\sum_{j = 0}^{k} p_{i j}}

（6）

M I o U = \frac{1}{k + 1} \sum_{i = 0}^{k} \frac{p_{i i}}{\sum_{j = 0}^{k} p_{i j} + \sum_{j = 0}^{k} p_{j i} - p_{i i}}

（7）

式中：k为类别数量； $p_{i i}$ 为将第i类预测为第i类的像素点数量； $p_{i j}$ 为将第i类预测为第j类的像素点数量； $p_{j i}$ 为将第j类预测为第i类的像素点数量。

3 实验结果及分析

3.1　风格转换结果

本文方法采用CycleGAN网络将程序生成的源域图像转为结冰显微图像风格的图像，转换结果如图6所示。图6第1行为源域图像，即程序模拟气泡形态生成的图像，第2行为风格转换后生成的对应风格的图像。风格转换后的图像不但保留了源域图像大尺度的圆形黑色斑点信息，也保留了微小斑点和不完整斑点的特征，分别如图6红框和箭头所示。其次，转换后的图像具有真实结冰显微图像背景具有的光影和纹理信息，同时生成的气泡中心也具有高光信息，和真实结冰图像具有高相似性。

图6 CycleGAN风格转换结果

Fig.6 CycleGAN style transfer results

3.2　分割结果与分析

从无监督和弱监督两方面验证本文方法在结冰显微图像气泡提取的有效性，本文分别从图像可视化结果和客观指标评价上进行验证。

无监督的方法是指采用CycleGAN网络风格转换的图像数据集训练分割网络，再直接真实结冰显微图像进行预测。弱监督则是用少量带标签的真实结冰图像对预训练的网络进行微调，再进行预测。

3.2.1　无监督分割结果及分析

从图像可视化方面评估，本文首先验证采用风格转换的思想可用于结冰显微图像的无监督气泡分割。如图7所示，阈值分割、迭代阈值分割和C‑均值聚类等传统方法虽然不需要数据进行训练，但几乎无法满足气泡提取需求，存在大量的错误分割，且易将背景信息错认为气泡。而采用CycleGAN风格转换后的数据训练不同的分割网络如FCN^［

21］、U‑Net^{［参考文献 32

百度学术}32］、R2U‑Net^{［参考文献 33

百度学术}33］、Deeplab v3+^［34］、TransU‑Net^{［参考文献 35

百度学术}35］、MedT^{［参考文献 36

百度学术}36］和本文选用的Attention U‑Net，在无监督的情况下，采用本文方法提取气泡的完整度和正确率远好于传统图像分割方法。除此之外，也说明采用CycleGAN风格转换后，再采用分割网络训练这种策略是有效的，而不拘泥于何种分割网络。

图7 不同无监督方法的气泡提取结果

Fig.7 Bubble extraction results by different unsupervised methods

其次为验证CyCleGAN风格转换后，采用Attention U‑Net模型提取气泡的精确度，采用图像分割的客观评价指标对深度学习方法进行评价。表1展现了不同分割模型的参数量、推理时间和各种分割方法的客观性能，其中模型参数量越大，意味着模型越复杂；从表中也可以看出越复杂的模型，推理时间越慢。相对于网络结构复杂的R2U‑Net、DeepLab v3+和TransU‑Net网络等，结构简单、参数量小的FCN、U‑Net和本文的Attention U‑Net更适合气泡特征简单的结冰显微图像。虽然本文选取的Attention U‑Net模型的参数量和推理时间均少量超过FCN和U‑Net，但本文选用的Attention U‑Net 网络在PA、MPA和MIoU上均表现了最好的性能，综合对比推理时间和分割精度，Attention U‑Net分割精度的大幅度提升可以弥补其在推理时间上的差异。

表1 不同提取方法的量化指标

Table 1 Quantitative indicators of various methods

方法	参数量/10⁶	时间/（s·张^-1）	PA	MPA	MIoU
CycleGAN + FCN^{［参考文献 21 百度学术}21］	8.07	0.139 626 5	0.951 06	0.710 16	0.679 82
CycleGAN+ U‑Net^{［参考文献 32 百度学术}32］	12.82	0.163 56	0.949 86	0.731 53	0.688 88
CycleGAN+R2U‑Net^{［参考文献 33 百度学术}33］	149.20	1.236 622	0.911 32	0.799 15	0.641 51
CycleGAN+ Deeplab v3+^{［参考文献 34 百度学术}34］	141.59	0.787 920 9	0.946 34	0.688 77	0.654 58
CycleGAN+ TransU‑Net^{［参考文献 35 百度学术}35］	186.44	1.583 922	0.942 71	0.700 13	0.653 41
CycleGAN+ MedT^{［参考文献 36 百度学术}36］	168.56	1.362 861	0.944 88	0.724 37	0.672 72
CycleGAN+ Attention U‑Net	33.36	0.287 234 2	0.971 94	0.758 02	0.734 87

3.2.2　弱监督分割结果及分析

在少量标签的情况下，可使用真实结冰图像数据集微调风格转换生成图片预训练的分割模型，进一步提升气泡提取精度。为验证本文方法的有效性，在源域数据集中随机选择4%、8%、15%和全部数据分别训练Attention U‑Net网络，和微调风格转换图像预训练的Attention U‑Net模型。

首先从图像可视化方面进行评价。如图8所示，第1行为原图像和直接训练的模型的预测结果，第2行为真实标签图像和微调的预测结果图，单张图像右上红框为局部放大的图像。如图像中红框所示，横向对比，可以看到训练数据越多，分割越精细；纵向对比，在相同数据量下，微调的模型比直接训练分割的效果更好。证明本文的微调方法不但可以在少量标注图像时实现更精确的气泡提取，还能作为一种数据增强手段增加分割的精细程度。其次客观指标评价如表2所示，采用微调策略训练的模型在不同数据量的情况下，PA、MIoU均高于直接采用少量图像数据直接训练的模型，即证明本文采用CycleGAN风格转换再进行微调风格网络的策略也可作为一种数据增强手段，提升气泡提取精度。除此之外，采用15%真实数据微调的模型MIoU达到了0.812 13，仅比采用全部真实图像训练的模型少0.006 71，这意味着采用本文方法可在少量标注数据情况下实现结冰图像的精确分割。

图8 不同微调模型的气泡提取结果

Fig.8 Bubble extraction results for different fine‑tuned models

表2 不同训练方式的量化指标

Table 2 Quantitative indicators of different training methods

训练方法（数据量）	PA	MPA	MIoU
无监督模型	0.971 94	0.758 02	0.734 87
直接训练（4%）	0.975 02	0.826 31	0.788 23
微调（4%）	0.976 26	0.836 83	0.798 62
直接训练（8%）	0.975 06	83.768	0.792 71
微调（8%）	0.976 78	0.854 79	0.807 72
直接训练（15%）	0.972 35	0.861 84	0.788 12
微调（15%）	0.977 28	0.852 77	0.812 13
直接训练（100%）	0.976 66	0.891 60	0.818 84
微调（100%）	0.978 56	0.869 79	0.822 33

4 结论

针对采用深度学习方法提取结冰显微图像中气泡存在的数据标注困难问题，提出一种基于风格迁移网络CycleGAN和语义分割网络Attention U‑Net的域适应气泡提取方法。该方法构造程序生成的图像作为源域图像，结冰显微图像为目标域图像，利用CycleGAN网络进行风格转换后的源域图像训练Attention U‑Net网络，再直接进行模型推理或用少量结冰显微图像微调后推理，可间接实现无监督或弱监督的结冰显微图像气泡提取。实验分别对无监督和弱监督方法在结冰显微图像测试集上进行了评估。实验结果表明，在结冰显微图像无标注的情况下，本文方法可实现结冰显微图像的有效提取；在少标注的情况下，本文方法可实现更精细的气泡提取。另一方面，该方法也可以作为一种数据增强方式，在足量数据标注的情况下实现更精确的气泡提取。

参考文献

DEBENEDETTI P G. Supercooled and glassy water［J］.Journal of Physics： Condensed Matter， 2003， 15 （45）： 1669-1679. [百度学术]

BLAKE J， THOMPSONY D， STROBLZ T，et al. Effects of surface characteristics and droplet diameter on the freezing of supercooled water droplets impacting a COO.ed substrate［C］//Proceedings of the 6th AIAA Atmospheric and Space Environments Conference. ［S.l.］： AIAA， 2014： 2328. [百度学术]

SCHETNIKOV A， MATIUNIN V， CHERNOV V. Conical shape of frozen water droplets［J］. American Journal of Physics， 2015， 83（1）： 36-38. [百度学术]

杜雁霞，李明，桂业伟，等. 飞机结冰热力学行为研究综述［J］.航空学报，2017，38（2）： 30-41. [百度学术]

DU Yanxia， LI Ming， GUI Yewei， et al. Review of thermodynamic behaviors in aircraft icing process［J］. Acta Aeronautica et Astronautica Sinica，2017，38（2）：30-41. [百度学术]

LYNCH F T，KHODADOUST A. Effects of ice accretions on aircraft aerodyrnamics［J］. Progress in Aerospace Science， 2001， 37（8）： 669-767. [百度学术]

何磊，钱炜祺，易贤，等. 基于转置卷积神经网络的翼型结冰冰形图像化预测方法［J］.国防科技大学学报，2021，43（3）： 98-106. [百度学术]

HE Lei， QIAN Weiqi， YI Xian， et al. Graphical prediction method of airfoil ice shape based on transposed convolution neural networks［J］. Journal of National University of Defense Technology， 2021， 43（3）： 98-106. [百度学术]

屈经国，王强，彭博，等.基于多模态融合的任意对称翼型结冰预测方法［J］. 航空动力学报， 2022. DOI：10.13224/j.cnki.jasp.20220143. [百度学术]

QU Jingguo， WANG Qiang， PENG Bo， et al. Icing prediction method for arbitrary symmetric airfoil using multimodal fusion［J］.Journal of Aerospace Power， 2022. DOI：10.13224/j.cnki.jasp.20220143. [百度学术]

ELIOTTJ W， SMITHF T. Ice formation on a smooth or rough cold surface due to the impact of a supercooled water droplet［J］. Journal of Engineering Mathematics，2017，102： 35-64. [百度学术]

李伟斌，魏东，杜雁霞，等. 动态结冰微观孔隙结构定量分析［J］.航空学报，2018，39（2）： 112-119. [百度学术]

LI Weibin， WEI Dong， DU Yanxia， et al. Quantitative analysis of microscopic pore structure of dynamic icing［J］. Acta Aeronautica et Astronautica Sinica，2018，39（2）： 112-119. [百度学术]

Currie T C， Struk P M， Tsao J C， et al. Fundamental study of mixed-phase icing with application to ice crystal accretion in aircraft jet engines［C］//Proceedings of the 4th AIAA Atmospheric and Space Environments Conference.［S.l.］： AIAA， 2012. [百度学术]

李伟斌，马洪林，易贤，等. 温度对动态结冰微观结构特性影响定量分析［J］.空气动力学学报，2019，37（5）： 748-753. [百度学术]

LI Weibin， MA Honglin， YI Xian， et al. Quantitative analysis of the effect of temperature on the microstructure characteristics of dynamic icing［J］.Acta Aerodynamics，2019，37（5）： 748-753. [百度学术]

杜雁霞，桂业伟，柯鹏，等. 飞机结冰冰型微结构特征的分形研究［J］.航空动力学报，2011，26（5）： 997-1002. [百度学术]

DU Yanxia， GUI Yewei， KE Peng， et al. Fractal study on microstructure characteristics of aircraft icing ［J］. Journal of Aerodynamics， 2011， 26（5）： 997-1002. [百度学术]

赵红梅，彭博，周志宏，等. 一种结冰显微图像中气泡的自动提取方法［J］.航空动力学报， 2022. DOI：10.13224/j.cnki.jasp.20220217. [百度学术]

ZHAO Hongmei， PENG Bo， ZHOU Zhihong， et al. Automatic extraction method of air bubbles in icing microscopic images［J］.Journal of Aerospace Power， 2022. DOI：10.13224/j.cnki.jasp.20220217. [百度学术]

CSURKA G，VOLPI R， CHIDLOVSKII B. Unsupervised domain adaptation for semantic image segmentation：A comprehensive survey［EB/OL］.（2021-11-06）［2023-03-21］. https：//arxiv.org/abs/2112.03241. [百度学术]

Wang M， Deng W. Deep visual domain adaptation： A survey［J］. Neurocomputing， 2018， 312： 135-153. [百度学术]

Liu D， Zhang D， Song Y， et al. PDAM： A panoptic-level feature alignment framework for unsupervised domain adaptive instance segmentation in microscopy images［J］. IEEE Transactions on Medical Imaging， 2020， 40（1）： 154-165. [百度学术]

汪云云，孙顾威，赵国祥，等. 基于自监督知识的无监督新集域适应学习［J］.软件学报，2022，33（4）： 1170-1182. [百度学术]

WANG Yunyun， SUN Guwei， ZHAO Guoxiang， et al. Unsupervised new-set domain adaptation with self-supervised knowledge［J］. Journal of Software，2022，33（4）： 1170-1182. [百度学术]

HOFFMAN J， TZENG E， PARK T， et al. Cycada： Cycle-consistent adversarial domain adaptation［C］//Proceedings of International Conference on Machine Learning. ［S.l.］： PMLR， 2018： 1989-1998. [百度学术]

李璐阳. 基于域适应的无监督语义分割的研究［D］.上海：华东师范大学，2022. [百度学术]

LI Luyang. Research on unsupervised semantic segmentation based on domain adaptation［D］. Shanghai： East China Normal University， 2022. [百度学术]

Toldo M， Maracani A， Michieli U， et al. Unsupervised domain adaptation in semantic segmentation： A review［J］. Technologies， 2020， 8（2）： 35. [百度学术]

Zhang Y， Qiu Z， Yao T， et al. Fully convolutional adaptation networks for semantic segmentation［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. ［S.l.］：IEEE，2018： 6810-6818. [百度学术]

Yang Y， Soatto S. FDA： Fourier domain adaptation for semantic segmentation［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. ［S.l.］： IEEE， 2020： 4085-4095. [百度学术]

Subhani M N， Ali M. Learning from scale-invariant examples for domain adaptation in semantic segmentation［C］//Proceedings of European Conference on Computer Vision. Cham： Springer， 2020： 290-306. [百度学术]

Liu D， Zhang D， Song Y， et al. Unsupervised instance segmentation in microscopy images via panoptic domain adaptation and task re-weighting［C］//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. ［S.l.］：IEEE， 2020. [百度学术]

TASAR O， HAPPY S L， TARABALKA Y， et al. ColorMapGAN： Unsupervised domain adaptation for semantic segmentation using color mapping generative adversarial networks［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（10）： 7178-7193. [百度学术]

Zhu J Y， Park T， Isola P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］//Proceedings of 2017 IEEE International Conference on Computer Vision （ICCV）. ［S.l.］： IEEE， 2017. [百度学术]

OKTAY O， SCHLEMPER J， FOLGOC L L， et al. Attention U-Net： Learning where to look for the pancreas［EB/OL］. （2022-01-15）［2023-03-20］.https：//doi.org/10.48550/arXiv.1804.03999. [百度学术]

陈佛计，朱枫，吴清潇，等. 生成对抗网络及其在图像生成中的应用研究综述［J］.计算机学报，2021，44（2）： 347-369. [百度学术]

CHEN Foji， ZHU Feng， WU Qingxiao， et al. A survey about image generation with generative adversarial nets［J］. Chinese Journal of Computers， 2021，44（2）： 347-369. [百度学术]

He K， Zhang X， Ren S， et al. Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. ［S.l.］： IEEE， 2016： 770-778. [百度学术]

SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］.（2015-04-10）［2023-03-21］. https：//arxiv.org/abs/1409.1556. [百度学术]

Isola P， Zhu J Y， Zhou T， et al. Image-to-image translation with conditional adversarial networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.［S.l.］： IEEE， 2017： 1125-1134. [百度学术]

RONNEBERGER O， FISCHER P， BROX T. U-Net： Convolutional networks for biomedical image segmentation［C］//Proceedings of International Conference on Medical image Computing and Computer-Assisted Intervention. Munich： Springer， 2015： 234-241. [百度学术]

Alom M Z， Yakopcic C， Taha T M， et al. Nuclei segmentation with recurrent residual convolutional neural networks based U-Net （R2U-Net）［C］//Proceedings of NAECON 2018—IEEE National Aerospace and Electronics Conference. ［S.l.］： IEEE， 2018： 228-233. [百度学术]

Chen L C， Zhu Y， Papandreou G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//Proceedings of the European Conference on Computer Vision （ECCV）.Munich： Springer， 2018： 801-818. [百度学术]

Chen J， Lu Y， Yu Q，et al. TransUNet： Transformers make strong encoders for medical image segmentation［EB/OL］.（2021-02-08）［2023-03-21］.Https：//arXiv.org/abs/2102.04306. [百度学术]

VALANARASU J M， OZA P， HACIHALILOGLU I， et al. Medical transformer： Gated axial-attention for medical image segmentation［M］. Cham： Springer International Publishing， 2021： 36-46. [百度学术]

请使用 Firefox、Chrome、IE10、IE11、360极速模式、搜狗极速模式、QQ极速模式等浏览器，其他浏览器不建议使用!

基于深度学习域适应的飞机结冰图像气泡提取方法 PDF

摘要

关键词

1 基于域适应的气泡提取方法

1.1 基于CycleGAN的目标域图像生成

1.2 训练及微调Attention U‑Net网络

2 实 验

2.1 数据集及环境配置

2.2 实验细节

2.3 评价指标