藏式古建筑壁画是集中国古代建筑技艺、文化精神、社会生活于一体的综合表现载体。在成千上百年的服役周期中，裂缝损伤成为常态，分布在壁画的各个层面，即支撑体、地仗层和颜料层^[1]：地震作用致使墙体下沉或错位引起壁画支撑体开裂；支撑体附着的环氧树脂固化收缩向地仗层释放应力，导致地仗层产生空鼓后的剩余应力仍大于地仗层的极限强度，从而产生地仗层面裂缝；在环境因素影响下，壁画颜料层或因地仗层表面泥层内所含胶质材料过多，或因为地仗层的收缩变化等原因引起开裂^[2-4]。裂缝主要表现为沿着灰缝的阶梯型或X型交叉的大裂缝等^[5]，其突然发展会横向贯穿整幅壁画或纵向贯穿壁画支撑体，给修缮工作带来巨大挑战，甚至影响古建筑结构的抗震性能，从而产生不可挽回的价值损失，因此壁画相对不可移动文物来说更加脆弱，预防性保护理念更强。

长期生长变化监测可预防裂缝突然发展，是确保古建筑壁画耐久性和结构安全性的前提。然而传统监测技术在古建筑应用中存在以下弊端：

1)传统人工目视检查高度依赖检测人员，具有费力耗时，低准确性和高主观性等问题。

2)古建筑监测过程要求不宜产生扰动，然而传统接触式监测技术一般都需要选择建筑固定点布设装备，易带来微损隐患，在古建筑监测场景受到一定制约；同时，传统接触式监测设备昂贵，难以实现多点同步监测，劳动密集型的安装过程和离散的点态测量耗费大量人力和时间成本。

3)古建筑结构变形过程具有微量、缓变特性，即使非接触式监测仪器如三维激光扫描仪能获得结构关键点的变形信息，但造价高、监测过程繁杂、后处理任务大、且部分系统在精度上只能控制在厘米级，导致其无法在古建筑监测领域的推广。

计算机视觉(Computer Vision, CV)技术可以同时监测多个目标点，满足新时代古建筑裂缝监测保护工作中无损、低成本、远距离、大范围和高精度需求，一直是国内外学者研究的热点。

TALAB等^[6]将Sobel滤波和Otsu阈值相结合准确地检测了混凝土图像中的裂纹；DORAFSHAN等^[7]通过对比发现以Laplacian of Gaussian滤波器进行混凝土空间域裂纹检测最快速和最准确；ZHANG等^[8]基于YOLO-v3提出了混凝土桥梁表面损伤检测模型，可检测包括混凝土裂缝在内的四种类型损伤；MIAO等^[9]基于U-Net提出了可用于混凝土开裂的像素级检测的DamageNet模型；PAN等^[10]在U-Net结构中添加了新的FRAM模块，提出了新的用于下水道损伤检测的分割网络PipeUNet。单宝华等^[11]采用双目立体视觉，完成了对真实维度混凝土表面裂缝宽度的检测；杨娜等^[12]基于无人机与计算机视觉技术提出 Hessian 矩阵优化的自适应阈值分割算法，实现了古建筑木结构裂缝尺寸的准确测量；张良等^[13]通过CNN识别金属管材裂缝，并以改进的Canny边缘检测算法计算裂缝扩展长度；KONG等^[14]基于卷积神经网络训练了裂缝检测、测量和定量扩展监测的全自动化模型，但只适用于短期监测且需要相机处于固定视角下；YANG等^[15]将U-Net与相机非线性标定模型相匹配，实现了对0.04 mm~1.50 mm的混凝土裂缝物理宽度的测量，但该试验的拍摄相机必须垂直于平面。

基于计算机视觉的裂缝监测研究多集中在钢结构、混凝土结构、金属构件和木结构等单一背景下裂缝。钢结构和混凝土结构裂缝像素点占比极小，甚至与噪声像素点占比相近，灰度值与构件背景灰度值相近，仅在形态上区别于背景和噪声，多采用基于形态的裂缝特征提取方法^[16-17]；金属构件裂缝和木结构裂缝形态与木纹噪声相近，但灰度值与背景灰度值差异大，故古建木构裂缝多采用基于像素灰度的阈值分割方法^[12].

然而，古建筑壁画裂缝的背景复杂，像素层次上的特征与上述裂缝存在巨大差异(图1)：裂缝像素点同时存在颜色、形态和噪声三方面的干扰因素，监测难度大，常用监测方法不再适用，需要在此基础上有所改进和突破。故本文考虑到传统监测技术在古建筑领域的应用弊端以及现有视觉监测研究存在的不足，研究适用于藏式壁画墙裂缝的长期生长变形监测系统，达到对壁画的预防性保护的目的。

图  1  壁画裂缝与常规裂缝特征对比

Figure  1.  Comparison of characteristics between mural cracks and regular cracks

下载: 全尺寸图片 幻灯片

图2展示了文章框架，第1节简述了监测主体、系统配置和核心构成，第2节~第5节展开介绍了系统中的两类算法和藏式古建筑石砌体壁画裂缝监测试验。

图  2  基于计算机视觉的古建筑壁画裂缝监测的研究路线图

Figure  2.  Research roadmap of the crack monitoring of ancient building mural based on computer vision

下载: 全尺寸图片 幻灯片

1   研究对象介绍

1.1   监测主体

计算机视觉技术本质上是对壁画墙裂缝表面的颜料层信息进行处理，其独特的彩绘壁画、形态和噪声等复杂干扰因素对裂缝的分割与提取带来极大的挑战。在试验中，自2021年6月10日−2021年6月21日，每天以不同视角和不定时间拍摄藏式古建筑石砌体壁画墙裂缝图像作为监测主体(图3)。

图  3  现场监测裂缝的工作场景

Figure  3.  Field monitoring of crack working scenarios

下载: 全尺寸图片 幻灯片

1.2   视觉系统配置

基于视觉方法的藏式壁画墙裂缝生长变形监测系统由硬件和软件组成。硬件包括：单镜反光数码照相机、扩展变焦镜头、三脚架、电脑(见表1)。相机型号为尼康D5600，相机参数设置：焦距35 mm、快门速度1/200 s、ISO3200、光圈f/5.6。

表  1  计算机视觉系统硬件组成

Table  1.  Hardware composition of computer vision system

组成	图示	技术参数
摄像机	Nikon D5600	最大分辨率：1920×1080 帧速率：60 fps 传感器类型：CMOS 传感器尺寸：约23.5 mm×15.6 mm 镜头卡口：尼康F卡口 USB接口：高速USB
光学镜头	Nikon 18-140 mm f/3.5-5.6G ED VR	焦距：18 mm~140 mm 最大光圈：f/3.5-5.6 最小光圈：f/22-38 视角：76°-11°30′ 安装：尼康F卡口
笔记本电脑	联想(Lenovo)-Y7000P	处理器型号：i7-10875H CPU@2.30 GHz 显卡类型：集显+独显 RAM：32GB 物理分辨率：1920×1080
三脚架和附件等	−	−

下载: 导出CSV 

| 显示表格

软件部分使用的算法库是OpenCV和Pytorch。图像处理选取开源的、跨平台的计算机视觉库OpenCV，改进的U-Net图像分割网络利用自建的古建筑壁画墙裂缝数据集使用Pytorch进行训练。

试验时，由上述硬件将目标结构的图像信息通过图像连接软件(尼康Webcam Utility)实时传输到电脑，在电脑中使用开发好的算法对裂缝图像进行图像处理与监测分析。

1.3   视觉监测系统核心框架

图4给出了本监测系统基于计算机视觉算法实现对壁画墙裂缝长期监测的总体框架，由输入端、图像视角矫正函数、算法和输出端四部分组成。1)输入端：分有基准时相和变化时相裂缝图像；2)图像视角矫正函数：以SIFT特征检测、匹配^[18]和单应性求解等来进行图像视角还原；3)算法：第一子系统首先通过图像预处理过程主要包括滤波降噪、自动白平衡等具体步骤，将图像处理成合适的可分析数据图像，然后采用阈值分割算法处理裂缝图像，并以形态学算法消除图像毛刺影响等；第二子系统将裂缝数据集导入改进的U-Net网络模型进行训练，使用U-Net特有的上采样、下采样U型对称结构训练出高准确率的智能语义裂缝分割模型后投入使用；4)输出端：对分割后的裂缝图像进行特征检测，输出结果包括轮廓、骨架线等特征参数综合度量裂缝的生长变化情况；5)试验思路：将不同视角下藏式古建筑壁画裂缝图像导入系统，由图像视角矫正函数、算法端进行处理，在输出端对比分析两种方法的实际监测效果。

图  4  基于计算机视觉的藏式古建筑壁画墙裂缝长期监测方案框架

Figure  4.  Framework of long-term monitoring scheme for cracks of ancient Tibetan murals based on computer vision

下载: 全尺寸图片 幻灯片

2   基于传统图像处理的壁画墙裂缝监测技术

传统的基于灰度阈值分割方法计算简单，效率高，运算快，在壁画裂缝提取上仍然具有不可替代的作用。针对壁画墙裂缝相较常规裂缝背景干扰复杂，监测难度大的特征，在预处理操作中，通过对比滤波算法，选择更适用于壁画墙裂缝分割的双边滤波与阈值分割相结合的监测算法。

第一子系统中处理步骤：1)多视角图像配准：通过推导单应性矩阵消除图像因视角不同出现的图像差异；2)图像预处理：通过滤波、自动白平衡和直方图均衡操作来减少噪声、环境光照、阴影及彩绘壁画的干扰；3)传统阈值分割算法：根据图像中的灰度信息、或几何形状，选定分割的灰度阈值界限将图像划分为不同的子区域，将裂缝从复杂背景提取出来，并以形态学操作去除毛刺影响等。

2.1   多视角图像配准

将12张壁画墙体裂缝数据导入Matlab得到相机位姿图5，发现不同时间、视角拍摄的壁画裂缝图像存在平移、旋转及缩放差异。根据相机成像原理，可以通过特征匹配，求取其他视角图像距基准视角的单应性矩阵(homography matrix)，进行图像投影转换来消除视角差异。

图  5  变形监测相机位姿立体图

Figure  5.  Position of camera in deformation monitoring

下载: 全尺寸图片 幻灯片

单应性矩阵推导过程见图6：设π是不通过任意相机光心的空间平面，相机在左右视角形成的图像平面分别为I₁、I₂。X为世界坐标系$O - {X_{\rm{W}}}{Y_{\rm{W}}}{Z_{\rm{W}}}$下任意一点${\left( {{X_{\rm{W}}},{Y_{\rm{W}}},{Z_{\rm{W}}}} \right)^{\rm{T}}}$，在左右相机视角下映射的点分别为${x_1}{\left( {{u_1},{v_1}} \right)^{\rm{T}}}$、${x_2}{\left( {{u_2},{v_2}} \right)^{\rm{T}}}$。平面π不通过两相机的光心，所以空间平面π上的点与像平面I₁、I₂存在二维透视映射变换^[19]：${x_1} = {\boldsymbol{M}_1}X,{x_2} = {\boldsymbol{M}_2}X$。

图  6  多视角图像单应性矩阵计算

Figure  6.  Calculation of homography matrix for multi-view images

下载: 全尺寸图片 幻灯片

通过式(1)也得到x₁与x₂之间的二维映射变换关系式${x_2} = \boldsymbol{H}{x_1}$，实现从左视图到右视图的转换：

单应性矩阵H描述了不同视图平面上的点在不同图像视角之间的映射关系：

单应性矩阵H包含约束条件$\left\| \boldsymbol{H} \right\| = 1$，由此9个自由度减少至8个自由度，求解单应性H至少需要得到两幅图像中4对对应点。基于以上理论，为减少误差，将不同视角的壁画裂缝图像进行SIFT特征检测与匹配后，采用远大于4个精确匹配对应点和优化算法计算H矩阵得到最优解，从而还原裂缝监测图像的视角，结果见图7。

图  7  裂缝监测图像数据视角还原

Figure  7.  View restoration of crack image data

下载: 全尺寸图片 幻灯片

2.2   图像预处理

传统阈值分割裂缝前需进行图像预处理来减少噪声、环境光照、阴影及彩绘壁画的干扰。

步骤1(滤波平滑去除噪声)：相机在采集和传输图像过程中受到随机信号干扰而产生不同程度的噪声。滤波是去除噪声的常用算法，基本原理是用相邻像素的近似值代替噪声所在的像素值。

滤波去噪工作应该区别对待裂缝和非裂缝像素点，在去噪的同时需关注滤波算法对裂缝细节信息的影响。本文分析了均值、高斯^[20]、中值三种滤波算法（对比结果见图8），发现上述算法仅考虑了噪声的平滑，随着滤波核增大图像失真严重，所以引入了一种在滤波核中综合考虑空间信息和像素灰度值相似性的边缘保持双边滤波算法，并且对比了算法中不同参数如空间距离参数(d)、颜色差值范围(sigmaColor)和坐标空间(sigmaSpace)对裂缝去噪性能的影响，最后选取d=5、sigmaColor和sigmaSpace均设置为10的滤波核，有效地保护了裂缝边缘信息。

图  8  不同滤波算法预处理效果

Figure  8.  The pre-processing effects of different filtering algorithms

下载: 全尺寸图片 幻灯片

步骤2(矫正白平衡消除环境光照影响)：不同光线下采集的图像存在颜色偏差。为了让图像色彩更接近自然色调，择优选择颜色校正算法灰度世界算法(gray world algorithm)，在颜色恒常性^[21]基础上以灰度世界(自然景物反射光的平均值应该是一个近似的“灰色”)为假设建立的图像白平衡调节算法，适用于色彩丰富、种类繁多的图像。

假定R、G、B三个颜色通道的颜色分量平均值$\overline R$、$\overline G$、$\overline B$应该趋于相同的灰度值$\overline {{\rm{Gray}}}$，计算增益系数，根据Von Kries对角模型获得调整值，从而消除不同环境光线的干扰，获得原始场景图像：

步骤3(直方图规定化精确裂缝区域)：环境光照和采样角度的影响，使图像呈现不同的明暗程度。为增强图像一致性，使不同时相采集的图像具有相同的明暗分布，增强图像的整体对比度，采用直方图规定化矫正不同图像的直方图分布情况。将RGB三通道彩色图像转换为单通道灰度图像，统计其像素值得到对应灰度直方图，以初始视角所得的裂缝图像作为参考图，采用概率分布的形式重构直方图中各个像素的分布情况，调整在后期监测中采集的裂缝图像直方图去逼近规定的目标直方图。古建筑壁画裂缝图像预处理效果图如图9所示。

图  9  藏式古建筑壁画裂缝图像预处理效果

Figure  9.  The pre-processing effect of mural crack image of Tibetan ancient architecture

下载: 全尺寸图片 幻灯片

2.3   传统阈值分割处理

图像分割是指根据图像中的灰度信息、颜色信息、纹理或者几何形状将图像划分为不同的子区域，子区域中的像素具有的相似的语义信息。

对比了全局阈值cv2.threshold和自适应阈值cv2.adaptive Threshold两种方法下各处理函数实现裂缝图像二值化的结果，最终选择了全局阈值分割中二值化阈值处理(cv2.THRESH_BINARY)，将原始彩色图像的像素值转换为从0(黑色)~255(白色)的灰度值，再通过阈值threshold判断，见式(5)，把像素分到合适的类别中，分割过程如图10。

图  10  阈值分割示意图

Figure  10.  Schematic diagram of threshold segmentation

下载: 全尺寸图片 幻灯片

运用形态学中膨胀和腐蚀操作、开闭运算消除阈值分割出来的裂缝二值图中的毛刺噪声、联通裂缝区域、筛选图像的连通域剔除小区域(图11)。

图  11  裂缝图像形态学操作效果示例

Figure  11.  The crack image after morphological manipulation

下载: 全尺寸图片 幻灯片

3   基于传统图像处理的壁画墙裂缝监测试验

第2节详细介绍了基于传统图像处理技术原理及操作步骤。本节导入12天拍摄得到的典型藏式古建筑石砌体壁画墙体裂缝图像作为试验对象进行分割、检测，提取特征参数信息来分析监测结果。

3.1   裂缝图像特征检测与参数计算

对壁画墙裂缝分割结果进行特征检测，提取了裂缝在数量、形态、位置方面的特征参数信息(详见图12和表2)作为描述裂缝生长变化情况的关键指标^[22]，研究裂缝发育规律，以预测裂缝的生长趋势：其中一方面可以设定裂缝监测数据的警报值，提前对危险裂缝进行补救；另一方面可对古建筑壁画裂缝进行综合评价，根据危险程度进行不同优先级别的预防性修缮工作。

图  12  裂缝特征参数示意图

Figure  12.  Crack characteristic parameters

下载: 全尺寸图片 幻灯片

表  2  壁画墙裂缝特征信息定义

Table  2.  Definition of characteristic information about mural cracks

特征信息	定义	系数	系数值
轮廓面积A	轮廓函数在ROI区域使用像素统计方法逐行扫描，计算二值化裂缝图内像素值大于0的像素面积总和	$\alpha$	1.0
轮廓周长P	同上操作，裂缝轮廓中的所有大于0像素点的总和	$\beta$	4.2
ROI密度ρ	裂缝的密度表征在图像ROI区域内裂缝的损害程度，是裂缝面积与ROI区域的像素总数的比值	$\gamma$	9.4
重心M	表征裂缝在ROI区域内的位置分布，显示裂缝生长的延伸方向，裂缝重心计算中二值图像表示非裂缝区域中像素值为0，裂缝区域像素值为1，x和y两向裂缝重心M通过图像一阶空间矩与零阶矩比值获得	$\delta$	9665.0
		$\varepsilon$	525.0
骨架线长度L	采用Zhang-Suen细化算法将二值裂缝图像从多像素缩减到单个像素提取中轴，像素总数即为骨架线长度	$\eta$	1420.0
平均宽度d	轮廓面积除以骨架长度	$\mu$	43.0
最大宽度dmax	轮廓线内最大内接圆直径	$\xi$	17.0
综合评价指标C	为整体合理评判不同时序裂缝的变形，综合裂缝多类特征信息定义，表征裂缝物理平均宽度变化情况${C } = \dfrac{ {\alpha Are{a } + \beta {P } + \gamma {\rho } + \delta {M } + \varepsilon {M } + \eta {L } + \mu {d } + \xi {d_{\max } } } }{ {8\overline { {L} } } } \cdot d_{x}$ dx=0.3597mm/pixel为Nikon D5600相机在x轴方向的解析度，张正友相机标定[19]获得，代表单位像素的实际尺寸
注：以上系数据不同裂缝特征信息对整体面积的影响程度计算确定。

下载: 导出CSV 

| 显示表格

裂缝特征检测包括裂缝轮廓检测和裂缝骨架线提取两个操作：裂缝轮廓提取时使用OpenCV中轮廓函数^[23]cv:find Contours检测二值图像中裂缝的轮廓信息；通过与GUOHALL骨架细化算法的比较，本文采用ZHANG^[24]细化算法提取中轴，保证了细化后骨架的连通性，保持裂缝细节和线端点的完整性，避免裂缝骨架线交点处发生扭曲。输出结果如图13，双边缘白色线表示裂缝的轮廓线，黑色勾勒了骨架中心线和最大内接圆宽度。

图  13  裂缝特征信息提取示例

Figure  13.  Example of extracting feature information from crack

下载: 全尺寸图片 幻灯片

3.2   基于传统图像处理的壁画墙裂缝监测结果

藏式石砌体墙裂缝在非地震荷载作用下，一年时间的变化量微乎其微^[25]。统计监测结果见表3，以变异系数COV值表征数据的波动程度，综合评价指标C于3.19 mm~3.49 mm小范围波动，COV变异系数为2.85%，裂缝面积参数的COV值最大，尚未超过7%，监测数据的分布均匀一致性佐证了短期内裂缝无变化的特点，证明了监测系统为壁画裂缝的生长变形提供实时无损监测的技术可行性。

表  3  基于阈值分割算法的裂缝特征信息监测数据

Table  3.  Monitoring data of characteristic information based on threshold segmentation algorithm

监测时间/ d	裂缝面积/ pixel2	轮廓周长/ pixel	骨架长度/ pixel	裂缝密度/ (%)	最大宽度/ pixel	平均宽度/ pixel	X轴重心/ pixel	Y轴重心/ pixel	综合评价指标 C/mm
6.10	12710.00	3183.86	1427	1.32	23.80	8.91	306.79	768.99	3.28
6.11	13703.00	3193.51	1457	1.43	22.84	9.40	307.91	770.92	3.37
6.12	12475.50	3188.93	1419	1.30	21.72	8.79	308.30	784.45	3.24
6.13	12212.00	3178.14	1412	1.27	23.71	8.65	305.05	756.65	3.22
6.14	14261.50	3181.61	1425	1.48	24.47	10.01	308.60	779.52	3.45
6.15	13460.00	3191.31	1423	1.40	23.80	9.46	308.11	777.07	3.36
6.16	13845.50	3197.90	1420	1.44	24.12	9.75	308.01	775.60	3.40
6.17	14698.00	3193.71	1454	1.53	24.95	10.11	307.93	769.21	3.49
6.18	13619.00	3170.20	1430	1.42	24.14	9.52	306.17	761.97	3.37
6.19	12025.50	3178.73	1417	1.25	22.34	8.49	306.13	765.81	3.19
6.20	13833.00	3160.60	1423	1.44	22.55	9.72	307.76	771.06	3.37
6.21	14324.50	3162.70	1414	1.49	23.93	10.13	307.93	767.90	3.44
COV/(%)	6.52	0.39	1.01	6.52	4.07	6.12	0.35	0.99	2.85

下载: 导出CSV 

| 显示表格

将各类裂缝特征参数信息经过调整后绘制雷达图14，更为直观地表达各参数的变化情况。分析发现，裂缝骨架线长度、轮廓周长和裂缝重心等一维特征信息维持稳定，COV值低于1%，而裂缝面积、裂缝密度、裂缝最大宽度和平均宽度等二维特征信息统计时受光照影响较强，COV值处于4.5%~6.52%。原因分析(图15)，在裂缝图像层面上，传统方案仅依据图像灰度值通过阈值限定而非图像语义信息分割裂缝，在强光照干扰下产生错误分割致使裂缝边缘外移，导致数据相对前者波动较大。

图  14  基于阈值分割裂缝特征信息雷达图

Figure  14.  Radar map of characteristic information based on threshold segmentation

下载: 全尺寸图片 幻灯片

图  15  裂缝监测数据波动成因分析

Figure  15.  Causes of fluctuation in monitoring data of the crack

下载: 全尺寸图片 幻灯片

4   基于深度学习的壁画墙裂缝语义分割模型

传统阈值分割方案是机械式通过图像灰度信息强制分割裂缝和背景区域，未考虑图像语义信息。虽然采用了一些算法减少环境影响，但仍存在部分灰度值低的背景像素被错误地识别为裂缝像素，急需构建对环境、壁画等影响因素鲁棒的算法。

针对以上不足，第二子系统基于深度学习针对性采用调整超参数优化策略改进了U-Net智能壁画裂缝语义分割模型：通过补零操作以达到等宽卷积的目的，有效避免了裁剪特征图的繁杂操作，增加BN层解决隐含层数据分布不均的问题等，成功地提升了训练模型效率，以达到高性能裂缝语义分割效果。

将古建筑壁画墙面裂缝图像组成的模型的裂缝数据集进行标注，使用改进的U-Net神经网络算法进行训练和测试，经过几轮调参优化后训练出高准确率的模型；省略复杂的图像预处理操作，本算法导入不同视角不同时间拍摄的壁画墙体裂缝图像数据即可在复杂背景强干扰下提取裂缝，直接输出特征信息统计结果。

4.1   裂缝高级语义分割模型架构

深度学习模型的选择关乎图像语义分割的效果，优秀的模型又受限于训练数据集大小、计算机性能等。古建筑壁画墙体裂缝的数据较为匮乏，因此适宜古建筑裂缝分割模型应具备模型轻量化、少量数据驱动和高精度等特点。综上，选择简单高效、分割任务相似、低成本硬件设备和小训练集的轻量化U-Net模型，其作为经典病变提取模型在生物医学图像分割中已经具有成熟的表现。为将U-Net模型更好的应用到壁画墙裂缝语义分割中，本文采用针对性调优策略修改和扩展了此模型架构。

4.2   改进U-Net智能语义分割模型及构成组件

改进的U-Net模型是对称U型结构，由左侧收缩路径Encoder编码器和右侧扩张路径Decoder解码器两阶段组成，主要对裂缝图像进行特征选择，去除多余特征，重构新的特征图。

第一阶段包括卷积操作和下采样(池化)得到高级语义特征图，第二阶段包括上采样(转置卷积)、卷积以及中间串接操作(skip connection)将特征图恢复到原图片的分辨率。

详见图16，改进的U-Net模型输入一个以宽高为512×512的三通道的图像为例，以16个3×3卷积核进行两次卷积操作，再通过ReLU函数后得到16个512×512×1的特征通道，同时增设BN层操作来加快收敛速度防止过拟合，此为图中左侧第一层的处理过程；通过2×2池化核对图像进行下采样进入第二层，此操作结果令特征图的宽和高都减半得到256×256×16的特征图，但为了防止特征丢失，卷积核数据增加一倍，使特征通道数量加倍，即继续通过32个卷积核继续提取图片特征，第一阶段操作重复上述操作，最终获得32×32×256的高级语义特征图。

图  16  改进的U-Net模型网络架构

Figure  16.  The architecture Enhanced U-Net model network

下载: 全尺寸图片 幻灯片

在第二阶段中，将32×32×256特征图经过128个2×2的卷积核进行转置卷积(上采样)，目的在于扩大图片尺寸，为减少数据丢失，采取将下采样中对应大小的特征图进行串联来增加特征层，再按图中横向进行两次卷积操作来提取特征，重复以上操作，在最后一层，使用1×1卷积将每个分量特征向量映射到背景和目标两个类别中，得到二值化结果图。

1)卷积层

卷积神经网络是由多级卷积层组成，构造与输入通道数相同维度的卷积核(filter)作为滤波器，利用滑动窗口依次对输入数据按从左往右、从上到下的顺序对局部数据进行卷积运算，见图17左。卷积操作减少了每层需要学习的权重数量，过滤得到需提取的图像特征值，U-Net网络共有23个卷积层，经过多次卷积层的叠加获得高级语义特征图。

2)转置卷积层

下采样过程通过多层卷积运算从图像中提取特征，上采样则是通过转置卷积将中间层特征图在像素点之间插入新的像素，将图像的空间维度和尺寸变换到输入图像大小，见图17右。转置卷积保留图像特征，其余区域进行0填充，更利于图像像素类别的识别和预测。

图  17  三维卷积运算和转置卷积运算

Figure  17.  Three dimensional convolution and transpose convolution

下载: 全尺寸图片 幻灯片

3)池化层(下采样)

在卷积神经网络结构中，往往通过池化操作来降低卷积层输出的特征维度，有效减少网络参数，防止模型过拟合，提高泛化能力。本文选取对边缘特征提取效果更好的最大池化操作(见图18)，在池化窗口滑动过程中从特征图中保留最大的元素，经过池化后使特征图的维度更小，同时保留了最重要的信息，去除杂余信息，让特征更明显，使U-Net网络对输入图像的大小变形、畸变和平移等具有不变性。

图  18  最大池化层

Figure  18.  Max-pooling layers

下载: 全尺寸图片 幻灯片

4)拼接操作

在U-Net模型上采样过程中，每一层会将图像与下采样处理过程中相同大小的中间层图像进行拼接，目的在于融合特征信息，更便于特征信息的提取，裂缝提取的准确率更好。需注意，拼接的图片大小和特征维度要求一致才能拼接。

5)激活函数

激活函数选择迭代速度快的非饱和型激活函数ReLU，如式(6)，对卷积进行线性修正，ReLU在输入值大于0时梯度为定值1，不存在梯度消失的问题，便于模型权重更新，增强模型拟合非线性的能力，将全连接层仿射变换转化为非线性变换，使网络可以自行引入稀疏性，同时提高训练速度。

6) BN层

BN层全称Batch Normalization(批规范化)，主要对上一层输出的数据进行规范化，加快网络收敛速度。神经网络学习的过程本质是学习数据分布，训练数据和测试数据如果分布不同，那么网络的泛化能力就会大大降低；另外，每一批次的数据分布如果不相同的话，那么网络就要在每次迭代的时候都去适应不同的分布，这样会大大降低网络的训练速度。在线性单元后面加入BN层可以变换回原始的分布，保证每一次数据经过归一化后还保留原有学习来的特征。

4.3   超参数设置及优化策略

超参数设置控制算法的运行时间和存储成本，决定模型质量和准确性。试验时，对改进后的U-Net模型进行训练，经过多轮的模型迭代和调参分析，发现改进的U-Net裂缝语义分割模型在超参数选择中极为敏感，根据不同超参数模型性能的比选最终选择如下超参数设置方法。

优化器(optimizer)通常用于模型训练，在训练前期使用Adam快速调参，训练后期使用传统随机梯度下降算法寻找最优解以有限次的模型迭代损失函数获得最小值，本文选择骰子损失(dice loss)作为模型的损失函数用于评估模型的预测输出值与实际输入值之间的差异。

神经模型的训练过程中引入学习率下降方法来控制目标函数参数的更新速度，学习率太低会导致模型收敛缓慢，而学习率太高会导致搜索震荡，从而使模型在极值点附近徘徊，本文初始学习率lr=0.0045，采用多项式衰减进行学习率衰减，批量大小设置为batch_size=4，迭代轮数Epoch=40。

鉴于古建筑壁画墙面裂缝数据匮乏，本文使用随机翻转、随机颜色、随机裁剪、模糊操作等图像增广技术，减少模型对人为或环境造成的某些特殊属性的依赖，引导模型具有不变性和强鲁棒性。

此外，相较传统U-Net模型的改进操作主要有：

1)模型输入由原始572×572×1改为512×512×3，以适应采集的RGB三通道裂缝图像。

2)原始模型未添加padding，每次卷积都会丢失边界像素，因此在Skip连接中需要进行裁剪，且输出图像比输入图像小一个恒定的宽度不利于裂缝面积的评估。为此，改进模型在卷积中添加了补零操作(padding=2)以达到等宽卷积的目的。左右完全对称结构有效避免了裁剪特征图的繁杂操作。

3)增加BN层解决隐含层数据分布不均的问题，提升训练模型效率。

4)鉴于藏式壁画墙裂缝照片较少，故引入了更为丰富的数据集增强策略。

5)调整的超参数优化策略，以达到高准确率的高性能语义分割效果。

U-Net算法经过上述改进和适宜的调参策略，更适用于古建筑壁画裂缝在微量缓变特性下的监测场景，且只需少量数据在NVIDIA Titan GPU训练10小时，便可得到高精度的训练模型。

5   基于深度学习的壁画墙裂缝监测试验

5.1   构建监测数据集

模型训练的目标是准确提取裂缝，将采集的图像离散为最小的像素单元进行处理，所以立足图像检测的角度，混凝土裂缝与壁画墙裂缝在颜色、形状和纹理上具有相同的特征。同时为了增强模型的泛化能力^[26]，模型数据集由石砌体壁画墙面裂缝图像随机裁剪成大小为148张512×512的子图和156张GitHub开源混凝土裂缝图像构成。

使用MATLAB工具箱Image Labeler标注裂缝，标注部分结果见图19。按照7∶2∶1比例将数据集分为训练集(212张)、验证集(60张)、测试集(30张)，分别用于模型的训练、验证、测试过程。

图  19  部分训练裂缝图像标注结果

Figure  19.  Annotation results of partial crack image data sets

下载: 全尺寸图片 幻灯片

5.2   模型训练与评估

如何评价图像分割模型算法的性能是一个关键的问题。评估语义分割模型好坏是基于模型输出结果和基本事实之间的比较，常用的评价指标包括平均交并比mIoU、平均准确率mAcc和一致性检验kappa系数等等。

1)模型训练测试结果如下：

交并比定义为预测分割图与真实图之间交集除以两者的并集，准确率定义如图20所示。

图  20  混淆矩阵结果(pixel)

Figure  20.  The result of the obfuscation matrix (pixel)

下载: 全尺寸图片 幻灯片

图21对应的第27个Epoch模型在测试集合获得了mAcc=0.9899，mIoU=0.8946，证明改进模型能准确地识别和提取复杂壁画背景下的裂缝区域。

图  21  模型验证集评估

Figure  21.  Evaluation of model validation sets

下载: 全尺寸图片 幻灯片

2)测试集预测结果可视化

改进的U-Net藏式古建壁画裂缝语义分割模型在测试集预测可视化结果如图22所示。

图  22  测试集预测效果

Figure  22.  The prediction effect on the test set

下载: 全尺寸图片 幻灯片

5.3   基于改进U-Net智能语义模型的监测结果

将改进的U-Net语义分割模型经过上述方法训练和评估后，就可以应用到第3节藏式古建筑壁画墙裂缝图像数据的监测中，分割效果见示例图23。

图  23  改进的U-Net模型分割效果

Figure  23.  Segmentation effect of the improved U-Net model

下载: 全尺寸图片 幻灯片

统计3.1节中定义的裂缝特征信息结果见表4，分析发现改进U-Net长期监测方法除6月12日(由图5分析当日相机位姿过于离群)数据略微偏低外，所有特征参数信息数据趋于稳定。剔除基准视角(6月10日)和拍摄异常(6月12日)监测数据后COV=0.87%。即在10天监测时间内，图像层面裂缝像素平均宽度相差不超过0.25 pixel，C表征的裂缝物理平均宽度波动不超过0.09 mm。

表  4  基于改进U-Net分割模型的裂缝特征信息

Table  4.  Characteristic information based on the improved U-Net segmentation model

监测时间/ d	裂缝面积/ pixel2	轮廓周长/ pixel	骨架长度/ pixel	裂缝密度/ (%)	最大宽度/ pixel	平均宽度/ pixel	X轴重心/ pixel	Y轴重心/ pixel	综合评价指 C/mm
6.10	13515.65	3111.53	1412	1.39	26.87	9.57	308.11	789.20	3.41
6.11	12833.00	3143.42	1418	1.32	26.16	9.05	307.46	780.52	3.33
6.12	11771.10	3152.62	1428	1.21	22.78	8.24	308.80	797.42	3.19
6.13	12960.10	3103.83	1410	1.33	27.25	9.19	307.76	788.55	3.36
6.14	13228.65	3088.92	1400	1.36	26.64	9.45	309.25	794.86	3.38
6.15	13083.10	3107.93	1410	1.35	28.09	9.28	308.34	792.64	3.39
6.16	12937.55	3119.32	1412	1.33	27.22	9.16	308.02	787.69	3.36
6.17	13230.70	3084.32	1396	1.36	26.97	9.48	308.58	791.22	3.38
6.18	13312.70	3138.62	1418	1.37	27.14	9.38	306.25	777.30	3.39
6.19	12613.65	3114.93	1416	1.30	25.57	8.90	308.51	791.51	3.30
6.20	12919.10	3126.32	1414	1.33	27.24	9.13	307.51	784.73	3.36
6.21	13366.00	3116.42	1412	1.37	26.95	9.46	308.78	791.47	3.40
COV/(%)	3.54	0.66	0.60	3.53	5.06	3.92	0.26	0.73	1.80

下载: 导出CSV 

| 显示表格

5.4   裂缝监测效果对比评估

对比分析3.2节和5.3节监测数据发现，改进的U-Net语义分割模型在裂缝生长变化监测中表现优异：一维特征指标(如裂缝骨架线长度、轮廓长度、重心)表现出惊人一致性，例图24，而二维特征指标(如裂缝面积、密度、宽度)整体呈小范围波动状态，并将传统方案中数据波动最大的特征参数如裂缝面积的COV值由6.52%降至3.53%，例图25。不同监测方法针对同一监测主体不同视角拍摄的裂缝图像进行处理后，输出的特征参数信息具备一致性，证明了该监测系统的实用可靠性。

图  24  裂缝骨架线长度监测数据对比(pixel)

Figure  24.  Comparison of monitoring data of fracture skeleton line length (pixel)

下载: 全尺寸图片 幻灯片

图  25  裂缝面积监测数据对比(pixel²)

Figure  25.  Comparison of of monitoring data of fracture area (pixel²)

下载: 全尺寸图片 幻灯片

综上，分析监测算法各有优劣和侧重点，一维指标重点考虑裂缝形态特征，而二维特征指标计算需考虑裂缝整体区域，在传统机械式分割裂缝时更易受光照影响，而基于深度学习的U-Net智能壁画裂缝语义分割模型长期监测数据稳定，可智能检测壁画背景下的裂缝，精确分割出裂缝区域，对壁画、光照、阴影的干扰具有鲁棒性，应用效果更好。

6   结论

为降低壁画墙裂缝特有的彩绘壁画、光线及噪声等干扰，有效地将裂缝从复杂背景中分离出来，本文研究了基于传统图像处理的阈值分割算法和神经网络智能分割语义模型，建立了一套适用于古建筑壁画墙裂缝非接触式的预防性监测系统。以12天不同视角拍摄的典型藏式古建筑壁画墙裂缝图像为试验对象，提取特征参数来描述裂缝生长信息。

(1)选择适用于壁画墙裂缝分割的双边滤波算法与阈值分割相结合的监测算法，减少了壁画彩绘和环境影响。分析监测结果发现，裂缝变形综合评价指标C于3.19 mm~3.49 mm间小范围波动，肯定了该技术的实用性；但裂缝二维特征参数波动明显，说明受环境光照影响区域大，仍存在部分灰度值低的背景像素被错误地分割为裂缝像素。

(2)针对上述不足，进一步构建古建壁画墙体语义分割模型，基于深度学习针对性改进了U-Net网络结构，达到了0.9899的平均准确率和0.8946平均交并比，能准确地将裂缝从复杂背景中提取出来，分析结果发现：裂缝物理平均宽度波动不超过0.09 mm，并将传统方案中数据波动最大的特征参数(裂缝面积)COV值由6.52%降至3.53%。

(3)系统中两种视觉算法同时监测了为期12天的壁画墙裂缝生长情况，发现数据具有高度均匀分布一致性，证实了壁画墙裂缝长期非接触监测系统具备较好的可靠性和准确性。传统的阈值分割方法操作简单，计算速度快，效率高，而改进的U-Net方法识别准确，抗环境影响和复杂背景干扰效果好。

(4)本文为实现壁画墙裂缝的长期监测提出了高效、准确、低成本、智能、自动化的裂缝监测算法。此系统自动化性能高，大大缩短裂缝监测周期，可以将原本几月一次的人工检测，变为几天一次的实时、长期的健康监测，弥补监测空白期过长的缺点，从而更快更准时地获得裂缝宽度、长度和分布密度等参数信息，成为研究裂缝生长发展规律的基础。

(5)古建筑具有变形微量和缓慢的特性，误差的存在使得短期监测的数据呈现微小的波动性，但并非裂缝的生长变化。因此，为了更好地掌握裂缝生长变化规律，依赖视觉方法需要对目标进行长期持久的监测，以上为本文的局限性，后续会在本文研究的基础上尝试突破。