留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计

杨娜 张翀 李天昊

杨娜, 张翀, 李天昊. 基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计[J]. 工程力学, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263
引用本文: 杨娜, 张翀, 李天昊. 基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计[J]. 工程力学, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263
Na YANG, Chong ZHANG, Tian-hao LI. DESIGN OF CRACK MONITORING SYSTEM FOR CHINESE ANCIENT WOODEN BUILDINGS BASED ON UAV AND CV[J]. Engineering Mechanics, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263
Citation: Na YANG, Chong ZHANG, Tian-hao LI. DESIGN OF CRACK MONITORING SYSTEM FOR CHINESE ANCIENT WOODEN BUILDINGS BASED ON UAV AND CV[J]. Engineering Mechanics, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263

基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计

doi: 10.6052/j.issn.1000-4750.2020.04.0263
基金项目: 国家自然科学基金重点项目(51338001);北京自然科学基金重点项目(8151003);国家自然科学基金面上项目(51878034)
详细信息
    作者简介:

    张 翀(1996−),男,北京人,硕士,主要从事图像处理与机器学习研究(E-mail: zcdna1996@163.com)

    李天昊(1992−),男,辽宁人,博士生,主要从事中国古建筑木结构健康监测研究(E-mail: celith@bjtu.edu.cn)

    通讯作者: 杨 娜(1974−),女(满族),辽宁人,教授,博士,博导,主要从事钢-木结构与结构健康监测研究(E-mail: nyang@bjtu.edu.cn)

DESIGN OF CRACK MONITORING SYSTEM FOR CHINESE ANCIENT WOODEN BUILDINGS BASED ON UAV AND CV

  • 摘要: 中国古建筑木结构中裂缝繁多,裂缝成因与发展规律复杂,易引起木结构构件脆断,从而严重威胁中国古建筑木结构健康情况。该文基于无人机与计算机视觉技术设计了一套适用于中国古建筑木结构裂缝的监测系统,该监测系统包含无人机系统、相机系统和图像处理系统。在无人机系统中,该文设计了一款适合于中国古建筑木结构裂缝监测的无人机,并分析其悬停拍照的可行性。在相机系统中,进行了相机畸变矫正、像素解析度标定,并提出了一种改进的SIFT+RANSAC方法以提高裂缝图像拼接精度。在图像处理系统中,选择了适用于中国古建筑木结构裂缝图像的预处理方式,并将Hessian矩阵与自适应阈值分割法融合,有效地提取了中国古建筑木结构裂缝特征,进而通过计算机视觉测量方法准确识别构件和裂缝的尺寸。最后,基于中国古建筑木结构亭子模型验证了所提出中国古建筑木结构裂缝监测系统的可行性。
  • 图  1  文章框架

    Figure  1.  The article framework

    图  2  中国古建筑木结构裂缝

    Figure  2.  Cracks in Chinese ancient wooden buildings

    图  3  中国古建筑木结构构件断裂

    Figure  3.  Fracture of members in Chinese ancient wooden building

    图  4  无人机系统示意图

    Figure  4.  Diagram of UAV system

    图  5  无人机系统增设超声波元件

    Figure  5.  Adding ultrasonic components to UAV system

    图  6  Missonplanner软件航线记忆

    Figure  6.  Route memory function of Missionplanner

    图  7  无人机系统悬停拍摄测试

    Figure  7.  UAV system hover shooting test

    图  8  机载广角相机桶形畸变修正

    Figure  8.  Barrel distortion correction of airborne wide angle camera

    图  9  像素解析度与物距的关系曲线

    Figure  9.  Relation curve between physical size of pixel and object distance

    图  10  特征点提取方法比较

    Figure  10.  Comparison of feature point extraction methods

    图  11  特征点匹配算法比较

    Figure  11.  Comparison of feature point matching algorithms

    图  12  机载照片预处理过程

    Figure  12.  Airborne photo preprocessing process

    图  13  图像预处理过程

    Figure  13.  Image preprocessing process

    图  14  不同结构的裂缝示意图

    Figure  14.  Schematic diagram of cracks in different structures

    图  15  裂缝特征提取方法比较

    Figure  15.  Comparison of crack feature extraction methods

    图  16  裂缝宽度获取示意图

    Figure  16.  Schematic diagram of crack width acquisition

    图  17  监测结构示意图

    Figure  17.  Schematic diagram of monitoring structure

    图  18  中国古建筑木结构裂缝监测系统工作过程

    Figure  18.  Working process of crack monitoring system for the Chinese ancient wooden buildings

    图  19  中国古建筑木结构亭子模型裂缝监测结果

    Figure  19.  Monitoring results of cracks in wooden pavilion model of Chinese ancient building

    表  1  木梁危险裂缝评价指标

    Table  1.   Evaluation index of dangerous cracks in wooden beams

    编号指标
    梁裂缝1长度l大于等于梁长的1/3;宽度大于10 mm
    梁裂缝2长度l大于等于梁高的1/3;宽度大于10 mm
    下载: 导出CSV

    表  2  木柱危险裂缝评价指标

    Table  2.   Evaluation index of dangerous cracksin wooden columns

    编号指标
    柱裂缝长度l大于等于柱长的1/3;宽度大于10 mm
    下载: 导出CSV

    表  3  中国古建筑木结构裂缝监测无人机系统设计依据

    Table  3.   Design basis of UAV system for crack monitoring of the Chinese ancient wooden buildings

    中国古建筑木结构裂缝监测特点中国古建筑木结构
    无人机系统设计需求
    农业灌溉森林防火电路巡检输油管巡检灾后评估桥梁建筑表面
    工作环境路径狭小、复杂需使用轻小型四旋翼无人机,可直升直降,稳定悬停、姿势转换、小角度转弯×需载重机型偏大×固定翼机型偏大×多旋翼、抗风机型偏大×多旋翼、抗风机型偏大×固定翼机型偏大
    航线规划精确
    唯一
    监测路径精确固定,无需自主优化×××××××
    所用无人机可靠性高具有多重安全保障,侧重确保结构安全×智能避障侧重确保自身
    安全
    ×智能避障侧重确保自身
    安全
    ×智能避障侧重确保自身
    安全
    ×智能避障侧重确保自身
    安全
    ×智能避障侧重确保自身
    安全
    ×智能避障侧重确保自身
    安全
    ×智能避障侧重确保自身
    安全
    需提取梁、柱表面裂缝精确的长度和宽度正直贴面拍摄,以提供精确二维图像,不需携带多个相机×载重灌溉无精确拍摄
    要求
    ×识别火点无精确拍摄
    要求
    ×多相机协同,需提供三维图像×多相机协同,需提供三维图像×多相机协同,需提供三维图像×倾斜拍摄
    需反馈拍照时刻光心与梁柱表面垂直距离飞控需加设超声波元件,利用数传向地面站实时反馈数据并采集,利用OSD模块将图像和数据叠加×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能
    工作环境GPS信号弱(并非完全没有GPS信号)需使用具有INS惯性导航的开源飞控,辅助RTK导航,结合Missonplanner软件中的航线记忆功能,实现航线规划×集成飞控,使用GUSS导航进行航线
    规划
    ×集成飞控,使用GUSS导航进行航线
    规划
    ×集成飞控,使用GUSS导航进行航线
    规划
    ×集成飞控,使用GUSS导航进行航线
    规划
    ×集成飞控,使用GUSS导航进行航线
    规划
    ×集成飞控,使用GUSS导航进行航线
    规划
    ×集成飞控,使用GUSS导航进行航线
    规划
    注:分析了目前各领域民用无人机在中国古建筑木结构裂缝监测过程的适用性,所选均为相应领域常用无人机型。
    下载: 导出CSV

    表  4  特征点提取算法比较结果

    Table  4.   Comparison results of various algorithms

    算法本文算法Harris算法Moravec算法SIFT算法
    指标点数时间/s点数时间/s点数时间/s点数时间/s
    原图 7848 2.89 1207 0.32 1419 242.54 7025 2.75
    旋转 7827 2.85 1262 0.32 1410 242.86 7046 2.71
    缩放 2517 0.24 2821 0.01 1757 14.53 2517 0.17
    亮度 11970 2.95 1197 0.33 6530 243.86 10801 2.81
    下载: 导出CSV

    表  5  不同特征点匹配方法的比较

    Table  5.   Comparison of different feature point matching methods

    特征点匹配方法左图
    特征点数
    右图
    特征点数
    有效
    匹配特征点
    BBF算法(粗匹配)43144177104
    结合RANSAC算法后的
    BBF算法(精匹配)
    43144177336
    下载: 导出CSV

    表  6  实验室木构件边界尺寸与构件裂缝尺寸

    Table  6.   Boundary dimension and crack dimension of laboratory wood components /cm

    测量方法试件长度试件宽度长裂缝长度/宽度短裂缝长度/宽度
    计算机视觉34.537.7511.43/0.333.12/0.31
    人工测量34.77.711.5/0.33.0/0.3
    下载: 导出CSV

    表  7  中国古建筑木结构亭子模型裂缝监测结果

    Table  7.   Monitoring results of cracks in wooden pavilion model of Chinese ancient building /cm

    测量方法A柱
    柱高柱径裂缝1长度/宽度裂缝2长度/宽度
    裂缝监测系统196.8124.22179.45/0.8234.89/0.59
    人工测量197.024.0181.5/0.834.6/0.6
    测量方法B柱
    柱高柱径裂缝4长度/宽度裂缝5长度/宽度裂缝6长度/宽度
    裂缝监测系统197.1324.1242.12/0.4976.43/0.7484.15/0.66
    人工测量198.024.041.9/0.577.5/0.784.0/0.6
    下载: 导出CSV
  • [1] Chen Z Y, Zhu E C, Pan J L, et al. Structural performance of typical beam-column joints in Yingxian wood pagoda - an experimental study [J]. Key Engineering Materials, 2012, 517(1): 669 − 676.
    [2] Franciso A, Guillermo I, Miguel E, et al. Proposal of methodology for the assessment of existing timber structures in Spain [C]// 16th International Symposium on Nondestructive Testing and Evaluation of Wood. Texas USA, 2009: 53 − 64.
    [3] Miguel E, Ignacio B, Francisco A, et al. NDT applied to estimate the mechanical properties of the timber of an ancient structure in Calsain, Segocia [C]// 16th International Symposium on Nondestructive Testing and Evaluation of Wood. Texas USA, 2009: 33 − 39.
    [4] Zhang J, Xu Q F, Xu Y X, et al. Research on residual bending capacities of used wood members based on the correlation between non-destructive testing results and the mechanical properties of wood [J]. Journal of Zhejiang University-Science A, 2015, 16(7): 541 − 550. doi:  10.1631/jzus.A1400276
    [5] Cown D J. Comparison of the Pilodyn and Torsiometer methods for the rapid assessment of wood density in living tress [J]. New Zealand Journal of Forestry Science, 1978, 8(3): 384 − 91.
    [6] Sankarasrinivasana S, Balasubramaniana E, Karthika K, et al. Health monitoring of civil structures with integrated UAV and image processing system [J]. Procedia Computer Science, 2015, 54: 508 − 515. doi:  10.1016/j.procs.2015.06.058
    [7] Ellenberg A, Kontsos A, Moon F, et al. Bridge related damage quantification using unmanned aerial vehicle [J]. Structural Control & Health Monitoring, 2016, 23(9): 1168 − 1179.
    [8] 钟新谷, 彭雄, 沈明燕. 基于无人机成像的桥梁裂缝宽度识别可行性研究[J]. 土木工程学报, 2019, 52(4): 52 − 61.

    Zhong Xingu, Peng Xiong, Shen Mingyan. Study on feasibility of identifying concrete crack width with images acquired by unmanned aerial vehicles [J]. China Civil Engineering Journal, 2019, 52(4): 52 − 61. (in Chinese)
    [9] Niethammer U, James M R, Rothmund S, et al. UAV-based remote sensing of the Super-Sauze landslide: Evaluation and results [J]. Engineering Geology, 2012, 128: 2 − 11. doi:  10.1016/j.enggeo.2011.03.012
    [10] Hinton G E. A practical guide to training restricted Boltzmann machines [M]. Berlin: Springer, 2012.
    [11] Zhang Y, Sohn K, Villegas R, et al. Improving object detection with deep convolutional networks via Bayesian optimization and structured prediction [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Tianjin China, 2015: 249 − 258.
    [12] Jeronimidis G. The fracture of wood in the relations to its structure [J]. Leiden Botanical Series, 1976, 3: 253 − 265.
    [13] Forest Products Laboratory. Wood handbook: Wood as an engineering material [M]. Washington DC: University Press of the Pacific, 2010.
    [14] 四川省建筑科学研究院. 古建筑木结构维护与加固技术规范 [M]. 北京: 中国建筑工业出版社, 1993.

    Sichuan Institute of Building Research. Technical code for maintenance and strengthening of ancient timber buildings [M]. Beijing: China Architecture & Building Press, 1993. (in Chinese)
    [15] JGJ159−2008, 古建筑修建工程施工及验收规范 [S]. 北京: 中国建筑工业出版社, 2008.

    JGJ159−2008, Code for construction and acceptance of in traditional Chinese ancient architecture [S]. Beijing: China Architecture Industry Press, 2008. (in Chinese)
    [16] 蒋筑英, 李剑白, 向才新, 等. 光学系统成像质量评价及检验文集 [M]. 北京: 中国计量出版社, 1988.

    Jiang Zhuying, Li Jianbai, Xiang Caixin, et al. The optical system imaging quality evaluation and test corpus [M]. Beijing: China Metrology Press, 1988. (in Chinese)
    [17] 曾庆响, 韩大建. 预应力混凝土箱梁桥的裂缝防治研究现状[J]. 工程力学, 2010(增刊 1): 184 − 188.

    Zheng Qingxiang, Han Dajian. Research status of crack prevention of prestressed concrete box girder bridge [J]. Engineering Mechanics, 2010(Suppl 1): 184 − 188. (in Chinese)
    [18] 陈斌, 邵旭东, 曹君辉. 正交异性钢桥面疲劳开裂研究[J]. 工程力学, 2012, 29(012): 170 − 174.

    Chen Bin, Shao Xudong, Cao Junhui. Research on fatigue cracking of orthotropic steel bridge deck [J]. Engineering Mechanics, 2012, 29(012): 170 − 174. (in Chinese)
    [19] Frangi A F, Niessen W J, Vincken K L, et al. Multiscale vessel enhancement filtering [C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, Berlin Heidelberg, Springer, 1998: 130 − 137.
    [20] 单宝华, 申宇. 立体视觉方法在混凝土表面裂缝检测中的应用[J]. 工程力学, 2013(9): 125 − 131.

    Shan Baohua, Shen Yu. Application of stereo vision method in concrete surface crack detection [J]. Engineering Mechanics, 2013(9): 125 − 131. (in Chinese)
  • [1] 单伽锃, 张寒青, 宫楠.  基于监测数据的结构地震损伤追踪与量化评估方法 . 工程力学, 2021, 38(1): 164-173. doi: 10.6052/j.issn.1000-4750.2020.03.0138
    [2] 王慧, 郭晨林, 王乐, 张敏照.  基于内积矩阵及深度学习的结构健康监测研究 . 工程力学, 2021, 38(): 1-10. doi: 10.6052/j.issn.1000-4750.2020.12.0935
    [3] 朱前坤, 陈建邦, 张琼, 杜永峰.  基于计算机视觉人行桥挠度影响线非接触式识别 . 工程力学, 2020, 37(): 1-9. doi: 10.6052/j.issn.1000-4750.2020.08.0557
    [4] 孙雅琼, 赵作周.  桥梁结构动应变监测的温度效应实时分离与动荷载识别 . 工程力学, 2019, 36(2): 186-194. doi: 10.6052/j.issn.1000-4750.2017.12.0954
    [5] 阳涛, 杨哲飚, 陆新征, 陈文永, 丁一.  核电厂安全壳结构模型碳纤维布加固试验研究 . 工程力学, 2017, 34(8): 144-153. doi: 10.6052/j.issn.1000-4750.2016.08.0604
    [6] 杨慧, 何浩祥, 张向东, 闫维明.  面向RC结构损伤演变的位移相关型阻尼模型及参数识别 . 工程力学, 2017, 34(11): 126-134. doi: 10.6052/j.issn.1000-4750.2016.07.0515
    [7] 宋彪, 李宏男, 任亮, 范书立.  某钢结构梁高温切割全过程的监测与分析 . 工程力学, 2016, 33(9): 69-75. doi: 10.6052/j.issn.1000-4750.2015.02.0117
    [8] 杜永峰, 赵丽洁, 张韬, 郑文智, 李万润.  超长复杂隔震结构施工力学及全过程监测研究 . 工程力学, 2015, 32(7): 1-10. doi: 10.6052/j.issn.1000-4750.2014.07.ST10
    [9] 毕继红, 关健, 王剑, 逯鹏.  钢筋混凝土结构非线性行为的优化计算方法及应用 . 工程力学, 2015, 32(增刊): 277-283. doi: 10.6052/j.issn.1000-4750.2014.04.S039
    [10] 李惠, 鲍跃全, 李顺龙, 张东昱.  结构健康监测数据科学与工程 . 工程力学, 2015, 32(8): 1-7. doi: 10.6052/j.issn.1000-4750.2014.08.ST11
    [11] 张青霞, 侯吉林, 段忠东.  基于子结构虚拟变形的损伤识别方法 . 工程力学, 2013, 30(12): 176-182. doi: 10.6052/j.issn.1000-4750.2012.08.0613
    [12] 张青霞 段忠东 ?ukasz Jankowski.  结构损伤与荷载共同识别的研究 . 工程力学, 2012, 29(12): 316-321,348. doi: 10.6052/j.issn.1000-4750.2011.05.0275
    [13] 张玉明, 边广生, 孟少平.  平面形状为圆环形的混凝土框架结构温度应力研究 . 工程力学, 2011, 28(增刊I): 136-140.
    [14] 侯吉林, 欧进萍.  基于局部脉冲响应的约束子结构修正法 . 工程力学, 2009, 26(11): 23-030.
    [15] 张宇鑫, Shinae Jang, B. F. Spencer.  结构损伤位置识别的位移DLV方法 . 工程力学, 2009, 26(5): 209-215.
    [16] 张娟霞, 唐春安, 周秀艳, 郭献章.  基于高性能计算的钢筋混凝土构件等间距裂缝形成过程研究 . 工程力学, 2009, 26(3): 161-167.
    [17] 姜绍飞.  结构健康监测-智能信息处理及应用 . 工程力学, 2009, 26(增刊Ⅱ): 184-212.
    [18] 孙 曼, 植 涌, 刘浩吾.  光纤Bragg光栅传感检测组合结构的断裂损伤 . 工程力学, 2007, 24(1): 0-166.
    [19] 郑宏宇, 苏益声, 邓志恒.  混合结构房屋现浇楼板裂缝的有限元数值分析 . 工程力学, 2007, 24(2): 0-125,.
    [20] 李华军, 杨和振.  海洋平台结构参数识别和损伤诊断技术的研究进展 第十三届全国结构工程学术会议特邀报告 . 工程力学, 2004, 21(S1): 116-138.
  • 加载中
图(19) / 表 (7)
计量
  • 文章访问数:  217
  • HTML全文浏览量:  31
  • PDF下载量:  80
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-28
  • 修回日期:  2020-08-23
  • 网络出版日期:  2021-02-03
  • 刊出日期:  2021-03-25

基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计

doi: 10.6052/j.issn.1000-4750.2020.04.0263
    基金项目:  国家自然科学基金重点项目(51338001);北京自然科学基金重点项目(8151003);国家自然科学基金面上项目(51878034)
    作者简介:

    张 翀(1996−),男,北京人,硕士,主要从事图像处理与机器学习研究(E-mail: zcdna1996@163.com)

    李天昊(1992−),男,辽宁人,博士生,主要从事中国古建筑木结构健康监测研究(E-mail: celith@bjtu.edu.cn)

    通讯作者: 杨 娜(1974−),女(满族),辽宁人,教授,博士,博导,主要从事钢-木结构与结构健康监测研究(E-mail: nyang@bjtu.edu.cn)

摘要: 中国古建筑木结构中裂缝繁多,裂缝成因与发展规律复杂,易引起木结构构件脆断,从而严重威胁中国古建筑木结构健康情况。该文基于无人机与计算机视觉技术设计了一套适用于中国古建筑木结构裂缝的监测系统,该监测系统包含无人机系统、相机系统和图像处理系统。在无人机系统中,该文设计了一款适合于中国古建筑木结构裂缝监测的无人机,并分析其悬停拍照的可行性。在相机系统中,进行了相机畸变矫正、像素解析度标定,并提出了一种改进的SIFT+RANSAC方法以提高裂缝图像拼接精度。在图像处理系统中,选择了适用于中国古建筑木结构裂缝图像的预处理方式,并将Hessian矩阵与自适应阈值分割法融合,有效地提取了中国古建筑木结构裂缝特征,进而通过计算机视觉测量方法准确识别构件和裂缝的尺寸。最后,基于中国古建筑木结构亭子模型验证了所提出中国古建筑木结构裂缝监测系统的可行性。

English Abstract

杨娜, 张翀, 李天昊. 基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计[J]. 工程力学, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263
引用本文: 杨娜, 张翀, 李天昊. 基于无人机与计算机视觉的中国古建筑木结构裂缝监测系统设计[J]. 工程力学, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263
Na YANG, Chong ZHANG, Tian-hao LI. DESIGN OF CRACK MONITORING SYSTEM FOR CHINESE ANCIENT WOODEN BUILDINGS BASED ON UAV AND CV[J]. Engineering Mechanics, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263
Citation: Na YANG, Chong ZHANG, Tian-hao LI. DESIGN OF CRACK MONITORING SYSTEM FOR CHINESE ANCIENT WOODEN BUILDINGS BASED ON UAV AND CV[J]. Engineering Mechanics, 2021, 38(3): 27-39. doi: 10.6052/j.issn.1000-4750.2020.04.0263
  • 中国古建筑木结构具有极高的历史、文化价值,但在其漫长的服役周期中,环境、人为因素导致中国古建筑木结构出现各种形式的损伤。经调研,裂缝是中国古建筑木结构最为常见的损伤形式。中国古建筑木结构裂缝数量多、成因杂、危害大,发展规律难预测。中国古建筑木结构构件采用榫卯连接,裂缝引起的断裂会导致整体结构出现连续性倒塌[1],故目前亟需对中国古建筑木结构裂缝进行监测。

    从其他领域危险裂缝监测案例来看,一般裂缝监测包括危险裂缝识别和危险裂缝生长监测两个步骤。在识别出结构中危险裂缝后,应实时将该裂缝的生长情况反馈给监测人员,方便监测人员根据该裂缝的发展规律判断结构是否需要修缮。但对于大多数中国古建筑木结构,目前仅用人工检测的方式识别和记录危险裂缝。少部分中国古建筑木结构引入了超声波[2]、应力波[3-4]、皮罗钉[5]等无损检测仪器。但是上述裂缝检测方式存在如下弊端:上述方法人力、物力和财力消耗巨大;检测过程存在无法到达的盲区;检测结果误差大,且与检测人员自身专业水平息息相关;检测周期较长,导致其难以反馈结构突发事件,检测缺乏时效性。

    面对中国古建筑木结构裂缝,目前需要设计一种实时、在线、动态、无接触式、无需依赖人工的裂缝监测方法。目前中国古建筑木结构领域没有类似的方法,但近年来桥梁结构裂缝监测领域提出了基于无人机和计算机视觉的裂缝监测系统[6]。通过分析可知,将上述系统用于中国古建筑木结构裂缝监测存在如下问题:1)对于无人机系统,其他领域无人机系统均依赖GPS信号,并自主规划路径[7],对于监测路径可靠性要求极高,且所处环境GPS信号较弱的中国古建筑木结构来说,已有无人机很难对其裂缝进行监测;2)对于相机系统,中国古建筑木结构裂缝监测过程中需使用贴面正摄,拍摄距离和相机广角使得上述过程需引入图像拼接技术,对钢结构和混凝土结构裂缝进行监测时,拍摄距离足够且裂缝较为细小,因此并未使用图像拼接技术[8],用于无人机遥感航拍的图像拼接技术往往可选特征多,拼接精度要求不高[9],同样无法满足本文要求;3)对于图像处理系统,目前裂缝监测图像处理方法多源于钢结构和混凝土结构,这些结构的裂缝像素点占比少,与背景灰度值存在重叠,但与背景和噪声形态不同,因此,研究人员通常使用基于形态的受限玻尔兹曼机(RBM)[10]和深度卷积神经网络(DCNN)[11]提取裂缝信息。但中国古建筑木结构裂缝与钢结构和混凝土结构裂缝差异较大,中国古建筑木结构裂缝像素点占比多,且与背景灰度值差别明显,但存在与裂缝形态相似的木纹噪声,因此目前常用的裂缝提取方法无法直接应用。

    综上所述:首先,介绍了中国古建筑木结构裂缝成因、发展规律和危险裂缝判别条件;其次,分别提出了适合于中国古建筑木结构裂缝监测的无人机系统、相机系统和图像处理系统;最后,利用中国古建筑木结构亭子模型验证本文设计的裂缝监测系统的可行性。本文框架如图1所示。

    图  1  文章框架

    Figure 1.  The article framework

    • 中国古建筑木结构建造年代久远,很多木构件上皆存在裂缝(如图2),而中国古建筑木结构裂缝成因与其他结构(钢结构、混凝土结构)裂缝成因差异较大。中国古建筑木结构原料的生长过程和结构的建造过程均会产生裂缝,尤其是其服役过程,风吹日晒、腐朽虫蛀等环境影响,以及游客、改建等人为影响均会令古建筑木结构产生裂缝[12]

      图  2  中国古建筑木结构裂缝

      Figure 2.  Cracks in Chinese ancient wooden buildings

      裂缝在后续荷载和环境作用下会进一步发展,且因木材的强正交各向异性和复杂的微观构造导致裂缝发展规律极其复杂[13]。在现场很难确定古建筑木结构裂缝何时开始发展以及发展的速度。但因为中国古建筑木结构中的木材水分含量低,裂缝一旦扩展极易出现脆断现象(如图3),局部的脆断也将导致整体结构的连续性倒塌。因此相比于钢结构和混凝土结构,古建筑木结构更需要进行实时裂缝监测。

      图  3  中国古建筑木结构构件断裂

      Figure 3.  Fracture of members in Chinese ancient wooden building

    • 中国古建筑木结构中裂缝繁多,但并不是每一条裂缝的生长都会引起脆断。因此本文设计的裂缝监测系统首先应识别出危险裂缝,即该裂缝继续发展极可能造成构件断裂,识别后对危险裂缝的生长进行实时监测。据《古建筑木结构维护与加固技术规范》[14]《古建筑修建工程施工及验收规范》[15],危险裂缝判别指标见表1表2

      表 1  木梁危险裂缝评价指标

      Table 1.  Evaluation index of dangerous cracks in wooden beams

      编号指标
      梁裂缝1长度l大于等于梁长的1/3;宽度大于10 mm
      梁裂缝2长度l大于等于梁高的1/3;宽度大于10 mm

      表 2  木柱危险裂缝评价指标

      Table 2.  Evaluation index of dangerous cracksin wooden columns

      编号指标
      柱裂缝长度l大于等于柱长的1/3;宽度大于10 mm

      工程人员可依据被监测的中国古建筑木结构情况,对将要达到上述指标的裂缝进行识别,同样作为实时监测对象,使结构存在一定的安全冗余度。

    • 无人驾驶飞机简称“无人机”(unmanned aerial vehicle,UAV),因其使用费用低、飞行安全性高、自然环境适应性好,而被应用于农业灌溉、森林防 火、电力和输油管巡检、灾后评估和建筑物外观检查等领域,但目前国内外并没有研究人员在中国古建筑木结构裂缝监测过程中使用无人机。不同领域需求不同,导致无人机系统设计存在差异,因此本研究设计了适用于中国古建筑木结构裂缝监测的无人机系统。表3展示了本文无人机系统的设计依据及其与目前已有无人机的差别,图4中展示了基于上述要求设计的适合于中国古建筑木结构裂缝监测的无人机系统。

      表 3  中国古建筑木结构裂缝监测无人机系统设计依据

      Table 3.  Design basis of UAV system for crack monitoring of the Chinese ancient wooden buildings

      中国古建筑木结构裂缝监测特点中国古建筑木结构
      无人机系统设计需求
      农业灌溉森林防火电路巡检输油管巡检灾后评估桥梁建筑表面
      工作环境路径狭小、复杂需使用轻小型四旋翼无人机,可直升直降,稳定悬停、姿势转换、小角度转弯×需载重机型偏大×固定翼机型偏大×多旋翼、抗风机型偏大×多旋翼、抗风机型偏大×固定翼机型偏大
      航线规划精确
      唯一
      监测路径精确固定,无需自主优化×××××××
      所用无人机可靠性高具有多重安全保障,侧重确保结构安全×智能避障侧重确保自身
      安全
      ×智能避障侧重确保自身
      安全
      ×智能避障侧重确保自身
      安全
      ×智能避障侧重确保自身
      安全
      ×智能避障侧重确保自身
      安全
      ×智能避障侧重确保自身
      安全
      ×智能避障侧重确保自身
      安全
      需提取梁、柱表面裂缝精确的长度和宽度正直贴面拍摄,以提供精确二维图像,不需携带多个相机×载重灌溉无精确拍摄
      要求
      ×识别火点无精确拍摄
      要求
      ×多相机协同,需提供三维图像×多相机协同,需提供三维图像×多相机协同,需提供三维图像×倾斜拍摄
      需反馈拍照时刻光心与梁柱表面垂直距离飞控需加设超声波元件,利用数传向地面站实时反馈数据并采集,利用OSD模块将图像和数据叠加×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能×无超声波测距功能
      工作环境GPS信号弱(并非完全没有GPS信号)需使用具有INS惯性导航的开源飞控,辅助RTK导航,结合Missonplanner软件中的航线记忆功能,实现航线规划×集成飞控,使用GUSS导航进行航线
      规划
      ×集成飞控,使用GUSS导航进行航线
      规划
      ×集成飞控,使用GUSS导航进行航线
      规划
      ×集成飞控,使用GUSS导航进行航线
      规划
      ×集成飞控,使用GUSS导航进行航线
      规划
      ×集成飞控,使用GUSS导航进行航线
      规划
      ×集成飞控,使用GUSS导航进行航线
      规划
      注:分析了目前各领域民用无人机在中国古建筑木结构裂缝监测过程的适用性,所选均为相应领域常用无人机型。

      图  4  无人机系统示意图

      Figure 4.  Diagram of UAV system

    • 本文设计的适用于中国古建筑木结构裂缝监测的无人机系统与目前已有的其他领域的无人机系统均不相同,其具有如下特点:

      1)该无人机属于轻小型无人机,机身最大对角轴距400 mm,总重量为907 g,能够满足中国古建筑木结构狭小空间内裂缝监测需求;

      2)该无人机为四旋翼,可直升直降、稳定悬停、姿势转换、小角度转弯,能够在复杂的中国古建筑木结构中使用;

      3)该无人机搭设1200万像素(1200万pixels)相机,可正直贴面拍摄,并获取精确的二维图像,用于中国古建筑木结构裂缝宽度和长度确定;

      4)该无人机无需搭载多相机和额外载重,抗风要求低,故成本低。同时,低需求使得该无人机在装载高倍率电池后,能够实现40 min巡航,可满足中国古建筑木结构裂缝监测要求;

      5)该无人机使用适于穿透遮挡物的2.4 G数传元件,能够在存在遮挡物的中国古建筑木结构中实现实时数传,提高航线规划精度,提升无人机飞行可靠性;

      6)该无人机能够获取机载照片拍摄时刻相机光心距离建筑物表面的垂直距离,即通过将超声波元件连接在具有数传的APM飞控上,超声波测距数据通过数传发射到带有接收器的PC端,PC端装载Missionplanner软件,将超声波元件程序嵌入软件后即可读取和采集距离信息,过程如图5所示。

      图  5  无人机系统增设超声波元件

      Figure 5.  Adding ultrasonic components to UAV system

      7)目前其他领域民用无人机多采用集成飞控结合Altizure、Pix4d、DJ1 GS pro、Rockycapture等非开源软件进行航线规划。这些规划软件依赖于GUSS元件,且航线自主优化时,多基于A*算法、D*算法、人工势场法、蚁群算法等[6]。上述方法虽然能够实现航线规划、智能避障和自主优化,但是:1)过于依赖GPS信号,而中国古建筑木结构中GPS信号较弱;2)优化路径以最小耗能,最短路径或最大化避障为指标,很难考虑中国古建筑木结构飞行路径的历史、文化、宗教价值。例如,佛像、珍贵壁画等附近虽有空间,但不宜飞行,而目前无人机系统无法判别飞行路径周围事物的价值。因此目前常用的航线规划方法明显不适合在中国古建筑木结构裂缝监测中使用。

      针对中国古建筑木结构内GPS信号弱的现象,本文设计的无人机系统可通过APM飞控中的IMU(inertial measurement unit)模块实现惯性控制,IMU惯性模块中的加速度器、陀螺仪、电子罗盘、压力传感器可在低GPS信号的环境中获取无人机的姿态、航向、速度、位置等导航参数。另外,中国古建筑木结构裂缝监测航线规划精确固定,故本文放弃目前其他领域民用无人机的航线自主优化功能,出现障碍则选择平稳降落,不进行新航线自主设计,确保结构和无人机自身安全。使用IMU惯性控制元件,辅助以RTK导航,结合Missionplanner软件航线记忆功能,实现精确可靠的航线规划。过程如下:监测人员首先对裂缝监测路径进行调研,确保所选路径能够获取精确的裂缝信息,同时确保无人机在该路径飞行时不会对中国古建筑木结构的历史、文化、宗教价值造成影响。确定路径后,首飞需使用一体化遥控器人工控制无人机飞行,无人机中IMU模块将记录可以描述飞行路径和姿态的数据,并实时通过数传发送至PC端的Missionplanner软件, .kmz和.kml文件可在.tlog文件的基础上创建,文件中包含首飞的所有信息,在低GPS信号的环境中,飞行信息主要来自于IMU惯性控制元件。将上述记录的飞行信息再次输入Missionplanner软件,通过数传传递至无人机,无人机将能执行相同的飞行路线、飞行姿态等,以实现后续无人机自动监测,具体方式见图6

      图  6  Missonplanner软件航线记忆

      Figure 6.  Route memory function of Missionplanner

      8)中国古建筑木结构自身具有极强的历史、文化、宗教价值,故本文设计的无人机具有多重安全保障,能够确保无人机和结构的安全,飞行可靠性好于目前其他领域无人机。安全保障1:加装的超声波元件,能够自动识别小于规定监测距离的障碍。安全保障2:放弃航线自主优化,采用航线记忆的方式进行航线规划。安全保障3:增设一体化遥控器,接收实时图传和数传信号,一旦出现危险能够及时开启人工干预模式。

    • 中国古建筑木结构裂缝监测过程对机载照片的品质要求高,无人机系统需根据拟定路径缓慢飞行,悬停时采集监测裂缝图像,每次采集需正对裂缝拍摄。尽管中国古建筑木结构裂缝监测无人机系统工作环境风速较小,但悬停时仍会受到高速转动的螺旋桨带来的振动影响,使得机载拍摄在相机曝光时间内出现像移,模糊的机载成像会严重影响中国古建筑木结构裂缝监测结果。

      通常采用光学傅里叶调制传递函数(modulation transfer function)衡量无人机悬停状态下机载成像质量[16],表达式如下:

      $$MTF(N) = \frac{{\sin ({\rm{\pi }}\delta N)}}{{{\rm{\pi }}\delta N}}$$ (1)

      式中:δ为快门时间内像移;N为镜头固定参数。上述MTF值越接近1则证明机载照片质量越高。其中,δ是唯一变量,该变量通常采用IMETUM非接触式测量仪获取[8]。根据文献[16]可知,无人机在无环境风影响时,机载相机成像快门1/500 s,成像物距小于4 m时,机载相机的转动和平动像移远小于像元尺寸,不会造成像质的模糊。因为中国古建筑木结构内部空间有限,成像物距往往小于4 m,故本文的无人机系统悬停时获取的机载照片不会出现像质模糊。为直观说明本文的无人机系统获取的机载照片不存在模糊现象。令无人机系统处于悬停状态,正对实验室墙面红色目标物连续拍摄10次。提取红色目标物上边界的像素点个数,结合机载相机像素解析度(mm/pixel)和物距,分别计算10张照片中红色目标物上边界的长度,结果均为10 mm,由此可知本文无人机系统悬停时获取的机载照片没有出现像质模糊现象,过程如图7所示。

      图  7  无人机系统悬停拍摄测试

      Figure 7.  UAV system hover shooting test

    • 在无人机系统满足监测所需精度的基础上,相机系统也应能够提供精度较高的照片。本部分分别介绍了相机系统的畸变矫正过程,像素解析度标定过程和基于特征点的机载照片拼接过程。

    • 无人机搭载的广角相机易出现镜头畸变,这会影响中国古建筑木结构裂缝的监测精度。本部分采用棋盘格配合MATLAB中Camera Calibrator工具箱对机载广角相机拍摄照片出现的桶形畸变进行校正。矫正所用原始图像为不同角度拍摄的9张棋盘格图像(图8(a))。MATLAB中的Camera Calibrator工具箱能够自动检测棋盘格图像的角点,并提取坐标。对提取坐标后的图像进行标定,计算相机的内参和外参,同时修正相机畸变(图8(b))。使用最小二乘法估算实际存在的桶形畸变参数,最后使用极大似然法提高估计精度,矫正平均误差为2.76像素(2.76 pixels),矫正误差见图8(c)

      图  8  机载广角相机桶形畸变修正

      Figure 8.  Barrel distortion correction of airborne wide angle camera

    • 为了实现中国古建筑木结构裂缝宽度与长度尺寸的准确测量,需要获取相机系统的像素解析度(mm/pixel)。像素解析度通常采用下式描述:

      $$J = \frac{a}{{a''}} = \frac{{\left( {l - f} \right)d}}{{fd'}}$$ (2)

      式中:J为像素解析度;a为物体实际尺寸(本文代表实际裂缝长度或宽度);a''为成像的像素数;l为物距;f为镜头焦距;d为相机传感器边长物理尺寸;d'为相机传感器对应边的像素数。

      本节使用传统的平行线测量法,用机载相机对间距为5 mm、10 mm、15 mm、20 mm、25 mm的标准平行线进行多次拍摄,确保机载相机主轴与平行线标定板垂直,并调节拍摄距离从20 cm变化至100 cm,拍摄间隔20 cm。对照片进行畸变矫正后,分别获取相同物距下不同间距平行线的像素解析度平均值,获取像素解析度与物距的关系曲线,如图9

      图  9  像素解析度与物距的关系曲线

      Figure 9.  Relation curve between physical size of pixel and object distance

    • 中国古建筑木结构裂缝监测过程中,无人机系统往往采用贴面正摄的方式获取图像,拍摄距离近、相机广角有限、木结构裂缝长等因素,使得中国古建筑木结构裂缝监测过程中需要引入图像拼接技术,并基于拼接后的机载照片识别裂缝。图像拼接技术的核心为图像配准,目前低计算量,高匹配精度,高鲁棒性的基于特征点的配准方法被广泛应用在无人机领域。特征点配准中特征点提取和特征点匹配方法众多[9],本文需要根据无人机系统获取的中国古建筑木结构裂缝图像特征进行选取和改进。

      使用无人机对钢结构和混凝土结构裂缝进行监测时,因拍摄距离足够且裂缝较为细小,因此并未引入图像拼接技术[8],故在裂缝监测领域并没有适合的参考方法。在使用无人机进行灾后评估和地形测绘时,经常使用图像拼接技术,但这种情况属于遥感航拍。在特征点提取时,湖泊、森林和公路易于提取,故常规的特征提取方法均可适用[9]。中国古建筑木结构裂缝监测时机载照片往往仅为木纹和裂缝,能够提取的特征点较少,影响图像拼接和后续裂缝特征的提取。本文针对上述现象提出一种改进的SIFT特征点提取方法,该方法可以对图像特征点进行增强,且对于图像平移、旋转、缩放变换等具有不变性,对光线变化、仿射变换、拍摄噪声等具有鲁棒性,能够解决中国古建筑木结构裂缝监测机载照片特征点少的问题。为验证本文改进的特征点提取算法的有效性,以本文设计的无人机系统获取的木构件照片为样本,对其进行旋转、缩放和亮度变化处理(即无人机拍摄照片常见现象)。以提取特征点数量和提取时间为指标,比较本文改进的SIFT特征点提取方法和目前图像拼接过程中常用的Harris算法、Moravec算法、SIFT算法。特征点提取效果见图10,本部分仅展示基于原图的特征点提取效果,比较结果见表4。从比较结果可以清晰的看出本文改进的SIFT特征点提取方法,提取时间适中,能够提取更多的特征点,可解决中国古建筑木结构裂缝监测图像特征点少的问题。

      表 4  特征点提取算法比较结果

      Table 4.  Comparison results of various algorithms

      算法本文算法Harris算法Moravec算法SIFT算法
      指标点数时间/s点数时间/s点数时间/s点数时间/s
      原图 7848 2.89 1207 0.32 1419 242.54 7025 2.75
      旋转 7827 2.85 1262 0.32 1410 242.86 7046 2.71
      缩放 2517 0.24 2821 0.01 1757 14.53 2517 0.17
      亮度 11970 2.95 1197 0.33 6530 243.86 10801 2.81

      图  10  特征点提取方法比较

      Figure 10.  Comparison of feature point extraction methods

      特征点提取后需要对特征点进行匹配,灾后评估和地形测绘时无人机获取的遥感图像拼接精度不需达到mm级别,故往往采用基于欧氏距离函数的BBF特征点匹配算法,上述算法会出现误匹配特征点,拼接精度不高,但可满足航拍要求[9]。在中国古建筑木结构裂缝监测过程中,图像拼接精度需要达到0.1 mm,误匹配特征点的出现将极大的降低匹配精度。为满足上述要求,本文在特征点匹配后增加RANSAC算法:1)该算法首先随机选取4对匹配特征点,要求任意3对不能共线,并计算单应性矩阵H;2)计算其余匹配点经过单应性矩阵变换后的对应点位置坐标与实际位置的重投影误差,该误差值涵盖单应性矩阵计算误差和图像点测量误差;3)重投影误差小于阈值则为内点(通过将像素点距离转换为物理坐标距离,对应的物理坐标误差应小于中国古建筑木结构裂缝测量精度,进而确定阈值),否则为外点;4)重复上述步骤(通过置信区间、内点比例、每次所需样本数计算得到可变的迭代次数k,实际迭代次数大于计算值即停止迭代),选取内点最多点集(以重投影误差构造的代价函数值最小),获取最优单应性矩阵H。引入上述算法可以实现机载相片特征点精确匹配。以本文设计的无人机系统获取的机载照片为例,照片首先使用本文提出的改进的SIFT特征点提取方法,以有效匹配特征点数量为指标,比较本文结合RANSAC算法后的BBF特征点匹配算法与基础的BBF算法,比较结果见图11表5。比较结果可充分证明结合RANSAC算法后的BBF特征点匹配算法能够有效剔除误匹配特征点,进而提高匹配精度,将原本的粗匹配转为精匹配。

      表 5  不同特征点匹配方法的比较

      Table 5.  Comparison of different feature point matching methods

      特征点匹配方法左图
      特征点数
      右图
      特征点数
      有效
      匹配特征点
      BBF算法(粗匹配)43144177104
      结合RANSAC算法后的
      BBF算法(精匹配)
      43144177336

      图  11  特征点匹配算法比较

      Figure 11.  Comparison of feature point matching algorithms

    • 本节对图像处理系统中的预处理算法、裂缝提取算法、构件尺寸和构件裂缝尺寸获取算法进行介绍,并使用实验室木构件对上述算法进行验证。

    • 在使用无人机对中国古建筑木结构裂缝进行监测时,原始机载照片存在成像光线不均、拍摄噪声多、图像对比度差等诸多问题,这些问题会严重影响裂缝监测精度。在裂缝提取前对机载照片的预处理十分重要,图12展示了本节所用预处理算法流程。

      图  12  机载照片预处理过程

      Figure 12.  Airborne photo preprocessing process

      灰度变换:将RGB图像转为灰度图降低后续图像处理的计算成本和因颜色复杂带来的噪声,处理结果见图13(b)

      中值滤波:本文在选取滤波方法时,将中值滤波与常用的均值滤波、双边滤波和导向滤波进行了比对,发现中值滤波能够很好的抑制木结构构件裂缝背景中的块状和点状噪声,对裂缝边界保存完好,并无边缘梯度翻转现象,处理结果见图13(c)。值得注意的是,所有的滤波方法均仅能处理点状和块状的噪声,即降低孤立点的尖锐变化,抑制图像矩阵中的突变值,而裂缝和木纹(与裂缝形态相近)无法被筛除。另外,滤波方法虽能对边缘进行保护,但均会造成一定程度的边缘削减。因此在滤波处理后,需引入边缘检测算法。

      边缘检测:寻找相邻的像素灰度差异较大的像素总集,本质是计算图像各点上像素值的变化率,顺着木构件边缘和裂缝方向的灰度值变化柔和,垂直于裂缝边缘和裂缝方向的灰度值变化强烈。本小节选取边缘检测中常见的一阶微分Sobel算子,以增强机载照片中裂缝边缘的响应,处理结果见图13(d)。在选取边缘检测算法时,将一阶微分Sobel算子与常用的一阶微分Prewitt算子和二阶微分Laplacian进行了比对,发现一阶微分Sobel算子能够清晰增强木构件边缘和裂缝边缘,边缘连续性好,可抑制噪声且计算效率高。

      图  13  图像预处理过程

      Figure 13.  Image preprocessing process

      综上,使用灰度化对图像降维简化,使用中值滤波有效的抑制了图像中的点状和块状噪声,使用一阶微分Sobel算子对构件边缘和裂缝边缘进行了增强,但是预处理后与裂缝形态相似的木纹仍存在。

    • 裂缝特征提取是裂缝监测中最为重要的环节。目前已有大量的裂缝特征提取方法用于钢结构和混凝土结构裂缝监测过程中。钢结构与混凝土结构裂缝由荷载、温度、收缩、疲劳等诸多因素引起,这些裂缝在机载照片中占比小(裂缝所占像素点数量极少),甚至和噪声占比相当,大部分机载照片为背景[17-18]。裂缝处的灰度值和背景的灰度值存在重叠,但裂缝的形态和噪声以及背景存在较大差别,如图14(a)图14(b)。因此研究人员通常使用基于形态受限玻尔兹曼机(RBM)[10]和深度卷积神经网络(DCNN)[11]提取裂缝信息。但中国古建筑木结构裂缝与钢结构和混凝土结构裂缝差异较大,中国古建筑木结构裂缝像素点占比多(根据规范宽度大于10 mm的裂缝被关注),且与背景灰度值差别较大,经过预处理后存在与裂缝形态相似的木纹噪声(见图14(c)),木纹噪声和裂缝的灰度值亦存在较大差别。因此目前常见的其他领域基于形态的裂缝特征提取方式无法被直接应用,而基于灰度值的阈值分割可作为提取中国古建筑木结构裂缝的手段。

      图  14  不同结构的裂缝示意图

      Figure 14.  Schematic diagram of cracks in different structures

      阈值分割,即基于各部分灰度差,将背景、木纹噪声和裂缝进行分离。目前常用的阈值分割有迭代式阈值分割、最大熵值法、OTSU法等。因为中国古建筑木结构裂缝特征提取的核心是区分裂缝、背景和木纹噪声灰度值,故本部分基于Hessian矩阵优化了自适应阈值分割法,增强灰度差异的同时自动选取阈值。图像的Hessian矩阵即图像灰度值二阶导数,可描述图像灰度变化梯度。该矩阵为正定矩阵,包含两个特征值λ1λ2,特征值可反映灰度梯度变化情况,若假设λ1较小,则认为λ1代表灰度梯度变化小的方向。对于中国古建筑木结构裂缝背景,灰度值分布均匀,因此任意方向的特征值均很小。中国古建筑木结构裂缝孤立点噪声任意方向特征值均很大。中国古建筑木结构沿着裂缝方向的特征值较小,而垂直于裂缝方向的特征值较大。基于上述结论,引入Rb=λ1/λ2$S = \sqrt {R_{\rm b}^2 - \lambda _2^2}$以及对应的响应函数,可实现木纹、裂缝与背景间的分离,以及增强木纹噪声和裂缝灰度值对比度,具体过程可参考文献[19]。本小节所用的自适应阈值分割算法,首先将完整的图像(M×N)分割成若干个小块(m×n),利用迭代式阈值分割确定每一个小块的最佳阈值T1,将T1与整体图像按照OTSU法获取的阈值T2。如果T1T2,则该子块以阈值T1进行分割;如果T1T2,则该子块以阈值T2进行分割。

      图15中自上而下分别为应县木塔内危险裂缝、佛光寺内危险裂缝、北京交通大学古建筑木结构亭子模型危险裂缝。从图中可清晰地看出本文提出的方法能够很好地抑制背景和木纹噪声,该文清晰地提出中国古建筑木结构裂缝特征,裂缝连贯性好,不存在木纹和背景与裂缝粘连的现象,基于Hessian矩阵优化的自适应阈值分割法适合于中国古建筑木结构裂缝监测。

      图  15  裂缝特征提取方法比较

      Figure 15.  Comparison of crack feature extraction methods

    • 根据《古建筑木结构维护与加固技术规范》[14]《古建筑修建工程施工及验收规范》[15],在确定危险裂缝时,首先需要确定裂缝所在构件的长度和高度。本小节使用OpenCV中cvContourArea函数完成上述过程。为验证该方法可行性,使用其获取实验室木构件(图13)上、下、左、右边界像素点个数,结合图9获取边界长度,结果见表6

      表 6  实验室木构件边界尺寸与构件裂缝尺寸

      Table 6.  Boundary dimension and crack dimension of laboratory wood components /cm

      测量方法试件长度试件宽度长裂缝长度/宽度短裂缝长度/宽度
      计算机视觉34.537.7511.43/0.333.12/0.31
      人工测量34.77.711.5/0.33.0/0.3
    • 中国古建筑木结构构件裂缝往往沿木材纤维方向发展,不会出现类似混凝土结构中无规律蔓延的裂缝。根据规范[14-15],监测人员在获取中国古建筑木结构裂缝长度时,不需引入计算混凝土结构裂缝的基于裂缝骨架的首尾点距离法、骨架相邻点距离法和曲线拟合法[20]。仅需将图像设为K×L矩阵,获取裂缝起点像素点坐标(xaya)和裂缝终点像素点坐标(xbyb),并计算期间像素点个数,结合图9获取裂缝长度,裂缝长度获取结果见表6

    • 中国古建筑木结构裂缝监测时,监测人员需要获取整条裂缝宽度最大位置处的尺寸,步骤如下:

      1)图像可视K×L的矩阵,提取阈值分割后图像中裂缝位置,裂缝位置的像素同样可用矩阵形式表达,整体裂缝可视为M×N的矩阵。选取裂缝矩阵中第i行的第一个裂缝像素点Aij和最后一个像素点Bip,其中i为行数,jp为列数。

      2)获取初测裂缝宽度,公式如下:

      $$D = \frac{1}{M}\sum\limits_{i = 1}^M \left( {p - j} \right)\qquad\quad\quad\;\;\;$$ (3)

      3)以Aij为顶点,向上下各作边长为D的正方形,计算框内各个Bkp到顶点Aij的距离,见图16。像素裂缝宽度为:

      $${d_i} = \min \sqrt {{{\left( {k - i} \right)}^2} + {{\left( {p - j} \right)}^2}} $$ (4)

      图  16  裂缝宽度获取示意图

      Figure 16.  Schematic diagram of crack width acquisition

      4)若iMi=i+1,循环3)的过程。否则得到:

      $${d_{\max }} = \max \left\{ {{d_i}} \right\}$$ (5)
    • 为验证上述无人机系统,相机系统和图像处理系统在中国古建筑木结构裂缝监测过程中的有效性,使用该系统对北京交通大学建立的中国古建筑木结构亭子模型中的裂缝进行监测。

    • 本次监测对象为北京交通大学古建筑结构研究所为服务于中国古建筑木结构健康监测所建立的中国古建筑木结构亭子模型(如图17(b))。此亭子模型以故宫咸福宫井亭(如图17(a))为原型建立,木料选用红松,相似比1∶1,结构构件尺寸和结构构件间的连接形式与原井亭完全相同。亭子模型保留中国古建筑木结构基本组成部分,即台基部分、木构造部分、屋顶部分。该亭子模型保留这些部分的结构功能,而去除美观功能,例如保留斗拱均匀传递荷载,维持空间稳定性的功能,去除斗拱上的漆饰。另外,中国古建筑木结构屋顶多是美观之用,在结构中仅起到为木框架增加上部荷载的作用,故该模型中的屋顶可使用相同重量的钢筋混凝土板代替。因此本文监测对象与中国古建筑木结构形制相同,能够代表真实的中国古建筑木结构,以此亭子模型验证本文提出的系统的有效性是合理的。

      图  17  监测结构示意图

      Figure 17.  Schematic diagram of monitoring structure

    • 为取得高精度照片,无人机系统应尽量靠近中国古建筑木结构亭子模型构件,但由于结构形式复杂,很多情况无人机系统无法满足上述要求,这也是大部分中国古建筑木结构裂缝监测过程中会遇到的问题。根据规范[14-15],中国古建筑木结构梁、柱裂缝宽度限值分别为10 mm和15 mm,因此测量精度至少为1 mm。本系统相机照片分辨率为4032×3024,像素解析度最大值为1 mm/pixel,根据图9计算可知,无人机系统与中国古建筑木结构构件垂直距离不大于1.92 m。为了全面且经常性的对中国古建筑木结构亭子模型中危险裂缝进行监测,使用2.2小节中提出的方式进行航线规划。无人机系统悬停位置应按照相机系统与目标物垂直距离和单张相片最大拍摄面积确定,确保相邻相片间重叠度在40%以上,以保证裂缝图像拼接质量。无人机系统巡航路径如下:1)柱的监测,每根柱子4面均进行拍摄,分别拍摄4个柱,共16个表面;2)梁的监测,4根梁连续拍摄,首先为外部顺时针环绕拍摄,其次为内部顺时针环绕拍摄;3)斗拱的监测,采用与梁相同的方式,分别对8个平身科斗拱和4个柱头科斗拱进行拍摄。中国古建筑木结构亭子模型监测过程如图18所示。

    • 使用无人机系统按照上述路径获取中国古建筑木结构亭子模型机载照片,对获取的照片进行矫正合成和预处理,并在提取裂缝后对图像中构件的边界尺寸和构件中裂缝的长度和宽度进行识别。按照规范给出的限值确定构件中的危险裂缝,以便长期监测危险裂缝生长。上述过程如图19所示,图19(a)所示是柱A裂缝处理情况,柱A位置见图17(b)图19(b)所示是柱B裂缝处理情况,柱B位置见图17(b)图19依次是矫正合成、灰度变换、中值滤波、边缘检测、裂缝特征提取。

      图  18  中国古建筑木结构裂缝监测系统工作过程

      Figure 18.  Working process of crack monitoring system for the Chinese ancient wooden buildings

      图  19  中国古建筑木结构亭子模型裂缝监测结果

      Figure 19.  Monitoring results of cracks in wooden pavilion model of Chinese ancient building

      中国古建筑木结构亭子模型中A柱、B柱边界尺寸和A柱、B柱表面裂缝的长度与宽度监测结果见表7,裂缝编号如图19所示。在表7中,使用人工实测结果验证本文提出方法的准确性。

      表7中可以看出,中国古建筑木结构裂缝监测系统能够精准的识别出危险裂缝。柱A中裂缝1长度已经达到柱高1/3,按照规范[14-15]给出的限值,该裂缝属于危险裂缝。柱A中裂缝2长度和宽度均小于规范[14-15]给出的限值,不属于危险裂缝。柱B中裂缝4长度和宽度同样小于规范[14-15]给出的限值,不属于危险裂缝。柱B中裂缝5和裂缝6宽度均未达到10 mm宽度限值,但长度均已超过柱高1/3,属于危险裂缝。后续将使用本文提出的中国古建筑木结构裂缝健康监测系统,按照上述规划路径对裂缝1、裂缝5和裂缝6进行长期的健康监测,观察裂缝生长情况。此系统自动化性能高,因此裂缝监测周期可以大大缩短,可以将原本几月一次的人工检测,变为几天一次的实时、长期的健康监测。

      表 7  中国古建筑木结构亭子模型裂缝监测结果

      Table 7.  Monitoring results of cracks in wooden pavilion model of Chinese ancient building /cm

      测量方法A柱
      柱高柱径裂缝1长度/宽度裂缝2长度/宽度
      裂缝监测系统196.8124.22179.45/0.8234.89/0.59
      人工测量197.024.0181.5/0.834.6/0.6
      测量方法B柱
      柱高柱径裂缝4长度/宽度裂缝5长度/宽度裂缝6长度/宽度
      裂缝监测系统197.1324.1242.12/0.4976.43/0.7484.15/0.66
      人工测量198.024.041.9/0.577.5/0.784.0/0.6
    • 本文设计了一种基于UAV和CV的中国古建筑木结构裂缝监测系统,该系统包括无人机系统、相机系统和图像处理系统。

      (1)在无人机系统中,本文设计了一款适合于中国古建筑木结构裂缝监测的无人机,该无人机区别于目前其他领域已有的民用无人机。该无人机体量轻小、易于操控、续航持久。使用AMP飞控中IMU惯性控制元件,结合Missionplanner软件中航线记忆功能,实现了中国古建筑木结构(低GPS环境)下高精度裂缝监测航线规划。加入超声波元件实现拍摄过程中相机光心到构件表面垂直距离的获取。将图传、数传、超声波元件、PC端和一体化遥控器结合,为中国古建筑木结构裂缝监测过程提供多重安全保障。

      (2)相机系统中,本文使用MATLAB中Camera Calibration工具箱修正了机载广角相机的桶形畸变。使用平行线测量法获取机载相机的像素解析度。中国古建筑木结构裂缝监测过程受拍摄距离和相机广角等因素影响,需要引入图像拼接技术、特征点提取和特征点匹配技术是图像拼接的关键。针对特征点提取方法,本文提出了一种改进的SIFT特征点提取方法,该方法可对中国古建筑木结构裂缝监测机载相片中特征点进行增强,有效解决了中国古建筑木结构裂缝监测过程中无人机获取机载相片特征点少的问题。针对特征点匹配方法,本文在BBF特征点算法的基础上增加了RANSAC算法,减少特征点误匹配现象,提高了图像拼接精度,使原本“粗匹配”转为“精匹配”,进而提升裂缝尺寸测量精度。

      (3)在图像处理系统中,考虑中国古建筑木结构裂缝监测过程中机载照片的特点,本文引入灰度变换、中值滤波、一阶微分Sobel算子边缘检测对已合成矫正的机载照片进行预处理。考虑中国古建筑木结构裂缝特征,提出基于Hessian矩阵优化的自适应阈值分割算法,有效地将中国古建筑裂缝从背景和木纹噪声中提取。最后应用基于计算机视觉的尺寸测量技术,实现了构件边缘尺寸和裂缝尺寸的准确测量,并通过实验室试件进行了验证。

      (4)通过北京交通大学古建筑结构研究所建立的中国古建筑木结构亭子模型验证上述系统的有效性和准确性。基于设定的巡检路径,本文设计的监测系统能够实现实时、长期的中国古建筑木结构裂缝监测。将中国古建筑木结构裂缝监测系统监测结果与人工测量结果对比,验证了本系统的有效性和准确性。

参考文献 (20)

目录

    /

    返回文章
    返回