LV Shuo-2020, 21010031 - Civil Engineering - Research On Machine Vision Based Looseness Detection Method For High Strength Bolts of Steel Bridges

国内图书分类号：TU746.
2
国际图书分类号：
硕士学位论文
基于机器视觉的钢桥高强螺栓松动检测方法
研究
硕士研究生：XX
导师姓名：XXX
申请学位级别：工学硕士
学科、专业：土木工程
所在单位：土木工程学院
答辩日期：2023 年 6 月
学位授予单位：青岛理工大学
Classified Index：TU746.2
U.D.C：
Dissertation for the Master Degree in Engineering
RESEARCH ON DETECTION METHOD

OF HIGH STRENGTH BOLT LOOSENESS
OF STEEL BRIDGE BASED ON
MACHINE VISION
Candidate: XXX
Supervisor: XXX
Academic Degree Applied for: Master of Engineering

Specialty: Civil Engineering
Date of Oral Examination: June 2023
University: Qingdao University of Technology
硕士学位论文
基于机器视觉的钢桥高强螺栓松动检测方法
研究
学位论文答辩日期：
指导教师签字：
答辩委员会成员签字：
青岛理工大学学位论文独创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的
研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其
他人已经发表或撰写过的研究成果，也不包含为获得青岛理工大学或其它教育机
构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献
均已在论文中作了明确的说明并表示了谢意。
研究生签名：日期：
青岛理工大学学位论文使用授权声明
青岛理工大学、中国科学技术信息研究所、国家图书馆、CDMD 和 DMD 有权保
留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手
段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保
密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内
容。论文的公布（包括刊登）授权青岛理工大学研究生处办理。
研究生签名：导师签名：日期：
青岛理工大学工学硕士学位论文
目录
摘要 ............................................................................................................................... I
Abstract ........................................................................................................................... III
第 1 章绪论 .................................................................................................................1
1.1 研究背景 .................................................................................................................1
1.1.1 钢桥发展现状 ..................................................................................................1
1.1.2 螺栓在钢桥中应用及松动的危害 ..................................................................1
1.2 国内外研究现状 .....................................................................................................2
1.2.1 传统检测方法 ..................................................................................................2
1.2.2 基于传感器的检测方法 ..................................................................................4
1.2.3 基于听觉的检测方法 ......................................................................................5
1.2.4 基于视觉的检测方法 ......................................................................................6
1.3 研究意义 .................................................................................................................8
1.4 研究内容与技术路线 .............................................................................................9
1.4.1 研究内容 ..........................................................................................................9
1.4.2 技术路线 ........................................................................................................10
1.5 本文创新点 ...........................................................................................................11
第 2 章基于深度学习的螺栓关键点识别研究 ...........................................................12
2.1 深度学习理论基础 ...............................................................................................12
2.1.1 卷积神经网络 ................................................................................................12
2.1.2 深度学习经典网络 ........................................................................................14
2.2 数据集构建 ...........................................................................................................16
2.2.1 图像采集 ........................................................................................................16
2.2.2 预处理 ............................................................................................................16
2.2.3 螺栓关键点真实位置标注 ............................................................................17
2.2.4 数据增强 ........................................................................................................17
2.3 螺栓关键点定位方法 ...........................................................................................19
2.3.1 算法原理 ........................................................................................................19
2.3.2 模型训练过程 ................................................................................................21
I
2.3.3 模型评价指标 ................................................................................................24

2.4 消融试验 ...............................................................................................................25
2.5 测试结果可视化分析 ...........................................................................................26
2.5.1 关键点定位试验 ............................................................................................26
2.5.2 光线对比试验 ................................................................................................28
2.6 本章小结 ...............................................................................................................30
第 3 章基于数字图像处理的螺栓松动角度研究 .......................................................32
3.1 引言 .......................................................................................................................32
3.2 螺栓关键点分类 ...................................................................................................32
3.2.1 K-means 聚类算法 ........................................................................................ 33
3.2.2 谱聚类算法 ....................................................................................................34
3.2.3 中心点-角点算法 .......................................................................................... 36
3.3 图像透视矫正 .......................................................................................................37
3.3.1 透视失真原理 ................................................................................................38
3.3.2 透视矫正过程 ................................................................................................39
3.4 螺栓松动角度计算 ...............................................................................................42
3.4.1 角度计算 ........................................................................................................42
3.4.2 编号 ................................................................................................................43
3.4.3 松动角度计算 ................................................................................................44
3.4.4 松动分类 ........................................................................................................45
3.5 试验结果与分析 ...................................................................................................46
3.5.1 聚类算法对比试验 ........................................................................................46
3.5.2 透视矫正试验 ................................................................................................49
3.5.3 角度准确度试验 ............................................................................................50
3.5.4 松动角度试验 ................................................................................................51
3.6 本章小结 ...............................................................................................................53
第 4 章实验室与现场试验研究 ...................................................................................54
4.1 概述 .......................................................................................................................54
4.2 实验室环境测试 ...................................................................................................55
4.2.1 试验准备 ........................................................................................................55
II
4.2.2 不同光照 ........................................................................................................56

4.2.3 不同距离 ........................................................................................................59
4.2.4 不同透视角度 ................................................................................................61
4.2.5 不同清晰度 ....................................................................................................65
4.2.6 螺杆检测 ........................................................................................................67
4.2.7 不同像素数 ....................................................................................................68
4.3 现场环境试验 .......................................................................................................70
4.3.1 不同个数 ........................................................................................................70
4.3.2 螺栓锈蚀 ........................................................................................................72
4.3.3 不同涂装 ........................................................................................................73
4.3.4 模拟松动检测 ................................................................................................74
4.4 无人机可行性试验 ...............................................................................................76
4.4.1 设备参数 ........................................................................................................77
4.4.2 螺栓图像采集方案 ........................................................................................77
4.4.3 结果分析 ........................................................................................................79
4.5 本章小结 ...............................................................................................................81
第 5 章现场螺栓松动实时监测试验研究 ...................................................................82
5.1 工程概况 ...............................................................................................................82
5.2 监测点位选择 .......................................................................................................83
5.3 测试方案 ...............................................................................................................83
5.3.1 方案框架设计 ................................................................................................83
5.3.2 设备选型 ........................................................................................................84
5.4 图像采集与结果分析 ...........................................................................................85
5.4.1 图像采集 ........................................................................................................85
5.4.2 角度识别 ........................................................................................................86
5.4.3 结果分析 ........................................................................................................87
5.5 本章小结 ...............................................................................................................88
第 6 章结论与展望 .......................................................................................................90
6.1 结论 .......................................................................................................................90
6.2 展望 .......................................................................................................................91
III
参考文献 .........................................................................................................................92
攻读硕士学位期间论文发表情况及科研情况 .............................................................98
致谢 .................................................................................................................................99
IV
摘要
螺栓连接是钢结构桥梁中应用最为广泛的一种连接方式。然而，钢结构桥梁
在运营期间，高强螺栓常会受到疲劳荷载、强迫振动等因素的影响，导致螺栓松
脱甚至疲劳断裂，影响结构的安全。传统的螺栓松动检测方法存在受人员的主观
性影响大、危险性高等缺点，而基于传感器的检测方法需要昂贵的测量通道及辅
助的传感器算法，基于听觉的方法也存在泛化性差的缺点，这些方法均无法应对
目前钢结构桥梁中数以百万计的高强螺栓检测需求。近年来，随着计算机硬件和
深度学习理论的发展，利用计算机和摄像机来代替人眼辨别图像特征为解决螺栓
松动识别提供了新的思路。本文针对目前几种主流的螺栓松动识别方法所存在的
成本高、效率低、安全性差等问题，综合运用深度学习和数字图像处理等理论，
基于计算机视觉等先进技术，采用理论分析、方法提出、实验室试验、现场试验
和现场方案构建等相结合的研究方法，构建了基于关键点检测的螺栓松动识别方
法。本文的主要工作内容和结果如下：
（1）基于深度学习理论，提出了一种高精度的螺栓关键点定位识别方法。
首先通过数据增强方法，对原始样本进行扩充，构建螺栓数据集；其次设计并搭
建了以 ResNet-50 为主干的网络模型，使用训练集对模型进行特征定位与训练；
通过消融试验确定了模型训练最佳超参数，并对新训练的模型性能进行评估；利
用新采集的螺栓图片进行关键点定位试验，得到了较小的误差，通过光照试验证
明了模型对光线变化也具有较好的适应性。
（2）基于数字图像处理技术，提出了一种螺栓松动角度识别方法。首先，
利用聚类算法对关键点定位模型输出的点进行分组；其次，采用透视矫正算法对
失真图像进行矫正；然后根据螺栓六个角点存在的关系，推导螺栓角度公式，再
对比两种状态下螺栓角度的变化，计算螺栓松动角度；通过不同聚类方法的对比
试验证明了中心点-角点算法良好分类能力；透视矫正结果表明，该算法可以有效
的对失真图像进行矫正，矫正后的图片与真实状态一致；角度准确度试验表明，
算法识别值与人工量测值的相关度很高；松动角度试验表明，该算法识别出的松
动角度与实际施加的情况非常吻合。
（3）将性能良好的模型和识别效果较好图像处理算法相结合，开展基于实
I
验室和现场的螺栓松动识别的试验研究，分别进行了实验室试验、现场试验及基
于无人机快速巡检的可行性试验。针对实验室试验和现场试验，根据测试结果，
对所有可能存在检测环境都提供算法的适用范围；无人机的可行性试验结果表
明，相较于定点拍摄图片，使用无人机多次对同一目标螺栓群进行拍摄时的角度
误差有一定程度的增大，但误差仍在工程允许范围以内，利用无人机定期对目标
螺栓群进行松动巡检的方案是可行的。
（4）依托实际工程，对可能发生螺栓松动脱落的位置进行增强管控，开展
现场螺栓松动实时监测试验研究。首先在测点安装工业级相机，并与部署算法的
嵌入式主机相连接，形成一体化的螺栓病害实时监测方案；然后对相机捕获的阶
段性图片进行分析，验证了进行现场螺栓松动实时监测的可行性，并给出了现场
监测时的松动角度阈值。
关键词：钢结构桥梁；高强螺栓；深度学习；数字图像处理；关键点定位；螺栓
松动检测
II
Abstract
Bolt connection is the most widely used connection method in steel structure
bridges. However, during the operation of steel structure bridges, high-strength bolts are
often affected by fatigue load, forced vibration and other factors, resulting in bolt
loosening or even fatigue fracture, affecting the safety of the structure. The traditional
bolt looseness detection method has the disadvantages of being greatly affected by the
subjectivity of the personnel and high risk. The sensor-based detection method requires
expensive measurement channels and auxiliary sensor algorithms. The auditory-based
method also has the disadvantage of poor generalization. These methods are unable to
cope with the millions of high-strength bolt detection requirements in steel structure
bridges. In recent years, with the development of computer hardware and deep learning
theory, the use of computers and cameras to identify image features instead of human
eyes has provided new ideas for solving bolt loosening recognition. In this paper,
aiming at the problems of high cost, low efficiency and poor safety of several
mainstream bolt loosening identification methods, this paper comprehensively uses the
theories of deep learning and digital image processing, based on advanced technologies
such as computer vision, and adopts theoretical analysis, method proposal, laboratory
test, field test and field scheme construction. The research scheme of the combination of
research programs constructs a bolt loosening identification method based on key point
detection. The main contents and results of this paper are as follows :
(1) Based on deep learning theory, a high-precision bolt key point positioning and
recognition method is proposed. Firstly, the original sample is expanded by data
enhancement method to construct the bolt data set. Secondly, a network model based on
ResNet-50 is designed and built, and the training set is used to locate and train the
model. The optimal hyperparameters of model training were determined by ablation test,
and the performance of the newly trained model was evaluated. The key point
positioning test was carried out by using the newly collected bolt images, and the small
error was obtained. The illumination test proved that the model also had good
III
adaptability to light changes.

(2) Based on digital image processing technology, a bolt loosening angle
identification method is proposed. Firstly, the clustering algorithm is used to group the
points output by the key point positioning model. Secondly, the perspective correction
algorithm is used to correct the distorted image. Then, according to the relationship
between the six corner points of the bolt, the formula of the bolt angle is deduced, and
the change of the bolt angle in the two states is compared to calculate the bolt loosening
angle. The comparative experiments of different clustering methods prove that the
center-corner algorithm has good classification ability. The perspective correction
results show that the algorithm can effectively correct the distorted image, and the
corrected image is consistent with the real state. The angle accuracy test shows that the
correlation between the algorithm identification value and the manual measurement
value is very high. The loosening angle test shows that the loosening angle identified by
the algorithm is very consistent with the actual application.
(3) Combining the model with good performance and the image processing
algorithm with good recognition effect, the experimental research on bolt loosening
recognition based on laboratory and field is carried out. The laboratory test, field test
and feasibility test based on UAV rapid inspection are carried out respectively. For
laboratory tests and field tests, according to the test results, the application scope of the
algorithm is provided for all possible detection environments. The feasibility test results
show that compared with the fixed-point shooting pictures, the angle error of the same
target bolt group is increased to a certain extent when the UAV is used to shoot the same
target bolt group many times, but the error is still within the allowable range of the
project. It is feasible to use the UAV to regularly carry out loose inspection of the target
bolt group.
(4) Based on the actual project, the position where bolt loosening may occur is
enhanced and controlled, and the real-time monitoring test of bolt loosening is carried
out. Firstly, an industrial camera is installed at the measuring point and connected with
the embedded host of the deployment algorithm to form an integrated real-time
monitoring scheme for bolt disease. Then, the staged images captured by the camera are
IV
analyzed to verify the feasibility of real-time monitoring of bolt loosening on site, and
the loosening angle threshold is given.
Key words: Steel structure bridge; High strength bolt; Deep learning; Digital image
processing; Key point location; Bolt loosening detection
V
第 1 章绪论
1.1 研究背景
1.1.1 钢桥发展现状
钢结构构件相较于混凝土构件的优点众多[1-3]，适应于建设大跨度桥梁。钢结
构构件的截面小，自重轻，质地均匀，这与计算时使用的线弹性假定模型相符
合。现阶段的钢结构构件一般是经工厂预制后再进行现场拼装，步骤简单，现场
施工便捷。目前钢结构的主要连接方式有三种，分别为铆接、焊接与栓接[4-6]。钢
结构构件还具有优越的性能，可以和混凝土进行组合，如钢管混凝土拱、钢筋混
凝土梁等，能够同时发挥两种材料的作用。尽管钢结构构件存在易腐蚀、存在金
属疲劳、价格高等缺点，但随着科学技术的进步，学者们正在逐步解决这些问
题，钢结构桥梁正在迎来新的发展[7, 8]。
纵观世界的钢结构桥梁建设领域，日本的建设水平处于世界一流，截至 2010
年，日本已建成了近万千米的公路桥梁，其中钢桥占据总里程的近 50%，最为著
名的日本明石海峡大桥的建成，为世界特大跨径的悬索桥的建设施工提供了宝贵
的经验。在中国的铁路、公路发展历程中，主要的形式就是钢结构桥梁[4]，钢结
构桥梁的建设起步于 1889 年，20 世纪 30 年代，茅以升设计的钱塘江大桥成为我
国第一座自主设计并建造的钢结构桥梁，从此开始了我国的钢结构桥梁的建设。
近年来，随着我国加大对基础建设的投资，桥梁的建设得到快速发展，我国的钢
结构桥梁建设水平已位于世界前列。据交通运输部统计，截至 2021 年，我国建
成公路桥梁 90 多万座，铁路桥梁 20 多万座，在建和在役桥梁总数居世界首位
，其中钢结构桥梁约占其中的 1%。
[9]
1.1.2 螺栓在钢桥中应用及松动的危害
螺栓连接通常分为普通螺栓连接跟高强螺栓连接，其中，高强螺栓连接[10]是
钢结构桥梁连接的重要方式，由于其具备承载力高、耐疲劳等优异的性能，制作
安装简便和便于拆卸维护等显著优点[11]，使其快速替代了原有的普通螺栓而被广
泛的应用于钢结构桥梁中。高强螺栓在钢结构桥梁中可作为地脚螺栓连接附属结
1
构[12]，可作为桁架之间的连接件[13]，还可作为混凝土板与钢梁之间的连接[14]，如
图 1.1 所示，高强螺栓在钢结构桥梁中大量应用示例。
（a）钢桁架螺栓连接（b）钢混结构螺栓连接
图 1.1 高强螺栓在钢桥中的应用
但钢桥在服役阶段，高强螺栓常常会因为疲劳荷载、振动冲击、强迫振动及
恶劣环境因素的影响而造成螺栓预紧力下降[15]，导致高强度螺栓松动甚至断裂[16-
18]
，给桥梁结构的安全运营带来极大的隐患[19]。螺栓一旦失效，将会导致灾难性
的严重后果和重大的经济损失[20-24]。据国外某高速公司调查显示，在其统计的存
在病害问题的钢桥中，约有三分之一的病害是由于螺栓损伤问题[25]，并且松动是
其主要原因。在 2010 年至 2020 年期间，由于螺栓松动、脱落及养护不及时等因
素，我国已至少发生 40 多座桥梁倒塌事件，造成巨大的经济和人员的双重损
失。
1.2 国内外研究现状
1.2.1 传统检测方法
目前主要的螺栓松动检测方法是检修人员定期对桥梁进行检测，检测人员主
要通过目测、扭矩扳手法、划线标定法、磁条贴敷法和小锤敲击法对螺栓的状态
进行判断[26]。
（1）扭矩扳手法
使用扭矩扳手进行目视检查是目前检测螺栓松动的最常用的方法。如图 1.2
所示，为使用扭矩扳手检测螺栓扭矩。扭矩扳手是通过测量螺栓在紧固状态下的
2
扭矩，进而推算螺栓在拧紧状态下的预紧力，检查螺栓的连接质量。但使用扭矩
扳手时，由于螺母和螺杆之间存在摩擦[27]，很难测定其摩擦力损耗，导致在使用
时取值错误。操作人员的专业性对检测结果的准确性有很大影响，不同操作人
员，检测结果的出入是比较大的。并且实际的钢结构桥梁螺栓数量庞大，少则几
万颗，多则百万颗，采用扭矩扳手进行测量测试时，不仅准确性无法保证，且人
力成本较高，难以满足现阶段大规模螺栓的检测需求。
图 1.2 扭矩扳手测量扭矩和扭矩扳手示意图
（2）划线标定法、磁条贴附法[28]
如图 1.3 所示，为划线标定法和磁条贴附法。划线标定法是在螺栓紧固后，
在螺母与栓杆连接处画一条直线，检测人员通过目视观察划线是否出现错位，根
据错位程度来判定螺栓的松动情况。磁条贴附法是通过磁铁块和环，当松动达到
一定程度后，磁铁块就会因磁力不足而脱落，根据脱落位置来判断结构松动情
况。上述两种方法操作过程简便，但当结构较为复杂且环境较为封闭的情况时，
存在很大的局限性，且不适用于栓杆存在轴向变形的情况。
图 1.3 划线标定和磁条贴附法[28]
（3）小锤敲击法
小锤敲击法是一种较为传统的检测方法，检测人员用手指触摸螺栓，然后用
3
锤子敲击螺栓头，若感受到手指的异常振动，则认为此螺栓松动。该方法相对简
单，但其准确性取决于检测员的经验和感觉，并且检测效率低下。
从以上几种方法可以看出，传统的检测方法主要存在以下几种缺点：一是部
分螺栓所处位置检测人员难以接近，检测人员的安全难以保证；二是螺栓松动的
判断主要依赖检修人员的个人经验[29]，可靠度较低；三是人工检测成本较高，据
美国有关部门统计，每年花费在检修桥梁、公路的人员费用近百亿美元。
1.2.2 基于传感器的检测方法
由于人工检测存在很多的局限性，随着信息电子技术的不断进步，一些学者
提出使用接触式传感器的方法来进行螺栓的松动检测，主要分为 3 种方法：基于
阻抗的方法[30]、模态的方法和导波的方法。
（1）基于阻抗的检测方法
在基于阻抗的方法中，使用压电贴片粘合在螺栓接头上，使用高频电压进行
激励，进而获得反映局部动态的阻抗特征，用以评估螺栓的松动程度。基于阻抗
的方法是在 1995 年首先被 Sun[31]提出，主要用来对钢桁架的节点损伤情况进行监
测，后续的学者在其研究的基础上，针对螺栓的松动监测研究了一些新的方法。
Chen[32]等提出了一种基于统计损伤指数的定量识别松动方法，通过在螺栓上粘贴
压电陶瓷片（PZT）来对螺栓的 EMI 进行测量，根据 PZT 的 EMI 值的变化来判
断螺栓的松动和紧固状态，实验结果表明所提方法在实际应用中具有较大的潜
力。Xu[33]等提出了一种基于压电陶瓷传感器的方法，来检测钢-混凝土复合梁的
剪切连接螺栓松动损伤情况，在钢梁的上翼缘和混凝土板上粘贴压电陶瓷片，用
阻抗分析仪分别检测螺栓在松动和紧固状态下对应的机电阻抗，采用一系列指标
来比较阻抗谱，判断螺栓的松动损伤状态。王丹生[34]等在钢框架节点不同构件表
明粘贴压电陶瓷片，通过测量螺栓松动前后的电导纳的变化来测量螺栓状态。
（2）基于模态的检测方法
螺栓松动状态发生变化时，内部的模态参数也会随之发生变化，基于模态的
检测方法就是将螺栓紧固时的结构模态参数作为基准参数，与测试的参数进行对
比，从而判断螺栓的连接状态。Yang[35]等提出了一种基于包含未知输入的自适应
二次和平方误差的识别方法，并结合降阶有限元模型识别框架结构中螺栓的连接
状态。Sah[36]等提出了一种基于螺栓本身的振动响应检测技术，利用螺栓的横向
4
频率，量化螺栓的张力，根据张力对螺栓的模态进行分析，进而评估螺栓的紧固
程度。罗文峰[37]等提出了一种利用特征参数定量计算螺栓预紧力的方法，通过模
态试验测量不同预紧力下的结构频响函数，拟合预紧力与特征参数之间关系曲
线，进而评估螺栓的连接状态。尽管基于模态的检测方法已取得了不少的研究成
果，但螺栓松动后的振动是非线性的，而结构模态的识别方法是线弹性假设的基
础上进行的，因此使用模态方法进行现场检测时具有很大的局限性。
（3）基于导波的检测方法
基于导波法的检测中，通过使用两个压电贴片，粘合到螺栓接头的不同侧
面，一个用于产生声波，另一个用于收集所产生的波。由于螺栓的扭矩变化会影
响波的传播，因此可以通过分析波的变化来诊断螺栓松动。韩国的 An[38]等提出
了一种基于阻抗和导波相结合的方法，利用从表面贴装压电换能器同时获得阻抗
和导波的信号来提高性能和检测的可靠性，并且在变化的温度下仍能保持较好的
准确性。Zhang[39]等提出一种基于次谐波共振分析的螺栓松动识别方法，采用多
时间尺度方法寻找亚谐波共振现象和亚谐波产生的条件，根据响应谱出现的次谐
波来判断螺栓的连接状态。导波法在理论上可以监测结构连接处的所有螺栓，并
且导波法对复杂的桥梁结构具有更好的适应性。
从以上几个方法可以看出，基于接触传感器的方法在进行螺栓松动损失识别
时有其各自的优势，且正处于不断的发展与完善。然而，大多数基于传感器的方
法需要高精度的仪器和昂贵的测量通道，以及用于补偿环境因素影响的算法，这
对于一个螺栓数量庞大的桥梁结构而言很难实现。
1.2.3 基于听觉的检测方法
螺栓在不同的环境状态下，如果受到动态激励（冲击作用），会产生与自身
健康状况相对应的动态频率特征，因此在螺栓松动检测中也常采用听觉的方法[40-
43]
。Chen[44] 等通过对螺栓连接的风机进行激励，收集风机的脉冲信号和响应信
号，计算频率相应函数，然后从响应信号中提取 6 个时域参数，从频响函数中提
取 14 个特征参数，建立特征集，对螺栓的松动进行判断。Kong 等[45]使用冲击锤
反复敲击螺栓的一个角，选定记录信号的功能谱密度作为信号特征，采用决策树
的机器学习模型来识别信号特征判断螺栓的松动程度，实验结果表明该方法的检
测精度较高，但检测结果很大程度上取决于主体结构和螺栓的类型。Wang[46]等在
5
Kong 的基础上进一步研究，提出一种基于多分形和联合互信息最大化方法，自动
选择敲击产生的声音信号的特征集，然后从特征集中重新选择重要因子训练模
型，减少了分类错误率。卓德兵[47]等通过将采集的声音信号预处理和连续的小波
变化转换为小波时频图，使用轻量级卷积神经网络对小波时频图进行特征提取，
分析时频图的变化来判断螺栓松动，实验结果表明该方法能够在复杂的环境中准
确识别不同松动程度的螺栓，为在现场激励下的螺栓损伤在线识别提供了新思
路。卓德兵[48]等在之前的研究基础上进一步提出了一种新的方法，通过提取环境
噪声和敲击损伤螺栓所释放的声音中的时域和频域特征，使用支持向量机递归特
征消除法选择敏感特征，再使用敏感特征训练支持向量机分类器，对有松动损伤
的螺栓进行识别。并提出一种计算离线数据库中坐标的转向响应功率值，对螺栓
具体的松动位置进行定位。可以看出，基于深度学习的听觉检测方法主要的应用
场景是实验室内，并且检测结果与螺栓材料的性能相关，泛化性较差，在现场进
行大规模检测的可行性有待商榷。
1.2.4 基于视觉的检测方法
在螺栓产生松动时，螺栓将会旋转一定的角度，导致与初始状态的螺栓产生
一定的差异。基于机器视觉的方法[49]就是使用相机拍摄螺栓紧固和松动状态的图
片，使用图像处理、机器视觉等方法对图片进行分析，来评估螺栓的连接状态
[50]
。与上述三种检测方法相比，基于视觉的方法具有以下优势：一是它具有更高
的测量精度和效率，并能适应各种复杂的工程环境；二是它受温度和湿度等环境
因素的影响较小；三是许多结构性损伤可以通过视觉更直观地检测出来。如图
1.4 所示，目前基于视觉的螺栓松动检测方法主要分为两类：角度检测、栓杆检
测。
图 1.4 基于视觉的检测方法[50]
6
（1）基于角度检测的方法
Park 等人[51]提出了一种基于图像处理技术的螺栓松动检测方法，采用图像处
理技术对螺母和拼接板进行分割，使用 Hough 变换和 Canny 边缘检测的方法识别
螺母的旋转角度，通过比较螺栓松动前后的角度来检测螺栓松动。Zhao[52]等使用
单次多类检测器（SSD）识别螺栓，通过定位“bolt”类与“num”类，计算螺栓
角度，可以实现从 0 ~ 360°的松动检测，但最小识别角度为 10°，识别精度仍
需进一步提高。Kong[53]等将了初始状态和振动状态下的图片分别进行了几何特征
匹配和灰度值匹配，将两种状态下的图片进行对齐，若螺栓发生松动，则匹配对
齐的图片之后会有一个差值，根据差值的大小来进行判断，但此方法的缺点是处
理过程比较繁琐，并且对两次拍摄的相机机位要求较高。Huynh[54]提出了一种基
于区域卷积神经网络（RCNN）的螺栓松动检测算法，该算法准确度为 93%，并
在实际桥梁中验证了该算法的准确性，但对已经涂装的螺栓群检测效果较差，在
泛化性上有所欠缺。Pham [55] 等在 Huynh 的研究基础上提出了一种利用合成图
像软件生成数据集来训练模型的方法，利用虚拟软件可以合成各种环境条件下
螺栓样本的优势，减少了收集高质量样本集的时间和成本，加速了合成数据集
在螺栓松动识别领域的检测应用。吴杰 [56] 提出了一种与 Kong 类似的方法，同
样使用图像配准方法，使用算法进行特征点匹配，根据转换矩阵的逆值确定角
度值，但该方法相较于边缘提取法的精度较差。Huynh [57] 等进一步对研究方法
进行改进，提出了一种快速区域卷积神经网络（Faster RCNN）的螺栓松动检测
算法，将检测精度提高至 98.85%，并且该方法还对低亮度的图片表现出高度的适
应性，现场的应用潜力较大。周靖[58]等将灰度阈值分割算法和形状特征筛选算法
相结合，提取图像中的螺栓六边形区域，使用质心点云法计算螺栓角度，通过对
比不同状态下的角度变化来判断松动，但其误差较大，不满足实际应用的精度要
求。Yang[59]等提出了一种两阶段的松动检测框架，将传统的人工扭矩法与深度学
习模型相结合，利用虚拟软件合成图片作为数据集训练深度模型，根据螺栓线条
变化来判断紧固状态，测试表明所提方法取得了检测精度、检测速度的综合优
势，具有很好的实际应用前景。
（2）基于栓杆检测的方法
Cha 等人[60]使用算法提取图片中的螺栓，将螺栓头的水平和垂直长度作为特
征制作了数据集，用其训练了一个线性支持向量机作为分类器，根据栓杆的旋出
7
长度对螺栓的连接状态进行判断。Ramana[61] 等在 Cha 的基础上将维奥拉-琼斯

（Viola-Jones）算法和支持向量机相结合，提出了一种基于视觉的自动检测方
法，对松动和紧固螺栓进行分类，识别精度可达 91%，但该方法需要人为设计特
征，在不同场景下泛化能力较差。Wang 等[62]提出一种基于图像处理技术计算螺
栓头的水平和垂直长度的方法，利用线性支持向量机预测螺栓的松动情况，并通
过在法兰螺栓上书写数字来定位螺栓的当前位置，这种方法需要大量人工标记螺
栓，对于大批量螺栓检测效率较低。Zhang[63]等提出了一种基于 Faster RCNN 的
深度学习算法，使用栓杆的外露长度来定义螺栓松动，识别精度可达 95.03%，并
且能够识别长度仅有 0.5 cm 的松动螺栓，但这种方法只能检测少量螺栓，在检测
大规模螺栓外露不同长度下的实用性较差。Gong[64]等结合深度学习和几何成像理
论，提出了一种检测螺栓松动的方法，采用 Faster RCNN 定位外露的螺栓，使用
级联金字塔网络（Cascaded Pyramid Network，CPN）检测外露螺栓的关键点，计
算螺栓的外露长度，平均检测误差为 0.61 mm，然而，这种方法在检测轻微螺栓
松动效果不佳。
从上述可以看出，以往学者的工作证明了深度学习结合机器视觉在螺栓松动
检测领域的可行性。但现阶段，将基于视觉的方法转化为现场桥梁螺栓连接的健
康检测仍存在很多挑战，在识别精度、识别速度、鲁棒性以及泛化能力等方面还
存在明显不足，无法满足工程中大规模的检测需求。
1.3 研究意义
传统的桥梁高强螺栓进行大规模松动检测时主要是由人工来完成，检测人员
要定期对各个位置进行巡视和检修，检修人员需要携带大量检测设备爬到桥梁的
各个部位进行检测，并且有时需对桥梁所处道路进行临时封锁，造成许多不便。
而在面对一些特殊的桥梁结构时，例如大跨度高墩桥梁、高塔顶部或跨越大峡谷
的桥梁时，常规的检测手段无法满足要求，这就需要研发更先进的检测手段来进
行定量检测。随着计算机硬件和深度学习理论的发展，基于数字图像处理的病害
检测技术能够克服人工费时费力和检测精度不足的缺点，利用基于深度学习的图
像处理技术来代替人眼辨别图像特征，具有可靠度高、成本低和速度快等优点。
并且与现阶段的大规模桥梁检测需求相结合，解决线形、密集、高耸螺栓和关键
节点螺栓难以监测的难题，可大幅度的提高桥梁螺栓松动检测的效率，对于推动
8
桥梁螺栓管养信息化、智能化和标准化有着重要的工程意义。
1.4 研究内容与技术路线
1.4.1 研究内容
本文以复杂环境下的钢结构桥梁中数以百万计的高强螺栓连接松动检测为背
景，针对目前主流的几种螺栓松动识别方法所存在的成本高、效率低、安全性差
等问题，综合运用深度学习、数字图像处理等理论，基于计算机视觉、无人机等
先进技术，构建复杂环境条件下的钢结构桥梁大批量螺栓松动快速识别方法。采
用理论分析、方法提出、模型试验、实验室试验、现场试验和现场方案构建等相
结合的研究方法，对恶劣环境下的螺栓连接松动识别方法进行研究。本文主要的
研究内容由以下四个部分组成：
（1）基于深度学习的螺栓关键点定位识别研究
基于深度学习理论，提出了一种螺栓关键点定位识别方法。首先采集大量高
强螺栓图像，采用数据增强等方法，构建螺栓关键点数据集。其次，设计并搭建
以 ResNet-50 为主干的网络模型，并使用训练集对模型进行特征定位与训练，生
成模型文件；再通过消融试验对模型的最佳训练参数选择；最后为验证方法的有
效性，使用验证集上性能最佳的模型对新采集的螺栓图像进行关键点定位试验和
光线对比试验。
（2）基于数字图像处理的螺栓松动角度研究
基于数字图像处理技术，提出了一种新的螺栓松动角度识别方法。首先设计
了三种聚类方法，对螺栓关键点进行分组；其次，研究了透视矫正算法，对存在
由于相机抖动和偏移导致的失真进行矫正；再通过分析螺栓六个角点存在的几何
关系，推导螺栓角度公式，计算螺栓的松动角度；最后，为评价方法的有效性，
针对每一个部分的主要算法，设计了相应的试验。
（3）基于实验室和现场的螺栓松动检测试验研究
首先将性能良好的模型和识别效果较好图像处理算法相结合，开展基于实验
室和现场的螺栓松动识别的试验研究，对所有可能存在检测环境提供算法的检测
范围；其次，对无人机的快速巡检的可行性进行了试验，通过无人机路线规划，
在有限的资源条件下，完成更多的巡检任务，进而提高钢桥螺栓巡检效率。
9
（4）现场螺栓松动实时监测试验研究
依托实际工程，对可能发生螺栓松动脱落风险的位置进行增强管控，安装工
业级相机，并与部署算法的嵌入式主机相连接，形成一体化的螺栓病害实时监测
方案。开展长时间的定机位监测试验，通过分析相机捕获的阶段性图片，验证进
行现场螺栓松动实时监测的可行性。
1.4.2 技术路线
本文的主要的技术路线如图 1.5 所示。
图 1.5 技术路线图
10
1.5 本文创新点
（1）基于机器视觉的螺栓松动检测方法具有高精度、高效率及环境适应性
好等优点，已成为国内外的研究热点，但目前国内外基于机器视觉的螺栓松动检
测方法一般采用提取螺栓的六条边缘来计算松动角度，对图片质量要求较高，存
在许多不足，并且基于关键点的检测方法也鲜有研究。受人脸关键点检测方法启
发，本文创新的将关键点检测算法与螺栓松动问题关联起来，提出了一种基于位
置感知的关键点定位算法，利用高召回率的卷积神经网络定位图像中螺栓关键点
的位置，以回归热力图的形式来输出螺栓关键点的坐标，实现高鲁棒性和像素级
的识别精度，为机器视觉在螺栓松动检测中的应用提供更全面的研究。
（2）本文基于数字图像处理技术，创新地提出了一种新的透视校正算法。
与当前主流算法相比，所提方法无需预先获取失真图像，而是直接拟合失真图像
中的最小外接矩形，计算变换矩阵，对图像进行校正。所提方法避免了实际应用
中对图像进行矫正时的繁琐步骤，推进了基于视觉的螺栓松动检测方法在工程中
的应用。
（3）在目前主流的基于视觉检测中，常采用先目标检测后分割的方法来确
定图片中的单个螺栓，这种提取过程比较繁琐，并且在对比同一螺栓角度变化
时，常会因为两次螺栓的编号不同而导致松动角度计算错误。受传统聚类方法的
启发，本文创新地提出了一种螺栓分组方法，直接融合两张热力图，利用中心点
确定六个角点，并引入异常值处理算法，提高了螺栓分组的准确性，在聚类完成
后，又提出一种螺栓编号方法，将螺栓中心点的二维坐标映射为一维，根据一维
坐标值的大小确定每个螺栓的序号，降低了螺栓错误对比的情况。
11
第 2 章基于深度学习的螺栓关键点识别研究
2.1 深度学习理论基础
深度学习（Deep learning）[65]作为机器学习[66]的一个重要分支，是在人工神
经网络的研究中产生的，通过模拟人类大脑的工作机制，建立深度的神经网络，
在文本、语言和图像等数据中学习特征，其概念是由加拿大 Hinton[67]和他的学生
于 2006 年首次提出。如图 2.1 所示，为传统的神经网络模型，其主要由输入层、
隐藏层及输出层组成，每一层由大量的神经元组成，输入层上的神经元接受输入
信息并进行处理后传递到隐藏层；隐藏层主要是对输入的信息进行特征提取；输
出层对隐藏层输出的权重和偏置进行调整，然后输出最终的结果。通过多层处理
将低层次的信息进行组合，形成更抽象的高层信息来表示数据的特征分布。
图 2.1 传统神经网络模型
2.1.1 卷积神经网络
卷积神经网络[68]（Convolutional Neural Networks,CNN）作为深度学习的代表

算法之一，是一种前馈神经网络，能够以卷积结构从数据中提取特征，专门用于
处理类似网络结构的数据，例如时间序列和图像数据。卷积神经网络[69]是在传统
的神经网络上发展而来，在图像识别方面，卷积神经网络主要有四大任务：分
类、定位、检测及分割。
（1）网络结构
卷积神经网络采用局部连接和权重共享，使用较少的参数简化训练流程，使
得模型的训练的复杂度得以下降。使用卷积层和池化层对图片进行特征提取，解
12
决了传统神经网络难以识别特征之间微小差距的问题。卷积神经网络的结构如图
2.2 所示，主要由卷积层、池化层和全连接层组成。
图 2.2 卷积神经网络结构示意图
（2）卷积层
卷积层是卷积神经网络的基础模块，其主要作用是对输入网络的图像特征进
行提取。卷积层的运算过程如图 2.3 所示，卷积核在图像上按照 3×3 的固定像素
进行从左上到右下进行滑动，将图中每个滑动扫过的位置与卷积核内的数值进行
相乘，然后求和，最终得到一个激活图。卷积核在图像上滑动过程称为特征映
射，在映射过程中，卷积核个数越多，则特征的维度保持的越好，节点矩阵越
深，则通过神经网络提取的特征更加抽象。卷积过程中得到的激活图的大小可由
下式进行计算：
N  f  2p
n 1 (2.1)
s
式中， n 为卷积后输出的激活图的大小， N 为输入卷积层的图像尺寸， f 为卷积
核的尺寸， p 为填充的值， s 为步长。
图 2.3 卷积运算过程
（3）池化层
卷积层在训练过程中，会产生大量的对特征提取意义不大的信息，多余的信
13
息将会降低模型的训练速度，因此，为了减少这些信息，一般在卷积层后面加入
池化层，进行池化操作。如图 2.4 所示，池化操作主要分为两种：最大池化、平
均池化。最大池化是将视野中的最大值作为对应位置的最终值；平均池化是将视
野中的所有值进行平均，然后作为对应位置的最终值。
图 2.4 最大池化和平均池化示意图
（4）全连接层
全连接层的作用是将最后一层的卷积输出的所有的特征进行联合，然后将其
输出的结果导入分类器中进行分类，从而得到最终的结果。
（5）激活函数
激活函数位于卷积层后面，是用于确保网络的非线性。激活函数其主要的作
用是决定网络中神经元是否被激活，它将输入的数据进行非线性变换，并将得到
的数据作为下一个层的输入数据，反复循环，直到输出最终的信息。常用的激活
函数主要有以下几种：Sigmoid 函数、tanh 函数、ReLU 函数等。
2.1.2 深度学习经典网络
随着卷积神经网络的发展，许多性能优异的神经网络模型被提出，例如
AlexNet、VGGNet、ResNet 等。
（1）AlexNet
为了解决图像的分类问题，Alex 等人提出了 AlexNet[70]网络，并在 2012 年的
ImageNet 比赛中获得冠军。如图 2.5 所示，为该网络的结构图，共有八层，包含
五个卷积层和三个全连接层。AlexNet 首次成功的在卷积神经网络上利用了 ReLU
14
函数、Dropout 和局部响应归一化[71]。使用 ReLU 作为 CNN 的激活函数，缓解了

网络深度时梯度消失的问题；在最后几个全连接层中使用 Dropout，避免了一些
过拟合问题；在卷积层中，使用重叠的最大集合来进行特征提取，采用 3×3 的
最大池化层，避免了平均池化造成的模糊效果；在训练时采用了两种数据增强的
方法，提高了模型的泛化能力。
图 2.5 AlexNet 模型结构图
（2）VGGNet
VGG 网络[72]是在 AlexNet 之后被提出的，并在 2014 年 ImageNet 的比赛上获
得了第一名，它的提出证明了增加网络的深度可以在一定程度上提高网络的最终
性能[73]。VGG 网络有多种经典的结构，如 VGG-11、VGG-16、VGG-19，其是以
网络的层数进行命名，如图 2.6 所示，为 VGG-16 的网络结构图，VGGNet 网络
通过使用 3×3 的卷积核进行组合来代替 5×5 的卷积核，组合后的小核具有相同
的感受野，但参数量减少了 45%，与大核相比具有更多的非线性变化，组合的性
能也优于大尺寸的卷积核。
图 2.6 VGGNet 模型结构图
（3）ResNet
从理论上看，深层网络的性能是优于浅层网络的，因为深层次的网络可以充
分的提取更加复杂的特征。然而，随着网络深度的增加，容易出现梯度消失或梯
15
度爆炸的情况，导致网络难以收敛，并且训练的准确率下降。因此，何恺明[74]等
在 2015 年提出了 ResNet 模型，它通过捷径连接。大量实验表明，由于梯度可以
直接通过捷径进行传递，能够有效的缓解深度神经网络中的梯度消失问题，并且
不会产生退化。ResNet 模型的基础块如图 2.7 所示。
图 2.7 ResNet 模型基础块
2.2 数据集构建
2.2.1 图像采集
数据集的数量和质量直接影响深度学习模型定位螺栓关键点的精度。目前，
基于深度学习的螺栓松动检测研究相对较少，且没有公开的螺栓数据集。为了验
证本文提出的方法识别螺栓松动的能力，本研究使用了自制的数据集。数据集中
所有原始样本均来自浙江省十几座钢桁梁桥。通过对浙江省大部分桥梁的实地调
查，利用单反相机、智能手机、工业相机和无人机等设备进行现场拍摄，获取了
大量螺栓图像，同时在实验室拍摄了大量不同环境下的螺栓样本图像，经统计，
总共有 4000 张原始样本。
在对螺栓原始图像进行整理后，删除了由于拍摄模糊、拍摄角度过大以及拍
摄时遮挡等原因造成的低质量螺栓图像，最终保留了约 2000 张图像样本。
2.2.2 预处理
由于采集图片时所采用的拍摄设备不同，导致原始的螺栓样本图像的分辨率
大小不一，并且收集到的图像中，螺栓所在区域在图像中的占比相对较小。直接
将图片作为输入，网络的计算量较大，并且背景的无关区域将对螺栓关键点的定
16
位识别造成一定影响。因此在训练模型前，需要根据螺栓所在位置进行裁剪。对
采集到的原始图像进行预处理，提取图像的感兴趣区域（ROI）。同时，为了提高
模型的训练速度，对图片尺寸进行归一化，将所有图片统一裁剪缩放为 1024×
768 像素，图片文件存储为 bmp 格式。螺栓原始样本的裁剪压缩过程如图 2.8 所
示。
图 2.8 原始图像裁剪压缩过程
2.2.3 螺栓关键点真实位置标注
为了保证模型能够准确的对螺栓关键点进行点到点的监督学习，需要对每张
样本图片中的螺栓关键点真值进行标注，对获得的 2000 张 1024×768 像素大小符
合要求的清晰螺栓样本图片标注标签。使用图像标注软件 Labelme 对裁剪后的样
本图像中的角点与中心点标注真实位置，同时给中心点和角点分配不同标签，并
将标注信息转换成 xml 格式，制作样本集。图 2.9 为使用标注软件标注关键点示
例。
图 2.9 标记螺栓关键点真实位置
2.2.4 数据增强
2000 张原始图像对于人工来讲，整理筛选的工作量很大，但是对于深度学习
17
模型的训练来说，样本量是远远不够的。为了提升深度学习模型训练集的数量，
保证训练时螺栓样本的复杂度与多样性，避免模型在训练时出现过拟合现象，无
法训练出合格的实验模型 [65] ，一般采用数据增强方法对已有的样本数据进行扩
增。数据增强能够大幅度增加样本数量，提升模型的识别性能，使得整个模型对
于各种环境条件下的螺栓群图片均具有较好的适应性。理论上，训练样本的数量
越多，训练出的模型泛化性更好。模型的常用数据增强的方法主要有两种：基于
样本变化的数据增强和基于深度学习的数据增强。
本文在 2000 张螺栓标签图片的基础上，采用文献 [75]中数据增强方法来扩增
数据集。对螺栓样本采用的数据增强方法主要包括 5 种：图片翻转、平移、任意
对比度处理、模糊处理、随机删除图像 patch。由于实际工程拍摄的图片中存在多
种噪声，且这些噪声是随机的、独立的像素，为增加样本的不确定性，对处理后
的螺栓照片引入随机高斯噪声 [76] 。图 2.10 为数据增强后的部分现场螺栓样本图
像。经过数据增强后，试验螺栓样本数量扩展了 6.8 倍，样本数量由 2000 张扩充
至 13647 张。其中，桥梁现场螺栓样本 10832 张，实验室样本 2815 张。随机从数
据集中选取 10918 张（80%）作为训练验证集，剩余 2729 张（20%）作为测试
集。训练集用于训练模型，验证集用来选取最佳模型，测试集中未参与训练的样
本用于对最终模型进行评估。
（a）原始图片（b）对比度处理（c）随机删除 patch 处理
（d）添加黑噪声（e）添加白噪声（f）模糊处理

图 2.10 数据增强示意图
18
2.3 螺栓关键点定位方法
2.3.1 算法原理
螺栓关键点定位网络是用于检测螺栓关键点在图像中的具体位置，为后面角
度计算提供准确的位置信息。考虑到卷积神经网络（CNN）对位置具有较强的敏
感特性，本文采用一种基于卷积神经网络回归热图（Heatmap）的方法代替传统
直接回归关键点坐标的方法来预测螺栓关键点的位置。目前这种方法在人脸关键
点检测[77-79]、人群计数[80]和坑槽检测[81]等领域应用广泛。在评估各种网络的综合
性能后，参照一种原用于人体姿势估计（Simple Baseline）的网络 [80] 结构来设
计，在其基础上对螺栓关键点定位网络进行改进。图 2.11 为关键点定位网络结
构，这个网络与目前主要的基于热力图回归关键点坐标的 Hourglass 和 CPMs 模
型相比[78]，结构较为简单，整个结构主要由特征提取模块和上采样模块两个子网
络组成，不包含重复模块，充分的避免了代码的复杂冗余。
图 2.11 关键点定位模型
其中，特征提取模块主要是用于对输入的螺栓图像进行特征提取，可以基于
VGG、ResNet 和 YOLO 等结构。相较于其他两个网络模型[82]，ResNet 网络模型
能够在更少的训练周期(Epoch)下，获得较好的性能，因此，在不加特殊说明下，
特征提取模块基于 ResNet50 模型。上采样模块主要是对特征图进行放大，即对特
征图像尺寸进行还原。一般有三种常用的方式[79]，如上池化、插值法和反卷积层
的方法。上池化是在最大池化时先保留最大值的位置信息，然后在进行上池化
时，只对先前的最大位置处赋值，将其他位置直接填充为 0。但这种方法的参数
变得稀少，难以训练出好的结果。而插值法主要是通过关键点周围的像素来预测
19
其关键点像素，并且需要人为选择插值方法，不具有自动适用各种图像的能力。
与以上两种方法相比，反卷积是通过将卷积与上采样这两种操作相结合，具有专
门学习参数的网络层，通过持续的训练和调整优化参数来进行上采样。因此，本
文的上采样模块由几组反卷积层组成。在文献基础上[80]增加一组反卷积层，共四
组反卷积层，每个反卷积层均是由 256 个具有 4×4 内核的过滤器组成，填充为
1，步长为 2。图 2.12 为螺栓关键点定位算法的处理流程。
图 2.12 螺栓关键点定位算法处理流程
由图 2.12 可知，首先，将输入模型的图像分辨率设定为 1024×768，经过特

征提取模块的四次提取后，ResNet-50 中的 C5 模块最后输出特征图相对输入缩小
64 倍，四层残差层输出的图片分辨率分别为：256×192、128×96、64×48 和 32
×24；再采用四个具有批量归一化[83]和 ReLU[70]激活函数的反卷积层对图片进行
上采样处理，将特征提取模块得到的低分辨率特征图恢复至高分辨率的特征，实
现从低分辨率到高分辨率的特征融合，在每次进行反卷积操作后，特征图均会放
大四倍，四次反卷积操作后输出分辨率分别为：64×48、128×96、256×192 和
512×384。最后在网络的末端添加一个 1×1 的卷积层，将网络的通道调整为 2，
分别生成 k 个螺栓角点预测热力图 Gd 1 和中心点的预测热力图 Gd 2 。模型结构的具
体参数见表 2.1。由于基于热力图回归的螺栓关键点检测，网络输出的是热力
20
图，所以需要对网络输出的数据进行一个后处理，实现热力图到螺栓关键点数值
坐标的转换。本文采取的处理方式是使用 argmax 函数，即认为热力图中概率最
大的位置为网络预测的螺栓关键点位置，输出所有关键点概率最大处的二维坐标
( xi , yi ) ，具体求解公式为：
pos x , y  arg max p Gk ( p ) (2.2)
式中， posx , y 为第 p 个关键点最大值位置处的坐标， Gk ( p ) 为热力图中第 p 个关键
点。值得注意的是，若模型未检测到关键点，则直接输出原始图像，不进行后续
处理。
表 2.1 关键点定位网络模型结构
卷积层结构通道数图像尺寸

卷积层 1 7  7卷积，步长2 64 1024×768
3  3最大池化，步长2
11卷积，64通道 
残差卷积层 2   256 256×192
3  3卷积，64通道   3
1 1卷积，256通道
 
1  1卷积，128通道 
 
残差卷积层 3 3  3卷积，128通道  3 512 128×96
1  1卷积，512通道 
 
1 1卷积，256通道 
 
残差卷积层 4 3  3卷积，256通道   3 1024 64×48
1 1卷积，1024通道
 
1 1卷积，512通道 
 
残差卷积层 5 3  3卷积，512通道   3 2048 32×24
1 1卷积，2048通道
 
反卷积层 6 4  4卷积, 步长2 256 64×48
反卷积层 7 4  4卷积, 步长2 256 128×96
反卷积层 8 4  4卷积, 步长2 256 256×192
反卷积层 9 4  4卷积, 步长2 256 512×384
输出层 10 1  1卷积, 步长1 2 512×384
2.3.2 模型训练过程
（1）实验环境
表 2.2 为模型训练的软件与硬件配置，计算机硬件是一台带有 40 核的 Intel
Xeon Silver 4210R 处理器、64G 运行内存、1TB 的固态硬盘、2 块 Nvidia GeForce
GTX3090 独立显卡的惠普台式工作站，主频 40Ghs。模型采用 Python 语言编写，
21
利用了 TensorFlow 开源深度学习框架，并在 Ubuntu18.04 操作系统上运行。
表 2.2 试验软硬件配置
名称试验软硬件配置
操作系统 Ubuntu18.04 操作系统
编程语言 Python3.8
深度学习 API Keras
CPU Intel Xeon Silver 4210R
GPU Nvidia GeForce GTX3090
Cuda Cuda-11.0
（2）热力图的生成
整个模型是通过训练来回归螺栓关键点的位置，但所采用的回归方法与传统
直接回归关键点坐标 ( xi , yi ) 的方法有所不同，本文所采用的是基于卷积神经网络
回归热力图（Heatmap）的方案，通过热力图回归螺栓关键点位置。因此，在训
练关键点定位网络前，首先需要根据图像中的螺栓关键点生成相应的热力图。由
于图像中螺栓关键点分布相对规律，可以采用二维高斯生成关键点的真实
（ground-truth）热图，二维高斯分布的概率密度函数可由下式计算：
( x  1 ) 2  ( y   2 ) 2
1
f  x, y   e 2 2
(2.3)
2 2
式中， f  x, y  为高斯值， ( x, y ) 为二维高斯分布的横纵坐标， 1 、  2 为均值， 
为协方差。
根据二维高斯分布函数可绘制高斯曲线，将高斯曲线投影到二维平面，则每
个位置的像素值作为概率值，即热力图（heatmap）。本文所收集的所有螺栓样本
图片均需要生成两张高斯热力图，分别为角点热力图和中心点热力图，如图 2.13
所示。本文定义输入模型的图像为 L ，图像 L 中所有关键点的中心点坐标的集合
为 TL ，则真实值的热力图 DL  R H W 为：

DL  t    L N t ;T ,  2L   (2.4)
式中，  表示空间对应像素点的最大与操作， N N  t ;T ,  2  表示以 t 为中心的二  

维高斯分布。
22
（a）角点的高斯曲线（b）角点热力图
（c）中心点的高斯曲线（d）中心点热力图
图 2.13 螺栓关键点热力图示意
（3）模型训练
模型训练过程中采用监督学习方法，使用 ImageNet 数据集的预初始化来加速
训练速度和提高训练性能。参照文献方法 [84] ，在训练过程中使用随机旋转（-
30°，30°）、随机平移（-40，40）和随机缩放（0.75，1.5）的数据增强来裁剪
输入图像。选用 Adam[85]作为优化器，采用动态学习率，初始值设置为 0.001，在
训练的第 15epoch、30epoch、60epoch、90epoch 学习率衰减 20%，150 个周期后
停止。考虑到显卡性能影响，小批量（mini-batch）大小设置为 24。损失函数选
择 MSE 损失函数，可由下式计算：
1 2
G Wa  des   G  L ;W   D t  
N
a i a i (2.5)
N i 1
式中， Ga  Li ;Wa  是关键点定位网络的预测热图， Wa 是训练参数集， Li 是输入的
图像， N 是训练的样本数量， Di (t ) 为关键点实际热力图分布。
为了得到精度和泛化能力更好的模型，需要在模型训练过程中监控训练集和
23
验证集损失，将模型的损失函数进行可视化。模型训练过程中的训练集与验证集
损失曲线如图 2.14 所示。从图 2.14 可以看出，损失函数在前 20 个 epoch 下降最
快，当迭代到 40 个 epoch 时开始收敛，随着迭代次数的增加，训练集与验证集的
损失值逐渐减小，在 140 个 epoch 时趋于稳定，训练集的损失函数值在最后一次
迭代中降低到 0.0018，表明模型已经完全收敛，模型的识别效果也趋于稳定，此
时模型具有较高的识别精度。因此，在设定的训练期数下，本文所开发的模型已
具备识别螺栓关键点的能力。
图 2.14 训练过程中的损失函数曲线
2.3.3 模型评价指标
螺栓关键点定位检测中，选用正确关键点百分比（ PCK ） [86] 与准确率
（ACC）作为评价指标来评估模型定位角点的精度与识别能力，同时引入单张图
片的检测时间 t 来评价模型的识别速度。其中，PCK 与 ACC 可分别由式与式进行
计算：
 di 
 d
i def
 Tk    vi  0 
PCK   i  (2.6)
 i   vi  0 
Scorrect
ACC  (2.7)
Stotal
式中， i 为关键点序号；  为克罗内克函数； d i 为模型检测到的第 i 个关键点与真
实值中第 i 个关键点之间的欧式距离； didef 为输入图片的长； Tk 为阈值，本文设
24
置为 0.005； vi 为第 i 个关键点可见性； Scorrect 为成功检测 7 个关键点的螺栓个
数； Stotal 为所有螺栓个数。
2.4 消融试验
由于关键点定位模型主要是用于对螺栓关键点的位置进行捕获，为进一步计
算螺栓角度提供准确的位置信息，所以需要关注像素级别的精准定位，因此 Tk 设
置为 0.005。首先研究超参数-协方差  对关键点定位的影响。采用四折交叉验证
的方法对超参数  进行取值，分别取   1 、   2 、   3 。如图 2.15 所示，为
设置不同协方差  下测试集的检测效果图。从图中可以看出，设置   1 时，存在
未能识别的关键点；   2 所有关键点都被成功的识别出，且 Acc 较高；但当设
置   3 时，相邻关键点存在部分重合的现象，分析其主要原因是由于设置输入模
型图片的分辨率较小，而图片中螺栓较多，导致每个关键点的分配的像素只有几
个像素（pixels），而高斯因此存在关键点重合现象。针对此种情况，可以将螺栓
样本图片进行切割，多次识别，也可以使用高斯平滑滤波器来降低热力图的噪
声，通过设定的阈值，按照真值的最大值 10 ~90%进行区域切割。
将验证集结果整理见表 2.3，PCK 分别为 96.3%、98.6%和 92.3%，协方差在
  2 时，模型取得了最好的性能。因此，在标准差   2 的高斯函数生成螺栓关
键点的真实标签，训练关键点定位模型。将训练好的模型在未参与训练的测试集
中进行评估，模型取得了 PCK 为 97.9%、准确率（ACC）为 98.1%的结果。从测
试集数据上看出，关键点定位模型的 PCK 较高，但准确率较低，这表明模型输出
结果中存在未能识别的螺栓关键点（即此类的螺栓样本集较少），这种情况可以
通过后期调整训练的超参数或者增加此类样本集数量重新训练模型。同时，关键
点定位目标的错误率仅存在 2.1%，精度较高，错误率占很小的比例，对模型检测
关键点的性能影响较小，可以满足后续计算的要求。
表 2.3 标准差对关键点定位模型的影响
标准差  PCK/%
1 96.3
2 98.6
3 92.3
25
（a）测试集原图（b）   1 效果图
（c）   2 效果图（d）   3 效果图
图 2.15 不同标准偏差  模型验证集测试图
2.5 测试结果可视化分析
尽管验证集已对模型的性能进行了测试，但是测试样本远远不够，为了将对
比实验中验证集测试效果较好的模型综合性能进行测试，特设计了两个实验，分
别为关键点定位试验和不同光线下鲁棒性试验。
2.5.1 关键点定位试验
在实验室和现场收集了 100 张螺栓图片，新收集的螺栓图片未参与模型的训

练和验证，这些图片主要包括不同涂装、不同光线、螺栓正面及螺栓背面等。使
用关键点检测模型对新采集的图片进行测试，为了直观的对关键点的位置进行示
意，将识别图与原图进行重叠，螺栓部分关键点检测结果见图 2.16，图 2.16
（a）从左到右依次为螺栓原图、螺栓角点映射图、螺栓中心点映射图。
26
（a）图片一
（b）图片二
（c）图片三
图 2.16 螺栓关键点检测结果
从图 2.16 可以看出，三张图片中无论是螺栓背面还是螺栓正面，算法的识别
效果较好，中心点和角点均能准确的与实际的位置相对应。为了进一步准确的对
模型的定位能力进行评价，人工对螺栓的关键点进行标注，与模型识别的位置进
行对比。对人工标记的关键点的坐标进行提取，并与模型输出的关键点坐标位置
整理至表 2.4，表 2.4 为其中 6 颗螺栓的对比结果，可以看出，模型识别的位置与
真实位置像素点差别不大。计算标记点与识别点的像素距离，整理至表 2.5，从
表中可以看出，角点的在 0.85 像素~1.89 像素之间，误差较小，几乎可忽略不
记，中心点的距离则较大，4.59 像素~6.28 像素之间。所有螺栓的 PCK 和 Acc 见
表 2.6，从表中可以看出，中心点和角点的两种关键点的 PCK 和 Acc 均取得了较
27
好的成绩，PCK 分别为 87.5%和 98.6%，Acc 分别为 98.7%，97.9%。

从整体上看，相较于中心点，模型定位角点的能力优于中心点，这是因为角
点的特征较为明显，而中心点的特征不够明显，每个人对其定义也不同，因此在
标注模型的训练集时，会有一点的差异，导致模型学习中心点特征时不像角点那
样准确。
表 2.4 坐标对比结果
编号 1 2 3 4 5 6 7 8
模角点 1x 830.8 677.3 813.2 332.1 442.7 207.3 480.3 484.6
型角点 1y 132.1 182.9 312.5 349.9 384.3 424.8 446.2 584.6
人角点 1x 830 676 814 332 442 206 480 484
工角点 1y  132 184 312 350 384 424 446 584
模角点 2x 816.5 661.8 793.2 311.1 426.1 190.7 467.7 465.0
型角点 2y 119.5 173.4 311.4 348.4 371.7 413.7 430.8 580.3
人角点 2x 814 660 792 312 426 188 468 464
工角点 2y  118 172 310 348 372 412 430 580
模中心点 x 812.5 659.5 803.1 319.5 422.4 186.9 459.7 469.0
型中心点 y 130.5 185.4 322.9 360.1 383.7 427.4 442.1 594.3
人中心点 x 810 658 801 319 422 187 458 469
工中心点 y  136 191 327 365 390 432 447 599
表 2.5 人工标记与模型识别距离结果
编号 1 2 3 4 5 6 7 8
角点 1 /像素 0.85 1.72 0.90 0.17 0.71 1.51 0.29 0.86

角点 2 /像素 1.89 2.26 1.85 1 0.30 3.16 0.82 1.06
中心点/像素 6.06 5.81 4.62 4.98 6.28 4.59 5.25 4.71
表 2.6 关键点定位结果
名称 PCK/% Acc
中心点 87.5 98.7%
角点 98.6 97.9%
2.5.2 光线对比试验
光线是影响模型鲁棒性的重要因素之一，为研究光照变化对其定位性能的影
28
响，本小节通过在实验室设置 4 种不同的光照强度，每种工况均通过挪动小范围
拍摄了 20 张图片，拍摄距离为 1.5 m，均采用工业相机进行拍摄，同样采用 PCK
和 Acc 这两个指标来评估模型的定位关键点的性能。识别结果见图 2.17，从图中
可以直观的看出，模型成功的识别出所有的角点，仅在强光的情况下，出现关键
点图波动的情况，如图 2.17（a）所示。为进一步准确的评估模型的性能，将图
片进行人工标注，与模型预测的结果进行对比，角点的识别结果整理至表 2.9。
（a）强光
（b）正常光
（c）弱光
29
（d）暗光
图 2.17 光照变化下关键点识别结果识别图
从表 2.7 可以看出，关键点定位算法的性能在一定程度上受到光照变化的影
响，在正常光照时，两种指标最高，分别为 97.5%和 95.6%，而在强光的情况
下，性能最差，分别为 96.2%和 93.4%，但此时的指标仍在可应用的范围以内。
分析精度下降的原因，主要是由于光线的变化，使得拍摄的图片质量下降，导致
模型的定位能力下降。从整体来看，光线变化对模型的定位能力影响不大。
表 2.7 角点定位结果
PCK/% Acc
强光 96.2% 93.4%
正常光 97.5% 95.6%
弱光 96.9% 95.2%
暗光 95.3% 94.5%
2.6 本章小结
本章的主要内容是提出了一种新的基于深度学习的螺栓关键点定位方法，并
设计相关试验对所提方法进行检验。首先依次介绍了深度学习的概念、卷积神经
网络的主要构成层及深度学习的经典网络；然后对整个数据集的构建进行了描
述，数据集图片主要来自于浙江省的十几座桥梁，经过对原始样本的预处理、对
螺栓的关键点的真实位置标注，再通过离线和在线的方式进行了数据增强，将数
据从原始 2000 张扩充到了 13647 张；其次，基于深度学习框架搭建了以 Resnet-
50 为主干网络的关键点定位模型，并使用自建数据集对模型进行训练，然后进行
了消融试验，选择出性能最优的网络作为最终的测试网络，测试的 PCK 和 Acc
均取得了较好的成绩，分别为 97.9%和 98.1%；最后新采集了一些图片对最终模
型进行测试，测试结果表明，模型定位角点的准确率非常高，最大误差仅为 1.89
像素，中心点误差较大，误差达 6.28 像素，但仍在精度要求之内，并且光照情况
30
对模型的定位性能影响不大。
31
第 3 章基于数字图像处理的螺栓松动角度研究
3.1 引言
第一章中已经介绍了当前基于视觉的螺栓松动识别方法的进展，在基于松动
角度的研究中，部分学者是通过提取螺栓的六条边缘线来定义角度，通过定时间
比较同一颗螺栓的角度变化来判定哪些螺栓存在松动情况，并根据松动角度值的
大小来定义螺栓的松动程度。在这几种研究[51, 54, 57, 87]中主要是通过坎尼（canny）
边缘检测和霍夫（hough）变换两种算法来提取螺栓的边缘轮廓进行螺栓角度计
算，但这两种算法受图片质量影响较大，常会因轮廓边缘不清楚而造成识别角度
的精度较差，不能应用于现场复杂多变的环境。其中，文献[52, 64, 88]提出的识别螺
栓上的两个点来定义角度的思路对本章的研究有所启发，因此，本章结合第二章
训练的关键点定位模型，基于数字图像处理研究出一种新松动角度计算法，用于
对松动的螺栓进行识别。根据关键点定位模型输出的关键点，先研究了三种聚类
方法对图片中所有螺栓的关键点进行分组，从而形成依次包含六个角点和一个中
心点的螺栓；然后研究了一种透视矫正算法，对由于相机抖动、偏移引起的透视
进行矫正；接着对每颗螺栓的六个角点的数学关系进行推导，通过对矫正后的螺
栓角点与中心点的角度进行求解，得到最终的螺栓角度；再通过定时间对待测螺
栓群进行拍照，并对不同时间下获得的同一目标螺栓的角度进行对比，与设定的
阈值进行比较，识别松动螺栓。最后，分别设计相应的试验，依次验证所提出的
聚类算法、透视矫正算法、螺栓角度识别算法和螺栓松动检测算法的准确性和可
行性。
3.2 螺栓关键点分类
为了将关键点定位模型输出的所有螺栓关键点依据每组螺栓 7 个点进行分
组，本小节研究了三种聚类分组方法，分别为 k  means 聚类算法、谱聚类算法和
中心点-角点算法，先对每种算法的原理进行介绍，然后详述了本文所研究的每种
算法的分类流程。
32
3.2.1 K-means 聚类算法
（1）算法原理
K  means 聚类算法提出后，因其原理简单、容易实施和高效的优点，在各
个学科领域中被进行了广泛的研究和应用[89]，学者们提出了大量的改进算法[90]。
K  means 是一种无监督学习的算法，主要是基于划分的聚类算法，一般以欧式
距离作为判别数据相似度的指标，距离越小，数据间的相似度越大。算法需要预
先设定初始的聚类数目 k ，将一个初始的数据集划分成 k 个类别，然后将所有的
数据划分的各个类别中，根据数据与聚类中心，不停的更新新的聚类中心，减小
每个类中总的距离平方和，通过快速迭代计算找出使得平方和最小的 k 个组，当
距离平方和不再变化时或目标函数收敛时，停止迭代，聚类完成。当需要分类的
结果是紧凑的一簇，并且相邻簇之间是存在明显分离时， K  means 聚类的效果
是较好的。如图 3.1 所示，为算法聚类流程，初始数据中有四个簇集合，坐标 x
和 y 分别为数据点的横坐标和纵坐标，使用 k  means 聚类对初始数据进行迭代，
通过不断的计算聚类中心，分配数据点，得到最终的聚类结果。
（a）初始数据（b）随机初始中心（c）一次迭代
（d）多次迭代（e）聚类完成
图 3.1 k  means 算法流程[90]
（2）本文算法实现
由于每颗螺栓的 7 个关键点相互之间是紧凑的，并且相邻螺栓关键点之间是
33
属于明显分离的这种特性，因此，本文根据 K  means 算法，研究了一种螺栓关

键点分类的方法，对关键点定位模型输出的关键点进行分类。在获得关键点定位
模型输出的关键点位置后，采用 K  means 聚类算法对所有的点（N 个点），进行
分组处理，根据六角螺栓特性，设置聚类中心数量为 k  N / 7 ，随机选取 k 个点
作为初始聚类质心，计算每个点距离质心的欧式距离，可由下式计算：
 xi  x    yi  y 
2 2
 (3.1)
式中，  为欧式距离， xi , yi 为关键点位置坐标， x, y 为质心点坐标。
螺栓关键点聚类的具体流程如图 3.2 所示，根据欧式距离将关键点分配至距

离质心最近的簇中，对于每个新的簇，重新计算质心，观察聚类质心是否变化？
每个簇中所包含的关键点个数是否为 7。如果发生变化，重新计算每个关键点与
聚类中心的欧式距离并重新分配关键点，直至每个簇的关键点个数为 7 且质心点
位置不再发生变化，螺栓聚类完成，停止迭代，每个簇的关键点以数组的形式输
出。
图 3.2 基于 k  means 算法的螺栓关键点聚类流程
3.2.2 谱聚类算法
（1）算法原理
基于划分的聚类算法虽然比较简单，但在实际使用中，对异常值较为敏感，
容易陷入局部最优，并且每次初始质心的选择都会影响最后的聚类效果。近年
来，基于图论的聚类方法的越来越被重视，并且在图像分割和空间聚类等领域取
得了不错的效果[91]，给本小节研究提供了另一种新思路。与 k  means 算法不同，
谱聚类算法是基于图的思想的来进行聚类的，能够在任意形状的样本上进行聚
类，可以很好的避免因透视等因素带来的聚类错误。如图 3.3 所示，为谱聚类的
34
基本过程，其本质问题就是将聚类问题转换为图的最优划分问题[92]，主要有构图
和切图两个步骤。如图 3.3（a）所示，先将所有的数据点构成一张带权重 wi , j 的
无向图，将每一个数据点视为图的节点，根据这些点之间的距离构建带权重值的
边，距离越远的点权重越低。如图 3.3（b）所示，通过切图，使一个子图之间的
边权重和尽可能的高，而不同子图之间的边权重尽可能的低，从而实现聚类的目
的，将不同类别的元素进行分类。
（a）构图（b）切图
图 3.3 谱聚类算法的处理流程
（2）本文算法实现
本文基于谱聚类算法的螺栓关键点分组的方法主要流程如图 3.4 所示，主要
有以下几个步骤：
Step1 输入所有关键点样本，定义关键点集合 X   x1 , x2 , x3, ...., x n  ，设置聚类
维度 k  N / 7 。
Step2 将所有关键点数据进行连接，构成一张图，其中，图的表示为
G  (V , E ) ，其中 V 是所有关键点中的顶点，每个顶点对应一个关键点 xi 。
Step3 采用 k 近邻算法（K-nearest neighbor,KNN），采用欧式距离作为度量，

来计算样本的相似度，构造相似度矩阵。将小于给定的阈值的相似度值保留， k
近邻矩阵 A 之间的欧式距离可由下式计算：
d (i, j )  ( xi1  x j1 ) 2  ( xi 2  x j 2 ) 2  ....  ( xin  x jn ) 2 (3.2)
35
0; 若第j 个点的距离大于第k 个点的距离

A  i, j    (3.3)
1; 若第j个点的距离不大于第k点的距离
式中，向量 xi 、 xn 为关键点图像中的两个像元； n 为所有的关键点像元， k 为邻
接矩阵参数。
Step4 根据相似度矩阵和度矩阵，计算拉普拉斯矩阵 L ，由拉普拉斯矩阵计
算前 k 个特征向量 v1 , v2 ,....., vk 。
Step5 由特征向量 v1 , v2 ,....., vk 并归一化，构成特征矩阵 V  R n×k 的列，得到特
征矩阵。
Step6 使用传统的聚类算法将数据进行划分，本文采用传统的 k  means 算法
对 R k 的数据进行分组，依次以数组的形式输出 U1 ,U 2 ,.....,U n ，螺栓分组完成。
图 3.4 谱聚类算法流程
3.2.3 中心点-角点算法
中心点-角点算法是基于 k  means 算法和谱聚类算法，将一组数据的聚类问

题转换成两组数据的聚类问题，通过中心点的位置来定位角点。图 3.5 为中心点-
角点计算原理，将所有中心点与所有角点的欧式距离依次进行计算，欧式距离可
由下式计算：
 xi  xi    yi  yi 
2 2
d ii  (3.4)
式中， dii 为第 i 个角点与第 i 个中心点之间的欧式距离，  xi , yi  为第 i 个角点坐
标，  xi, yi  为第 i 中心点坐标。
36
图 3.5 中心点-角点计算原理
设每个中心点与所有角点的距离的集合为 Di   d1i , d 2i ,....., d ni  ，将所有角点
与中心点计算后，将每组距离值最小的 6 个角点 Di   d1i , d 2i , d 3i , d 4i , d 5i , d 6i  作为一
组，即每一颗螺栓对应的角点。但在实际采集的螺栓图片中，有时会存在半颗螺
栓的情况，如图 3.6（a）所示。因此，在计算距离后，为避免角点错误分组，引
入一个异常值处理，对中心点与角点的距离是否存在异常进行判断，如图 3.6
（b）所示，为异常值判断原理，若一组螺栓的角点存在异常值，则此点所在的
螺栓组舍弃，采用相邻两个角点与中心点的距离之和的 0.8 倍作为阈值，异常值
判断可由下式计算：
t   d ( n 1) i  d ( n  2) i   0.8 (3.5)
d ni  t (3.6)
式中， t 为异常值，若 d ni  t ，则第 n 个点为该组角点中的异常值，其中 n 的取值
为 1~6。
（a）螺栓示意（b）异常值示意
图 3.6 螺栓角点异常值判断
37
3.3 图像透视矫正
3.3.1 透视失真原理
目前常用的基于图像的螺栓松动检测方式包括三种：定机位安装相机、手持
设备进行拍摄以及无人机航拍这三种方法。采用定机位的方法时，一些螺栓节点
处难以安装与被检测面角度水平的相机，所采集的图像会存在一定的透视失真情
况；采用人工手持设备与搭载相机的无人机航拍时，尽管每次拍摄时的位置都控
制在一定的范围内，但多次拍摄的角度仍无法确保完全一致，这就会使角度计算
时产生较大的误差，导致螺栓松动的误检。这时就需要对图像进行矫正，将图像
平面上的点到世界平面上的点进行投影映射，图 3.7 为图像坐标和世界坐标之间
的平面投射变换。如图 3.7（a）所示[54]，其原理是由一个非奇异 3×3 矩阵进行
的线性变换，给定一个同源矩阵 M，图像平面中的一个点 p j  (u j , v j ,1) 可以在同
源坐标中线性变换为 q j   xi , yi ,1 ，公式变化如下：
p j  Mq j (3.7)
 t11 t12 t13 

M  t 21 t 22 t 23  (3.8)
t31 t32 1 
式 3.8 中，变换矩阵中存在八个独立的元素，表示为投影变换过程中的八个自由
度，具体变换过程见图 3.7（b）[54]，八个自由度分别代表三轴旋转、三轴平移及
两轴缩放变换。
（a）投影映射（b）变换过程
图 3.7 图像坐标和世界坐标之间的平面投射变换[54]
38
如图 3.8 所示，为进行投影变换纠正失真图像的过程。为了对图像进行投影
变换，需确定同源矩阵 M ，根据失真图片 pi 与参考图像 qi 中的四对点坐标，可计
算得到同源矩阵，得到同源矩阵后，失真图像中所有的点均可以用求得的同源矩
阵的逆值转换为矫正后的图像中的点。
（a）透视图片（b）纠正后图片
图 3.8 平面投影变换纠正失真图像过程
3.3.2 透视矫正过程
在以前的研究中，Nguyen 等 [87] 人和 Huyng[54]等人尝试使用螺栓面板的四个

角点作为参照点来进行失真矫正，但这种方法需要获得失真前的照片作为参照，
因此在进行大规模的螺栓松动检测时不太实用。为了解决这个问题，本文提出了
一种新的思路，通过对失真的图像进行拟合，寻找四组对应的点，作为纠正后的
图片的定位点，来计算透视变换矩阵，根据求得的变换矩阵，进而对失真图片进
行纠正。本文所提算法的透视矫正流程主要有三个步骤组成，如图 3.9 所示，分
别为求解中心点外边缘、拟合矩形和透视矫正。
（a）求解中心点外边缘（b）拟合矩形（c）透视矫正
图 3.9 透视矫正流程
39
（1）求解中心点外轮廓
在获得螺栓关键点坐标位置后，定位模型会依次输出中心点和角点的坐标，
由于中心点相对角点数量较少，且在分布上较为规律，故本文以螺栓的中心点为
定位点，进行透视矫正。图 3.10 为中心点外边缘轮廓的求解过程，采用凸包算法
中的 Graham 扫描算法，求解图片中所有的螺栓中心点点集的外轮廓，并沿顺时
针的方向依次输出外轮廓的顶点位置坐标。
（a）中心点集合（b）计算  角（c）中心点外边缘
图 3.10 中心点外边缘轮廓求解过程
具体流程如下所示：
第一步，设 I  {i 1 , i2 ,..., in } 为关键点模型检测到的中心点的集合。将所有中心
点输入到二维坐标系中，以距离图像坐标系距离最近点为起始点 i1 ，计算各个点
相对于起始点的角度  。
第二步，按照  的大小对所有点进行排序，当  相同时，将距离原点比较近
的排在前面。如图 3.10（b）由几何知识可知， i2 和 i4 为凸包上的两个点。
第三步，将 i1 、 i2 与下一个任意点进行相连，如图 3.11 所示，为边缘点判定
原理，设三点组成的两个向量进行点乘为 A ，根据 A 的值来判断第三点是否为逆

时针，若 A＞0 ，则为逆时针，即为外边缘上的一点，否则将此点筛掉，判断下一
点，其中 A 可由下式计算：
A  (bx  a x )  (c y -a y )-(by  a y )  (c x -a x ) (3.9)
式中，  ax , a y  为第一点，  bx , by  为第二点，  cx , c y  为任意点。
40
（a）顺时针（b）逆时针（c）直线
图 3.11 边缘点判定
第四步，按照此方法依次求解 i4 , i5 ,...in ，求解所有的点后，将所有的点进行
连接，构成多边形。由于螺栓群呈矩阵排列，并将多边形的四个顶点按照逆时针
的方向依次输出，记为 i1 , i2 , i3 , i4  。
（2）计算轮廓边缘的最小外接矩形
图 3.12 为拟合最小外接矩形的过程，根据得到的中心点外轮廓的四个顶点，
使用 minAreaRect 算法对中心点外边缘进行拟合，将其拟合最小外接矩形，获得
最小外接矩形的中心点坐标 c 、矩形高度 h 和宽度 w 相关参数，再使用 boxPoints
算法依次获得四个顶点坐标，并同样沿逆时针方向依次输出拟合后的矩形四个对
应点  w1 , w2 , w3 , w4  。如图 3.13 为拟合后的最小外接矩形的过程。
图 3.12 拟合最小外接矩形
（3）图像矫正
图 3.13 为求解变换矩阵 M 示意图。由图 3.13 可知，左侧为算法得到的螺栓
中心点的边界图，右图为拟合后的矩形。根据边界图中的四个顶点坐标 ii  pi , qi 
与拟合后的矩形四个顶点坐标 wi (ri , ti ) ，求解变换矩阵 M ， M 可由下式求解：
41
r   p   a11 a12 a13   p 

t   M q   a   (3.10)
     21 a 22 a 23   q 
1  1   a31 a32 a33  1 
式中，变换矩阵 M 是一个 3×3 的矩阵，具有八个自由度，其中 a33 为 1。
图 3.13 求解变换矩阵 M
设失真图像中螺栓角点的集合为 T    xi, yi  ，根据求得的变换矩阵 M ，对其
进行矫正，并输出纠正后对应的螺栓角点坐标 T   xi , yi  。螺栓角点原图上一点
 xi, yi  和其对应的逆透视变换后的螺栓角点  xi , yi  满足下列关系式：

a11 xi  a12 yi  a13
xi 
a31 xi  a32 yi  1
(3.11)
a x  a22 yi  a23
yi  21 i
a31 xi  a32 yi  1
式中，  xi , yi  为矫正后的螺栓角点坐标，  xi, yi  为失真图像中的角点坐标。
3.4 螺栓松动角度计算
螺栓松动角度计算是在透视矫正完成后进行，主要由四个步骤组成，分别为
螺栓角度计算、编号、松动角度计算及松动分类。
3.4.1 角度计算
螺栓松动角度检测是对经过一定旋转角度的螺栓特征图片进行识别，只需要
考虑螺栓上某一共有特征在固定坐标系下的变化，所以在螺栓角度计算时，需要
先设定一个共有特征，而在关键点定位模型中，分别输出中心点和角点两种关键
42
点，因此可选择中心点或角点作为角度计算的特征。与角点相比，中心点主要用
于螺栓的定位信息，而不作为计算信息，因为在标注时，螺栓中心点的特征不像
螺栓角点那样清晰，不同标注人员对中心点的定义也可能不同。如果直接将中心
点与角点一起计算螺栓的松动角度，可能会产生较大的误差。因此，本文根据大
六角头螺栓的特性，通过研究螺栓 6 个角点之间的角度关系，定义了螺栓的初始
角度。图 3.14 为螺栓初始角度计算原理，根据聚类算法输出的螺栓包络图，以包
络图中的螺栓中心点为坐标原点，建立新的坐标系（笛卡尔坐标系），第一象限
中距离 X 轴最近的点为螺栓的第一个角点，由螺栓中心点和第一个角点形成一个
向量，再与 X 轴的正方向形成一个角度，此角度即为螺栓初始角度  ，可由下式
计算：
y2  y1
  arc tan
x2  x1 (3.12)
式中，  —螺栓初始角度； x1 , y1 —螺栓中心点坐标； x2 , y2 —第一象限角点坐标。
为了增加角度的准确性，依次计算角点 2 和角点 3 与 X 轴的夹角值 1 、  2 ，
将这三个值减去 180°后，再求均值，最后输出值  ，即为每个螺栓最终的初始

值。
图 3.14 螺栓初始角度计算原理
3.4.2 编号
在完成每个螺栓的初始角度计算后，为了准确比较螺栓在松动前后的角度，
避免出现对比错误的情况，本文提出了一种算法，即按照一定的顺序对图像中所
有的螺栓进行编号。图 3.15 为螺栓位置编号原理，将每个螺栓分组，并以矫正后
每个螺栓的中心点作为定位点，将所有中心点的二维坐标映射到一维坐标上，通
43
过比较中心点一维坐标的大小，来对螺栓进行从左上到右下的编号。然而，由于
实际识别的螺栓中心点可能不会规律的排列成一行，而是沿轴在一定的小范围内
波动，因此，需要设置一个区间，将此区间内的中心点认定为一行，即对螺栓的
yi 进行缩小。缩小后，为避免投影后点重叠，再将每一行中心点的 yi 进行放大，
考虑到螺栓原始图片尺寸为 1024×768，本文将放大值设置为 50000，映射公式

可根据下式进行：
ai  ( yi /a )/b  50000  xi (3.13)
式中， ai 为映射后的坐标， xi , yi 为映射前的二维坐标， a 和 b 为缩小系数，本文
设 a  9, b  8 。
图 3.15 螺栓位置编号原理
3.4.3 松动角度计算
在实际操作环境中，当一个螺栓被紧固时，立即记录初始角度，随后，在螺
栓松动时，记录松动后的角度，通过对比两张图片的角度变化来计算松动角度。
如图 3.16 所示，为螺栓松动角度计算原理，根据螺栓编号，监测每一颗螺栓的角
度变化，利用图像处理算法，根据中心点坐标和螺栓旋转前后的角点坐标，计算
螺栓的松动角度  。螺栓的松动角度可由下式计算：
y3  y1 y y
  arctan  arctan 2 1 (3.14)
x3  x1 x2  x1
式中，  —螺栓松动角度； x1 , y1 —螺栓中心点坐标； x2 , y2 —旋转前角点坐标；
x3 , y3 ——旋转后角点坐标。
44
图 3.16 螺栓松动角度计算原理
3.4.4 松动分类
图 3.17 为松动螺栓判断原理，螺栓松动计算时，由于螺栓定位会存在一定误
差，因此将松动角度  的绝对值与定义的阈值 UCL 进行比较，若大于阈值，则
该螺栓被归类为松动，如下式所示：
UCL    3 (3.15)
 ＞UCL (3.16)
式中，  和  为螺栓松动角度的标准偏差和平均值， UCL 为阈值，是由平均值 
的三个标准差  决定的，相当于 99.7%的置信度。
图 3.17 松动螺栓判断原理
45
值得注意的是，在进行螺栓松动检测时，由于六角螺栓的固有特性，若旋转
角度大于 60°或者 60°的整数倍时，则螺栓旋转的估计可能不准确。然而，在
实际工程中，螺栓松动是一个渐变的过程，需要在很长一段时间中才能发生，不
可能短时间内发生超过 60°的突变，甚至在松动 10°左右时，螺栓便会失效，
因此，本文所采取的螺栓松动检测依旧有效，并且采用基于视觉的螺栓连接实时
视频监测也可以避免这种情况。
3.5 试验结果与分析
3.5.1 聚类算法对比试验
为了验证三种聚类算法的性能，同时比较不同聚类算法的分类效果，本文将
k  means 聚类算法、谱聚类算法和中心点-角点算法的识别效果做了对比。由于
本文试验的 3 种方法都需要对定位识别后的螺栓关键点进行聚类，故在试验前选
取了 200 张螺栓图片，使用关键点定位模型预先对所有图片进行一个预处理，对
螺栓关键点进行定位识别，再将螺栓关键点图片进行二值化处理，作为测试算法
的原始图片，建立螺栓聚类测试集。图 3.18 为处理后的部分螺栓关键点二值化
图，其中白色点为经过二值化处理后的螺栓关键点。
图 3.18 关键点二值化图
在试验过程中，分别使用 3 种算法分别对相同的测试集进行分类测试，在聚
类结束后，为了更加直观的呈现螺栓的聚类效果，采用包络算法将聚类后的每一
组螺栓关键点进行包络分组，并与原图片进行合并，便于直观的观察螺栓的聚类
情况。图 3.19 为聚类效果图，为了更加直观的对比三种聚类算法的聚类效果，选
取了部分试验结果做展示。
46
（a） k  means 算法
（b）谱聚类算法
（c）中心点-角点算法
图 3.19 聚类效果图
图 3.19（a）~图 3.19（c）分别为 k  means 算法聚类效果图、谱聚类效果图

和中心点-角点效果图，其中，红色框选出的为算法错误聚类或未成功聚类的螺
栓，通过肉眼观察三种方法的聚类效果，可以发现在螺栓数量较少时，算法均能
准确的对螺栓关键点分类，聚类效果较好。随着图片中螺栓个数的增加，
k  means 算法的分类后的螺栓存在螺栓聚类错误的情况，主要体现在相邻两三颗
螺栓聚类成一颗，或关键点相互重叠，并且聚类失败的螺栓个数较多，分析其主
要原因是在使用 k  means 算法时，需要螺栓关键点的总个数为 7 的倍数，并且在
螺栓关键点较多时，若有关键点未能识别或者自身遮挡的情况，则 k  means 算法
会一直迭代，最终会导致聚类失败或错误聚类。而谱聚类算法的聚类效果相比
k  means 算法的聚类效果更好，虽然仍存在聚类错误的情况，但聚类失败的个数
有所下降，这是因为谱聚类算法是根据特征值进行分类，所以性能有所提升。对
47
比前两种算法，角点-中心点算法则不存在聚类错误的情况，并且聚类失败的螺栓
个数较少，所有的螺栓都被成功的聚类，这是因为中心点-角点算法是通过中心点
的位置来判断周围的六个角点，不会存在反复迭代的情况，同时异常值处理也会
降低聚类的错误率。
通过肉眼判断图像的聚类效果往往存在一定的主观影响，为进一步比较三种
算法的有效性[93]，本文采用准确率（Acc）和召回率（R）两个指标来评价螺栓聚
类方法的性能，测试结果整理至表 3.1。
TP
R (3.17)
TP  FN
式中， TP 为正确聚类的螺栓个数， FN 为被错误识别成正确的个数。
表 3.1 3 种聚类算法的量化指标
聚类算法指标数据集
Acc 0.74
k  means
召回率 0.71
Acc 0.86
谱聚类
召回率 0.79
Acc 0.94
中心点-角点
召回率 0.87
从表 3.1 可以看出，中心点-角点在图像聚类的指标上均为最高的，因此表明
中心点-角点算法在螺栓关键点聚类上是优于其他两种算法的。为了验证算法检测
速度，将收集到的所有螺栓样本图片进行预处理，然后使用三种算法依次对所有
图片进行聚类，将三种算法对每张图片的平均聚类时间整理至表 3.2。
表 3.2 3 种聚类算法的检测时间对比
聚类算法 k  means 谱聚类角点-中心点

检测时间/s 0.25 0.30 0.54
由表 3.2 可知， k  means 算法的时间是最短的，平均时间为 0.25 s，分析原

因可知，这是由于 k  means 的算法仅是不停的迭代，并且其时间的复杂度是呈线
性的，因此整体的时间消耗较少，而基于谱聚类算法的平均时间为 0.30 s，这是
由于其迭代时间是成指数增长的，因此时间有所增加，对比前两种算法，基于中
心点-角点的算法时间消耗是最长的，为 0.54 s，这主要由于基于中心点-角点的算
法需要对两张图片进行处理，因此在时间消耗上最长，但时间的增加较性能的提
升是在可接受的范围之内。
综上所述，中心点-角点算法的聚类效果是最佳的，试验结果表明，通过中心
48
点定位六个角点的方法，简单且高效，证明了中心点-角点算法在性能上是优于谱
聚类算法和 k  means 算法的。因此，在实际应用时，可采用角点-中心点算法进
行聚类，以提高螺栓的识别性能。
3.5.2 透视矫正试验
为了检验所提算法进行透视矫正的效果，在环境较为明亮的实验室和现场分
别收集了一些不同程度的失真螺栓样本图片。为尽可能的模拟实际桥梁的透视情
况，本次分别选取水平左透视、水平右透视、垂直上透视和垂直下透视四种透视
情况下的照片来进行测试，透视角度均在 10 ~50°之间，将其导入算法进行测
试，图 3.20~图 3.23 为矫正前后对比示意图。
（a）矫正前（b）矫正后
图 3.20 水平左透视
图 3.21 水平右透视
49
图 3.22 垂直上透视
图 3.23 垂直下透视
从图 3.20（a）、图 3.21（a）、图 3.22（a）、图 3.23（a）可以看出，在未进行

图像矫正之前，图片中相互平行的螺栓呈现由远及近相交的视觉效果，且越远离
视觉的图像畸变越严重。从图 3.20（b）、图 3.21（b）、图 3.22（b）、图 3.23
（b）中可以看出，使用透视矫正算法后，无论是哪种透视情况，算法均可以有
效的进行矫正，相较于矫正前，每种情况下矫正后的图片中螺栓呈矩形排布，与
真实状态相吻合。
3.5.3 角度准确度试验
为了验证算法检测角度的准确性，使用智能手机，在距离螺栓连接板 1.5 m
处，水平和透视角度均小于 5°，拍摄了一张图片，图片中共有 56 颗螺栓，使用
本文算法进行当前角度识别。图 3.24（a）为角度识别结果，从图中可以看出，
每个螺栓的角度值都被识别出。与人工量测值进行对比，将结果整理至图 3.23
（b），从图中可以看出，算法识别值与人工量测值的相关度很高，相关系数
50
Pearson 为 0.998。对识别值与量测值之间的误差进行分析，见表 3.3，可以看出，

螺栓最大误差为 2°，平均误差为 0.91°，最小误差为 0°。误差结果表明，算
法识别角度的准确度较高，识别值与量测值较吻合。
（a）螺栓角度识别（b）识别值与量测值对比
图 3.24 算法角度测试结果
表 3.3 识别值与量测值误差
最大误差最小误差平均误差

值/° 2 0 0.91
3.5.4 松动角度试验
为评估所提检测松动螺栓方法的可行性，特在实验室环境下，使用包含 18
颗螺栓的连接板进行试验验证，如图 3.25 所示，工业相机被固定在三角架上。测
试图像的拍摄位置为 1.0 ~1.2 m，水平与垂直视角保持 0°（即没有透视失真）。
首先，在螺栓紧固的情况下拍摄一张图片作为对照。然后，将拼接板中的螺栓
1、螺栓 3、螺栓 10、螺栓 12、螺栓 15 和螺栓 17 同时松动，螺栓的松动角度分
别为：5°、16°、21°、12°、25°和 30°，重复进行六次试验。使用实际松
动值与算法预测值之间的均方根误差（RMSE）作为指标来评价算法的识别性
能，RMSE 可由下式计算：
2
1 n
RMSE   obs ,i  i 
n i 1
(3.18)
式中， n 为螺栓个数，  obs ,i 为算法预测松动角度，  i 为实际松动角度。
51
图 3.25 螺栓松动检测示意图
本文重复进行了多次试验，如图 3.26 所示，为两次松动的检测结果，从图中

可以看出，算法成功的检测到松动螺栓，并对每颗松动的螺栓进行标记，同时计
算松动角度，在螺栓的右上方显示。将算法检测的松动值与施加值进行比较，计
算六次试验下的 RMSE。如表 3.4 所示，可以观察到，算法识别出的松动角度与
实际施加的情况非常吻合，六次松动试验的 RMSE 均在 0.67°~1.83°之间，最
大误差为 2°，表明本文所提算法的准确性很高。这与同样使用旋转角度作为评
价指标的研究[57]相比，在精度方面有了很大的提升。并且，训练模型时所有的螺
栓均没有白色涂装效果，但算法仍能准确的识别，这表明所提算法不仅局限于训
练集中所包含的特征，而且具有较好的泛化能力。此外，本文所提出的方法在检
测实验室规模的螺栓图片时的处理时间约为 0.5 s，这种处理速度比文献[57]快了大
约 2 倍，尽管本研究所采用的 ResNet50 网络比之前的研究中使用的 CNN 要深的
多。
（a）结果 1 （b）结果 2
图 3.26 测试结果图
52
表 3.4 螺栓松动测试结果
编号螺栓 1 螺栓 2 螺栓 3 螺栓 4 螺栓 5 螺栓 6
实际松动角度/° 5 16 21 12 25 30
最大误差/° 1 2 2 2 2 2
RMSE/° 0.67 1.33 1.33 1.83 1.33 1.5
3.6 本章小结
本章基于数字图像处理技术，新提出了一种螺栓松动角度识别方法，并对识
别流程中每一部分主要算法的基本概念进行了介绍。通过对关键点定位模型输出
的角点和中心点进行分析，引入聚类算法、透视矫正算法和松动角度计算方法使
得识别角度的精度和可靠性得到了提高。针对方法的每一个主要部分，分别设计
了试验来进行验证，先对三种聚类算法的性能进行了试验比较，通过结果选出性
能最优的聚类算法作为实际应用时的算法，然后依次对透视矫正算法、角度识别
算法及松动角度算法进行了试验，测试了该方法的各部分算法性能。
（1）聚类算法对比试验的结果表明，在相同的测试集下，中心点-角点算法
的聚类效果是最佳的，使用中心点定位六个角点的方法，简单且高效。在实际应
用时，可采用中心点-角点算法进行聚类，以提高螺栓的识别性能。
（2）透视矫正试验结果表明，使用矫正算法后，无论是哪种透视情况，算
法均可以有效的进行矫正，相较于矫正前，每种情况下矫正后的图片中螺栓呈矩
形排布，与真实状态相吻合。
（3）角度准确度识别结果表明，算法识别的角度与人工量测值的相关度很
高，相关系数 Pearson 为 0.998，最大误差仅为 2°。
（4）松动角度算法识别结果表明，算法能够准确的对存在一定松动角度的
螺栓进行识别，松动程度与实际施加值较吻合，并且在检测速度上也得到了大幅
度的提高。
53
第 4 章实验室与现场试验研究
4.1 概述
本章的主要内容是为了检验关键点定位模型与图像处理算法的整体识别螺栓
松动的效果，将之前训练和测试阶段均表现出良好性能的网络和识别效果较好图
像处理算法相结合，进行端到端的螺栓松动检测，并对所有可能存在检测环境提
供算法的适用范围，连接后的算法检测流程如图 4.1 所示。针对算法的性能测试
共设计了三项试验，分别为实验室试验、现场试验和无人机可行性试验。在实验
室的试验中，主要测试了连接算法在较为理想的采集条件下对螺栓群中松动螺栓
及螺栓初始角度的识别情况，采集方式为定点拍摄，测试了算法在不同光照、不
同距离、不同透视角度、不同清晰度、不同像素数及栓杆六种工况下的准确性，
并与实际施加值进行对比，进行误差分析，对算法的环境适用性、稳定性及可能
存在的局限性进行判断，并给出所提算法在每种情况下的适应范围。现场试验是
对实验室的情况进行补充，为了尽可能多考虑螺栓松动检测的环境，对不同锈
蚀、不同涂装及不同螺栓个数三种工况下算法的准确度进行试验，并对一种工况
下的螺栓进行松动模拟，使用算法检测松动螺栓，同样给出算法的适应范围。无
人机可行性试验主要是测试了无人机搭载相机对桥梁整体螺栓群进行松动识别的
可行性，通过对无人机的图像采集路线进行规划，使用无人机按照规划后的路线
自主对螺栓群进行拍摄，并对无人机多次采集到的同一目标螺栓群图片进行识
别，再与人工量测值进行对比，计算多次拍摄下的误差，从而判断此种检测方案
的是否具有可行性。
54
图 4.1 螺栓松动检测流程
4.2 实验室环境测试
4.2.1 试验准备
（1）图像采集设备
本小节选择使用海康工业相机（MVL-HF1224M-10MP）作为图像采集设
备，镜头选用海康变焦工业镜头（MV-BJ1236M-10MP），示意见图 4.2。工业相
机参数为：传感器类型为 CMOS，分辨率为 2448×2048，最大帧率为 60 fps，传
感器光学尺寸为 1/1.8";镜头参数：焦距为 12 mm-36 mm，光圈 F2.8，成像器大小
2/3"。为了将检测图像尺寸与模型尺寸进行对应，防止输入到算法中因压缩使图
片发生畸变，将所有图像裁剪为 4：3。
图 4.2 工业相机示意图
（2）实验构件
为验证本文所提方法的可行性，特制作了一个螺栓节点板试件，试验构件为
某大桥腹板处连接螺栓的缩比模型，由工字梁和多块夹板组成，螺栓节点板如图
55
4.3（a）所示，节点板保持原始金属颜色，连接螺栓的型号为 M30，颜色为黑
色，螺栓布置形式为 3×3。
（a）螺栓正面（b）螺栓背面
图 4.3 螺栓构件示意图
螺栓初始角度的实际值使用测量工具进行准确测量[94]，如图 4.4 所示。
图 4.4 螺栓角度测量工具[94]
4.2.2 不同光照
螺栓作为钢结构中重要的连接件，往往分布在结构的各个角落，每个位置的
照明条件是不同的，周围的照明环境会对图像的质量和清晰度产生影响。为检验
算法能否在不同照明条件下保持良好的性能，特在实验室内通过控制室内的光
照，进行不同光照下的试验。本次试验将光照强度设定为三种，分别为为暗光
（0~300 lux）、正常光照（600~1200 lux）和强光（1200~1800 lux）三种，其中，
室内的光照强度是通过数字式光照度计放在测试场所附近测量的，强光是通过使
用强光灯作为光源进行补光。使用工业相机，在水平距离 1.5 m，三脚架高度与
螺栓面板中心齐平，对螺栓群进行拍摄。首先，在螺栓紧固时，保持在同一位
56
置，通过小范围挪动工业相机，连续拍摄 10 张图像作为初始角度图像，然后将
四颗紧固螺栓（螺栓 1、螺栓 3、螺栓 6、螺栓 7）分别松动 25°、18°、10°和
5°，螺栓松动示意图如图 4.5 所示，同样进行小范围挪动相机，连续拍摄 10 张
图像作为松动状态图像，每一种情况共拍摄 20 张图片。对于每种光照情况，均
重复上述操作，拍摄 3 组共计 60 张图像。
图 4.5 不同光照情况下的螺栓松动示意图
将每种光照情况下的紧固与松动图像导入算法，对松动螺栓进行识别。图
4.6 为三种光照条件下的松动识别结果。从图中可以看出，每颗螺栓均被准确定
位，使用蓝色框选第一象限的角点，并在蓝框的右下方显示此时的螺栓角度。松
动螺栓也被准确识别出，使用红色框选，表示其为松动螺栓，并使用淡红色对其
松动角度进行显示。
（a）暗光（b）正常光照（c）强光
图 4.6 不同光照下螺栓松动检测结果
将每种光照情况下螺栓拧紧状态和松动状态的图像导入算法，对松动螺栓进
行识别，识别结果整理至图 4.7。图 4.7（a）~图 4.7（c）为三种光照条件下的螺
栓松动识别结果，从图中可以看出：在拧紧状态下，暗光下螺栓的最大误差为
2°，一般光照下的最大误差为 1°，强光光照时的最大误差为 3°；在松动状态
下，三种光照条件下的松动螺栓 1、3、6 和 7 均被准确的检测出，其中，在正常
57
光照下，识别效果稳定，算法识别的螺栓松动值与预设的松动值吻合，但暗光和
强光时，算法识别的松动角度与实际施加值存在一定差值，松动角度的值波动较
大。对三种光照条件下的每颗螺栓的最大误差值进行分析，结果整理至图 4.8
（d），可以发现，在暗光下，最大误差值为 1°和 2°的螺栓个数分别为 7 颗和 2
颗，在正常光照下，最大误差为 1°的个数为 7 颗，剩余两颗螺栓的误差为
0°，在强光下，3 颗螺栓的最大误差为 1°，4 颗螺栓的最大误差为 2°，2 颗螺
栓的最大误差为 3°。
（a）暗光（b）正常光照
（c）强光（d）最大误差个数
图 4.7 不同光照下检测结果
从整体测试结果可以看出，光照对算法的识别能力有一定程度的影响，在一
般光照下，无论是识别精度还是误差方面，该算法均取得了不错的检测效果，识
别精度较高，误差可以忽略不计；而在强光与暗光环境下，由于图片存在过度曝
光与光线不足的情况，算法的识别能力下降，个别螺栓的识别误差较大，但仍具
有较高的精度，检测误差仍在工程应用范围之内。因此，为保证算法的可靠性，
58
使用本文研究算法时，应尽可能在光照条件（600 ~1200 lux）较好的环境下进行

检测。此外，在实际应用时，若现场情况比较复杂，不能保证被检测位置螺栓的
光照，可根据本文的试验结果，对检测位置的亮度进行测试，然后设定相应的阈
值，进而保证松动测试的可靠性。
4.2.3 不同距离
由于螺栓关键点的相对移动是很小的，拍摄距离是一个不可忽略的因素。因
此，为检验算法在不同距离下的鲁棒性，通过在实验室变换距离进行测试。螺栓
松动角度检测是由 4 个距离拍摄的图像进行，分别为 1.0 m、1.4 m、 1.8 m、2.2
m，光照强度为正常光（600 ~1200 lux），保持水平和透视角度为 0°。在 9 颗螺
栓中选择螺栓 1、螺栓 3、螺栓 5、螺栓 7 和螺栓 9，共五颗螺栓，分别松动
25°、5°、20°、10°和 15°。螺栓紧固时拍摄 15 张图片，螺栓松动角度后拍
摄 15 张。如图 4.8 所示，为不同拍摄距离的示意图。
（a）不同距离拍摄相机示意图（b）松动螺栓位置
图 4.8 不同拍摄距离下的螺栓检测示意图
（a）1.0 m （b）1.4 m （c）1.8 m

图 4.9 不同拍摄距离初始角度识别结果示意图
图 4.10 和图 4.11 分别为拍摄距离 1 m 和 1.4 m 时的螺栓松动检测结果，如图
59
4.10（a）和图 4.11（a）所示，在螺栓拧紧状态下，螺栓 1~9 的角度误差是可以

忽略的，均在 1°以内，在松动状态下，五颗螺栓的松动角度非常明显，均超过
了阈值，并且在事先施加的角度范围内波动，表明其为松动螺栓。由图 4.10
（b）和图 4.11（b）可知，对于所有松动螺栓和未松动螺栓，使用本文所提算法
能够准确的估计螺栓的松动情况，实际值与施加值较为吻合。图 4.12 为拍摄距离
1.8 m 的螺栓松动检测结果，在未松动时，部分螺栓的误差有所上升，阈值达到
2°，松动螺栓的施加值与识别值之间的差值明显增大。图 4.13 为拍摄距离为 2.2
m 的螺栓松动检测结果，由图 4.13（a）可知，螺栓 1、5、7、9 被正确识别为松
动螺栓，螺栓 6 被识别假阳性，并且此时的阈值高达 5°，螺栓 2 也未能被准确
识别。从图 4.13（b）可以看出，此时的施加角度与识别角度之间的差值较大。
（a）拍摄距离为 1.0 m （b）螺栓松动程度
图 4.10 1.0 m 螺栓松动检测结果
（a）测试距离为 1.4 m （b）螺栓松动程度
60
从整体来看，在 1.0 m~1.8 m 检测精度受拍摄距离的影响较小，当拍摄距离

超过 1.8 m 后，检测精度受拍摄距离的影响较大，角度的阈值明显增加，松动小
角度的螺栓难以准确识别，并易出现误检的情况，分析其主要原因是随着拍摄距
离增大，每颗螺栓所占像素比越少，导致算法识别的关键点越不准确，从而导致
角度误差较大。另外，此项测试结果表明，在实际应用本文方法进行检测时，对
于本研究所使用的工业相机，应将拍摄距离 1.0 m~1.8 m 进行检测识别，以保证
螺栓松动识别的可靠性。
4.2.4 不同透视角度
在实际工程中，螺栓的位置分布很广，所有的螺栓图像并不能总是从垂直角
61
度采集。为测试透视失真对所提算法性能的影响，准确的提出角度检测适应范
围，使用工业相机，在水平距离为 1.5 m 时，进行了垂直透视和水平透视的试
验，两种透视角度均从 0°改变为 10°、20°、30°、40°、50°和 60°，如图
4.14 所示，为垂直透视测试角度变化示意图。在拍摄图片时，工业相机随机挪动
小位移，对于每个透视角度，均连续拍摄了 5 张图片。
图 4.14 垂直透视测试示意图
如图 4.15 所示，为两种情况下不同透视角度工业相机拍摄的螺栓图像，从图
中可以看出，随着相机透视角度的增加，拍摄的图像的失真程度明显增大。将所
采集图像导入算法，对图像中螺栓的角度进行识别，如图 4.16 所示，选择透视角
度为 10°、30°和 50°三种结果进行示意。从图中可以看出，失真的图像得到
了很好的矫正，每颗螺栓都被准确的识别出，对每颗螺栓的角度进行显示，并且
没有因失真出现错误包络的情况。对失真图像分别进行未矫正测试和矫正测试，
将算法识别值与量测值进行对比，计算角度识别误差，并整理至图 4.17 和图
4.18。
（a）水平透视
62
（b）垂直透视
图 4.15 透视失真示意图
（a）水平透视
（b）垂直透视
图 4.16 透视矫正结果图
从图 4.17 中可以看出，在不进行透视矫正的情况下，两种视角下螺栓角度的
变化是非常相似的，当透视角度 10°和 20°时，此时的螺栓角度几乎不变，角
度识别误差在 2°以内，当透视角度 30°时，大部分螺栓的角度变化的趋势较
小，但个别螺栓的误差范围扩大到 3°，当透视角度在 40°时，角度迅速大幅度
增大或减小，误差范围也扩展至 5°，而当透视角为 50°和 60°时，图 4.18
（a）中的螺栓 7 的角度突由 60°变化为 5°，此时，由于透视失真的影响，角度
值为 60°的螺栓其定义角度的初始角点发生了变化，最大误差值增加至 6°，并
且大部分螺栓的误差值较大，在 5°左右。其主要原因是由于图片的透视角度的
增大，导致图片中螺栓角点的位置愈偏离其真实位置，角度计算的准确度下降。
63
（a）水平透视下螺栓角度变化（b）水平透视下螺栓角度误差
（c）垂直透视下螺栓角度变化（d）垂直透视下螺栓角度误差
图 4.17 未矫正测试结果
图 4.18 为矫正后的结果，从图中可以看出，对图像进行矫正后，算法的识别
精度提高。当透视角度小于 40°时，算法识别的螺栓角度较为稳定，相比于不进
行透视矫正的算法，角度识别的误差较小，误差范围下降至 2°，当透视角度为
40°~60°时，此时误差的降低较明显，最大误差从 6°下降至 3°，并且大部分
螺栓的识别误差在 3°以内。
64
（a）水平透视下螺栓角度变化（b）水平透视下螺栓角度误差
（c）垂直透视下螺栓角度变化（d）垂直透视下螺栓角度误差
图 4.18 矫正后测试结果
综上所述，随着透视角度的增大，虽然总体精度是下降的，但采用透视矫正
的方法相比于未使用透视矫正的精度是有明显提高的，使用矫正算法能在一定程
度上降低透视对算法的影响。此外，与其他以螺栓旋转角度为指标的基于深度学
习的方法相比[54, 57]，本方法将透视角度的使用范围扩展到了 60°，并且测试速度
也提高了 0.2 s。值得注意的是，在实际应用本文算法识别松动螺栓时，如果现场
环境无法改变相机的拍摄视角，本研究可以帮助设定该透视角度下的松动阈值，
进而保证螺栓松动检测的可靠性。
4.2.5 不同清晰度
桥梁在运营期间，由于车辆的通行以及往复荷载的影响，可能会产生一定的
振动，且桥梁所处环境较为恶劣，监控设备安装处常风速较大，这些因素都将会
导致相机拍摄的图像不够清晰。在本小节中，为探究图片清晰度对算法识别性能
65
的影响，在实验室进行模糊程度测试。在距离螺栓面板 1.5 m 的位置，使用工业

相机，通过调整镜头的模糊程度对螺栓板进行拍摄，共拍摄了四种不同模糊程度
的图片，每种工况下均拍摄 3 张图片。其中，镜头模糊程度分别 0、6、12、18。
这些数值代表的不同的模糊程度，数值越大，代表镜头的模糊程度越高。将采集
的图像导入算法进行初始角度识别，识别结果如图 4.19 所示。
（a）镜头模糊程度 0 （b）镜头模糊程度 6
（c）镜头模糊程度 12 （d）镜头模糊程度 18
图 4.19 不同质量的螺栓角度识别结果
从图 4.19 可以看出，当镜头模糊度在 1~12 范围内时，算法能够准确的识别

出所有螺栓，当镜头超过 12 时，会出现螺栓漏检的情况。使用量角器人工量取
螺栓的实际角度，与算法识别值进行对比，计算角度的识别误差。当镜头模糊程
度为 0 时，算法的误差均在 1°以内，此时的算法精度较高，误差可忽略不计，
当模糊程度为 6~12 时，误差明显上升，最大误差为 2°，当模糊程度大于 12
时，出现螺栓漏检的情况，个别螺栓误差为 4°。其主要原因是由于模糊程度越
大，角点的特征越不明显，所以算法定位角点的误差增大。这一结果可以帮助在
使用本文所提算法时所需的最低的图片质量。值得注意的是，当镜头模糊度超过
66
12 时，这种情况靠我们肉眼观察都难以判断出螺栓的角点特征。并且当镜头模糊
程度为 12 时，此时的照片质量已远低于大部分监控摄像机的质量。
4.2.6 螺杆检测
在实际工程中，一般外露在结构外易于拍摄的是螺母面，但也存在栓杆背面
朝向结构外部的情况，如图 4.20（a）所示，为螺栓背面图。为了全面的考虑所
有的螺栓外露情况，使用工业相机，对螺栓背面进行图像采集。首先，在距离螺
栓背面面板 1.5 m 处，视角保持水平，每次随机挪动较小位移后，拍摄 1 张图
片，连续拍摄 15 张螺栓紧固状态下的图片；然后将 4 颗紧固螺栓（螺栓 1、螺栓
3、螺栓 5、螺栓 9）分别松动 27°、18°、12°和 5°，重复第一步操作，再连
续拍摄 15 张图片作为松动状态图片。将紧固和松动两种状态下的螺栓图像作为
一组导入算法，对松动螺栓进行识别，松动识别结果的示意图见图 4.21（b）。
（a）螺栓背面原图（b）松动测试结果图
图 4.20 螺栓栓杆测试结果
图 4.21（a）为算法识别紧固和松动两种状态下的螺栓旋转角度结果，从图
中可以看出，对于紧固时的图像 1-15，螺栓松动角度大部分为 0°和 1°，个别
螺栓角度变化为 2°，此时可将松动阈值设置为 2°，表示所有螺栓均未松动，
对于图像 16-30，紧固螺栓的松动角度仍保持在较低水平，所有的松动螺栓的角
度迅速增加，均超过了阈值，表明其为松动螺栓。图 4.21（b）比较了算法识别
的松动值与实际施加值，可以看出，在四颗松动螺栓中，识别的角度与施加值非
常一致，算法准确的识别出螺栓的松动程度，这表明所提算法检测螺栓栓杆的可
靠性较高。综上所述，当外露在结构外的是栓杆时，本文算法仍能够准确的对螺
栓的松动角度进行识别，测试结果验证了算法具有良好的综合性能。
67
（a）松动螺栓检测（b）松动程度
图 4.21 栓杆测试结果
4.2.7 不同像素数
为了研究分辨率对算法识别螺栓准确度的影响，在距离螺栓板 1.5 m 的距离

下，使用工业相机对螺栓面板进行拍摄，通过小范围内挪动工业相机，共拍摄了
6 张图片，使用图像编辑软件，将采集的 6 张图片进行不同的分辨率处理，从高
分辨率到低分辨率依次设置 6 种情况，并对每种工况下单颗螺栓所占像素进行计
算，每个工况设置的参数如表 4.1 所示。
表 4.1 不同像素工况参数设置
工况工况 1 工况 2 工况 3 工况 4 工况 5 工况 6
分辨率/wppi 1200 768 192 108 44.9 26.9
单颗螺栓
274 176.4 104.9 45 26.9 12.1
所占像素/kppi
将处理后的图像导入算法，识别螺栓的当前角度，同时记录不同分辨率下的
识别时间 t。图 4.22 展示了工况 1、工况 3 和工况 5 的测试结果，从图中可以直观
的看出，在单颗螺栓的所占像素大于 26.9kppi 时，算法能够准确对所有的螺栓进
行识别。图 4.23 为工况 6 下的螺栓测试结果，从图中可以看出，此时算法的识别
结果较差，螺栓 3 和螺栓 8 存在未能识别的角点。
68
（a）工况 1 （b）工况 3 （c）工况 5
图 4.22 不同分辨率下识别结果
（a）角度识别结果（b）热力图（c）关键点映射图
图 4.23 工况 6 分辨率下识别结果
为进一步准确分析不同分辨率对算法识别效果的影响，将每种工况下的单个
螺栓的最大误差和单张图片的识别时间整理至图 4.24，从图中可以看出，随着像
素个数的增加，螺栓最大误差值呈下降趋势，但单张图片的测试时间呈上升趋
势，在像素数为 176 ~274 k 之间时，角度误差为 0°，但此时图片检测时间较
长，单张耗时近 2 s，其主要的原因是由于此时的图像尺寸较大，关键点定位算法
需要耗费较长的时间来提取螺栓的特征，当分辨率在 50 ~176 k 时，此时的误差
在 2°以内，单张测试时间约为 1.2 s，无论是测试精度还是检测时间都取得了较
好的效果，当分辨率小于 50 k 时，测试时间仅为 0.6 s，但此时的最大误差迅速上
升至 8°，由于此时的分辨率较低，单颗螺栓所占像素仅有 12.1 k，其主要原因
是由于低像素导致角点特征模糊，算法不能准确的定位，导致算法的识别能力下
降。从整体检测效果来看，为了同时保证算法的精度和检测速度，测试图片中单
个螺栓的像素应在 45 ~176.4 k 之间。
69
图 4.24 不同分辨率下的螺栓角度测试结果
4.3 现场环境试验
现场测试的主要目的是为了对实验室不能设置的环境因素进行补充，尽可能
多的考虑在实际工程中可能出现的工况。在实验室研究的基础上，在现场分别进
行了不同螺栓个数、螺栓锈蚀、不同涂装及松动模拟试验。
4.3.1 不同个数
实际桥梁中每个连接处的螺栓个数是不同的，少则几十颗，多则上百颗，为
验证本文算法能否在现场螺栓个数的变化下仍能保持良好的性能，在杭州市某桥
梁现场进行试验，本次试验共选取 6 种工况，6 种工况下的螺栓个数分别为 24
颗、32 颗、40 颗、56 颗、120 颗和 150 颗。对于每种工况，均使用工业相机拍
摄，拍摄距离为 1.5 m，保持视线水平，同时为尽量提高图片的感兴趣区域占
比，调节焦距，使每种工况下的螺栓均布满图像。每次小范围挪动工业相机后拍
摄一张图片，每种工况连续拍摄了 10 张图片，将采集的螺栓图片导入算法进行
识别，验证算法识别不同螺栓个数下当前角度的准确性，识别结果见图 4.25。
（a）24 颗（b）32 颗
70
（c）40 颗（d）56 颗
（e）120 颗（f）150 颗
图 4.25 不同螺栓个数测试结果
从图 4.25 可以看出，对于每种工况，算法能够准确的将图片中所有螺栓识
别，并且不存在漏检或误检的情况。为进一步分析螺栓个数的增加对算法识别性
能的影响，人工量取真实角度，与算法识别角度进行对比，对比结果见表 4.2。
从表中可以看出，位置 1 和位置 2 处的角度最大误差均为 1°，平均误差分别为
0.85°和 0.97°，识别效果较为稳定，位置 3、位置 4 及位置 5 处的角度误差增
大，最大误差分别为 2°、3°、3°，平均误差在 1°左右，误差仍控制在较低
的水平，当螺栓个数增加至 150 颗（位置 6）时，此时的平均误差和最大误差迅
速增加，分别为 3.12°和 5°。从整体来看，误差随着螺栓个数的增多而变大，
分析原因可知，随着图片中螺栓个数的增加，每颗螺栓所占像素比下降，导致关
键点定位效果不佳，算法识别的位置与实际位置有一定的偏差，角度计算误差增
大，进而影响整体的检测效果。因此，在实际应用中，为保证检测精度，可对输
入图像进行预裁剪，将螺栓个数控制在 120 颗以内，并且需提高螺栓感兴趣区域
所占比例。
71
表 4.2 螺栓测试结果
编号位置 1 位置 2 位置 3 位置 4 位置 5 位置 6
螺栓个数/颗 24 32 40 56 120 150
最大误差/° 1 1 2 3 3 5
RMSE/° 0.85 0.97 1.22 1.31 1.82 3.12
4.3.2 螺栓锈蚀
在公路、铁路等钢桥中，一些暴露在结构外面的螺栓，随着服役时间的延
长，受阳光、风雨等因素的影响，会出现一些结构锈蚀老化的现象。为验证本文
所提算法对不同锈蚀程度下螺栓的检测效果，使用智能手机，在桥梁现场选取了
三处不同腐蚀程度的螺栓连接板，锈蚀程度分别为初步锈蚀、一般锈蚀和严重锈
蚀三种情况。智能手机距离螺栓群 1.5 m，光照情况为正常光，螺栓面板的漆装
均为白色，螺栓个数分别为 79、78 和 29。将拍摄的三种情况的螺栓图片导入算
法，进行螺栓角度识别，识别结果见图 4.26。
（a）初步锈蚀（b）一般锈蚀
（c）严重锈蚀
图 4.26 不同锈蚀程度下螺栓角度识别结果图
由图 4.26 可知，对于三种锈蚀情况，算法均能准确的识别出每颗螺栓，并对
每颗螺栓的角度进行显示。为准确的测量算法在不同锈蚀情况下的准确率，使用
72
量角器，手动测量每种锈蚀下螺栓的角度，与算法识别角度值进行对比，计算角
度识别误差。对比结果见表 4.3，当螺栓连接板为初步锈蚀时，此时误差较小，
RMSE 和最大误差分别为 1.22°和 2°，当螺栓连接板为一般锈蚀的时候，误差
有所增大，RMSE 和最大误差分别为 1.86°和 3°，当螺栓连接板为严重锈蚀
时，此时的误差较大，RMSE 为 2.78°，最大误差达到 5°，此时检测结果的可
靠性较低，分析误差上升的原因是由于锈蚀问题导致角点的特征模糊，算法定位
出现一定的偏差，误差增大。从整体来看，本文所提检测方法的准确性在受螺栓
连接板老化的影响，分析其主要原因是原始图片中的锈蚀样本较少，导致算法不
能准确的识别锈蚀下的螺栓特征。后期可增加锈蚀样本，解决算法识别锈蚀特征
较差的问题。
表 4.3 不同锈蚀程度下的误差
工况一般锈蚀正常锈蚀严重锈蚀

RMSE/° 1.22 1.86 2.78
最大误差/° 2 3 4
4.3.3 不同涂装
对于实际的桥梁现场环境，每座桥梁的涂装由于实际需求会有所不同，并且
随着服役时间的增长，表面也会有不同程度的损坏，为了检验算法在不同涂装效
果下的泛化能力，在桥梁现场分别收集了白色漆面、黑色漆面、漆面脱落和表面
污染四种工况下拍摄的螺栓图片，将其导入算法对螺栓的角度进行识别，识别结
果如图 4.27 所示。
（a）白色（b）黑色
73
（c）脱落（d）污染
图 4.27 不同涂装下螺栓识别结果
计算每种工况下的均方根误差，将结果整理至表 4.4。从表 4.4 可以看出，每

种涂装效果下的 RMSE 均在 1.53 ~1.59°之间，最大误差为 3°，均取得了较高
的精度，测试结果表明本文算法对不同涂装效果的螺栓具有较强的泛化能力。
表 4.4 不同涂装下误差
工况白色黑色脱落污染
RMSE/(°) 1.54 1.58 1.59 1.53
最大误差/(°) 2 2 3 2
4.3.4 模拟松动检测
为了检验所提螺栓松动检测方法的实用性，使用智能手机，在距离螺栓板
1.5 m 的位置处，对桥梁的两处螺栓连接面板进行拍摄，节点板如图 4.28 所示，
螺栓个数分别为 58 和 64，面板漆色分别为灰色和白色，拍摄图像的大小为 4032
×3024 像素。由于直接拧动螺栓会对结构造成一定的损伤，影响结构的安全性，
为模拟螺栓的松动，采用图像编辑软件，在两张图像中合成了九处松动情况，如
图 4.28（a）和（b）所示，在每张图像中，随机选择 9 颗螺栓，顺时针分别松动
5°、12°、18°、25°、32°、37°、40°、45°和 53°。
（a）情况一（b）情况二
74
图 4.28 不同位置的螺栓松动情况
将紧固图片与松动图片同时导入算法，进行螺栓松动检测，根据实验室结果
得出的角度误差，将此次松动角度阈值设置为 3°。检测结果见图 4.29，从图中
可以看出，算法成功检测到所有的螺栓，并在每颗螺栓的左下方显示此时的角
度。针对算法检测到的松动螺栓，使用红色边框对其进行标记，并在框外使用红
色角度值显示对应的松动角度。
（a）情况 1 （b）情况 2
图 4.29 螺栓松动检测结果
将算法的识别值与施加情况整理至图 4.30，由图 4.30（a）可知，损伤 1 的 8

处松动被准确识别，但出现 1 处漏检的情况，其中红圈标记处为未识别的松动螺
栓，由图 4.38（b）可知，损伤 2 中所有松动均被正确识别，并且不存在漏检或
误检的情况。将松动螺栓的施加值与算法识别值进行对比，可以发现，大部分误
差在 1°之内，个别误差为 2°，这表明算法识别的松动值与施加值非常接近，
精确率高。并且在测试时间上，两张图片的测试时间为 1.7 s，这也表明该算法的
计算速度较快，检测效率高。
（a）损伤 1 （b）损伤 2
75
图 4.30 螺栓松动识别情况
分析损伤 1 中的未能正确检出的松动螺栓原因，将损伤 1 的紧固和松动两张

图片分别进行初始角度识别，对未能识别的螺栓角度进行提取，人工对比角度差
值，识别效果见图 4.31（a）和图 4.31（b），可以看出，螺栓在紧固时角度值为
55°，松动后的角度值为 60°，前后差值为-5°，所以此处的松动情况未能正确
识别。此处出现松动角度值比紧固角度值大的情况，是因为预先松动角度为
53°，旋转角度与紧固时的螺栓实际角度相近。使用红线圈出两张图像中紧固和
松动状态下的同一角点，可以发现，螺栓松动后，原始第一象限的定位角点旋至
第四象限，即图中蓝色方框选的角点，在松动时进行角度计算的角点已不是紧固
时对应的角点，即出现了角点错位对比的情况。因此，针对这种情况，可以增加
另一松动约束条件，即在关键点定位时，对角点的位置进行判定，即角点像素位
置变化值超过一定的范围后判断其为松动螺栓。
（a）紧固（b）松动
图 4.31 未检测出松动的螺栓角度变化
4.4 无人机可行性试验
在上几个小节的试验，初步测试了使用相机对桥梁指定位置的螺栓检测，验
证了不同的测试条件，然而在实际桥梁中，一些关键节点处的螺栓所处的位置距
离地面较远，维修人员难以到达，并且相机也难以架设，检测困难，但某些此处
位置的螺栓受车辆等荷载的反复作用，极易出现螺栓松动、断裂的情况，影响着
桥梁结构的安全。因此，为实现桥梁极端位置螺栓检测的全覆盖，同时验证本文
所提方法与无人机结合检测螺栓松动病害的可行性，特在杭州市某桥梁现场进行
了一次试验，对算法结合移动机位的可行性进行测试。
76
4.4.1 设备参数
本次试验的选用无人机为大疆 M300-RTK 行业机，该款无人机机身配备三维

视觉系统，能实时的显示与前方障碍物的距离。无人机可同时搭载多台相机，配
置高性能电池，续航时间久，可持续作业 55 分钟，并且无人机具有较好的环境
干扰能力，基本满足桥梁自动化检测需求。本次试验无人机搭载摄像机为禅思
H20t 高清摄像机，传感器为 1/1.7 CMOS，像素为 2000 万，光圈:f/2.8-f/11，焦距
为 6.38-119.94 mm，拍摄的图像噪声较小，图像分辨率为 4056×3040 像素。无人
机如图 4.32（a）所示，摄像机如图 4.32（b）中红色框选所示。
（a）大疆 M300-RTK （b）H20T 禅思摄像机
图 4.32 试验设备
4.4.2 螺栓图像采集方案
（1）试验概况
本次无人机试验对象为杭州市萧山区的杭甬高速复线某段，该桥为混凝土梁
桥，跨线桥，非禁飞区，周围无遮挡，并且此桥属于在建期，尚未通车，附近无
高压线，飞行条件良好。如图 4.33 所示，为桥梁连接板概况，相邻两处拍摄的螺
栓位置间隔为 35 m，选择连接板的下半板作为拍摄对象，螺栓个数为 72 颗，螺
栓外露为背面。
77
（a）螺栓群（b）目标螺栓
图 4.33 桥梁连接板概貌
（2）螺栓图像采集方案
为了获得质量最佳的螺栓群图片，此次试验的时间选择在光照条件较好的下
午两点。试验过程中使用大疆无人机和飞行控制软件 DJI GO 组合对螺栓群进行
图像采集，并配备四组电池。出于模拟实际过程中的桥梁病害巡检的目的，如图
4.34 所示，此次试验选择两处位置的螺栓群作为拍摄对象。对桥梁的螺栓群概况
进行了解后，同时确保无人机的运行状况良好后，开始图像采集，采集过程具体
如下：
第一步，先由飞手操作，通过标记目标高度、偏航角和无人机距离螺栓节点
板的距离来定位无人机位置，在对每个连接板进行拍摄时，均将无人机悬停在距
离螺栓群水平距离 8 m，距离地面为 12 m 的位置处，并输入此时所处位置的经度
和纬度来确定具体位置。为防止图片噪声太多，在尽量不使用光学变焦情况下，
使螺栓群布满图像，并记录此时的焦距。
第二步，为模拟无人机定期巡检，在间隔半个小时后，再次控制无人机进行
拍摄，此时，无人机系统将会自动按照第一次飞行记录的信息按照指定路线进行
悬停，拍照。
第三步，按照第二步的操作，重复进行五次。
如图 4.34（b）所示，为无人机飞行的路线与位置图，在拍摄过程中同一位
置连续拍摄 5 张，透视角度小于 5°（即没有透视角度），共收集了 35 张螺栓样
本图片，测定螺栓角度的稳定性。
78
（a）拍摄侧面螺栓（b）无人机航线图
图 4.34 无人机拍摄螺栓群现场
4.4.3 结果分析
对一处位置的 72 颗螺栓角度值进行分析，将图片导入算法进行角度识别，
图 4.35 为测试图像的螺栓角点检测和角度的识别结果。从图 4.35（a）可以看
出，测试图像中的所有角点都被算法准确的检测到，定位角点与真实角点的位置
非常吻合，从图 4.35（b）可以看出，算法准确的将角点进行聚类，并将每颗螺
栓的角度显示在螺栓右侧。
（a）螺栓角点检测（b）螺栓角度识别
图 4.35 螺栓角度识别结果
将 35 张螺栓图像中的角度变化绘制在图 4.36（a）~图 4.36（d）中，从图中

可以看出，测试图像中的大部分螺栓的角度值波动较小，但存在个别螺栓的角度
波动值较大。为了进一步的精确得到算法的识别误差，将采集的照片打印出，人
工量取每颗螺栓的真实值，与算法识别值进行比较，计算最大误差，误差值见图
4.37，从图中可以看出，测试误差大部分在 3°以内变化，最大误差为 4°，相较
于定点拍摄，尽管测试误差有所增加，但仍在工程容许的误差范围内。因此，使
79
用无人机进行巡检时，可将松动阈值设置为 4°，角度变化超过 4°的螺栓即可

判定为松动螺栓。
（a）螺栓 1~18 （b）螺栓 19~36
（c）螺栓 37~54 （d）螺栓 55~72
图 4.36 螺栓角度变化图
（a）螺栓 1~36
80
（b）螺栓 37~72
图 4.37 螺栓角度误差图
综上所述，此次测试试验表明，使用无人机采集照片进行螺栓松动检测的方
法是可行的，算法识别角度时的稳定性很高。
4.5 本章小结
本章将关键点定位模型与图像处理算法进行结合来进行端到端的识别松动螺
栓，共设计了三项试验，对连接后的算法主要进行了实验室试验、现场试验和无
人机可行性试验，研究了所提算法在实际环境中的适应范围及局限性。
（1）实验室试验结果表明：光照条件对算法的可靠性影响较小，在光照强
度为 600 ~1200 lux 时的准确度较高；拍摄距离应在 1.0 ~1.8 m 范围内，此时检测
的可靠度较高；透视矫正算法提高了透视失真的可检测范围，当透视角度在水平/
垂直 60°时，此时仍能保持较高的准确度；镜头清晰度对算法的可靠性有一定的
影响；算法适用于螺栓杆部检测，准确度与正面检测的差异不大；为同时兼顾检
测时间和检测精度，测试图片中单个螺栓的像素应在 45 ~176.4 k 之间。
（2）现场试验结果表明：螺栓锈蚀对算法的检测结果有一定的影响，该算
法不适合检测锈蚀严重的螺栓连接板；连接板的涂装效果对算法的准确度影响较
小，算法的泛化能力较强；为保证算法的准确性，图片中的螺栓个数应小于 120
颗；对现场模拟的松动，算法能够准确的检测出，结果具有较高的可靠性。
（3）无人机的可行性试验结果表明：相较于定点拍摄图片，使用无人机多
次对同一目标螺栓群进行拍摄时的角度误差有一定程度的增大，但误差仍在工程
允许范围以内，采用无人机定期自主对目标螺栓群进行松动巡检的方案是可行
的。
81
第 5 章现场螺栓松动实时监测试验研究
第二、三、四章介绍了深度学习在螺栓松动识别方面的应用，体现了其在桥
梁快速螺栓松动检测与监测中的应用潜力。同时，选择合适的相机和算法部署的
硬件，提出针对桥梁现场的实时监测方案，使得螺栓松动识别技术能够更好的与
实际工程相结合，从而提高螺栓病害检测效率，也显得尤为重要。本章采用微距
相机作为图像采集设备，设计了基于固定机位的螺栓松动实时监测试验，通过在
桥梁安装相机监测螺栓角度变化，检验所提算法在环境复杂的桥梁现场进行长期
监测的鲁棒性。
5.1 工程概况
（1）大桥总体概况
大桥横跨钱塘江，是连接杭州主城区和萧山两地的大型跨江钢桁架桥。大桥
主线全长 2007.8m，结构分为上下分层公轨两用桥，轨道交通在下，公路在上，
上下层桥面正交异性钢板的板桁组合结构整体桥面，桥面板和弦杆的顶板通长连
接以实现板桁共同受力。主桥为悬链形上加劲连续钢桁梁桥，跨径组成为
（72+122+4×240+122+72）=1348 m。主桥共 9 个桥墩，为 ZQ1~ZQ9#墩，大桥
以主桥中心 K10+713.5 对称布置 0.3%的纵坡，竖曲线半径为 35000m，大桥立面
图如图 5.1 所示。
图 5.1 大桥主桥立面图（单位：m）
（2）螺栓分布
钢桁梁结构采用了大量的螺栓连接件，桥面顶板及纵肋、上下弦杆及加劲弦
杆顶板均采用高强螺栓连接，连接螺栓样式均为大六角头，型号分别为 M30、
M24，其中 M30 螺栓使用 36 万套，M24 螺栓使用 52 万套，全桥共计使用螺栓连
82
接副 89 万套，螺栓数量多，运营期螺栓的耐久性问题尤为突出。
5.2 监测点位选择
在桥梁运营期间，公路层与轨道层连接处的螺栓受到列车高频率振动和汽车
往复荷载的作用，发生断裂的风险较高，并且螺栓距离地面 12 m，桥下为行人道
和城市轨道快线，存在螺栓掉落砸伤路人及影响列车行驶的风险。因此，本文根
据高强螺栓脱落后对可能砸到下方的人或列车而造成的灾害影响，建立了风险分
级，分为三级风险，其中一级风险等级最高。一级风险区域采取增强管控，应对
此区域的螺栓进行松动监测，二级和三级风险较低，可采取无人机巡检或拍照检
测。本部分重点对现场安装相机实时的监测方法进行试验研究，图 5.2 为试验的
监测点位布置图，本次试验共选择三个位置进行相机安装，其中，位置 1、位置
2 和位置 3 的螺栓个数分别为 24 颗、24 颗、32 颗，螺栓等级为 10.9 级，螺栓型
号均为 M24。
图 5.2 试验选点布置示意图（单位：mm）
5.3 测试方案
5.3.1 方案框架设计
现场测试方案主要包括两部分，如图 5.3 所示，分别为图像采集，螺栓角度

检测。两部分通过网络连接的方式进行通信，相机与松动识别仪通过网线进行连
接，松动识别仪接入大桥附近网络。为了实现检测结果的可追溯，将螺栓松动识
83
别仪设置两种查看方式：一是对原图和测试图进行本地存储，二是通过连接网络
进行远程访问。
图 5.3 现场螺栓角度检测流程
测试流程如下：
（1）图像采集传感器采集图像：设定检测周期，相机定时拍照，对桥梁位
置图片进行采集，拍摄完成后，将图片传至螺栓松动识别仪。
（2）图像处理与病害分析：检测仪对相机传输的图片进行裁剪、旋转预处
理，螺栓松动检测算法识别图片中的螺栓角度，对不同采集时间下的角度值进行
对比，判定螺栓的紧固状态。
（3）检测查看：将检测结果自动存储或通过软件远程查看检测结果。
5.3.2 设备选型
（1）相机的选择
相机是现场监测的重要组成部分，相机的好坏决定着图片的质量，因此，相
机的合理选择对算法检测效果起着至关重要的作用。对实际桥梁现场的螺栓群环
境进行调研，根据监测对象所处位置和和附近光照情况选择相机。为了保证图像
的清晰度，在光照条件较差的地方应补充光照条件，相机应具备补光功能。
对现阶段的工业用视觉检测的设备进行对比，可以发现，其中，球机质量较
重，桥梁拍摄位置较高，存在掉落风险，并且球机常用于人群识别，不适应角点
的微小变化；工业相机的拍摄视距比较符合，但工业相机不具备补光功能，光线
较差的位置图像清晰度难以保证；微距相机质量轻，尺寸较小，适用于桥梁高处
场所，具有白光补光功能，能够保证图像清晰，且功耗较低。因此，本次现场定
机位监测中，相机选择为海康威视微距相机，如图 5.4 所示，为相机安装示意
84
图。
（a）人行道侧（b）轨道侧
图 5.4 相机安装示意图
（2）算法部署设备选择
螺栓松动检测算法对角度的准确识别起着重要的作用，在现场安装相机进行
实时监测时，需要将算法部署在硬件平台上，这就要求硬件平台需具有体积小、
性能优、计算力强及能适应环境复杂恶劣的现场等优点。
对现阶段常用的设备进行对比，其中，树莓派可以运行多种系统，并且具有
功率小、质量轻、价格便宜等优点，但树莓派的 CPU 较弱，检测速度慢，无法满
足实时监测的要求；智能手机的 GPU 较为强大，并且价格也比较便宜，但使用
Pytorch 训练的模型不能直接在手机上使用，并且部署过程较为复杂；Jetson 系列
嵌入式主机可以实现大型复杂的深度学习网络，在图像处理方面表现出优异的性
能，性能符合现场实时监测要求。因此，综合考虑算法布置的难易程度、测试速
度、精度等，选定英伟达 Jetson 嵌入式主机作为此次方案的模型部署平台。
5.4 图像采集与结果分析
5.4.1 图像采集
为了最大限度的减少光照变化对算法识别精度的影响，采集周期设定为 24
小时，即每次采集的时间相同，观察螺栓群周边环境，选择光照条件较好的 11 点
~13 点这个时间段进行图像采集。如图 5.5 所示，为部分图像采集仪获取的螺栓
面板照片。
85
（a）位置 1 （b）位置 2
图 5.5 图像采集仪原始图
5.4.2 角度识别
相机完成图像采集后，将图片自动上传至松动识别仪，由于相机的原始尺寸
不一，并且与松动识别仪的内置深度学习模型的识别尺寸不相同，算法将会对图
片进行预处理，同时为了提高检测精度，先将图片的感兴趣区域裁剪至最大，再
与模型尺寸相匹配。初次测试时，考虑到桥梁振动及周边风速大的影响，将松动
阈值设置为 5°，后期可根据长周期监测结果对阈值进行设置。松动识别仪中的
部分识别结果如图 5.6 所示，其中，5.6（a）为只进行最大感兴趣区域裁剪，5.6
（b）为旋转后再进行最大感兴趣裁剪。从图中可以看出，每张结果图中会依次
显示监测位置的螺栓板编号、图片采集时间、原始图片、检测结果图片及检测结
果。其中，图片中最下方的检测结果是通过与上次的检测角度值进行对比，计算
两次识别的角度差值，若未超过设定的阈值，则显示“正常”，否则显示“松
动”。松动识别仪对图片进行识别后，将会自动将检测结果进行本地储存，实现
检测结果的可追溯。
（a）位置 1
86
（b）位置 2
图 5.6 松动检测仪识别效果图
5.4.3 结果分析
对三台相机连续 30 天内同一时间段拍摄的图片进行角度识别，将结果整理
至图 5.7~图 5.9。图 5.7~图 5.9 为三个位置处的螺栓角度值变化和螺栓角度误差，
从图 5.7（a）、图 5.8（a）和图 5.9（a）可以看出，每个位置处的螺栓角度变化具
有很强的一致性，呈直线分布，这表明算法识别角度时的稳定性较好，抗环境干
扰能力强。从图 5.7（b）、图 5.8（b）和图 5.9（b）可以看出，大部分螺栓角度
的误差为 2°，个别螺栓的最大识别误差为 3°，整体误差较小，从三个位置的
角度误差大致可以得出，现场实时监测的螺栓松动阈值可设定为 3°。若算法在
未来监测过程中检测到某颗螺栓的角度变化超过此阈值，则可认定其为松动螺
栓。从整体上看，测试结果表明在现场安装相机进行实时螺栓松动监测时，算法
具有较强的稳定性，抗复杂环境下的干扰能力较强，螺栓松动检测结果非常可
靠，实用性较好，并且本文提出的算法在未来桥梁螺栓的健康监测上具有良好的
应用前景。
87
（a）螺栓角度值变化（b）螺栓角度误差
图 5.7 位置一
（a）螺栓角度值变化（b）螺栓角度误差
图 5.8 位置二
（a）螺栓角度变化值（b）螺栓角度误差
图 5.9 位置三
5.5 本章小结
本章主要对现场螺栓松动进行实时监测的鲁棒性进行了试验研究，设计了一
种应用于实际桥梁的定机位的螺栓松动实时监测方案，方案主要由图像采集、螺
栓角度分析两部分组成。通过对采集的阶段性图片进行分析，验证了该方案的可
行性。
（1）根据依托工程的概况，对高强螺栓脱落后造成的风险分为三个等级，
88
根据风险等级对需要实时监测的点位进行了选择，并对整体的测试方案进行了设
计。对比了现阶段主流的工业用相机和算法部署平台的性能，并结合监测位置的
实际情况选取了微距相机和英伟达 Jetson 系列嵌入式主机。
（2）对现场捕获阶段性图片进行分析，发现算法在复杂环境下识别角度的
鲁棒性较好，误差较小，均在 3°以内，具备实时监测螺栓松动的能力，可直接
应用于实际工程。
（3）本文提出的定机位安装相机对螺栓连接板进行监测的方案，有利于提
高桥梁管养单位对桥梁钢结构连接性能的把握，对于避免桥梁自身和桥下行车安
全事故发生，具有重大意义。
89
第 6 章结论与展望
6.1 结论
本文以复杂环境下的钢结构桥梁中数以百万计的高强螺栓连接松动检测为背
景，针对目前主流的几种螺栓松动识别方法存在的成本高、效率低、安全性差等
问题，综合运营深度学习、数字图像处理等理论，基于机器视觉、无人机、嵌入
式主机等先进技术，构建复杂环境条件下的钢结构桥梁大批量螺栓松动快速识别
方法。采用理论分析、方法提出、模型试验、实验室试验、现场试验和现场方案
构建等相结合的方案，对恶劣环境下的螺栓连接松动识别方法进行研究。主要结
论如下：
（1）基于深度学习理论，提出了一种高精度的螺栓关键点定位识别方法。
采用离线和在线增强的方法对获得的原始数据集进行扩充，构建了螺栓图像数据
集；通过在 ResNet-50 网络添加反卷积层，构建了螺栓关键点定位模型；然后进
行消融试验，对模型的标准偏差  进行选取，确定了训练时的最佳超参数；使用
新采集的螺栓图片进行关键点定位试验，结果表明关键点模型定位的效果较好，
取得了较小的误差；通过改变光照条件对模型的鲁棒性进行测试，结果证明了其
对光线变化的良好适应性。
（2）基于数字图像处理技术，提出了一种螺栓松动角度识别方法。不同聚
类对比试验结果表明：中心点-角点算法 Acc 和召回率值较高，通过中心点定位角
点的方法，简单而高效，其综合性能优于 k  means 算法和谱聚类算法，在一定程
度上能够减少螺栓错误分类的情况；透视矫正结果表明，无论是哪种透视情况，
算法均可以有效的进行矫正，矫正后的图片与真实状态相吻合；角度准确度试验
表明，算法识别值与人工量测值的相关度很高，相关系数 Pearson 为 0.998；松动
角度试验表明，算法识别出的松动角度与实际施加的情况非常吻合，六次松动试
验的 RMSE 较小。
（3）针对连接后算法的性能测试共设计了三种试验，分别为实验室试验、
现场试验和无人机可行性试验。试验结果表明：光照强度、拍摄距离及透视角度
的变化对算法的影响不大；当外露在结构外的是栓杆时，本文算法仍能够准确的
90
对螺栓的松动角度进行识别；为了同时保证算法的精度和检测速度，测试图片中
单个螺栓的所占像素应在 45 k~176.4 k 之间，螺栓个数应控制在 120 颗以内，并
且需提高螺栓感兴趣区域所占比例；镜头的清晰度对算法有一定的影响，在拍摄
时应保证图片的清晰度；算法的准确性在一定程度上受螺栓连接板老化的影响，
对存在锈蚀的螺栓检测效果不佳；算法对现场模拟的松动进行识别时，测试误差
满足应用要求，检测速度较快；使用无人机采集照片进行螺栓松动检测的方法是
可行的，算法识别角度时的稳定性很高。
（4）现场螺栓松动定机位实时监测试验结果表明：算法在复杂桥梁环境下
长期进行检测时，整套监测方案的环境抗干扰能力较强，识别角度的稳定性较
好，误差较小，具备实时监测螺栓松动的能力，可预防螺栓的早期微小松动，有
利于提高桥梁管养单位对桥梁钢结构连接性能的把握，在实际工程中直接应用的
潜力较大。
6.2 展望
钢结构桥梁螺栓松动检测是预防钢桥发生灾害中重要一环，针对目前几种主
流的检测方法存在的不足，本文基于深度学习和数字图像处理技术，提出了一种
基于关键点检测的螺栓松动识别方法，并设计了相关试验对算法的性能进行测
试，研究结果表明所提方法能够对钢结构桥梁大批量螺栓快速检测提供一定的帮
助，但目前仍存在许多不足。故在此提出几点，在未来的工作中进一步研究：
（1）提升样本质量、构建高质量的螺栓数据集。螺栓训练样本较少，样本
的质量可进一步优化，由于时间的限制，本文所收集螺栓的图像数据集较为单
一，导致训练的数据总量不能满足要求，并且目前尚未有公开的螺栓数据集，图
像收集难度大。如何提出一种算法，将原始图像中的感兴趣区域的准确提取，最
大限度的裁剪图像背景及其他不相关的区域，构建不同应用场景下的高质量的螺
栓信息库，进而提升检测的准确度是今后的研究重点。
（2）扩大螺栓病害的检测范围。除螺栓松动病害外，螺栓涂装劣化、丢
失、断裂也影响着钢结构的安全运营，如何研究一种分类网络，对螺栓的病害情
况进行准确分类仍需要进一步探究。
91
参考文献
[1] 孙冰, 何洪, 吴昌根, 等. 全钢结构对比传统混凝土结构的优势[J]. 施工技术,

2017, 46(S2):445-449.
[2] 隋岩鹏, 陈英杰. 装配式轻钢结构活动板房在武汉火神山医院建设中的应用[J].
建筑经济, 2020, 41(07): 118-120.
[3] 刘文立, 郭玉. 钢结构住宅建筑发展及结构体系分析[J]. 建筑技术, 2009, 40(02):
172-174.
[4] 高宗余, 方秦汉, 卫军. 中国铁路桥梁技术发展与展望[J]. 铁道工程学报, 2007,
No.100(01): 55-59.
[5] 李朝峰, 乔瑞环, 苗雪阳, 等. 螺栓连接界面非线性建模及其参数辨识方法研究
[J]. 机械工程学报, 2021, 57(07):78-86.
[6] 方秦汉, 高宗余, 李加武. 中国铁路钢桥的发展历程及展望[J]. 建筑科学与工程
学报, 2008, 25(4): 1-5.
[7] 翟晓亮, 袁远. 我国耐候钢桥发展及展望[J]. 钢结构（中英文）, 2019, 34(11):
69-74+80.
[8] 李建刚, 蒋文志, 王桂智, 等. 钢桁架桥梁防腐体系及应用[J]. 城市道桥与防洪,
2020, No.260(12):96-97+129+115-116.
[9] 陈开利, 刘海燕. 日本桥梁自动化检测技术研究新进展[J]. 世界桥梁, 2023,
51(01): 1-8.
[10] 刘晓光, 卢春房, 鞠晓臣, 等. 我国铁路钢结构发展回顾与展望[J]. 中国工程科
学, 2020, 22(03):117-124.
[11] 交通部铁道科学研究院桥梁室. 国外钢桥概况及国内外高强度螺栓的应用和
发展[J]. 铁路标准设计通讯, 1973, (07): 59-64+69.
[12] 张勇 . 钢结构地脚螺栓的预埋施工及控制 [J]. 工程建设与设计 , 2020,
No.426(04): 187-188.
[13] 熊亮. 高强度摩擦型螺栓连接的节点板力学性能分析[D]; 北京交通大学, 2018.
[14] 何余良, 胡立普, 曹鑫雨, 等. 混杂纤维混凝土螺栓剪力键试验[J]. 中国公路学
报, 2021, 34(06):90-98.
[15] 王庆领, 程庆阳, 谢隽然. 螺栓松动检测的若干关键技术问题[J]. 科学技术与工
程, 2021, 21(22): 9194-9202.
[16] Huda Feblil, Kajiwara Itsuro, Hosoya Naoki, et al. Bolt loosening analysis and
diagnosis by non-contact laser excitation vibration tests[J]. Mechanical Systems
signal processing, 2013, 40(02): 589-604.
[17] Yokoyama Takashi, Olsson Mårten, Izumi Satoshi, et al. Investigation into the self-
loosening behavior of bolted joint subjected to rotational loading[J]. Engineering
Failure Analysis, 2012, 23: 35-43.
[18] 朱素华. 高速铁路特大桥钢桁梁高强度螺栓断裂分析及养修建议[J]. 上海铁道
科技, 2016, No.156(04): 79-80+89.
[19] 李保龙. 铁路钢桁梁桥螺栓脱落病害对节点转动刚度影响分析[J]. 城市道桥与
防洪, 2020, No.260(12): 87-90+15.
[20] 王宝丽. 基于深度学习的中低速磁浮 F 轨螺栓松动识别研究[D]; 西南交通大
92
学, 2019.
[21] Nikravesh Seyed Majid Yadavar, Goudarzi Masoud A review paper on looseness
detection methods in bolted structures[J]. Latin American Journal of Solids
Structures, 2017, 14: 2153-2176.
[22] 徐建军. 违章拧松螺栓 2 人窒息死亡[J]. 劳动保护, 2019, No.534(12): 56-57.
[23] Land H Bruce Determination of the cause of arcing faults in low-voltage
switchboards[J]. IEEE Transactions on Industry Applications, 2008, 44(2): 430-
436.
[24] 孙莉, 刘钊. 2000~ 2008 年美国桥梁倒塌案例分析与启示[J]. 世界桥梁, 2009,
(03): 46-49.
[25] Park J, Kim T, Kim J. Image-based bolt-loosening detection technique of bolt joint
in steel bridges[C]. 6th International Conference on Advances in Experimental
Structural Engineering 11th International Workshop on Advanced Smart Materials
and Smart Structures Technology. 2015: 1-2.
[26] 陈国达, 郗枫飞, 计时鸣, 等. 螺栓无损检测方法综述![J]. 制造技术与机床, 2017,
No.665(11):22-28.
[27] 苏滨生, 刘春红. 影响扭矩扳手准确性的因素分析[J]. 东方电机, 2007, 35(3):
51-55.
[28] 邵俊华. 基于压电阻抗频率变化的螺栓联接状态监测机理与方法研究[D]; 武汉
科技大学, 2018.
[29] Graybeal Benjamin A, Phares Brent M, Rolander Dennis D, et al. Visual inspection
of highway bridges[J]. Journal of nondestructive evaluation, 2002, 21(3): 67-83.
[30] Razi Pejman, Esmaeel Ramadan A, Taheri Farid Improvement of a vibration-based
damage detection approach for health monitoring of bolted flange joints in
pipelines[J]. Structural Health Monitoring, 2013, 12(3): 207-224.
[31] Sun Fan Ping, Chaudhry Z, Liang C, et al. Truss structure integrity identification
using PZT sensor-actuator[J]. Journal of Intelligent material systems structures,
1995, 6(1): 134-139.
[32] Bolted joint looseness damage detection using electromechanical impedance
measurements by PZT sensors[J]. Third International Conference on Smart
Materials and Nanotechnology in Engineering, 2012, 8409:626-634.
[33] Xu B, Jiang F. Concrete-steel composite girder bolt loosening monitoring using
electromechanical impedance measurements[C]. Earth and Space 2012:
Engineering, Science, Construction, and Operations in Challenging Environments.
2012: 629-634.
[34] 王丹生, 朱宏平, 鲁晶晶, 等. 基于压电导纳的钢框架螺栓松动检测试验研究[J].
振动与冲击, 2007, No.114(10):157-160+194-195.
[35] Yang Jann N, Xia Ye, Loh Chin-Hsiung. Damage identification of bolt connections
in a steel frame[J]. Journal of Structural Engineering, 2014, 140(03): 04013064.
[36] Sah Si Mohamed, Thomsen Jon Juel, Brøns Marie, et al. Estimating bolt tightness
using transverse natural frequencies[J]. Journal of Sound Vibration, 2018, 431:
137-149.
[37] 罗文峰, 余岭. 基于特征参数的栓接结合部螺栓预紧力评估[J]. 振动与冲击,
2019, 04: 121-128.
93
[38] An Yun-Kyu, Sohn Hoon Integrated impedance and guided wave based damage
detection[J]. Mechanical Systems signal processing, 2012, 28: 50-62.
[39] Zhang Mengyang, Shen Yanfeng, Xiao Li, et al. Application of subharmonic
resonance for the detection of bolted joint looseness[J]. Nonlinear dynamics, 2017,
88: 1643-1653.
[40] Caccese Vincent, Mewer Richard, Vel Senthil S Detection of bolt load loss in
hybrid composite/metal bolted connections[J]. Engineering structures, 2004,
26(07): 895-906.
[41] Wu Huadong, Siegel Mel Correlation of accelerometer and microphone data in
the" coin tap test"[J]. IEEE Transactions on Instrumentation Measurement, 2000,
49(3): 493-497.
[42] Baglio Salvatore, Savalli Nicolò. " Fuzzy tap-testing" sensors for material health-
state characterization[J]. IEEE Transactions on Instrumentation Measurement,
2006, 55(3): 761-770.
[43] Tong F, Xu Xm, Luk Bl, et al. Evaluation of tile–wall bonding integrity based on
impact acoustics and support vector machine[J]. Sensors Actuators A: Physical,
2008, 144(1): 97-104.
[44] Chen Renxiang, Chen Siyang, Yang Lixia, et al. Looseness diagnosis method for
connecting bolt of fan foundation based on sensitive mixed-domain features of
excitation-response and manifold learning[J]. Neurocomputing, 2017, 219: 376-
388.
[45] Kong Qingzhao, Zhu Junxiao, Ho Siu Chun Michael, et al. Tapping and listening:
A new approach to bolt looseness monitoring[J]. Smart Materials Structures, 2018,
27(7): 07LT02.
[46] Wang Furui, Song Gangbing Bolt-looseness detection by a new percussion-based
method using multifractal analysis and gradient boosting decision tree[J].
Structural Health Monitoring, 2020, 19(06): 2023-2032.
[47] 卓德兵, 曹晖. 基于小波时频图与轻量级卷积神经网络的螺栓连接损伤识别[J].
工程力学, 2021, 38(09): 228-238.
[48] Zhuo Debing, Cao Hui Damage identification of bolt connection in steel truss
structures by using sound signals[J]. Structural Health Monitoring, 2022, 21(2):
501-517.
[49] 庞娜, 赵启林, 芮挺, 等. 基于机器视觉的桥梁检测技术现状及发展[J]. 现代交
通技术, 2015, 12(06):25-31.
[50] Huang Jiayu, Liu Jianhua, Gong Hao, et al. A comprehensive review of loosening
detection methods for threaded fasteners[J]. Mechanical Systems signal processing,
2022, 168: 108652.
[51] Park Jae-Hyung, Huynh Thanh-Canh, Choi Sang-Hoon, et al. Vision-based
technique for bolt-loosening detection in wind turbine tower[J]. Wind Struct, 2015,
21(6): 709-726.
[52] Zhao Xuefeng, Zhang Yang, Wang Niannian Bolt loosening angle detection
technology using deep learning[J]. 2019, 26(1): e2292.
[53] Kong Xiangxiong, Li Jian Image registration-based bolt loosening detection of
steel joints[J]. Sensors, 2018, 18(4): 1000.
94
[54] Huynh Thanh-Canh, Park Jae-Hyung, Jung Hyung-Jo, et al. Quasi-autonomous

bolt-loosening detection method using vision-based deep learning and image
processing[J]. Automation in Construction, 2019, 105: 102844.
[55] Pham Hai Chien, Ta Quoc-Bao, Kim Jeong-Tae, et al. Bolt-loosening monitoring
framework using an image-based deep learning and graphical model[J]. Sensors,
2020, 20(12): 3382.
[56] 吴杰. 桥梁结构损伤识别若干问题研究[D]; 华南理工大学, 2020.
[57] Huynh Thanh-Canh. Vision-based autonomous bolt-looseness detection method for
splice connections: Design, lab-scale evaluation, and field application[J].
Automation in Construction, 2021, 124: 103591.
[58] 周靖, 刘煜, 霍林生. 基于机器视觉的螺栓松动旋转角度测量[J]. 机械设计与研
究, 2021, 37(04): 159-162+175.
[59] Yang Xinyue, Gao Yuqing, Fang Cheng, et al. Deep learning ‐ based bolt
loosening detection for wind turbine towers[J]. Structural Control Health
Monitoring, 2022, 29(6): e2943.
[60] Cha Young Jin, You K., Choi W. Vision-based detection of loosened bolts using the
Hough transform and support vector machines[J]. Automation in Construction,
2016, 71(pt.2): 181-188.
[61] Ramana Lovedeep, Choi Wooram, Cha Young-Jin Fully automated vision-based
loosened bolt detection using the Viola–Jones algorithm[J]. Structural Health
Monitoring, 2019, 18(2): 422-434.
[62] Wang Chenyu, Wang Ning, Ho Siu-Chun, et al. Design of a new vision-based
method for the bolts looseness detection in flange connections[J]. IEEE
Transactions on Industrial Electronics, 2019, 67(2): 1366-1375.
[63] Zhang Yang, Sun Xiaowei, Loh Kenneth J, et al. Autonomous bolt loosening
detection using deep learning[J]. Structural Health Monitoring, 2020, 19(1): 105-
122.
[64] Gong Hao, Deng Xinjian, Liu Jianhua, et al. Quantitative loosening detection of
threaded fasteners using vision-based deep learning and geometric imaging
theory[J]. Automation in Construction, 2022, 133: 104009.
[65] Lecun Yann, Bengio Yoshua, Hinton Geoffrey Deep learning[J]. nature, 2015,
521(7553): 436-444.
[66] Angra Sheena, Ahuja Sachin. Machine learning and its applications: A review[C].
2017 International Conference on Big Data Analytics and Computational
Intelligence (ICBDAC). IEEE. 2017: 57-60.
[67] Hinton Geoffrey E., Osindero Simon, Teh Yee-Whye. A Fast Learning Algorithm
for Deep Belief Nets[J]. Neural Computation, 2006, 18(7): 1527-1554.
[68] Kattenborn Teja, Leitloff Jens, Schiefer Felix, et al. Review on Convolutional
Neural Networks (CNN) in vegetation remote sensing[J]. 2021, 173: 24-49.
[69] Rawat Waseem, Wang Zenghui Deep convolutional neural networks for image
classification: A comprehensive review[J]. Neural Computation, 2017, 29(9):
2352-2449.
[70] Krizhevsky Alex, Sutskever Ilya, Hinton Geoffrey E. Imagenet classification with
deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6):
95
84-90.
[71] Fan Jialue, Xu Wei, Wu Ying, et al. Human tracking using convolutional neural
networks[J]. IEEE transactions on Neural Networks, 2010, 21(10): 1610-1623.
[72] Simonyan Karen, Zisserman Andrew. Very deep convolutional networks for large-
scale image recognition[J]. arXiv preprint arXiv:, 2014:
[73] 沈瑜, 陈小朋. 基于 DLatLRR 与 VGG Net 的红外与可见光图像融合[J]. 北京航
空航天大学学报, 2021, 47(06): 1105-1114.
[74] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for
image recognition[C]. Proceedings of the IEEE conference on computer vision and
pattern recognition. 2016: 770-778.
[75] 吴雪, 宋晓茹, 高嵩, 等. 基于数据增强的卷积神经网络火灾识别[J]. 科学技术
与工程, 2020, 20(3):1113-1117.
[76] Šroba L, Grman J, Ravas R. Impact of Gaussian noise and image filtering to
detected corner points positions stability[C]. 2017 11th International Conference
on Measurement. IEEE. 2017: 123-126.
[77] Liu Xin, Wang Huabin, Zhou Jian, et al. Attention-guided coarse-to-fine network
for 2d face alignment in the wild[J]. IEEE Access, 2019, 7: 97196-97207.
[78] 张伟, 钱沄涛. 引入全局约束的精简人脸关键点检测网络[J]. 信号处理, 2019,
35(03): 507-515.
[79] 徐礼淮. 基于卷积神经网络的轻量级高精度人脸关键点检测算法[D]; 天津大学,
2020.
[80] Bin Xiao, Haiping Wu, Wei Yichen. Simple Baselines for Human Pose Estimation
and Tracking[C]. Proceedings of the European Conference on Computer Vision
(ECCV), 2018: 466-481.
[81] Chen Hanshen, Yao Minghai, Gu Qinlong Pothole detection using location-aware
convolutional neural networks[J]. International Journal of Machine Learning, 2020,
11(04): 899-911.
[82] Atliha Viktar, Šešok Dmitrij. Comparison of VGG and ResNet used as Encoders
for Image Captioning[C]. 2020 IEEE Open Conference of Electrical, Electronic
and Information Sciences (eStream). IEEE. 2020: 1-4.
[83] Ioffe Sergey, Szegedy Christian. Batch normalization: Accelerating deep network
training by reducing internal covariate shift[C]. International conference on
machine learning. pmlr. 2015: 448-456.
[84] Cheng Bowen, Xiao Bin, Wang Jingdong, et al. Higherhrnet: Scale-aware
representation learning for bottom-up human pose estimation[C]. Proceedings of
the IEEE/CVF conference on computer vision and pattern recognition. 2020: 5386-
5395.
[85] Khan Ameer Hamza, Cao Xinwei, Li Shuai, et al. BAS-ADAM: an ADAM based
approach to improve the performance of beetle antennae search optimizer[J].
IEEE/CAA Journal of Automatica Sinica, 2020, 7(2): 461-471.
[86] Dabral Rishabh, Gundavarapu Nitesh B, Mitra Rahul, et al. Multi-person 3d human
pose estimation from monocular images[C]. 2019 International Conference on 3D
Vision (3DV). IEEE. 2019: 405-414.
[87] Nguyen Tuan-Cuong, Huynh Thanh-Canh, Ryu Joo-Young, et al. Bolt-loosening
96
identification of bolt connections by vision image-based technique[C].

Nondestructive Characterization and Monitoring of Advanced Materials,
Aerospace, and Civil Infrastructure 2016. SPIE. 2016: 227-243.
[88] Yu Yabin, Liu Ying, Chen Jiawei, et al. Detection method for bolted connection
looseness at small angles of timber structures based on deep learning[J]. Sensors,
2021, 21(9): 3106.
[89] Krishna K, Murty M Narasimha Genetic K-means algorithm[J]. IEEE Transactions
on Systems, Man, Cybernetics, Part B, 1999, 29(3): 433-439.
[90] 杨俊闯, 赵超. K-Means 聚类算法研究综述[J]. 计算机工程与应用, 2019, 55(23):
7-14+63.
[91] 田文敏. 基于近邻分析的谱聚类算法研究[D]; 陕西师范大学, 2020.
[92] 蔡晓妍, 戴冠中, 杨黎斌. 谱聚类算法综述[J]. 计算机科学, 2008, 035(07): 14-18.
[93] 苏常保, 龚世才. 一种基于卷积神经网络的谱聚类算法[J]. 安徽大学学报(自然
科学版), 2022, 46(05): 20-26.
[94] 於亚斌. 基于深度学习的木结构螺栓连接松动性能的测试方法研究[D]; 南京林
业大学, 2022.
97
攻读硕士学位期间论文发表情况及科研情况
一、攻读硕士学位期间发表学术论文
[1] XX,xxx,xxx,xx,xxx.xxxxxxxxxxxxxxxxxxxx [J].低温建筑技术.2023.（已见刊）
[2] xxx,xx,xxx,XX. xxxxxxxxxxxxxxxxxxxx [J].工业建筑.2022.（已见刊）
二、参与的主要科研项目
[1] 国家自然基金（51808308）“组合结构焊钉连接件本构模型研究”；
[2] 浙江省交通运输厅科技计划项目（2022013）“在役公路钢桥螺栓监测关键技术
研究”
；
[3] 浙江省交通运输厅科技计划项目（2020009）“基于物联网的公路钢桥高强螺栓
施工与检测成套技术研究”；
[4] 浙江省道桥检测与养护技术研究重点实验室项目“基于机器视觉的螺栓松动与
预拉力损失检测技术研究”.
98
致谢
光阴似箭，岁月如梭，转眼间研究生三年生活已接近尾声。在硕士论文即将
完成之际，在此向在学业和生活上帮助过我的各位老师、同学、朋友和亲人表示
最诚挚的感谢。
首先，衷心的感谢我的导师 xxx 教授，三年的研究生生活，xxx 不仅在学习
与科研上悉心指导，为我们提供了优越的科研条件和环境，还在生活上给予我们
无微不至的关怀和帮助，xxx 渊博的学识、开阔的视野和严谨的科研态度是我永
远的学习榜样。其次，衷心的感谢 xx 教授，xxx 思维敏捷、与人和善，对待学生
慷慨大方，多次请我们到家中做客，一年半的杭州生活，与 xxx 朝夕相处，跟着
xxx 学做人、学做事，在学习能力和为人处世方面得到了很大的提升，xxx 乐观的
人生态度、坚持锻炼和读书的良好习惯今后也会一直影响着我。最后，感谢浙交
院的 xxx 老师，感谢 xxx 对我的学习过程中提出的宝贵意见，做试验和算法优化
方面都离不开 xxx 的指导。
感谢青岛理工大学的 xx、xxx、xx、xxx 博士以及 xx、xx、xxx、xxx、xxx、
xx、xxx 师兄及 xxx、xx 两位师姐的帮助。感谢同门 xxx、xxx、xxx 三年来的帮
助与陪伴，大家互帮互助，共同进步，一起度过了三年的快乐时光。感谢浙交院
的 xxx 老师、xxx 老师以及 xxx、xxx、xxx、xxx、xxx、xxx、xx、xxx、xxx、徐
xxx 等同学的帮助，怀念和你们在杭州朝夕相处的日子，因为你们，我在杭州的
生活丰富多彩。
真诚的感谢我的父母，感谢你们这二十几年的养育之恩，你们永远是我最坚
实的后盾，在我遇到困难时，你们总是义无反顾，鼓励我以乐观积极向上的态度
对待生活中的挑战，让我充实的度过研究生生活。我将怀着感恩的心朝着未来前
进。
最后，十分感谢各位评审专家老师在百忙之中参加论文评阅和答辩。
99

LV Shuo-2020, 21010031 - Civil Engineering - Research On Machine Vision Based Looseness Detection Method For High Strength Bolts of Steel Bridges

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

LV Shuo-2020, 21010031 - Civil Engineering - Research On Machine Vision Based Looseness Detection Method For High Strength Bolts of Steel Bridges

Uploaded by

Copyright:

Available Formats

国内图书分类号：TU746.

Dissertation for the Master Degree in Engineering

RESEARCH ON DETECTION METHOD

Academic Degree Applied for: Master of Engineering

青岛理工大学、中国科学技术信息研究所、国家图书馆、CDMD 和 DMD 有权保

2.3.3 模型评价指标 ................................................................................................24

4.2.2 不同光照 ........................................................................................................56

adaptability to light changes.

长度对螺栓的连接状态进行判断。Ramana[61] 等在 Cha 的基础上将维奥拉-琼斯

本文的主要的技术路线如图 1.5 所示。

卷积神经网络[68]（Convolutional Neural Networks,CNN）作为深度学习的代表

核的尺寸， p 为填充的值， s 为步长。

函数、Dropout 和局部响应归一化[71]。使用 ReLU 作为 CNN 的激活函数，缓解了

图 2.5 AlexNet 模型结构图

图 2.6 VGGNet 模型结构图

图 2.7 ResNet 模型基础块

（a）原始图片 （b）对比度处理 （c）随机删除 patch 处理

（d）添加黑噪声 （e）添加白噪声 （f）模糊处理

由图 2.12 可知，首先，将输入模型的图像分辨率设定为 1024×768，经过特

分别生成 k 个螺栓角点预测热力图 Gd 1 和中心点的预测热力图 Gd 2 。模型结构的具

pos x , y  arg max p Gk ( p ) (2.2)

式中， posx , y 为第 p 个关键点最大值位置处的坐标， Gk ( p ) 为热力图中第 p 个关键

卷积层 结构 通道数 图像尺寸

利用了 TensorFlow 开源深度学习框架，并在 Ubuntu18.04 操作系统上运行。

式中， f  x, y  为高斯值， ( x, y ) 为二维高斯分布的横纵坐标， 1 、  2 为均值， 

式中，  表示空间对应像素点的最大与操作， N N  t ;T ,  2  表示以 t 为中心的二  

式中， Ga  Li ;Wa  是关键点定位网络的预测热图， Wa 是训练参数集， Li 是输入的

图像， N 是训练的样本数量， Di (t ) 为关键点实际热力图分布。

式中， i 为关键点序号；  为克罗内克函数； d i 为模型检测到的第 i 个关键点与真

实值中第 i 个关键点之间的欧式距离； didef 为输入图片的长； Tk 为阈值，本文设

置为 0.005； vi 为第 i 个关键点可见性； Scorrect 为成功检测 7 个关键点的螺栓个

（a）测试集原图 （b）   1 效果图

（c）   2 效果图 （d）   3 效果图

图 2.15 不同标准偏差  模型验证集测试图

在实验室和现场收集了 100 张螺栓图片，新收集的螺栓图片未参与模型的训

好的成绩，PCK 分别为 87.5%和 98.6%，Acc 分别为 98.7%，97.9%。

模 角点 1x 830.8 677.3 813.2 332.1 442.7 207.3 480.3 484.6

型 角点 1y 132.1 182.9 312.5 349.9 384.3 424.8 446.2 584.6

人 角点 1x 830 676 814 332 442 206 480 484

工 角点 1y  132 184 312 350 384 424 446 584

模 角点 2x 816.5 661.8 793.2 311.1 426.1 190.7 467.7 465.0

型 角点 2y 119.5 173.4 311.4 348.4 371.7 413.7 430.8 580.3

人 角点 2x 814 660 792 312 426 188 468 464

工 角点 2y  118 172 310 348 372 412 430 580

模 中心点 x 812.5 659.5 803.1 319.5 422.4 186.9 459.7 469.0

型 中心点 y 130.5 185.4 322.9 360.1 383.7 427.4 442.1 594.3

人 中心点 x 810 658 801 319 422 187 458 469

工 中心点 y  136 191 327 365 390 432 447 599

角点 1 /像素 0.85 1.72 0.90 0.17 0.71 1.51 0.29 0.86

3.2.1 K-means 聚类算法

和 y 分别为数据点的横坐标和纵坐标，使用 k  means 聚类对初始数据进行迭代，

（a）初始数据 （b）随机初始中心 （c）一次迭代

图 3.1 k  means 算法流程[90]

属于明显分离的这种特性，因此，本文根据 K  means 算法，研究了一种螺栓关

式中，  为欧式距离， xi , yi 为关键点位置坐标， x, y 为质心点坐标。

螺栓关键点聚类的具体流程如图 3.2 所示，根据欧式距离将关键点分配至距

图 3.2 基于 k  means 算法的螺栓关键点聚类流程

Step1 输入所有关键点样本，定义关键点集合 X   x1 , x2 , x3, ...., x n  ，设置聚类

Step3 采用 k 近邻算法（K-nearest neighbor,KNN），采用欧式距离作为度量，

d (i, j )  ( xi1  x j1 ) 2  ( xi 2  x j 2 ) 2  ....  ( xin  x jn ) 2 (3.2)

0; 若第j 个点的距离大于第k 个点的距离

式中，向量 xi 、 xn 为关键点图像中的两个像元； n 为所有的关键点像元， k 为邻

Step5 由特征向量 v1 , v2 ,....., vk 并归一化，构成特征矩阵 V  R n×k 的列，得到特

（a）原始图片（b）对比度处理（c）随机删除 patch 处理

（d）添加黑噪声（e）添加白噪声（f）模糊处理

卷积层结构通道数图像尺寸

（a）测试集原图（b）   1 效果图

（c）   2 效果图（d）   3 效果图

模角点 1x 830.8 677.3 813.2 332.1 442.7 207.3 480.3 484.6

型角点 1y 132.1 182.9 312.5 349.9 384.3 424.8 446.2 584.6

人角点 1x 830 676 814 332 442 206 480 484

工角点 1y  132 184 312 350 384 424 446 584

模角点 2x 816.5 661.8 793.2 311.1 426.1 190.7 467.7 465.0

型角点 2y 119.5 173.4 311.4 348.4 371.7 413.7 430.8 580.3

人角点 2x 814 660 792 312 426 188 468 464

工角点 2y  118 172 310 348 372 412 430 580

模中心点 x 812.5 659.5 803.1 319.5 422.4 186.9 459.7 469.0

型中心点 y 130.5 185.4 322.9 360.1 383.7 427.4 442.1 594.3

人中心点 x 810 658 801 319 422 187 458 469

工中心点 y  136 191 327 365 390 432 447 599

（a）初始数据（b）随机初始中心（c）一次迭代

（a）求解中心点外边缘（b）拟合矩形（c）透视矫正

（a）中心点集合（b）计算  角（c）中心点外边缘

（a）顺时针（b）逆时针（c）直线

聚类算法 k  means 谱聚类角点-中心点

最大误差最小误差平均误差

（a）暗光（b）正常光照（c）强光

（a）角度识别结果（b）热力图（c）关键点映射图

工况一般锈蚀正常锈蚀严重锈蚀