硕士学位论文

（专业学位）

基于深度学习的服装图像分类研究
Research on Clothing Image Classification

Based on Deep Learning

作 者： 邓文雄
类别（领域）： 工程硕士（计算机技术）
指 导 教 师： 周志宇 副教授
所 在 学 院： 信息学院

完成日期：二○二二年四月

万方数据
万方数据
万方数据
 摘 要

摘 要

随着服装电商行业的发展，网络上的服装图像越来越多，如何对海 量服装
图像进行准确有效的分类与服装电商从业者的利益息息相关。使用人工 视觉来
标注服装图像成本过高，而现有的服装图像分类算法的性能也达不到要 求，因
此对服装图像分类进行研究具有重要意义。本文基于深度学习对服装图 像分类
进行研究，通过结合卷积神 经网 络（CNN）与优化 后的随 机向 量 函 数 链 接
（RVFL）神经网络来提高服装图像分类的性能，主要进行了以下两方面的研究：
（1）针对服装图像分类算法分类精度较低的问题，本文提出了一种基于并
行卷积神经网络(PCNN)和蝗虫优化算法（GOA）优化的 RVFL 神经网络相结合
的服装图像分类算法（PCNN-GOARVFL）。该算法使用并行的双通道卷积神经
网络模型来提取服装图像特征，解决了传统的卷积神经网络提取数据特 征有限
而且容易出现过拟合的问题。并行卷积神经网络模型使用 LeakyReLU 作为激活
函数，并且在每次卷积操作后进行批量标准化处理，以此来提高模型的 性能。
然后本文使用 GOA 算法优化 RVFL 的相关参数来提高 RVFL 的分类性能和稳定
性，并使用优化后的 RVFL 分类器对 PCNN 提取到的服装图像特征进行分类。
通 过 在 Fashion Mnist 数 据 集 上 进 行 大 量 实 验 可 知 ， 本 文 提 出 的 PCNN-
GOARVFL 算 法 的 分 类 精 度 比 LBP-SVM，HOG-SVM，LBP-HOG-SVM 和
ALEXNET-SRC 算法分别高出 1.36%，2.05%，0.65%和 3.76%，有效的提高了服
装图像分类算法的性能。
（2）为了进一步提升服装图像分类算法的分类精度和泛化能力，本文提出
了一种基于迁移学习的 Densenet201 特征提取主干（DFEB）网络与海洋捕食者
算法（MPA）改进的天鹰优化器（AO）优化的正则化 RVFL 神经网络相结合的
服装图像分类算法（DFEB-MARRVFL）。首先，该算法使用基于迁移学习的
Densenet201 特征提取主干网络来提取服装图像的特征，减少了计算资源开销，
提高了特征利用效率。然后在 RVFL 中引入正则化系数来控制模型复杂度并解
决过拟合问题。并使用 MPA 算法生成 AO 算法的初始搜索种群，以此来提高 AO
算法的寻优和收敛效果。随后提出了一种基于 AO 算法种群个体位置的映射方
法，同时对 RRVFL 的正则化系数、输入权重和隐含层偏置进行优化，不仅自动
为 RRVFL 选取了合适的正则化系数，还提高了 RRVFL 的分类性能和稳定性。
最后本文使用优化后的 RRVFL 来对提取到的服装图像特征进行分类。从实验结
果可知，在 ACWS 数据集上，本文提出的 DFEB-MARRVFL 算法比其他服装图
像分类算法的性能更好，并在 DeepFashion 数据集和 Fashion Mnist 数据集上验
I

万方数据
 摘 要

证了该算法优秀的泛化能力。

关键词：卷积神经网络；随机向量函数链接神经网络；蝗虫优化算法；天鹰优
化器；服装图像分类

II

万方数据
 Abstract

Abstract

With the development of the clothing e-commerce industry, there are more and
more clothing images on the Internet. How to accurately and effectively classify the
massive clothing images is closely related to the interests of clothing e-commerce
practitioners. The cost of using artificial vision to label clothing image is too high, and
the effect of the existing clothing image classification algorithm cannot meet the
requirements, so it is of great significance to study the clothing image classification.
This paper builds clothing image classification algorithm models based on deep
learning, and improves the performance of clothing image classification by combining
convolutional neural network with optimized random vector functional link (RVFL)
neural network. The following two aspects are mainly studied:
（1）Aiming at the problem of low classification accuracy of clothing image
classification algorithm, this paper proposes a clothing image classification algorithm
(PCNN-GOARVFL) based on the combination of parallel convolutional neural network
(PCNN) and RVFL neural network optimized by grasshopper optimization algorithm
(GOA). This algorithm uses parallel two-channel convolutional neural network model
to extract clothing image features, which solves the problem that traditional
convolutional neural network extraction data features are limited and prone to over-
fitting. The parallel convolutional neural network model uses LeakyReLU as the
activation function, and a batch normalization process is carried out after each
convolution operation to improve the performance of the model. Then, this paper uses
GOA to optimize the relevant parameters of RVFL to improve the classification
performance and stability of RVFL, and the optimized RVFL classifier is used to
classify the clothing image features extracted by PCNN. Through a large number of
experiments on the Fashion Mnist dataset, it can be seen that the classification accuracy
of the PCNN-GOARVFL algorithm proposed in this paper is 1.36%, 2.05%, 0.65% and
3.76% higher than the LBP-SVM, HOG-SVM, LBP-HOG-SVM and ALEXNET-SRC
algorithms respectively, which effectively improves the performance of the clothing
image classification algorithm.
（2）To further improve the classification accuracy and generalization ability of
clothing image classification algorithm, this paper proposes a clothing image
classification algorithm (DFEB-MARRVFL), which combines Densenet201 feature
III

万方数据
 Abstract

extraction backbone (DFEB) network based on transfer learning with the regularized
RVFL (RRVFL) optimized by the Aquila Optimizer (AO) modified by the Marine
Predators Algorithm (MPA) . Firstly, the algorithm uses Densenet201 feature extraction
backbone network based on transfer learning to extract clothing image features, which
reduces the cost of computing resources and improves the efficiency of feature
utilization. Then the regularization coefficient is introduced in RVFL to control the
model complexity and solve the over-fitting problem. Then the initial search population
of AO algorithm is generated by MPA algorithm to improve the optimization and
convergence effect of AO algorithm. Then, a mapping method based on AO algorithm
population individual position is proposed, and the regularization coefficient, input
weight and hidden layer bias of RRVFL are optimized at the same time, which not only
automatically selects the appropriate regularization coefficient for RRVFL, but also
improved the classification performance and stability of RRVFL. Finally, this paper
uses the optimized RRVFL to classify the extracted clothing image features. The
experimental results show that on the ACWS dataset, the proposed DFEB-MARRVFL
algorithm has better classification performance than other comparison algorithms. And
the excellent generalization ability of the algorithm is verified on the DeepFashion
dataset and Fashion Mnist dataset.

Keywords: convolutional neural network; random vector functional link neural

network; grasshopper optimization algorithm; aquila optimizer; clothing image
classification

IV

万方数据
 目 录

目 录

摘 要...............................................................................................................................I
Abstract ........................................................................................................................ III
第 1 章 绪论 .................................................................................................................. 1
1.1 研究背景和意义............................................................................................... 1
1.2 国内外研究现状............................................................................................... 1
1.3 论文的主要研究内容和结构........................................................................... 4
1.3.1 论文的研究内容..................................................................................... 4
1.3.2 论文的结构安排..................................................................................... 5
第 2 章 服装图像分类算法的基本理论 ...................................................................... 6
2.1 卷积神经网络的结构....................................................................................... 6
2.2 随机向量函数链接神经网络................................................................... 7
2.3 算法评价指标................................................................................................... 8
2.4 实验数据集....................................................................................................... 9
2.4.1 Fashion Mnist 数据集 ............................................................................. 9
2.4.2 ACWS 数据集 ...................................................................................... 10
2.4.3 DeepFashion 数据集............................................................................. 11
2.5 本章小结......................................................................................................... 11
第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法 ................ 12
3.1 引言................................................................................................................. 12
3.2 蝗虫优化算法................................................................................................. 12
3.3 并行卷积神经网络模型................................................................................. 13
3.4 GOA 算法优化的 RVFL 分类器 ................................................................... 14
3.5 PCNN-GOARVFL 服装图像分类算法 ......................................................... 15
3.6 实验结果与分析............................................................................................. 16
3.6.1 实验参数设置....................................................................................... 16
3.6.1.1 RVFL 激活函数的选择 .............................................................. 16
3.6.1.2 RVFL 隐藏层节点数目对算法的影响 ...................................... 17
3.6.1.3 GOA 算法的参数研究 ............................................................... 18
3.6.1.4 算法的最终参数设置................................................................. 19
3.6.2 实验结果讨论....................................................................................... 20
3.6.2.1 实验结果对比............................................................................. 20
3.6.2.2 算法稳定性分析......................................................................... 22
3.6.2.3 算法有效性分析......................................................................... 23
3.7 本章小结......................................................................................................... 24
第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法 ..... 25
4.1 引言................................................................................................................. 25
4.2 Densenet 结构与迁移学习 ............................................................................. 26
4.3 海洋捕食者算法............................................................................................. 26
4.4 天鹰优化器..................................................................................................... 27
4.5 正则化的随机向量函数链接神经网络......................................................... 28
V

万方数据
 目 录

4.6 DFEB-MARRVFL 服装图像分类算法 ......................................................... 29

4.7 实验结果与分析............................................................................................. 32
4.7.1 实验参数设置....................................................................................... 32
4.7.1.1 RVFL 的激活函数对算法的影响 .............................................. 33
4.7.1.2 RVFL 的隐含层节点对算法的影响 .......................................... 33
4.7.1.3 MPA-AO 优化算法的参数对算法的影响 ................................ 35
4.7.1.4 算法最终参数设置..................................................................... 37
4.7.2 实验结果讨论....................................................................................... 37
4.7.2.1 实验结果对比............................................................................. 37
4.7.2.2 算法稳定性分析......................................................................... 42
4.7.2.3 算法参数寻优收敛性分析......................................................... 43
4.7.2.4 算法有效性分析......................................................................... 44
4.7.2.5 算法泛化性分析......................................................................... 44
4.8 本章小结......................................................................................................... 45
第 5 章 总结与展望 .................................................................................................... 46
参考文献...................................................................................................................... 48
致谢.............................................................................................................................. 52
攻读硕士学位期间的研究成果.................................................................................. 53

VI

万方数据
 第 1 章 绪论

第 1 章 绪论

1.1 研究背景和意义
服装是人们日常生活中不可或缺的商品，作为世界上人口最多的国 家，我
国服装行业也具有很大的发展潜力。近年来，随着国内经济的快速发展 和互联
网时代的到来，服装行业在电商领域占据着非常重要的地位。2021 年 6 月 17 日，
浙江省电子商务促进会数字贸易研究院发布了《中国服装电商行业研究报告》，
该报告指出，虽然受新冠肺炎疫情的影响 2020 年的国内服装市场总体规模有所
下降，但是在后疫情时代，服装线上消费规模大幅攀升。根据国家统计 局的数
据，2021 年一季度服装商品的网上零售额同比增长了 39.6%。而且随着直播带
货的兴起，淘宝直播服装行业商品数量大幅增加。
现今，由于物流货运和电商平台已趋于成熟，网上购物已成为大多 数人的
习惯，越来越多的人喜欢在网络上购买服装，这样也带来了很大的经济 效益，
因此从事于服装电商行业的人也就越来越多[1]。对于这些服装电商从业者 来说，
他们需要将服装拍照成像，然后对服装图像进行分类并将其存储到电商平 台上，
这样消费者就能根据想要购买的服装类别搜索到对应的服装列表[2]。然而，传
统的服装图像分类主要是靠人工来完成，这不仅需要很高的成本，而且 人工检
测容易受到许多主客观因素的影响，其分类效果达不到要求。
现有的服装图像分类方法可以有效的处理背景简单，无形变的服装 图像，
但是现实生活中的服装多种多样，有些服装类别之间的差异很小，而且 服装图
像还可能存在着形变、褶皱等干扰分类的元素，所以现有的服装图像分 类算法
在处理这样的服装图像时，并不能满足服装电商行业的需求。研究出一 种实用
性强的服装图像分类算法不仅可以帮助相关从业者对服装图像进行快速 有效的
分类，还可以降低成本，并为其他应用场景下的图像分类研究提供参考 ，从而
促进相关领域的发展。
通过对上述内容的分析，本文基于深度学习来对服装图像分类算法 进行研
究，旨在通过使用卷积神经网络和优化随机向量函数链接神经网络的结 构与参
数，来得到更好的服装图像分类模型。

1.2 国内外研究现状
为了解决服装电商从业者对于服装图像自动准确分类的需求，国内 外的学
者已经对服装图像分类算法进行了相关研究，并取得了一定的成果。与 其他图
1

万方数据
 第 1 章 绪论

像分类问题一样，根据提取服装图像特征方法的不同，服装图像分类算 法可以
分为基于传统特征提取的服装图像分类算法和基于深度学习特征提取的 服装图
像分类算法[3]。传统的特征提取方法主要有方向梯度直方图[4]（Histogram Of
Oriented Gradients，HOG），Gobor 滤波器[5]，灰度共生矩阵[6]（Gray-Level Co-
occurrence Matrix,GLCM）和局部二值模式[7]（Local Binary Pattern，LBP）等方
法，基于传统特征提取的服装图像分类算法首先使用这些特征提取方法 来提取
服装图像的颜色、边缘等低级特征，然后再使用分类器对提取到的特征 分类。
如 Yam 等[8]使用 Gabor 滤波器提取服装图像的特征，从而实现单个服装图像的
分类。Tenwsuan 等[9]结合 LBP 和 Gabor 滤波器来对服装图像进行预处理，通过
这种预处理技术使得提取的特征更加丰富，从而提高了服装图像的分类 精度。
Pawenin 等[10]提出了一种使用 GLCM，LBP 和不变矩来提取织物图像特征的方
法，并使用线性核支持向量机（Support Vector Machine，SVM）来对主成分分
析法降维后的特征进行分类。由于传统的特征提取方法只能提取服装图 像的低
级特征，而且容易受到服装图像的成像角度、背景和形变等因素的影响 ，所以
其提取到的服装图像特征并不理想。
近年来，随着深度学习[11]的蓬勃发展，其在图像处理[12]，语音识别[13]，对
象识别[14]和对象检测[15]等多个领域得到了应用，也取得了很好的效果，这也为
服 装 图 像 分 类 算 法 的 研 究 提 供 了 一 个 新 的 思 路 。 卷 积 神 经 网 络[16-18]
（Convolutional neural network，CNN）是当前较为热门的深度学习算法之一，
使用卷积神经网络提取特征能够更好地学习图像的特征和表征能力，从 而解决
了传统特征提取方法提取特征不丰富的问题，因此更多学者基于卷积神 经网络
来对服装图像分类算法进行研究。Yu 等[19]针对传统的神经网络无法获取服装图
像的空间结构特征的问题，提出了一种具有图像特征和空间结构特征的 增强胶
囊网络，该网络模型首先通过增强胶囊网络获取服装图像的空间结构特 征，再
通过更深层的网络结构和注意力机制使得提取到的服装特征更具有鲁棒 性，最
后通过参数优化减少了网络的计算量，其提出的增强胶囊网络在计算效 率和分
类精度上都具有较大优势。Lin 等[20]结合深度置信网络与 SOFTMAX 分类器来
对服装图像进行分类，该方法使用输入图像的所有图像像素对深度置信 网络进
行逐层训练，其顶层是用于分类的超平面。Tan 等[21]对 Xception 网络模型进行
了改进并将其应用于服装图像分类算法，他们同时采用 ELU 和 ReLU 函数作为
Xception 网络的激活函数，改善了网络的非线性与学习特性，并且引入了 L2 正
则化方法来增强网络的抗干扰能力，从而提升了网络对服装图像的分类 能力。
Chen 等[22]设计了五种不同的 CNN 来应用于服装图像分类，并通过实验结果证
明了基于迁移学习的 CNN 在五种 CNN 中的分类效果更好。Liu 等[23]将 VGG 网

万方数据
 第 1 章 绪论

络作为底层框架来实现基于卷积神经网络的层次分类模型，并在 Fashion Mnist

数据集上验证了模型的性能。Di[24]对比了全连接神经网络、CNN、 MobileNet
V1 and MobileNet V2 网络在 Fashion Mnist 服装数据集的表现，证明了 MobileNet
V2 网络优秀的性能。Kayed 等[25]针对 Fashion Mnist 数据集，提出了一种基于
LeNet-5 架构的服装图像分类模型，并且取得了不错的效果。Lee 等[26]提出了一
种基于 YOLO4 算法的时尚服饰检测方法，能够快速准确地识别出服装 类别。
Ge 等[27]使用一种改进的 R-CNN 框架来解决服装检索和检测等问题。Wang 等[28]
将双向卷积循环神经网络应用于时尚图像分类和地标检测，并取得了一 定的效
果。Cychnerski 等[29]提出了一种在 DeepFashion 数据集上可以判断出５种属性标
签的服装分类检测系统。高樱萍等[30]使用 VGG16 网络和迁移学习提高了服装图
像分类算法的性能。程铭等[31]利用流行空间能够很好的表达服装内部结 构特征
的特性，提出了一种具有准确性、高效性和鲁棒性的服装图像集分类方 法。陈
巧红等[32]将多尺度可分离卷积和 SE-Net 模块应用于服装图像分类。谢小红等[33]
使用基于迁移学习的卷积神经网络来研究服装图像分类算法，并在 DeepFashion
数据集上验证了其提出算法的分类精度和时效性。
在服装图像分类问题中，对提取到的服装图像特征进行准确有效的 分类十
分关键。虽然卷积神经网络也能够对提取到的特征进行分类，但是选取 更为合
适的分类器能够进一步的提升服装图像分类算法的性能。使用神经网络 作为分
类器来对服装图像特征进行分类是一个不错的选择。随机向量函数链接 [34]

（Random Vector Functional Link，RVFL）神经网络是一种简单高效的神经网络，

与极限学习机[35]（Extreme Learning Machine，ELM）相比，RVFL 的输入节点
和输出节点直接连接，这种结构使得 RVFL 在处理分类问题时拥有更加优秀的
性能，但是 RVFL 随机生成权重和偏置的特点也使得其稳定性较差。由于神经
网络参数的选取对其分类性能有很大影响，可以考虑使用元启发式优化 算法来
对其参数进行寻优。元启发式优化算法是受自然界中许多现象或数学公 式定理
的启发而提出一系列求解问题最优解的方法，其原理简单，在求解非线 性问题
时 效 果 很 好 。 常 见 的 元 启 发 式 优 化 算 法 有 飞 蛾 扑 火 优 化[36]（Moth Flame
Optimization，MFO）算法，蜻蜓算法[37]（Dragonfly Algorithm, DA），正余弦算
法[38]（Sine Cosine Algorithm, SCA），灰狼优化[39]（Grey Wolf Optimizer, GWO）
算法，樽海鞘群算法[40]（Salp Swarm Algorithm, SSA），鲸鱼优化算法[41]（whale
optimization algorithm, WOA）和蚁狮优化[42]（Ant Lion Optimizer, ALO）算法。
已有学者将元启发式优化算法和神经网络相结合应用于图像分类领域。Zhou 等
[43] 使用差分进化算法来改进正余弦算法为其提供了一组合适的初始种群 ，然后

使用改进的正余弦算法优化在线序列极限学习机（Online Sequential Extreme

万方数据
 第 1 章 绪论

Learning Machine，OSELM），并将其应用于织物褶皱图像分类。Li 等[44]使用蜻

蜓算法优化 OSELM 的输入权重和隐含层偏置，并在 Fashion Mnist 数据集上验
证了算法的有效性。Zhou 等[45]使用基于蚁狮优化算法和樽海鞘群算法优化的
RVFL 来对织物褶皱图像进行分类，提高了织物褶皱图像分类算法的稳定性和准
确性。

1.3 论文的主要研究内容和结构

1.3.1 论文的研究内容

通过前面对服装图像分类算法研究现状的介绍和分析，本论文将卷 积神经
网络与优化后的 RVFL 相结合应用于服装图像分类，从而得到了具有良好性能
的服装图像分类模型。本文的主要工作包括以下两个方面：
（1） 本 文 提 出 了 一 种 并 行 卷 积 神 经 网 络(Parallel convolutional neural
network，PCNN)和蝗虫优化算法[46]（Grasshopper optimization algorithm，GOA）
[46]优化的 RVFL 相结合的服装图像分类方法（PCNN-GOARVFL）。针对传统的
卷积神经网络提取的数据特征有限而且容易出现过拟合的问题，本文提 出了一
种并行卷积神经网络模型来提取服装图像特征，通过利用 CNN 的结构密集性和
改进的双通道很好的解决了这一问题，该模型使用 LeakyReLU 作为激活函数，
并在卷积操作之后进行批量标准化（Batch Normalization, BN）处理，有效地提
高了特征提取的能力。然后使用 GOA 算法优化 RVFL 的输入权重和隐含层偏置
来解决 RVFL 由于参数的随机性而导致的分类效果不稳定的问题，提高了 RVFL
的分类精度和稳定性。最后使用优化后的 RVFL 来对提取到的服装图像特征进
行分类。实验结果表明，本文提出的 PCNN-GOARVFL 算法不仅发挥了并行卷
积神经网络自动提取图像特征的功能，还使用优化后的 RVFL 分类器提高了对
服装图像特征的分类准确率，在服装图像分类上具有较大的优势。
（2）为了进一步的提升服装图像分类算法的分类性能与泛化能力，本文提
出一种基于迁移学习的 Densenet201 特征提取主干网络（Densenet201 Feature
Extraction Backbone, DFEB）与海洋捕食者算法[47]（Marine Predators Algorithm,
MPA） 改 进 的 天 鹰 优 化 器[48]（Aquila Optimizer, AO） 优 化 的 正 则 化 RVFL
（Regularized RVFL，RRVFL） 相 结 合 的 服 装 图 像 分 类 算 法 （DFEB-
MARRVFL）。 该 算 法 首 先 使 用 迁 移 学 习 将 ImageNet 数 据 集 预 训 练 后 的
Densenet201 网络的权重参数迁移到初始网络模型并对模型参数进行微调。然后
使用微调后的网络模型提取其全局平均池化层输出的服装图像特征。通 过使用
迁移学习，减少了模型在提取服装图像特征时的计算资源开销和训练时 间，提

万方数据
 第 1 章 绪论

高了模型的泛化能力。并且相对于其他传统卷积神经网络，基于迁移学习的
Desenet201 特征提取主干网络能够融合利用更多低层次的特征，从而提 高了特
征的传播效率和利用效率，使得提取的特征更加丰富。然后在 RVFL 中引入正
则化系数来控制模型复杂度，解决过拟合问题。再通过 MPA 优化算法生成 AO
算法的初始种群，来提高 AO 算法的寻优和收敛效果。随后本文设计了一种基
于 AO 算法的种群个体位置的映射方法来优化 RRVFL 的输入权重、隐含层偏置
和正则化系数，通过不同的片段来映射 RRVFL 的相关参数，提高了 RRVFL 的
分类性能。最后使用优化后的 RRVFL 对提取到的服装图像特征进行分类。通过
大量的对比实验证明了 DFEB-MARRVFL 算法优秀的分类性能和泛化能力。

1.3.2 论文的结构安排

本论文的组织结构如下：
第一章为绪论部分，对服装图像分类算法的研究背景和意义进行了 介绍，
并且详细分析了国内外服装图像分类算法的研究现状，然后介绍了本文 的主要
研究工作与创新点，最后给出了本文的组织结构。
第二章为服装图像分类算法的基本理论，介绍了服装图像分类算法 的相关
理论基础，其中包括卷积神经网络和 RVFL 的相关原理，算法性能的评价指标
和实验中使用的数据集。
第三章为基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法，详
细介绍了本文提出的 PCNN-GOARVFL 服装图像分类算法的原理，并与其他算
法进行了大量的对比实验，证明了算法优秀的性能。
第四章为基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法，
详细阐述了本文提出的 DFEB-MARRVFL 算法的流程，并对 RRVFL 参数的寻优
过程进行了说明，最后通过实验验证了算法良好的分类性能和泛化能力。
第五章为总结与展望，对本文提出的两种服装图像分类算法进行了 总结，
阐述了本文研究成果的优势与不足，并指明了未来的研究和改进的方向。

万方数据
 第 2 章 服装图像分类算法的基本理论

第 2 章 服装图像分类算法的基本理论

本章详细介绍了服装图像分类算法研究中使用到的相关理论基础， 主要介
绍了卷积神经网络的相关结构与各层的作用，随机向量函数链接神经网 络的结
构与数学模型，算法评价指标以及实验中用到的数据集。

2.1 卷积神经网络的结构
卷积神经网络是一种特殊的前馈神经网络，其修正了全连接神经网 络参数
过多，容易丢失图像空间信息的局限性，主要的网络结构有卷积层、池 化层和
全连接层。
卷积层由一组卷积核组成，其作用是进行特征提取。假设特征图大小为
5×5，卷积核大小为 3×3，步长为 1，图 2.1 展示了卷积运算的过程。如图所示，
在进行卷积操作时，卷积核与特征图中对应的元素相乘，并对乘积求和 得到输
出特征图中对应的值，然后卷积核滑动一个单位，进行下一次卷积操作 ，最终
得到卷积后的输出特征图。

图 2.1 卷积的运算过程

池化层也叫下采样层。通过池化层的池化操作，可以减少网络参数 ，防止
网络陷入过拟合。池化操作主要分为平均池化，最大池化和随机池化。 假设特
征图的大小为 4×4，滑动窗口的大小为 2×2，步长为 2，图 2.2 展示了平均池化
操作的处理过程，图 2.3 展示了最大池化操作的处理过程。随机池化则是按概率
大小随机选取滑动窗口内的元素值。

万方数据
 第 2 章 服装图像分类算法的基本理论

图 2.2 平均池化的计算过程

图 2.3 最大池化的计算过程

输入的图像在经过多次的卷积操作和池化操作后，其分类结果一般 会由一
个或一个以上全连接层来给出。全连接层会将之前的网络提取的与类别 相关的
特征信息整合到一个特征图中，来减少特征位置对分类结果的影响。

2.2 随机向量函数链接神经网络
随机向量函数链接神经网络是一种单隐层神经网络，其包含输入层 ，隐含
层和输出层。假设有样本(𝑋𝑖 , 𝑌𝑖 ), 𝑖 = 1,2, … 𝑛，其中：𝑋𝑖 ，𝑌𝑖 表示第𝑖个 样本的输
入和输出， 𝑋𝑖 = [𝑥 𝑖1 , 𝑥 𝑖2 , . . . . . . , 𝑥 𝑖𝑛 ] ∈ 𝑅 𝑛 ，𝑌𝑖 = [𝑦𝑖1 , 𝑦𝑖2 , . . . . . . , 𝑦𝑖𝑚 ] ∈ 𝑅 𝑚 ，则一
个隐含层节点数为𝐿的 RVFL 神经网络的结构图如 2.4 所示。

万方数据
 第 2 章 服装图像分类算法的基本理论

图 2.4 RVFL 的网络结构

RVFL 的数学模型可表示为：
∑𝐿𝑗=1 𝛽𝑗 𝑔(𝑊𝑗 𝑋𝑖 + 𝑏𝑗 ) + ∑𝐿+𝑑
𝑗=𝐿+1 𝛽𝑗 𝑋𝑖𝑗 = 𝑜𝑖 (2-1)

其中： 𝑔(𝑥)表示 RVFL 的激活函数，𝑊𝑗 和𝑏𝑗 一般是随机确定的，表示 RVFL 的

第 j 个隐含层节点的输入权重和偏置，𝛽𝑗 表示 RVFL 的输出权重。式（2-1）也
可以表示为：
𝐻𝛽 = 𝑂 (2-2)

其中：𝐻表示隐含层节点的输出，𝛽表示输出权重，𝑂表示实际的输出：
𝑔(𝑊1 𝑋1 + 𝑏1 ) ⋯ 𝑔(𝑊𝐿 𝑋1 + 𝑏𝐿 ) 𝑥 11 ⋯ 𝑥 1𝑛
𝐻 =[ ⋮ ⋱ ⋮ ⋮ ⋱ ⋮ ] (2-3)
𝑔(𝑊1 𝑋𝑁 + 𝑏1 ) ⋯ 𝑔(𝑊𝐿 𝑋𝑁 + 𝑏𝐿 ) 𝑥 𝑁1 ⋯ 𝑥 𝑁𝑛 𝑁×(L+n)

𝛽1 𝑇
⋮
𝛽𝐿 𝑇
𝛽= (2-4)
𝛽𝐿+1 𝑇
⋮
[𝛽𝐿+𝑛 𝑇 ](𝐿+𝑛)×𝑚
𝑂1
𝑂=[ ⋮ ] (2-5)
𝑂𝑁 𝑁×𝑚
2
如果要使输出的误差𝐸 = ∑𝑁 ̂ †
𝑖 =1 ( 𝑂𝑖 − 𝑌𝑖 ) 最小，可转化为求 解 𝛽 = 𝐻 𝑌，其中𝐻
†

表示𝐻的广义逆矩阵。

2.3 算法评价指标

万方数据
 第 2 章 服装图像分类算法的基本理论

在处理二分类问题时，通常使用精度（Precision，P），召回率（Recall，R），
F1 值（F1-score）和准确度（Accuracy）四个评价指标来对算法的性能进行评估。
而在处理多分类问题时，可以使用宏平均（Macro Average）或微平均（Micro
Average）来对算法的性能进行评估。为了使本文提出算法更有说服力 ，我们使
用 Macro-P，Macro-R，Macro-F1 和 Accuracy 来评估算法的性能，我们可以使用
等 式 （2-6） 到 （2-9） 来 计 算 不 同 算 法 的 Macro-P，Macro-R，Macro-F1 和
Accuracy。
1
𝑀𝑎𝑐𝑟𝑜 − 𝑃 = ∑𝑛1 𝑃𝑖 (2-6)
𝑛
1
𝑀𝑎𝑐𝑟𝑜 − 𝑅 = 𝑛 ∑𝑛1 𝑅𝑖 (2-7)
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = ∑𝑛1 𝑎𝑐𝑐𝑖 (2-8)
1
𝑀𝑎𝑐𝑟𝑜 − 𝐹1 = 𝑛 ∑𝑛1 𝐹1 − 𝑠𝑐𝑜𝑟𝑒𝑖 (2-9)

其中:
2×𝑃𝑖 ×𝑅𝑖
𝐹1 − 𝑠𝑐𝑜𝑟𝑒𝑖 = (2-10)
𝑃𝑖 +𝑅𝑖
𝑇 𝑃𝑖
𝑃𝑖 = 𝑇𝑃 (2-11)
𝑖 +𝐹𝑃𝑖
𝑇𝑃𝑖
𝑅𝑖 = (2-12)
𝑇𝑃𝑖 +𝐹𝑁𝑖
𝑇 𝑃𝑖
𝑎𝑐𝑐𝑖 = (2-13)
𝑇𝑃𝑖 +𝑇 𝑁𝑖 +𝐹𝑃𝑖 +𝐹𝑁𝑖

其中：𝑖是数据集中服装图像的类别数量；𝑇𝑃𝑖表示被算法正确分类为类别 𝑖的数
量；𝐹𝑃𝑖 表示其他类别被算法错误分类为类别𝑖的数量；𝐹𝑁𝑖表示类别𝑖被算法错
误分类为其他类别的数量； 𝑇𝑁𝑖表示其他类别被算法分类为其他类别的样 本数
量。𝐹1 − 𝑠𝑐𝑜𝑟𝑒𝑖表示类别𝑖的评价指标；𝑃𝑖表示类别𝑖的精确率；𝑅𝑖 表示 类别 𝑖的
召回率。由于传统计算准确率的方法对于负样本没有识别的能力，因此使用
𝑎𝑐𝑐𝑖 表示每个样本被正确分类为该样本类别的准确率，Macro-P 和 Macro-R 表示
所有类别的宏平均精确率和宏平均召回率，Macro-F1 表示所有类别的宏平均综
合评价指标，Accuracy 表示算法的分类准确度。

2.4 实验数据集

2.4.1 Fashion Mnist 数据集

Fashion Mnist 数据集是一个服装图像数据集，该数据集主要包括 Pullover，

Ankle Boot，Coat，T-Shirt，Sneaker，Bag，Trouser，Sandal，Shirt，Dress， 共
10 种服装图像。在训练集中，每种服装图像包含 6000 张图像，共 60000 个样本；

万方数据
 第 2 章 服装图像分类算法的基本理论

在测试集中，每种服装图像包含 1000 张服装图像，共 10000 个样本。每张服装

图像的尺寸均为 28×28×1。Fashion Mnist 数据集示例如图 2.5 所示。

图 2.5 Fashion Mnist 数据集

2.4.2 ACWS 数据集

ACWS 数据集在文献[49]中首次公开，该数据集中的图像主要来源 于日常

生活，其主要包括如 Blouses，Cloak，Coat，Jacket 等 15 类服装图像。本文从中
选取 10 个类别来作为实验数据集，分别是 Blouses，Coat，Jacket，Long dress，
Robe，Shirt，Suit，Sweater，T-shirt和 Uniform，其中每类选取 1000 张图像，共
10000 张服装图像。并按照 7:3 的比例来划分数据集，训练集包含 7000 张图像，
测试集包含 3000 张图像。图 2.6 给出了本文选取的 ACWS 数据集的类别示例。

(a) Blouses (b) Coat (c) Jacket (d) Long dress (e) Robe

(f) Shirt (g) Suit (h) Sweater (i) T-shirt (j) Uniform

图 2.6 ACWS 数据集类别示例

10

万方数据
 第 2 章 服装图像分类算法的基本理论

2.4.3 DeepFashion 数据集

DeepFashion[50]数据集是一个大型服装图像数据集，包含 50 种类别的服装
图像。由于 DeepFashion 数据集过于庞大且本次研究主要是对服装图像进行分类，
因此我们从其类别相关的子集中选取 8 个类别进行实验，分别是 Dress，Skirt，
Tee，Jumpsuit， Shorts，Jeans，Sweater 和 Jacket，每个类别选取 2000 张图片，
共 16000 张。按照 7:3 的比例划分训练集与测试集。图 2.7 为本 文 选 取 的
DeepFashion 数据集类别的示例。

(a) Dress (b) Skirt (c) Tee (d) JumpSuit

(e) Shorts (f) Jeans (g) Sweater (h) Jacket

图 2.7 DeepFasion 数据集类别示例

2.5 本章小结
本章主要介绍了服装图像分类算法的一些基本理论知识，首先详细 介绍了
卷积神经网络的卷积层、池化层和全连接层的相关知识，然后介绍了 RVFL 的
网络结构和数学模型，并对服装图像分类算法的四个评价指标 Macro-P，Macro-
R，Macro-F1 和 Accuracy 进行了说明，最后介绍了本次研究中使用到的三个服
装图像数据集。

11

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像

分类算法

3.1 引言
正如第一章所述，服装图像分类算法的关键点在于对服装图像特征 的提取
和对提取到的特征进行有效的分类，本文通过结合卷积神经网络和改进的 RVFL
神经网络来研究服装图像分类算法，但是传统的卷积神经网络提取的数 据特征
有限而且容易出现过拟合问题，RVFL 神经网络又因为随机生成输入权重和隐含
层偏置而导致分类效果不稳定。针对这些问题，本章提出了一种并行的 卷积神
经网络网络与 GOA 优化的 RVFL 相结合的服装图像分类算法。本章的主要创新
点如下：
（1）提出一种并行卷积神经网络模型提取服装图像特征，通过利用 CNN
的结构密集性和改进的双通道解决了传统的卷积神经网络提取特征不丰 富和过
拟合的问题，该模型在每次卷积操作后进行批量标准化处理，加快了提 取特征
的速度，避免了梯度消失问题，并使用 LeakyReLU 作为激活函数，减少了静默
神经元的数量，提高了提取特征的性能。
（2）由于 RVFL 随机生成输入权重和隐含层偏置会导致其分类效果不稳定，
本章使用 GOA 算法优化 RVFL 的权重和偏置，从而避免了 RVFL 参数的随机性，
提高 RVFL 的分类性能和稳定性。
（3）使用 GOA 优化后的 RVFL 来对并行卷积神经网络提取的服装特征进
行分类，提高了服装图像分类算法的性能。该算法不仅发挥了卷积神经 网络自
动提取图像特征的功能，还使用优化后的 RVFL 提高了对特征的分类准确率，
在服装图像分类上具有较大的优势。

3.2 蝗虫优化算法
蝗虫优化算法（GOA）是根据自然界中蝗虫的觅食行为而提出的一 种元启
发式算法。GOA 算法的数学模型可以表示为式（3-1）。
𝑋𝑖 = 𝑟1 𝑆𝑖 + 𝑟2 𝐺𝑖 + 𝑟3 𝐴𝑖 (3-1)

其中: 𝑋𝑖 为第𝑖只蝗虫的位置；𝑆𝑖为蝗虫间的吸引力； 𝐺𝑖 为第𝑖只蝗虫受到的 重力；

𝐴𝑖 为第𝑖只蝗虫受到的风力；𝑟1 ，𝑟2 ，𝑟3表示蝗虫受到吸引力，重力和风力 的随机
分配权重，范围在区间[0,1]内。
12

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

𝑆𝑖 的计算公式如下所示。

𝑆𝑖 = ∑𝑁 ̂
𝑗=1 𝑠(𝑑𝑖𝑗 )𝑑𝑖𝑗 (3-2)
𝑗≠𝑖

其中：𝑁为蝗虫种群的大小；𝑥 𝑖和𝑥𝑗分别为第𝑖只和第𝑗只蝗虫的位 置； 𝑑𝑖𝑗 为第𝑖

只蝗虫到第𝑗只蝗虫的距离；𝑑̂𝑖𝑗 为第𝑖只蝗虫到第𝑗只蝗虫的单位向量。 𝑠为定义
蝗虫间吸引力的函数。
−𝑟
𝑠 (𝑟) = 𝑓𝑒 𝑙 − 𝑒 −𝑟 (3-3)

其中：𝑓为吸引力强度；𝑙为吸引长度的尺度；𝑟为蝗虫之间的距离。𝐺𝑖 的计算公
式如下所示。
𝐺𝑖 = −𝑔𝑒̂ 𝑔 (3-4)

其中：𝑔为引力常量；𝑒̂𝑔 为指向地心的单位向量。𝐴𝑖 可以通过式（3-5）求得。

𝐴𝑖 = 𝑢𝑒̂ 𝑤 (3-5)

其中：𝑢为漂移系数；𝑒̂ 𝑤 为风向的单位向量。

3.3 并行卷积神经网络模型
由于传统的卷积神经网络在提取图像特征时，提取的特征有限而且 有过拟
合的风险，本章提出了一种并行的卷积神经网络结构，通过利用卷积神 经网络
的结构密集型和双通道来解决这一问题。并使用 LeakyReLU 作为激活函数，与
ReLU 激活函数不同的是，当输入为负值时，LeakyReLU 的输出并不为 0，从而
解决了神经元失效的问题。并行卷积神经网络在每次卷积操作之后进行 批量标
准化处理。通过批量标准化处理可以使特征值呈标准正态分布，不仅解 决了梯
度消失问题，还加快了模型的收敛速度。而且卷积神经网络的模型效果 与数据
的分布有很大关系，对训练数据和测试数据进行批量标准化处理，可以 避免数
据分布不同对模型的影响。在所有 的卷积 操作和 池化 操作完 成之 后 ， 使 用
Dropout 层来提高模型的泛化能力，然后使用两层全连接层来整合与服装图像类
别相关的特征信息，最后使用 SOFTMAX 分类器对特征进行最终分类。本章提
出的并行卷积神经网络的结构如图 3.1 所示。该模型处理服装图像的流程如下：
（1）输入图像尺寸为 28×28×1，首先经过 32 个 5×5 的卷积核卷积，卷积后
尺寸为 28×28×32，然后经过批量标准化处理和 LeakyReLU 函数处理。
（2）作 2×2 的 Max Pooling 池化，尺寸变为 14×14×32。
（3）此时，将生成的特征图同时输入到两个通道 A/B 进行处理；通道 A 和
通道 B 的结构相同，都是首先经过 32 个 3×3 的卷积核卷积，然后做批量标准化

13

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

处理和 LeakyReLU 函数处理，再经过 2×2 的 Max Pooling 池化，然后经过 64 个

3×3 的卷积核卷积，最后经过批量标准化处理和 LeakyReLU 函数处理。通道 A
和通道 B 都生成尺寸为 7×7×64 的特征图。
（4）将两个通道输出的特征图进行 Dropout 处理，然后经过 1×1×256 的全
连接层处理，再经过 1×1×10 的全连接处理。
（5）最后将特征图输入到 SOFTMAX 层进行分类。

图 3.1 并行卷积神经网络模型

3.4 GOA 算法优化的 RVFL 分类器

由于 RVFL 的输入权重和隐含层偏置会影响到其分类性能，本章使用 GOA
算法优化这两个参数来减少 RVFL 的随机性，从而提高 RVFL 的稳定性。GOA-
RVFL 分类器对服装图像特征分类的流程如下：
（1）初始化数据集特征。划分数据集特征，并初始化数据集标签与特征数
据。
（2）获取 RVFL 的输入权重和隐含层偏置。首先，通过 GOA 算法进行探
索和开发，随机生成初始搜索种群，并将 RVFL 的分类误差作为适应度值。然
后根据 GOA 算法的位置更新机制来更新个体的位置并计算相应的适应度，如果
求得的适应度值比当前最优适应度小，则更新种群最优个体的位置，否 则不更
新。如果算法没有达到最大迭代次数，则进行下一次迭代。当算法迭代完 成时，
返回求得的种群最优个体的位置，并对最优个体位置进行矩阵重排和截 取等操
作来得到 RVFL 的输入权重和隐含层偏置。
（3）计算数据集输出矩阵。通过伪逆求解得到输出权重矩阵,然后 调 用
RVFL 的分类函数、测试集的样本数据、求得的输入权重和输出权重来计算测试
集的输出。
（4）计算分类准确率。将 RVFL 计算求得的测试集输出矩阵与原本数据集
中的标签矩阵作对比，若输出与标签不相等，则视为分类错误，若输出 与标签
相等，则视为分类正确，最终将分类正确的样本数除以测试集样本数即 可得出
14

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

测试集的分类准确率。
GOA-RVFL 分类器的详细流程如图 3.2 所示。

图 3.2 GOA-RVFL 分类器流程图

3.5 PCNN-GOARVFL 服装图像分类算法

本章提出的算法是将 PCNN 模型和 GOA-RVFL 分类器结合起来对服装图像
数据集进行分类，既拥有了 PCNN 快速提取特征的能力，又拥有了 GOA-RVFL
优秀的分类性能。PCNN-GOARVFL 算法主要分为两个步骤，第一步是使用
PCNN 特征提取器来提取其第一层全连接层输出的服装图像特征。PCNN 模型在
每次卷积后，进行批量标准化处理，加快了提取特征的速度，避免梯度 消失问
题。然后使用 LeakyReLU 激活函数减少了静默神经元的数量，并引入了两层双
通道卷积层来加快模型的收敛速度。算法的第二步是使用 GOA-RVFL 分类器对
提取到的特征进行分类。由于 GOA-RVFL 分类器使用 GOA 算法优化了 RVFL的
输入权重和隐含层偏置，从而解决了 RVFL 因为随机生成参数而导致的精度不
足，易陷入局部最优或过拟合的问题，不仅提高了 RVFL 的分类性能，还提高
了 RVFL 的稳定性。算法的模型如图 3.3 所示。该算法首先使用 PCNN 特征提取
15

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

器提取训练集的特征，然后将提取到的服装图像特征输入到 GOA-RVFL 分类器

进行分类，从而得到训练好的算法模型。把测试集输入到训练好的算法模 型中，
就可以得到最终的分类结果。

图 3.3 PCNN-GOARVFL 算法的模型图

3.6 实验结果与分析
本次研究选取 Fashion Mnist 数据集进行实验。实验环境为 Windows10 操作
系统，内存为 64GB，GPU 为 NVIDIA GeForce RTX 2080Ti，CPU 为 intel (R)
Xeon(R) Bronze 3106。编程软件为 Matlab 2018b。为了使实验更具有说服力，将
每部分的对比实验都进行了 10 次重复实验，并取平均值来作为最终实验结果。
本次研究设置了 11 种算法来与本章提出的 PCNN-GOARVFL 算法进行对比实验，
其 中 包 括 PCNN-SOFTMAX，CNN-SOFTMAX，PCNN-RVFL，PCNN-
WOARVFL，PCNN-SSARVFL，PCNN-GWORVFL，PCNN-GOARVFL，LBP-
SVM，HOG-SVM，LBP-HOG-SVM，ALEXNET- SRC（Sparse Representation-
based Classifier）。

3.6.1 实验参数设置

3.6.1.1 RVFL 激活函数的选择

为了达到更好的分类效果，首先要确定 RVFL 的激活函数。本小节对比了

PCNN-GOARVFL 算法在几种常见的激活函数下的分类精度。表 3.1 为 PCNN-
GOARVFL 在各个激活函数下实验 10 次的结果，并对实验结果取均值进行比较。
结果显示，当激活函数为 Sigmoid 函数时，算法的平均分类精度最大，Radbas
函数次之，Sin，Hardlim 和 Tribas 函数紧随其后，而使用 Relu 函数作为激活函
数的效果并不理想。因此，本章选取 Sigmoid 函数进行后续实验。

16

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

表 3.1 激活函数的选取

Activation function
Times Sigmoid Sine Hardlim Tribas Radbas ReLU
1 92.50% 91.94% 92.19% 91.88% 91.97% 79.97%
2 92.88% 91.67% 91.80% 91.38% 92.45% 84.82%
3 92.12% 91.92% 92.04% 91.04% 91.35% 67.38%
4 92.20% 92.00% 91.71% 91.75% 92.04% 84.90%
5 92.45% 92.08% 92.04% 91.42% 91.88% 85.57%
6 92.25% 92.11% 92.08% 91.88% 92.25% 80.67%
7 92.29% 91.97% 91.81% 92.33% 91.83% 86.90%
8 92.83% 91.58% 92.08% 91.58% 92.63% 66.37%
9 92.74% 92.33% 91.25% 91.69% 92.79% 83.28%
10 92.67% 92.10% 91.88% 91.21% 92.17% 80.54%
Average 92.49% 91.97% 91.89% 91.62% 92.14% 80.04%

3.6.1.2 RVFL 隐藏层节点数目对算法的影响

对于 RVFL 来说，设置一个较为合适的隐含层节点数尤为重要，如果设置
的隐含层节点数太少，则 RVFL 的分类性能达不到要求，如果设置的隐含层节
点数太多，则 RVFL 容易陷入过拟合，因此本小节选取 RVFL 的隐含层节点数为
数组 N = {5,10,15,20,25,30,35,40,45,50,55,60,65,70,75,80,85,90,95,100}中的 20 组
值进行实验，并 将 PCNN-WOARVFL，PCNN-SSARVFL 和 PCNN-
GWORVFL 3 种算法加入到横向对比实验中，来对比隐含层节点数对算 法精度
的影响。所有算法的种群数和最大迭代次数都设置为相同值，仅改变隐 含层节
点数来进行对比实验。实验结果如图 3.4 所示。从图中可看出，相比于 WOA，
SSA 和 GWO 算法优化的 RVFL，使用 GOA 算法优化的 RVFL 的精度基本上都
是最高，且在高精度下算法性能稳定，没有出现较大幅波动，当节点数为 100
时，精度达到了最高。考虑到精度与计算量，选取隐含层节点数为 100 进行实
验。

17

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

图 3.4 隐含层节点数对算法的影响

3.6.1.3 GOA 算法的参数研究

为了研究 GOA 的最大迭代次数和种群大小对算法性能的影响，本文对

GOA 中的最大迭代次数和种群大小进行消融实验。实验中的种群数量采用 5 个
不同的值：10,20,30,40,50，最大迭代次数采用 5 个不同的值：40,60,80,100,120。
将不同参数组合下的算法精度以三维图的形式呈现，结果如图 3.5 所示。实验结
果表明，并非种群数越大算法的精确度就越高；当迭代次数较低时，由 于算法
还未收敛，精度普遍较低。而在高迭代次数的条件下，更容易获得高精 确度。
当种群大小为 10，最大迭代次数为 100 时，算法精度达到最高，而继续增加迭
代次数，算法的精度提升并不大。因此，本文选取 GOA 算法的最大迭代次数为
100，种群大小为 10。

图 3.5 GOA 的参数对算法精度的影响

18

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

3.6.1.4 算法的最终参数设置
通过上述实验，最终确定选取表 3.2 中的算法参数进行后续的实验。
表 3.2 算法的最终参数设置

Algorithm Parameter Value

Max Epochs 10
PCNN Initial LearnRate 0.0001
Optimizer Adam
Number of Hidden
RVFL 100
Neurons
Activation function Sigmoid
GOA Max Iteration 100
Population size 10

RVFL 的输入层节点为服装图像特征的维度，GOA 算法的种群维度为 RVFL

的隐含层节点数*（RVFL 的输入层节点数+1）。各个对比算法的并行卷积神经
网络的训练参数和 RVFL 的参数与表 3.2 中的对应参数保持一致，WOA，SSA，
GWO 算法的最大迭代次数、种群大小和种群维度也与 GOA 算法保持一致，其
他未提及的参数都使用 matlab 工具箱中提供的默认值。
图 3.6 为 PCNN 模型在 Fashion Mnist 数据集上训练的分类准确率曲线和损
失曲线。在图 3.6 的上半部分，横坐标为训练的迭代数*10，纵坐标为分类准确
率，蓝色曲线代表训练模型时的分类准确率曲线。在图 3.6 的下半部分，横坐标
为训练的迭代数*10，纵坐标为损失值，橙色曲线代表训练模型时的损失曲线。

图 3.6 PCNN 模型的在 Fashion Mnist 数据集上的分类准确率曲线与损失曲线

19

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

3.6.2 实验结果讨论

3.6.2.1 实验结果对比

为了验证本章提出的 PCNN-GOARVFL 算法相对于其他传统卷积神经网络

的性能和实时性的提升，将 ALEXNET，PCNN-SOFTMAX 和 CNN-SOFTMAX
作为对比实验的对象，对比各个算法的评价指标和收敛时间，其中，各 个网络
的训练参数均与表 3.2 中相应的训练参数相同。表 3.3 显示了各个算法的评价指
标与收敛时间。从表中数据可以看出，PCNN-SOFTMAX 的收敛时间最短，这
得益于双通道的应用，CNN-SOFTMAX 是本文提出的并行卷积神经网络的单通
道实现，其收敛时间也比较短，但是这两种方法的算法评价指标相对较 低。传
统的网络如 ALEXNET，虽然算法的评价指标有所提升，但是其收敛时 间成倍
增加。而本章提出的 PCNN-GOARVFL 算法评价指标都比较优秀，而且收敛时
间相对较短，这得益于 PCNN 结构加速了提取特征的速度和 GOA 算法优化的
RVFL 分类器提高了分类性能。
表 3.3 ALEXNET,PCNN-SOFTMAX,CNN-SOFTMAX 和 PCNN-GOARVFL 算法的评
价指标与收敛时间（最优值以粗体显示）

Convergenc
Method Macro-P Macro-R Marco-F1 Accuracy
e Time(s)
ALEXNET 92.56% 92.22% 89.88% 92.22% 3758.93
PCNN-SOFTMAX 90.18% 89.81% 89.87% 89.81% 811.89
CNN-SOFTMAX 89.76% 89.52% 89.70% 89.52% 983.77
PCNN-GOARVFL 92.84% 92.93% 92.87% 92.93% 1479.29

本文使用 LeakyReLU 函数作为激活函数来构建 PCNN 模型，相比于 ReLU

激活函数，当输入为负值时，LeakyReLU 函数的输出并不为 0，这就减少了静
默神经元的出现，解决了 ReLU 函数容易出现神经元失效的问题。为了验证
PCNN 的激活函数对算法性能的影响，将 ReLU，ClippedReLU 和 ELU 激活函数
作为实验对象来与 LeakyReLU 函数进行对比。图 3.7 显示了各个激活函数的函
数图。表 3.4 显示了各个激活函数下算法的评价指标。从表 3.4 中的数据可以看
出，使用 LeakyReLU 函数时，算法的各个评价指标都是最高的。ClippedReLU
在 ReLU 函数的基础上增加了一个上限，本次实验上限值为 6，虽然其相对于
ReLU 函数有所提升但还是比不上 LeakyReLU 函数。ELU 函数在本文算法上的
表现也比不上 LeakyReLU 函数。实验结果表明，相比于其他的激活函数，使用
LeakyReLU 函数作为激活函数能够有效的提高算法的性能。

20

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

（a）ReLU 激活函数 （b）ClippedReLU 激活函数

（c）ELU 激活函数 （d）LeakyReLU 激活函数

图 3.7 ReLU，ClippedReLU，ELU 和 LeakyReLU 激活函数

表 3.4 ReLU，ELU，ClippedReLU 和 LeakyReLU 激活函数对算法的评价指标的影响

（最优值以粗体显示）

Activation function Macro-P Macro-R Marco-F1 Accuracy

ReLU 91.68% 91.31% 91.37% 91.31%
ClippedReLU 92.11% 91.77% 91.81% 91.77%
ELU 92.00% 91.82% 91.70% 91.82%
LeakyReLU 92.84% 92.93% 92.87% 92.93%

为了验证 GOARVFL 分类器对 PCNN-GOARVFL 算法性能的影响，对

Fashion Mnist 数据集提取特征后，分别使用不同的分类器（RVFL，SOFTMAX，
WOARVFL，SSARVFL，GWORVFL 和 GOARVFL）对特征进行分类，并对比
各算法模型的评价指标。实验结果可见表 3.5。从表中的数据可以看出，PCNN-
RVFL 算法的各项评价指标是所有算法中最低的。PCNN-WOARVFL，PCNN-
SSARVFL，PCNN-GWORVFL 和 PCNN-GOARVFL 四种算法都是使用不同的优
化算法来优化 RVFL 的输入权重和隐含层偏置，其中 GOA 算法相比于 WOA 算
法，SSA 算法和 GWO 算法，对模型的性能提升更有优势。而 PCNN-SOFTMAX
算法的各项评价指标还是比本文算法低 3 个百分比左右。这些结果表明了 GOA

21

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

算法对 RVFL 分类器的输入权重和隐含层偏置的寻优能力比其他优化算法更好，

也表明了 GOA 算法优化的 RVFL 分类器相对于卷积神经网络的 SOFTMAX 分类
器来说，对服装图像特征的分类效果更好。
表 3.5 PCNN-RVFL，PCNN-WOARVFL, PCNN-SSARVFL，PCNN-SSARVFL，
PCNN-GWORVFL 和 PCNN-SOFTMAX 和 PCNN-GOARVFL 的算法评价指标（最优值
以粗体显示）

Method Macro-P Macro-R Marco-F1 Accuracy

PCNN-RVFL 89.08% 89.17% 89.11% 89.17%
PCNN-WOARVFL 91.65% 91.33% 91.29% 91.33%
PCNN-SSARVFL 92.08% 91.79% 91.87% 91.79%
PCNN-GWORVFL 92.65% 92.33% 92.48% 92.33%
PCNN-GOARVFL 92.84% 92.93% 92.87% 92.93%
PCNN-SOFTMAX 89.93% 89.50% 89.36% 89.50%

3.6.2.2 算法稳定性分析

为了验证 PCNN-GOARVFL 算法的稳定性，将其与其他 5 种算法（PCNN-

RVFL，PCNN-WOARVFL， PCNN-SSARVFL， PCNN-GWORVFL 和 PCNN-
SOFTMAX）进行对比，每种算法在数据集上运行十次，并绘制对应的 箱型图
来研究其稳定性，结果如图 3.8 所示。箱型图中每个长方体的上、下边界分别代
表精度数组的上、下四分位数，因此长方体越“窄”，则代表该算法越稳 定；箱
体中间的线代表精度数组的中位数；延伸出去的线代表精度数组中的最 大值和
最小值。从图 3.8 可以看出 PCNN-RVFL 的稳定性是算法中最差的，这主要是
RVFL 随 机 生 成 输 入 权 重 和 隐 含 层 偏 置 所 致 ；PCNN-WOARVFL，PCNN-
SSARVFL 和 PCNN-GWORVFL 优化了 RVFL 的输入权重和隐含层偏置，改善了
RVFL 的随机性，所以它们的稳定性比 PCNN-RVFL 要好。PCNN-SOFTMAX 虽
然稳定性较好，但是其分类精度却比不上本文算法。而本文算法的稳定 性要优
于其他五种对比算法，这得益于 GOA 算法优秀的寻优能力。

22

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

图 3.8 PCNN-RVFL，PCNN-WOARVFL， PCNN-SSARVFL，PCNN-GWORVFL 和

PCNN-SOFTMAX 和 PCNN-GOARVFL 算法的箱形图

3.6.2.3 算法有效性分析

为了验证 PCNN-GOARVFL 算法的有效性，将其与 LBP-SVM，HOG-SVM，

LBP-HOG-SVM 和 ALEXNET-SRC 算法进行了实验，对比了各个算法的评价指
标，实验结果如表 3.6 所示。从表中数据可知，LBP 提取特征和 HOG 提取特征
的方法适用于 Fashion Mnist 数据集，算法的评价指标相对较高。与 LBP-SVM
和 HOG-SVM 算法相比，基于 LBP 和 HOG 特征融合的 LBP-HOG-SVM 算法可
以将算法评价指标提高 1-2 个百分点，但还是低于本章提出的算法。ALEXNET-
SRC 算法使用 ALEXNET 卷积神经网络提取特征，并用稀疏编码对特征进行分
类，其评价指标是五个算法中最低的。而 PCNN-GOARVFL 的各项评价指标是
五种算法中最高的，这充分证明了该算法的有效性。
表 3.6 LBP-SVM，HOG-SVM，LBP-HOG-SVM，ALEXNET-SRC 和本文算法的算法
评价指标对比（最优值以粗体显示）

Method Macro-P Macro-R Marco-F1 Accuracy

LBP-SVM 91.29% 91.57% 91.27% 91.57%
HOG-SVM 91.28% 90.88% 90.18% 90.88%
LBP-HOG-SVM 92.47% 92.28% 92.54% 92.28%
ALEXNET-SRC 89.41% 89.17% 89.35% 89.17%
PCNN-GOARVFL 92.84% 92.93% 92.87% 92.93%

23

万方数据
 第 3 章 基于并行卷积神经网络和优化的 RVFL 的服装图像分类算法

3.7 本章小结
本章介绍了一种基于并行卷积神经网络和 GOA 优化的 RVFL 相结合的服装
图像分类算法。首先，针对传统的卷积神经网络提取特征时的不足，提 出了一
种并行卷积神经网络模型，并对其结构进行了详细介绍。然后介绍了 GOA 算法
优化 RVFL 的权重和偏置的具体步骤，最后详细阐述了 PCNN-GOARVFL 服装
图像分类算法模型。本章还通过大量实验研究了 RVFL 的激活函数，隐含层节
点和 GOA 的参数对算法分类性能的影响，从而选取出更加合适的参数组合进行
后续实验。本章通过对 PCNN-GOARVFL 算法的各个创新点进行相应的对比实
验，证明了算法的优越性。最后还通过绘制箱型图和与其他服装图像分 类算法
进行对比证明了 PCNN-GOARVFL 算法的稳定性和有效性。本次研究虽然提升
了服装图像分类的准确率，但是还有很大的进步空间，后续研究会进一 步的改
进算法来提高服装图像分类算法的性能和泛化能力。

24

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服

装图像分类算法

4.1 引言
上一章所提出的 PCNN-GOARVFL 算法虽然在 Fashion Mnist 数据集上的效
果很好，但是由于该算法结构相对简单，提取的图像特征不够丰富，所 以不适
用于像 ACWS 和 DeepFashion 这样的纹理背景复杂的服装图像数据集。而且传
统的 RVFL 是基于经验风险最小化来训练模型的，这样容易出现过拟合问题。
针对上述问题，本章提出了一种基于 Densenet201 网络和优化的正则化 RVFL 相
结合的服装图像分类算法。该算法的主要创新点如下：
（1）首先，我们使用迁移学习将 ImageNet 数据集预训练后的 Densenet201
网络的权重参数迁移到初始网络模型并对模型参数进行微调，从而得到 基于迁
移学习的 Densenet201 特征提取主干（DFEB）网络。使用基 于迁 移 学 习 的
DFEB 网络提取 Densenet201 网络的全局平均池化层输出的服装图像特征。通过
使用迁移学习，减少了模型在提取服装图像特征时的计算资源开销和训练 时间，
提高了模型的泛化能力。并且相对于其他传统卷积神经网络，基于迁移 学习的
Desenet201 特征提取主干网络能够融合利用更多低层次的特征，从而使 得提取
的服装图像特征更加丰富。
（2）针对 RVFL 分类性能较低，不稳定，并且容易出现过拟合的问题，本
章提出在传统的 RVFL 中引入正则化系数来提高 RVFL 的泛化能力。然后使用
MPA 优化算法为 AO 算法提供一组合适的初始种群，降低了初始种群质量对 AO
算法寻优效果和收敛效果的影响。随后提出了一种基于 MPA 改进的 AO 种群个
体位置的片段映射方法来优化 RRVFL 的输入权重，隐含层偏置和正则化系数，
通过不同的片段来映射 RRVFL 的相关参数，不仅自动为 RRVFL 选取了合适的
正则化系数降低了调参的时间成本，而且还解决了 RRVFL 因为参数的随机性而
导致的分类性能低，不稳定的问题。
（3）使用 MPA 改进的 AO 算法优化的正则化 RVFL 分类器（MARRVFL）
来对 DFEB 提取到的服装图像特征进行分类，从而得到了本章提出的 DFEB-
MARRVFL 服装图像分类算法。该算法不仅具有优秀的分类性能，还具 有良好
的泛化能力，适用于纹理背景复杂的服装图像数据集。

25

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

4.2 Densenet 结构与迁移学习

Densenet 网络结构通过将网络中所有的层直接连接，使得层与层之 间的联
系更加紧密，这种结构不仅提高了每一层特征的传播和利用效率，还减 少了网
络的参数量，抑制了过拟合问题。Densenet 网络的子模块主要是 Dense Block 和
Transition Layer，其结构如图 4.1 所示。假设 Densenet 网络中有𝐿层，那么就会
有𝐿(𝐿 + 1)/2个连接，即每一层的输出都与其后所有层的输入直接相连，图 4.1
中，𝑋0 是整个卷积神经网络的输入，𝐻1 的输入是𝑋0 ，𝐻2 的输入时𝑋0 和𝑋1，依次
类推。因此，相对于其他传统卷积神经网络（如 Resnet 网络）依赖于网络的最
后一层输出的特征，Densenet 能够有效的提高特征的传播效率和利用效 率，从
而使得提取的特征更加丰富。

图 4.1 Dense Block 和 Transition Layer 的结构

迁移学习[51]实质上就是把已经训练好的模型（预训练模型）参数迁 移到新
模型中，使得新模型拥有更高的初始性能，并且还能加快新模型在训练 过程中
提升的速率，降低了新模型的数据依赖性，从而提高新模型的泛化能力。

4.3 海洋捕食者算法
海洋捕食者算法（MPA）是一种新型的元启发式优化算法，其启发 于自然
界中捕食者的捕食策略。该算法有精英矩阵(Elite)和猎物矩阵(Prey)，顶 级捕食
者们构成精英矩阵(一个顶级捕食者即为问题的一个解)。该算法在寻优过程中
有三个阶段，第一个阶段用于解空间的全局搜索，当迭代次数不超过最 大迭代
次数的三分之一时，种群个体的更新策略如下：
26

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

𝑠𝑖 = 𝑅𝐵  (𝐸𝑙𝑖𝑡𝑒𝑖 − 𝑅𝐵 𝑃𝑟𝑒𝑦𝑖 ), 𝑖 = 1 … 𝑛 (4-1)

𝑃𝑟𝑒𝑦𝑖 = 𝑃𝑟𝑒𝑦𝑖 + 𝑃. 𝑅𝑠𝑖 (4-2)

其中：𝑅𝐵 是由布朗运动生成的向量。𝐸𝑙𝑖𝑡𝑒𝑖 和𝑃𝑟𝑒𝑦𝑖 分别代表精英矩阵和猎物矩

阵的个体，𝑛为种群的规模，𝑠𝑖 为移动的步长，𝑃等于 0.5，𝑅是区间[0,1]的 均匀
分布的随机数组成的向量。
第二阶段由对解空间的全局搜索转向对解空间的当前最优位置进行 局部搜
索过渡，当迭代次数在最大迭代次数的三分之一到三分之二之间时，种 群的前
半部分个体的更新策略如下：
𝑠𝑖 = 𝑅𝐿 (𝐸𝑙𝑖𝑡𝑒𝑖 − 𝑅𝐿 𝑃𝑟𝑒𝑦𝑖 ), i = 1, … n/2 (4-3)
𝑃𝑟𝑒𝑦𝑖 = 𝑃𝑟𝑒𝑦𝑖 + 𝑃. 𝑅𝑠𝑖 (4-4)

其中：𝑅𝐿 是 levy 分布产生的数组成的向量。种群的后半部分个体的更新策略如

下：
n
𝑠𝑖 = 𝑅𝐵  (𝑅𝐵 𝐸𝑙𝑖𝑡𝑒𝑖 − 𝑃𝑟𝑒𝑦𝑖 ), i = 2 , … n (4-5)

𝑃𝑟𝑒𝑦𝑖 = 𝐸𝑙𝑖𝑡𝑒𝑖 + 𝑃. 𝐶𝐹𝑠𝑖 (4-6)

其中：𝐶𝐹表示步长𝑠𝑖 的自适应参数：
𝐼𝑡𝑒𝑟
𝐼𝑡𝑒𝑟 (2 )
𝐶𝐹 = (1 − 𝑀𝑎𝑥_𝐼𝑡𝑒𝑟 ) 𝑀𝑎𝑥_𝐼𝑡𝑒𝑟 (4-7)

其中：𝐼𝑡𝑒𝑟表示算法的迭代次数，𝑀𝑎𝑥_𝐼𝑡𝑒𝑟表示算法的最大迭代次数。
第三阶段用于对解空间的当前最优解位置进行局部搜索。当迭代次 数大于
最大迭代次数的三分之二时，种群个体的更新策略如下：
𝑠𝑖 = 𝑅𝐿 (𝑅𝐿 𝐸𝑙𝑖𝑡𝑒𝑖 − 𝑃𝑟𝑒𝑦𝑖 ), i = 1, … , n (4-8)
𝑃𝑟𝑒𝑦𝑖 = 𝐸𝑙𝑖𝑡𝑒𝑖 + 𝑃. 𝐶𝐹𝑠𝑖 (4-9)

在迭代过程中，算法可以通过解决涡流形成和 FADS 效应来跳出局部最优

解。数学公式如下：
𝑃𝑟𝑒𝑦𝑖 + 𝐶𝐹[𝑋𝑚𝑖𝑛 + 𝑅(𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛 )]U , if r ≤ FADs
𝑃𝑟𝑒𝑦𝑖 = { (4-10)
𝑃𝑟𝑒𝑦𝑖 + [𝐹𝐴𝐷𝑠(1 − 𝑟) + 𝑟](𝑃𝑟𝑒𝑦𝑟1 − 𝑃𝑟𝑒𝑦𝑟2 )]U , if r > FADs

其中：𝑟是随机数，𝐹𝐴𝐷𝑠等于 0.2，𝑟1, 𝑟2 在区间[1, 𝑛],𝑈是一个包含 0 和 1 的二

进制向量，其维度为问题的求解规模。

4.4 天鹰优化器
天鹰优化器（AO）是一种基于种群的优化算法，其灵感来自于天鹰在捕
捉猎物过程中的行为。该算法的寻优过程有四个步骤.第一个步骤为拓 展探索，
即采用高空俯冲和垂直俯冲来搜索空间。首先，天鹰通过高空俯冲和垂 直俯冲
27

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

来搜索最佳狩猎区，该行为在数学上的表示方程式为：
𝑡
𝑋1 (𝑡 + 1) = 𝑋𝑏𝑒𝑠𝑡 (𝑡) × (1 − 𝑇) + (𝑋𝑀 (𝑡) − 𝑋𝑏𝑒𝑠𝑡 (𝑡) ∗ 𝑟𝑎𝑛𝑑) (4-11)

其中： 𝑋1 (𝑡 + 1)表示该步骤中第𝑡 + 1次迭代的解。𝑋𝑏𝑒𝑠𝑡 (𝑡)是𝑡次迭代的最优解，

反应了猎物的大致位置。𝑋𝑀 (𝑡)表示在第 𝑡 次迭代时连接的当前解的位置平均值，
𝑟𝑎𝑛𝑑 为[0,1]的随机值，𝑡 and 𝑇 代表当前迭代次数和最大迭代次数。若 问题维
度为𝐷𝑖𝑚，候选解的数量为𝑁，则：
1
𝑋𝑀 (𝑡) = ∑𝑁
𝑖 =1 𝑋𝑖 ( 𝑡) , 𝑖 = 1,2, … . 𝐷𝑖𝑚 (4-12)
𝑁

第二个步骤为缩小探索范围，即通过等高线短滑攻击在发散搜索空 间内探
索。数学公式表示如下所示。
𝑋2 (𝑡 + 1) = 𝑋𝑏𝑒𝑠𝑡 (𝑡) × 𝐿𝑒𝑣𝑦(𝐷) + 𝑋𝑅 (𝑡) + (𝑦 − 𝑥 ) ∗ 𝑟𝑎𝑛𝑑 (4-13)

其中：𝑋2 (𝑡 + 1) 是表示该步骤中第𝑡 + 1次迭代 的解。 𝐷 是 维度 空间 ， 并 且

𝐿𝑒𝑣𝑦(𝐷) 是 Levy 飞行函数。𝑋𝑅 (𝑡)为𝑡次迭代的范围为[1, 𝑁]的随机解。
第三个步骤为扩展开发，即通过低速下降攻击在收敛搜索空间内进行 探索。
数学公式表示如下所示。

𝑋3 (𝑡 + 1) = (𝑋𝑏𝑒𝑠𝑡 (𝑡) − 𝑋𝑀 (𝑡)) × 𝑎 − 𝑟𝑎𝑛𝑑

+((𝑈𝐵 − 𝐿𝐵 ) × 𝑟𝑎𝑛𝑑 + 𝐿𝐵) × 𝜕 (4-14)

其中：𝑋3 (𝑡 + 1)是该步骤中第𝑡 + 1次迭代的解，𝑎 和 𝜕 是固定为 0.1 的开发调

整参数，𝐿𝐵表示给定的问题下限，𝑈𝐵表示给定问题的上限。
第四个步骤为缩小范围，即通过步行和俯冲抓取猎物，其数学公式 表示如
下所示：
𝑋4 (𝑡 + 1) = 𝑄𝐹 × 𝑋𝑏𝑒𝑠𝑡 (𝑡) − (𝐺1 × 𝑋 (𝑡) × 𝑟𝑎𝑛𝑑 )
−𝐺2 × 𝐿𝑒𝑣𝑦(𝐷) + 𝑟𝑎𝑛𝑑 × 𝐺1 (4-15)

其中：𝑋4 (𝑡 + 1)是该步骤中第𝑡 + 1迭代的解。𝑄𝐹 表示用于平衡搜索策略 的质

量函数。𝐺1 表示在探索期间 AO 跟踪猎物的各种运动，𝐺2 为从 2 到 0 的递减值，
表示在探索期间 AO 从第一个位置到第𝑡个位置跟踪猎物时的飞行斜率，𝑋 (𝑡)表
示当前第𝑡次迭代的解。

4.5 正则化的随机向量函数链接神经网络
当训练集中异常的样本数据较多时，传统的 RVFL 网络的泛化性会降低且
容易陷入过拟合。针对这一问题，本章通过在 RVFL 上添加正则化项来约束其

28

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

参数，从而提高 RVFL 的泛化能力，防止过拟合现象。RRVFL 的数学模型为：

𝑚𝑖𝑛 𝐶‖ 𝑦 − 𝐻𝛽‖ 22 + ‖ 𝛽‖ 22 (4-16)
𝛽

其中：𝑒 = 𝑦 − 𝐻𝛽，式子(4-16)可以转化为：
𝑚𝑖𝑛 𝐶 ‖ 𝑒‖ 22 + ‖ 𝛽‖ 22 (4-17)
𝛽

构造拉格朗日函数为：
𝐿(𝛽, 𝑒, 𝜆) = 𝐶 ‖ 𝑒‖ 22 + ‖ 𝛽‖ 22 + 𝜆𝑇 (𝑦 − 𝐻𝛽 − 𝑒) (4-18)

其中：𝑒 = [𝑒1 , 𝑒2 , … , 𝑒𝑁 ]𝑇 表示误差向量，𝜆表示拉格朗日乘数向量。最优条件可

以通过求解以下方程组得出：
𝜕𝐿
= 0 ⇒ 2𝛽 − 𝐻 𝑇 𝜆 = 0
𝜕𝛽
𝜕𝐿
= 0 ⇒ 2𝐶𝑒 − 𝜆 = 0 (4-19)
𝜕𝑒
𝜕𝐿
{𝜕𝜆 = 0 ⇒ 𝑦 − 𝐻𝛽 − 𝑒 = 0

这样就可得出𝛽̂的解为：
𝐼 −1
(𝐻𝑇 𝐻𝐶 + 𝐶 ) 𝐻𝑇𝑦 𝐿≤𝑁
𝛽̂ = { (4-20)
𝐼 −1
𝐻 𝑇 (𝐻𝐻 𝑇 + 𝐶 ) 𝑦 𝐿>𝑁

其中：𝐿是隐含层增强节点的个数。

4.6 DFEB-MARRVFL 服装图像分类算法

由于 Densenet 网络结构能够提高特征的传播效率和利用效率，使得提取到
的服装图像特征更加丰富，所以本章选取基于迁移学习的 Densenet201 的特征提
取主干网络来提取服装图像特征。首先，我们将 ImageNet 数据集预训 练后的
Densenet201 网络的权重参数迁移到初始网络模型，并对其参数进行微调。最后
提取其全局平均池化层输出的特征，这样对服装图像数据集的特征提取 工作就
完成了。Densenet201 特征提取主干网络的结构如图 4.2 所示。

29

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

图 4.2 Densenet201 特征提取主干网络的结构

在处理多分类问题时，RVFL 权重和偏置的随机性极大地影响了它的 性能，

并由此产生了精度不足，易陷入局部最优解或过拟合等隐患。考虑到以上 问题，
我们首先引入正则化系数求解 RVFL 的输出权重，通过添加结构风险项来约束
其参数，从而控制 RVFL 的模型复杂度，解决过拟合问题。然后，我们使用
MPA 优化算法为 AO 算法提供一组合适的初始种群，降低了初始种群对 AO 算
法的寻优和收敛效果的影响。最后，我们提出了一种片段映射结构，使用 MPA
算法改进后的 AO 算法来优化正则化 RVFL 的正则化系数，输入权重和隐含层
偏置，以提高其分类的稳定性和精确性。最终得到了本章提出的 MARRVFL 分
类器模型。将 Densenet201 特征提取主干网络和 MARRVFL 分类器相结合就得
到了本文提出的 DFEB-MARRVFL 服装图像分类算法。
DFEB-MARRVFL 算法模型主要分为三部分，第一部分为基于迁移 学习的
Densenet201 特征提取主干网络，这部分主要负责的工作是提取服装图像数据集
的特征。首先将数据集按比例划分为训练集和测试集，然后将 ImageNet 数据集
预训练后的 Densenet201 网络的权重参数迁移初始网络模型，并使用训练集对初
始网络模型进行微调，从而得到基于迁移学习的 Densenet201 特征提取主干网络，
并用其提取测试集的特征，这样就完成了第一步的特征提取工作。第二 部分是
MPA-AO 优化算法，这一部分的任务是优化 RRVFL 的输入权重，隐含层偏置和
正则化系数，自动为 RRVFL 选取合适的正则化系数，并改善 RRVFL 因随机生
成参数而导致的不稳定性，提高 RRVFL 的分类性能。首先我们使用 MPA 算法
来为 AO 算法提供一组合适的初始种群，以此来减弱随机生成初始种群对 AO 算
法的寻优和收敛能力的影响，然后使用 AO 算法的寻优机制对种群内的个体位
置进行探索和开发，通过对个体位置进行分段，重排和映射等操作得到 RRVFL
的输入权重，隐含层偏置和正则化系数。然后求出 RRVFL 的分类误差作为个体
的适应度，如果求出的个体适应度小于当前最优解的适应度，则更新最 优解，
30

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

否则进行下一次迭代来继续进行探索和开发。如果算法达到了最大迭代 次数，
则返回最优解的位置。第三部分是 RRVFL 分类器，这部分的任务是对提取到的
服装图像数据集的特征进行分类。首先我们对 MPA-AO 优化算法返回的最优个
体的位置进行分段，重排和映射等操作得到 RRVFL 的输入权重，隐含层偏置和
正则化系数，并使用提取好的训练集特征来训练 RRVFL，计算其输出权重。然
后调用 RRVFL 的分类函数，测试集特征、求得的输入权重和输出权重来计算测
试集特征的输出。最后，将求得的测试集特征的输出矩阵与其真实的标 签矩阵
作对比，若输出与标签不相等，则视为分类错误，最终将分类正确的数 量除以
测试集样本数即得出测试集的分类准确率。DFEB-MARRVFL 算法模型的详细
流程如图 4.3 所示。

图 4.3 DFEB-MARRVFL 算法的流程图

图 4.4 显示了从 AO 种群的个体位置到 RRVFL 参数的映射处理过程。其中，

m，n分别表示 RRVFL 的隐含层节点数和输入 层节 点数 ，W， B分 别 表 示
RRVFL 的输入权重和隐含层偏置，C表示 RRVFL 的正则化系数，而β表示
RRVFL 的输出权重。从图中可以看出，在 AO 优化算法中，种群个体的位置是
一个维度为𝑚 × (𝑛 + 1) + 1 的行向量。种群个体位置的前m × n个粒子划分为
RRVFL 的输入权重，将其重排列为m × n的矩阵即可作为 RRVFL 的输入权重，
接下来的m个粒子划分为 RRVFL 的隐含层偏置，将其重排列为m × 1的列向量
31

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

即可作为 RRVFL 的隐含层偏置，剩下的最后一个粒子就是 RRVFL 的正则化系

数，由于粒子的范围在[-1,1]之间，因此使用Abs(C × 10)来将正则化系数映射到
(0,10)区间。通过处理种群个体位置得到的 RRVFL 的输入权重，隐含层偏置和
正则化系数即可计算出 RRVFL 的输出权重β。

图 4.4 AO 种群个体位置到 RRVFL 参数的映射处理过程

4.7 实验结果与分析
本次研究主要是在 ACWS 数据集上进行实验。实验环境为 Windows10 操作
系统，内存为 64GB，GPU 为 NVIDIA GeForce RTX 2080Ti，CPU 为 intel (R)
Xeon(R) Bronze 3106。编程软件为 Matlab 2018b。在后续的算法泛化性实验中，
还在 Fashion Mnist 数据集和 DeepFashion 数据集上对算法的泛化能力进行了验
证。为了使实验更具有说服力，将每部分的对比实验都进行了 10 次重复实验，
并取平均值来作为最终实验结果。本次研究将本章提出的 DFEB-MARRVFL 算
法 与 Resnet50，Resnet101，Densenet201，Inception V3，DFEB-RVFL，DFEB-
RRVFL，DFEB-GWORRVFL，DFEB-ALORRVFL，DFEB-SSARRVFL，DFEB-
MPARRVFL，DFEB-AORRVFL，DFEB-AARRVFL（ALO-AO-RRVFL） ，
DFEB-SARRVFL（SSA-AO-RRVFL），DFEB-GARRVFL（GWO-AO-RRVFL），
GLCM-RVFL，LBP-HOG-SVM 和 INCEPTIONV3-SRC 共 17 种算法进行了相应
的对比实验。

4.7.1 实验参数设置

32

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

4.7.1.1 RVFL 的激活函数对算法的影响

首先我们需要研究的是 RVFL 的不同的激活函数对算法性能的影响，本文

选取五种常用的激活函数来进行消融实验，在每种激活函数下进行 10 次实验，
并取平均分类精度来进行对比，实验结果如表 4.1 所示。从表中结果可知，当激
活函数为 Sigmoid 函数时，算法的分类精度非常稳定且其平均分类精 度最大，
当激活函数为 Hardlim 函数时，算法的分类精度有小幅度波动，且其平均分类精
度略差于 Sigmoid 函数，而当激活函数为 Sine，Tribas 和 Radbas 函数时，算法
出现巨幅波动，分类精度在 10%-80%上下波动，非常不稳定，且其平均分类精
度明显低于 Sigmoid 函数和 Hardlim 函数。因此，本文选取 Sigmoid 函数作为
RVFL 的激活函数进行后续实验。
表 4.1 DFEB-MARRVFL 算法在不同激活函数下的分类结果

Activation function
Times Sigmoid Sine Hardlim Tribas Radbas
1 86.20% 81.90% 82.97% 70.47% 12.13%
2 86.27% 44.20% 84.77% 11.37% 11.02%
3 84.90% 85.23% 83.60% 80.60% 80.00%
4 86.10% 10.20% 84.97% 60.30% 13.03%
5 85.83% 9.83% 85.70% 82.17% 81.40%
6 86.30% 10.33% 86.73% 10.30% 81.53%
7 85.47% 10.03% 85.50% 10.43% 81.80%
8 85.83% 10.27% 76.93% 10.60% 80.87%
9 85.73% 85.67% 82.50% 10.67% 73.70%
10 85.80% 83.90% 85.53% 76.30% 79.20%
Average 85.84% 43.16% 83.92% 42.32% 59.47%

4.7.1.2 RVFL 的隐含层节点对算法的影响

RVFL 作为一种单隐含层的神经网络，选取合适的隐含层节点数目对提高其
分类性能尤为重要。如果选取的节点数过少，则可能会使算法的分类性 能达不
到要求，如果选取的节点数过多，不仅会加大计算量，而且还有陷入过 拟合的
风险。本文选取 20 组 RVFL 的隐含层节点的值进行实验，隐含层节 点数目在
[10,200]区间中，每次实验增加 10 个隐含层节点，并且在每个隐含层 节点的取
值下都进行 10 次实验，通过计算平均分类精度来研究隐含层节点数对算法性能
的影响，实验结果如表 4.2 到表 4.5 所示。从这些表中数据可知，当隐含层节点
数目在区间[10,140]时，算法的分类性能随着隐含层节点数的增加而上升，这说

33

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

明在此区间上，隐含层节点数目的增加能够有效的提高算法的分类性能 。而当
隐含层节点数目在区间[150-200]时，隐含层节点数目的增加并没有提高 算法的
分类性能，相反还有所下降，这表明算法陷入了过拟合。因此本文选取 隐含层
节点数目为 140 进行后续实验。
表 4.2 算法的隐含层节点在区间[10-50]时的分类结果

Number of node
Times 10 20 30 40 50
1 66.87% 76.13% 78.77% 81.40% 83.20%
2 67.87% 74.60% 80.47% 82.23% 82.00%
3 64.07% 77.80% 78.40% 81.17% 81.60%
4 70.20% 72.13% 79.00% 80.93% 84.20%
5 66.60% 73.60% 78.43% 80.03% 83.53%
6 68.37% 75.97% 78.03% 81.23% 82.57%
7 65.50% 74.73% 78.27% 80.97% 82.70%
8 73.07% 74.90% 77.70% 82.83% 81.47%
9 65.60% 75.00% 75.03% 80.10% 82.27%
10 70.83% 74.23% 77.30% 80.27% 80.90%
Average 67.90% 74.91% 78.14% 81.12% 82.44%

表 4.3 算法的隐含层节点在区间[60-100]时的分类结果

Number of node
Times 60 70 80 90 100
1 83.03% 85.20% 85.57% 86.37% 85.43%
2 83.70% 85.07% 84.00% 85.47% 86.20%
3 84.23% 83.60% 85.67% 86.30% 86.26%
4 84.20% 84.00% 81.90% 84.90% 84.90%
5 82.93% 83.87% 84.77% 85.87% 86.10%
6 82.43% 84.53% 84.30% 85.73% 85.83%
7 84.07% 84.83% 84.57% 85.53% 86.30%
8 84.43% 83.77% 85.20% 85.67% 85.47%
9 83.33% 84.83% 81.80% 86.10% 85.83%
10 84.47% 84.07% 84.80% 86.17% 85.80%
Average 83.68% 84.38% 84.26% 85.81% 85.81%

34

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

表 4.4 算法的隐含层节点在区间[110-150]时的分类结果

Number of node
Times 110 120 130 140 150
1 85.97% 86.20% 86.47% 86.70% 86.33%
2 86.57% 86.77% 86.77% 86.40% 85.97%
3 85.60% 85.70% 86.87% 86.27% 85.83%
4 86.03% 86.67% 86.60% 86.87% 86.07%
5 85.37% 85.93% 86.40% 86.43% 86.47%
6 86.27% 85.67% 86.50% 87.33% 85.93%
7 86.50% 86.97% 86.10% 86.33% 86.07%
8 85.43% 86.33% 86.50% 86.17% 85.90%
9 86.47% 87.20% 86.33% 86.60% 85.33%
10 86.57% 86.77% 85.97% 86.73% 86.37%
Average 86.08% 86.42% 86.45% 86.58% 86.03%

表 4.5 算法的隐含层节点在区间[160-200]时的分类结果

Number of node
Times 160 170 180 190 200
1 86.43% 86.63% 85.20% 85.53% 84.77%
2 86.53% 86.47% 85.63% 85.47% 86.10%
3 85.83% 86.13% 85.40% 84.73% 86.27%
4 86.27% 86.57% 85.43% 85.60% 85.50%
5 86.03% 86.23% 85.33% 84.47% 85.53%
6 86.47% 86.33% 85.27% 84.93% 86.47%
7 86.30% 85.97% 85.56% 85.40% 85.53%
8 85.93% 86.83% 84.93% 85.87% 85.03%
9 86.57% 86.03% 85.60% 85.50% 85.60%
10 85.47% 85.77% 85.43% 85.77% 85.33%
Average 86.18% 86.30% 85.38% 85.33% 85.61%

4.7.1.3 MPA-AO 优化算法的参数对算法的影响

MPA-AO 算法的寻优性能主要与其种群大小（搜索代理）和最大 迭代次数

相关，因此本文将这两个参数进行组合实验，种群大小在区间[5,50]均匀取值,
最大迭代次数在区间[10,100]均匀取值，实验结果如表 4.6 和表 4.7 所示。图 4.5
更直观的显示了种群大小和最大迭代次数对算法分类性能的影响。从图 表中的
数据可知，当迭代次数较低时，算法的分类精度普遍较低，这主要是因 为此时
35

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

寻优算法还未收敛，而在高迭代次数的情况下，由于寻优算法已经收敛 ，因此
精度也相对更高。在种群数为 15，迭代次数为 80 的参数组合下，算法的分类精
度达到了最高，后续再增加种群数和最大迭代次数并未有效的提高算法 的分类
性能，反而增加了计算量。因此，本文选取 MPA-AO 优化算法的种群大小为 15，
最大迭代次数为 80 进行后续的实验。
表 4.6 算法的最大迭代次数在区间[10-50]时各个种群数下的平均分类精度

Max Iteration
Pop 10 20 30 40 50
5 82.30% 83.50% 85.43% 85.20% 84.00%
10 82.97% 83.90% 84.07% 85.53% 85.57%
15 82.57% 83.27% 84.07% 83.17% 84.80%
20 83.60% 83.37% 83.97% 84.73% 85.03%
25 82.83% 82.70% 83.80% 84.43% 85.30%
30 82.80% 83.90% 84.80% 85.47% 85.10%
35 83.10% 83.67% 85.50% 84.17% 85.67%
40 82.97% 82.00% 85.83% 83.70% 85.43%
45 82.43% 83.23% 84.17% 84.73% 85.23%
50 83.57% 84.10% 85.23% 83.13% 85.40%

表 4.7 算法的最大迭代次数在区间[10-50]时各个种群数下的平均分类精度

Max Iteration
Pop 60 70 80 90 100
5 85.30% 85.47% 85.47% 86.00% 85.17%
10 85.37% 85.63% 85.50% 84.47% 85.57%
15 85.83% 83.20% 86.33% 83.37% 85.87%
20 85.33% 85.80% 85.30% 84.53% 86.03%
25 83.13% 85.17% 83.87% 85.10% 85.27%
30 83.47% 83.77% 85.93% 85.30% 85.27%
35 85.73% 84.80% 85.50% 84.93% 85.10%
40 84.83% 85.43% 82.47% 84.63% 85.00%
45 85.30% 85.30% 85.47% 83.17% 84.73%
50 85.37% 85.30% 85.73% 83.83% 85.07%

36

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

图 4.5 不同参数组合下 DFEB-MARRVFL 算法的分类精度

4.7.1.4 算法最终参数设置
在经过大量实验后，确定算法的最终参数如表 4.8 所示。
表 4.8 算法的最终参数设置

Algorithm Parameter Value

Max Epochs 10
Densenet201 Initial LearnRate 0.0001
Optimizer Adam
Number of Hidden
MARRVFL 140
Neurons
Activation function Sigmoid
Max Iteration 80
Population size 15

在 MARRVFL 分类器中，RRVFL 的输入层节点为服装图像特征的 维度，

MPA-AO 算法的种群维度为 RVFL 的隐含层节点数*（RVFL 的输入层节点数+1）
+1。在后续的对比实验中，对比算法中的卷积神经网络的训练参数，优 化算法
和 RVFL 的参数与表 4.4 中的相关参数保持一致，其他未提及的参数都使用
matlab 工具箱中提供的默认值。

4.7.2 实验结果讨论

4.7.2.1 实验结果对比

为了验证本章提出的 DFEB-MARRVFL 算法相对于传统的卷积神经网络在

分类性能上的提升，我们选取基于迁移学习的 Resnet50 网络，Resnet101 网络，
37

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

Densenet201 网络和 Inception V3 网络来作为对比实验的对象，这些网络都是通

过迁移 ImageNet 数据集预训练后的网络的权重参数，并微调得到的。我们对比
了各个网络模型和本文算法的评价指标，如表 4.9 所示。图 4.6 到图 4.10 为各个
网络模型对应的混淆矩阵，图中的行表示算法分类的类别，列表示真实的 类别，
最后一列的格子分别为每个类别的精确率，最后一行的格子分别为每个 类别的
召回率，灰色格子为测试集的分类准确率，图中数字 1-10 代表服装图像的类别，
分 别 为 Blouses，Coat，Jacket，Long dress， Robe，Shirt，Suit，Sweater，T-
shirt 和 Uniform。 从实验数据可知，Resnet50，Resnet101，InceptionV3 网络的
各项评价指标都要低于本文提出的 DFEB-MARRVFL 算法，也低于 Densenet201
网络结构，这正是验证了前文提到的传统的卷积神经网络依赖于网络的 最后一
层输出的特征，而 Densenet 网络结构能够融合利用更多低层次的特征，从而提
高了特征的传播效率和特征的利用效率的观点。而 DFEB-MARRVFL 算法的各
个评价指标要高出 Densenet201 网络 14 到 15 个百分点，这证明了 DFEB-
MARRVFL 算法优秀的分类性能。
表 4.9 Resnet50，Resnet101，Densenet201，Inception V3 和 DFEB-MARRVFL 算法的
评价指标（最优值以粗体显示）

Method Macro-P Macro-R Marco-F1 Accuracy

Resnet50 66.14% 65.80% 65.39% 65.80%
Resnet101 67.93% 67.53% 67.13% 67.53%
Densenet201 73.37% 73.43% 73.61% 73.43%
Inception V3 71.94% 71.63% 71.16% 71.63%
DFEB-MARRVFL 88.10% 88.19% 88.03% 88.19%

38

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

图 4.6 Resnet50 在 ACWS 数据集上的混淆矩阵

图 4.7 Resnet101 在 ACWS 数据集上的混淆矩阵

39

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

图 4.8 Densenet201 在 ACWS 数据集上的混淆矩阵

图 4.9 Inception V3 在 ACWS 数据集上的混淆矩阵

40

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

图 4.10 DFEB-MARRVFL 在 ACWS 数据集上的混淆矩阵

为了进一步验证 MARRVFL 分类器对本章提出的 DFEB-MARRVFL 算法的

分类性能的影响，我们分别使用不同优化算法优化的 RVFL 分类器（RVFL，
RRVFL，GWORRVFL，ALORRVFL，SSARRVFL，MPARRVFL，AORRVFL，
AARRVFL，SARRVFL，GARRVFL）对 DFEB 网络提取到的服装图像特征进行
分类，并对比了各个算法的评价指标，实验结果如表 4.10 所示。从表中数据可
知，使用原始的 RVFL 作为分类器的算法性能是最低的，而对 RVFL 引入正则化
机制的 RRVFL 分类器的性能相较于原始的 RVFL 有一定提升，但是由于并未解
决其随机生成输入权重和隐含层偏置的问题，其分类性能仍然达不到要 求。在
单一优化算法优化的 RRVFL 分类器中，GWO 算法，ALO 算法，SSA 算法和
MPA 算法对 RRVFL 参数的寻优能力比不上 AO 算法。后续我们使用 GWO 算
法，ALO 算法，SSA 算法和 MPA 算法为 AO 算法提供初始种群，并用优化后
AO 算法对 RRVFL 的参数进行寻优得到对应的 GARRVFL，ALORRVFL，
SARRVFL 和 MARRVFL 分类器，实验结果表明 MARRVFL 分类器的效果最好。
这充分证明了本文提出的 MARRVFL 分类器优秀的分类性能。

41

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

表 4.10 DFEB-RVFL, DFEB-RRVFL, DFEB-GWORRVFL, DFEB-ALORRVFL,

DFEB-SSARVFL, DFEB-MPARRVFL, DFEB-AORRVFL, DFEB-AARRVFL, DFEB-
SARRVFL, DFEB-GARRVFL 和 DFEB-MARRVFL 算法的评价指标（最优值以粗体显
示）

Method Macro-P Macro-R Marco-F1 Accuracy

DFEB-RVFL 74.53% 74.60% 73.44% 74.60%
DFEB-RRVFL 77.03% 77.47% 76.37% 77.47%
DFEB-GWORRVFL 81.10% 81.27% 80.32% 81.27%
DFEB-ALORRVFL 80.89% 80.67% 78.74% 80.67%
DFEB-SSARRVFL 82.85% 82.50% 81.68% 82.50%
DFEB-MPARRVFL 82.83% 82.97% 82.59% 82.97%
DFEB-AORRVFL 83.33% 83.57% 83.20% 83.57%
DFEB-AARRVFL 84.98% 85.13% 84.79% 85.13%
DFEB-SARRVFL 87.07% 87.23% 86.92% 87.23%
DFEB-GARRVFL 86.44% 86.47% 86.18% 86.47%
DFEB-MARRVFL 88.10% 88.19% 88.03% 88.19%

4.7.2.2 算法稳定性分析

为了验证 DFEB-MARRVFL 算法的稳定性，将其分别与 DFEB-RVFL,DFEB-

RRVFL,DFEB-GWORRVFL,DFEB-ALORRVFL,DFEB-SSARVFL,DFEB-
MPARRVFL,DFEB-AORRVFL,DFEB-AARRVFL,DFEB-SARRVFL 和 DFEB-
GARRVF 算法进行对比分析，每种算法各运行十次，并根据实验结果绘制箱型
图，如图 4.11 所示。在图 4.11 中，如果红线的位置越高，则代表算法的分类准
确度越好，如果上下四分位数的距离越小、蓝色箱体越小则代表算法的 分类结
果分布的越集中，即算法的分类性能越稳定。从图中可以看出，未使用 优化算
法优化的 DFEB-RVFL 和 DFEB-RRVFL 算法的稳定性最差，这主要是因为其随
机生成参数的问题并未解决。而其他使用了优化算法对 RRVFL 的参数进行了优
化的算法的稳定性相较于前两者有所提升。本文提出的 DFEB-MARRVFL 的箱
体最小，分类精度最高，这恰恰证明了其良好的稳定性与分类性能。

42

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

图 4.11 DFEB-RVFL, DFEB-RRVFL, DFEB-GWORRVFL, DFEB-ALORRVFL,

DFEB-SSARVFL, DFEB-MPARRVFL, DFEB-AORRVFL, DFEB-AARRVFL, DFEB-
SARRVFL, DFEB-GARRVFL 和 DFEB-MARRVFL 算法的箱型图

4.7.2.3 算法参数寻优收敛性分析

为了验证 DFEB-MARRVFL 算法在对参数进行寻优时的收敛速度与收敛效

果 ， 将 其 与 DFEB-GWORRVFL，DFEB-ALORRVFL，DFEB-SSARRVFL，
DFEB-MPARRVFL，DFEB-AORRVFL，DFEB-AARRVFL，DFEB-SARRVFL 和
DFEB-GARRVFL 算法进行对比实验，图 4.12 为各个算法的寻优收敛曲线。从
图中可以看出 DFEB-ALORRVFL 在对参数寻优时很快就收敛了，且收敛效果很
差，出现这一现象的主要原因是陷入了局部最优解。而 DFEB-AORRVFL 算法
相 较 于 其 他 使 用 单一 优 化算 法进 行寻 优 的算 法， 其收 敛效 果 最好 ，DFEB-
MPARRVFL 次之。本文提出的 DFEB-MARRVFL 在 9 种算法中收敛效果最好，
这表明了 MPA-AO 算法能够更好的对 RRVFL 的输入权重，隐含层偏置和正则
化系数进行寻优。

43

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

图 4.12 DFEB-GWORRVFL, DFEB-ALORRVFL, DFEB-SSARVFL, DFEB-

MPARRVFL, DFEB-AORRVFL, DFEB-AARRVFL, DFEB-SARRVFL, DFEB-
GARRVFL 和 DFEB-MARRVFL 算法的收敛曲线

4.7.2.4 算法有效性分析

在本节实验中，我们将 DFEB-MARRVFL 算法与 GLCM-RVFL，LBP-HOG-

SVM 和 INCEPTIONV3-SRC 算法进行对比实验，来验证 DFEB-MARRVFL 算法
的有效性。表 4.11 显示了实验的结果。从表中数据可知，这些使用 GLCM，
LBP 和 HOG 来提取服装图像特征的算法的评价指标都达不到要求，这主要是因
为这些特征提取方法都只能提取服装图像的低级特征，提取的服装图像 特征不
够丰富，从而使得算法的分类性能较差。INCEPTION V3-SRC 算法相对于前两
者性能有所提升，但还是要比本文提出的 DFEB-MARRVFL 算法低 12-13 个百分
点，这充分证明 DFEB-MARRVFL 算法的有效性。
表 4.11 GLCM-RVFL，LBP-HOG-SVM，INCEPTIONV3-SRC 和 DFEB-MARRVFL
算法的评价指标（最优值以粗体显示）

Method Macro-P Macro-R Marco-F1 Accuracy

GLCM-RVFL 57.94% 58.03% 57.08% 58.03%
LBP-HOG-SVM 53.79% 53.60% 53.54% 53.60%
INCEPTION V3-SRC 76.08% 75.33% 75.41% 75.33%
DFEB-MARRVFL 88.10% 88.19% 88.03% 88.19%

4.7.2.5 算法泛化性分析

为了验证算法的泛化性，在 DeepFashion 数据集和 Fashion Mnist 数据集上

对比 GLCM-RVFL，LBP-HOG-SVM ，INCEPTIONV3-SRC 算法和本文提出的
44

万方数据
 第 4 章 基于 Densenet201 网络和优化的正则化 RVFL 的服装图像分类算法

DFEB-MARRVFL 算法的分类性能，实验结果如图 4.13 所示。从图中可以看出，

在 DeepFashion 数据集上，GLCM-RVFL 和 LBP-HOG-SVM 算法的表现很差，主
要原因是 DeepFashion 数据集的图像比较复杂，这两种算法提取的服装图像特征
不够丰富才导致算法的评价指标很低。INCEPTION V3-SRC 算法的评价指标比
前两者要高，但还是比 DFEB-MARRVFL 低 13 到 14 个百分点。而在 Fashion
Mnist 数据集上，4 种算法的表现都还可以，本章提出的 DFEB-MARRVFL 算法
的各项评价指标要高出其他三种对比算法 3 到 6 个百分点。由此实验结果可知，
不管是在图像背景复杂的 DeepFashion 数据集上，还是在小尺寸图像的 Fashion
Mnist 数据集上，本章提出的 DFEB-MARRVFL 算法的分类性能都很优秀，充分
证明了该算法良好的泛化能力。

图 4.13 GLCM-RVFL，LBP-HOG-SVM，INCEPTIONV3-SRC 和 DFEB-MARRVFL 算

法在 DeepFashion 数据集和 Fashion Mnist 数据集上的评价指标

4.8 本章小结
本章提出了一种基于 Densenet201 网络与优化的正则化 RVFL 相结合的服装
图像分类算法，并且充分验证了算法的有效性和泛化性。首先，本章详 细介绍
了基于迁移学习的 Densenet201 网络的特征提取主干网络相较于其他传统的卷积
神经网络的优势。然后介绍了 MPA 算法改进的 AO 算法优化正则化 RVFL 的具
体步骤。最后，对本章所提出的 DFEB-MARRVFL 算法的模型和 AO 种群个体
位置映射正则化 RVFL 参数的过程进行详细阐述。通过与 GLCM-RVFL，LBP-
HOG-SVM，INCEPTIONV3-SRC 和 DFEB-MARRVFL 算法在 ACWS 数据集上
进行对比实验证明了本章提出的 DFEB-MARRVFL 算法的有效性。在 Fashion
Mnist 数据集和 DeepFashion 数据集上验证了算法良好的泛化能力。

45

万方数据
 第 5 章 总结与展望

第 5 章 总结与展望

随着互联网时代的到来，越来越多的人们选择在网上进行购物， 人们在网
络上购买服装的需求也越来越大，这也使得网络上的服装图像呈现爆发式 增长。
对于服装电商从业者来说，他们急需寻找一种能够自动准确分类服装图 像的方
法。一个好的服装图像分类模型不仅可以帮助这些服装电商从业者减少 人工成
本，而且还对其他图像分类问题有一定的启发作用。因此，本文基于深 度学习
来服装图像分类进行研究。本论文取得的研究成果如下：
（1）为了解决传统的卷积神经网络提取的数据特征有限而且容易出现过拟
合的问题，本文提出了一种并行的卷积神经网络（PCNN）来提取服装图像特
征。并且针对 RVFL 随机产生输入权重和隐含层偏置会使得其分类效果不稳定
的问题，本文采用 GOA 对 RVFL 的输入权重和隐含层偏置进行寻优得到优化后
的 RVLF 分类器（GOA-RVFL）。最后使用 GOA-RVFL 对 PCNN 提取到的服装
图像特征进行分类。在 Fashion Mnist 数据集，本文提出的 PCNN-GOARVFL 算
法的 Macro-P，Macro-R，Macro-F1 和 Accuracy 均高于其他服装图像分类算法，
充分证明了该算法的有效性。并且通过绘制箱型图验证了算法优秀的稳定性。
（2）为了进一步的提高服装图像分类算法的性能和泛化能力，本文提出了
一种基于迁移学习的 Densenet201 特征提取主干网络和 MPA 改进的 AO 算法优
化的正则化 RVFL 相结合的服装图像分类算法。该算法首先使用迁移学习和微
调得到了 Densenet201 特征提取主干网络，减少了提取服装图像特征时计算资源
的开销，提高了特征的传播效率和利用效率。然后，通过在传统的 RVFL 中引
入正则化系数解决了过拟合问题。采用 MPA 算法为 AO 算法提供一组合适的初
始种群，提高了 AO 算法的寻优能力和收敛能力，并且提出了一种基于 AO 算法
的种群个体位置的片段映射方法，同时优化 RRVFL 的正则化系数，输入层权重
和隐含层偏置，自动为 RRVFL 选取了合适的正则化系数，并且解决了 RRVFL
分类精度低，性能不稳定的问题。通过在 ACWS 数据集上进行多次对比实验可
知，本文提出的 DFEB-MARRVFL 算法具有优秀的分类性能和稳定性。并且在
Fashion Mnist 数据集和 DeepFashion 数据集上，该算法也同样具有优秀的分类性
能，这充分证明了其良好的泛化能力。
虽然本文取得了一定的研究成果，但是由于时间比较仓促，论文中 仍然存
在许多需要改进的地方，后续的研究可以从以下两个方面进行改进：
（1）论文提出的服装图像分类算法只是对服装图像进行了粗粒度的划分，
但是在一个大的类别的服装图像中，有许多服装图像之间存在服装纹理 ，风格

46

万方数据
 第 5 章 总结与展望

等差异，如吊带裙和连衣裙都属于裙子这一类别，但是却存在一定差异 。本论
文在进行研究时，并未考虑到这些问题，因此无法对大类别的服装图像 进行进
一步的细粒度分类。后续的研究可以结合服装图像的纹理特征和形状特 征，来
对服装图像进行细粒度分类。
（2）本文在对 RVFL 和 RRVFL 进行优化的过程中，主要是针对其输入权
重，隐含层偏置以及正则化系数进行了优化，但是并未对 RVFL 的其他参数
（如激活函数和隐含层节点数等）进行优化，而是采用对比实验的方式 来选取
较为合适的值。后续的研究中，可以考虑使用本文提出的种群个体位置 映射方
法对 RVFL 的其他参数来进行寻优，这样也许能进一步的提升 RVFL 的分类性
能。

47

万方数据
 参考文献

参考文献

[1] 赵长乐. 基于卷积神经网络的服装图像分类与去噪研究[D].杭州：浙江理工大学,2021.

[2] 张磊. 特征重校准密集连接网络及服装图像分类研究[D].上海：东华大学,2021.
[3] 彭志飞. 基于卷积神经网络的服装图像分类与检索研究[D].上海：东华大学,2021.
[4] Wójcikowski M. Histogram of oriented gradients with cell average brightness for human
detection[J]. Metrology and Measurement Systems, 2016, 23(1): 27-36.
[5] Dunn D, Higgins W E, Wakeley J. Texture segmentation using 2-D Gabor elementary
functions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994, 16(2):
130-149.
[6] Chandy D A, Johnson J S, Selvan S. Texture feature extraction using gray level statistical
matrix for content-based mammogram retrieval[J]. Multimedia tools and applications, 2014,
72(2): 2011-2024.
[7] Zhao Q. Research on the application of local binary patterns based on color distance in image
classification[J]. Multimedia Tools and Applications, 2021, 80(18): 27279-27298.
[8] Yamazaki K. A method of classifying crumpled clothing based on image features derived from
clothing fabrics and wrinkles[J]. Autonomous Robots, 2017, 41(4): 865-879.
[9] Thewsuwan S, Horio K. Preprocessing techniques based on LBP and Gabor filters for clothing
classification[C]//2016 International Symposium on Intelligent Signal Processing and
Communication Systems (ISPACS). Phuket: IEEE, 2016: 1-6.
[10] Pawening R E, Dijaya R, Brian T, et al. Classification of textile image using support vector
machine with textural feature[C]//2015 International Conference on Information &
Communication Technology and Systems (ICTS). Surabaya: IEEE, 2015: 119-122.
[11] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436-444.
[12] Huang T S, Schreiber W F, Tretiak O J. Image processing[J]. Proceedings of the IEEE, 1971,
59(11): 1586-1609.
[13] Toshniwal S, Sainath T N, Weiss R J, et al. Multilingual speech recognition with a single end-
to-end model[C]//2018 IEEE international conference on acoustics, speech and signal
processing (ICASSP). Calgary: IEEE, 2018: 4904-4908.
[14] Niu L, Li W, Xu D, et al. An exemplar-based multi-view domain generalization framework for
visual recognition[J]. IEEE transactions on neural networks and learning systems, 2016, 29(2):
259-272.
[15] Lin T, Dollar P, Girshick R, et al. Feature Pyramid Networks for Object Detection[C].
Computer vision and pattern recognition, 2017: 936-944.
[16] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural
networks[J]. Communications of the ACM, 2017, 60(6):84-90.
[17] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image
recognition[EB/OL]. (2015-04-10)[2022-04-15]. https://arxiv.org/abs/ 1409.1556.

48

万方数据
 参考文献

[18] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of
the IEEE conference on computer vision and pattern recognition. Las Vegas: IEEE Computer
Society, 2016: 770-778.
[19] Yu F, Du C, Hua A, et al. EnCaps: Clothing Image Classification Based on Enhanced Capsule
Network[J]. Applied Sciences, 2021, 11(22): 11024.
[20] Lin X, Peng L, Wei G, et al. Clothes classification based on deep belief network[C]//2016 3rd
International Conference on Informative and Cybernetics for Computational Social Systems
(ICCSS). Jinzhou: IEEE, 2016: 87-92.
[21] Tan Z, Hu Y, Luo D, et al. The clothing image classification algorithm based on the improved
Xception model[J]. International Journal of Computational Science and Engineering, 2020,
23(3): 214-223.
[22] Chen L, Han R, Xing S, et al. Research on Clothing Image Classification by Convolutional
Neural Networks[C]//2018 11th International Congress on Image and Signal Processing,
BioMedical Engineering and Informatics (CISP-BMEI). Beijing: IEEE, 2018: 1-5.
[23] Liu Y, Luo G, Dong F. Convolutional Network Model using Hierarchical Prediction and its
Application in Clothing Image Classification[C]//2019 3rd International Conference on Data
Science and Business Analytics (ICDSBA). Istanbul: IEEE, 2019: 157-160.
[24] Di W. A comparative research on clothing images classification based on neural network
models[C]//2020 IEEE 2nd International Conference on Civil Aviation Safety and Information
Technology (ICCASIT. Weihai: IEEE, 2020: 495-499.
[25] Kayed M, Anter A, Mohamed H. Classification of garments from fashion MNIST dataset using
CNN LeNet-5 architecture[C]//2020 International Conference on Innovative Trends in
Communication and Computer Engineering (ITCE). Aswan: IEEE, 2020: 238-243.
[26] Lee C H, Lin C W. A two-phase fashion apparel detection method based on YOLOv4[J].
Applied Sciences, 2021, 11(9): 3782.
[27] Ge Y, Zhang R, Wang X, et al. Deepfashion2: A versatile benchmark for detection, pose
estimation, segmentation and re-identification of clothing images[C]//Proceedings of the
IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE
Computer Society, 2019: 5337-5345.
[28] Wang W, Xu Y, Shen J, et al. Attentive fashion grammar network for fashion landmark
detection and clothing category classification[C]//Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition. Salt Lake City: IEEE Computer Society, 2018:
4271-4280.
[29] Cychnerski J, Brzeski A, Boguszewski A, et al. Clothes detection and classification using
convolutional neural networks[C]//2017 22nd IEEE international conference on emerging
technologies and factory automation (ETFA). Limassol: IEEE, 2017: 1-8.
[30] 高樱萍, 宋丹, 陈玉婷. 基于卷积神经网络和迁移学习的服装图像分类[J]. 纺织科技进展,
2021(11):48-52.
[31] 程铭, 马佩, 何儒汉. 基于流形结构神经网络的服装图像集分类方法[J]. 计算机科学, 2021,
48(11A): 391-395.

49

万方数据
 参考文献

[32] 陈巧红, 陈翊, 李文书, 等. 多尺度 SE-Xception 服装图像分类[J]. 浙江大学学报 (工学版),

2020, 54(9): 1727-1735.
[33] 谢小红, 陆建波, 李文韬, 等. 基于迁移学习的服装图像分类模型研究[J]. 计算机应用与软
件, 2020,37(9):88-93.
[34] Scardapane S, Wang D, Panella M, et al. Distributed learning for random vector functional-
link networks[J]. Information Sciences, 2015, 301: 271-284.
[35] Huang G B, Zhou H, Ding X, et al. Extreme learning machine for regression and multiclass
classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics),
2011, 42(2): 513-529.
[36] Mirjalili S. Moth-flame optimization algorithm: A novel nature-inspired heuristic paradigm[J].
Knowledge-based systems, 2015, 89: 228-249.
[37] Meraihi Y, Ramdane-Cherif A, Acheli D, et al. Dragonfly algorithm: a comprehensive review
and applications[J]. Neural Computing and Applications, 2020, 32(21): 16625-16646.
[38] Mirjalili S. SCA: a sine cosine algorithm for solving optimization problems[J]. Knowledge-
based systems, 2016, 96: 120-133.
[39] Panda M, Das B. Grey wolf optimizer and its applications: a survey[C]//Proceedings of the
Third International Conference on Microelectronics, Computing and Communication Systems.
Ranchi: Springer Verlag, 2019: 179-194.
[40] Abualigah L, Shehab M, Alshinwan M, et al. Salp swarm algorithm: a comprehensive survey[J].
Neural Computing and Applications, 2020, 32(15): 11195-11215.
[41] Mirjalili S, Lewis A. The whale optimization algorithm[J]. Advances in engineering software,
2016, 95: 51-67.
[42] Mirjalili S. The ant lion optimizer[J]. Advances in engineering software, 2015, 83: 80-98.
[43] Zhou Z, Zhang R, Zhang J, et al. Fabric wrinkle level classification via online sequential
extreme learning machine based on improved sine cosine algorithm[J]. Textile Research
Journal, 2020, 90(17-18): 2007-2021.
[44] Li J, Shi W, Yang D. Clothing image classification with a dragonfly algorithm optimised online
sequential extreme learning machine[J]. Fibres & Textiles in Eastern Europe, 2021, 29(3): 90-
95.
[45] Zhou Z, Ma Z, Zhu Z, et al. Objective rating of fabric wrinkles via random vector functional
link based on the improved salp swarm algorithm[J]. Textile Research Journal, 2021, 92(1-2):
70-90.
[46] Saremi S, Mirjalili S, Lewis A. Grasshopper optimisation algorithm: theory and application[J].
Advances in Engineering Software, 2017, 105: 30-47.
[47] Faramarzi A, Heidarinejad M, Mirjalili S, et al. Marine Predators Algorithm: A nature-inspired
metaheuristic[J]. Expert Systems with Applications, 2020, 152: 113377.
[48] Abualigah L, Yousri D, Abd Elaziz M, et al. Aquila optimizer: a novel meta-heuristic
optimization algorithm[J]. Computers & Industrial Engineering, 2021, 157: 107250.
[49] Bossard L, Dantone M, Leistner C, et al. Apparel classification with style[C]//Asian conference
on computer vision. Daejeon: Springer Verlag, 2012: 321-335.
50

万方数据
 参考文献

[50] Liu Z, Luo P, Qiu S, et al. Deepfashion: Powering robust clothes recognition and retrieval with
rich annotations[C]//Proceedings of the IEEE conference on computer vision and pattern
recognition. Las Vegas: IEEE Computer Society,2016: 1096-1104.
[51] Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge & Data
Engineering, 2010, 22(10):1345-1359.

51

万方数据
 致谢

致谢

一转眼三年的研究生生活即将结束，马上就要步入社会了，心中难 免有一
点不舍与忧愁。在这里由衷的感谢帮助过我的老师、朋友和家人们。
首先，我要感谢我的父母这二十四年来对我辛勤地培养，无私地付出。
其次，我要感谢我的导师周志宇和实验室的师兄师姐们在学习上和 科研上
对我的帮助，如果没有他们的帮助，我的毕业论文不可能完成的如此顺利。
然后，我要感谢我的高中同学对我的陪伴与开导。
最后，我要感谢我的室友，是他们陪我一起度过了三年的快乐时光。

52

万方数据
 攻读硕士学位期间的研究成果

攻读硕士学位期间的研究成果

1. 参与的科研项目
[1] 参与浙江省重点研发项目“作业型海底管线检测无缆机器人的研制及示范应
用” (No. 2021C03013)， 2021.1-2023.12
[2] 参与浙江省自然科学基金项目 “基于极限学习机和视觉伺服的机械手目标跟
踪与抓取” （编号：LY18F030018），2018.1-2020.12

2. 论文
[1] Zhou Z, Deng W, Zhu Z, et al. Fabric defect detection based on feature fusion of a
convolutional neural network and optimized extreme learning machine[J].Textile
Research Journal, 2021,92(7-8):1161-1182.(SCI 收录)
[2] Zhou Z, Deng W, Wang Y, et al. Classification of clothing images based on a parallel
convolutional neural network and random vector functional link optimized by the
grasshopper optimization algorithm[J].Textile Research Journal,2022,92(9-10):1415-
1428.(SCI 收录)

53

万方数据