第 ４０ 卷 第 ６ 期 计 算 机 学 报 Ｖｏ

ｌ．４０ Ｎｏ．６
２０１７ 年 ６ 月 ＣＨＩＮＥＳＥＪＯＵＲＮＡＬ ＯＦ ＣＯＭＰＵＴＥＲＳ Ｊｕｎｅ２０１７

卷积神经网络研究综述
周飞燕 金林鹏 董 军
１），
２） １），
２） １）

１）（中国科学院苏州纳米技术与纳米仿生研究所 江苏 苏州 ２１５１２３）
２）（中国科学院大学 北京 １０００４９）

摘 要 作为一个十余年来快速发展的崭新领域，深 度 学 习 受 到 了 越 来 越 多 研 究 者 的 关 注 ，它 在 特 征 提 取 和 建 模
上都有着相较于浅层模型显然的优势 ．深度学习善于 从 原 始 输 入 数 据 中 挖 掘 越 来 越 抽 象 的 特 征 表 示 ，而 这 些 表 示
具有良好的泛化能力 ．它克服了过去人工智能中被认 为 难 以 解 决 的 一 些 问 题 ．且 随 着 训 练 数 据 集 数 量 的 显 著 增 长
以及芯片处理能力的剧增，它在目标检测和计算机 视 觉、自 然 语 言 处 理、语 音 识 别 和 语 义 分 析 等 领 域 成 效 卓 然 ，因
此也促进了人工智能的发展 ．深度学习是包含多级非 线 性 变 换 的 层 级 机 器 学 习 方 法 ，深 层 神 经 网 络 是 目 前 的 主 要
形式，其神经元间的连接模式受启发于动物视觉皮层组织，而卷积神经网络则是 其 中 一 种 经 典 而 广 泛 应 用 的 结 构 ．
卷积神经网络的局部连接、权值共享及池化操作等特性使之可以有效地降低网 络 的 复 杂 度，减 少 训 练 参 数 的 数 目，
使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且 也 易 于 训 练 和 优 化 ．基 于 这 些 优
越的特性，它在各种信号和信息处理任务中的性能优 于 标 准 的 全 连 接 神 经 网 络 ．该 文 首 先 概 述 了 卷 积 神 经 网 络 的
发展历史，然后分别描述了神经元模型、多层感知器 的 结 构 ．接 着，详 细 分 析 了 卷 积 神 经 网 络 的 结 构，包 括 卷 积 层、
池化层、全连接层，它们发挥着不同的作用 ．然后，讨论了网中网模型、空间变 换 网 络 等 改 进 的 卷 积 神 经 网 络 ．同 时，
还分别介绍了卷积神经网络的监督学习、无监督学 习 训 练 方 法 以 及 一 些 常 用 的 开 源 工 具 ．此 外，该 文 以 图 像 分 类、
人脸识别、音频检索、心电图分类及目标检测等为例，对 卷 积 神 经 网 络 的 应 用 作 了 归 纳 ．卷 积 神 经 网 络 与 递 归 神 经
网络的集成是一个途径 ．为了给读者以尽可能多的借 鉴，该 文 还 设 计 并 试 验 了 不 同 参 数 及 不 同 深 度 的 卷 积 神 经 网
络来分析各参数间的相互关系及不同参数设置对结 果 的 影 响 ．最 后，给 出 了 卷 积 神 经 网 络 及 其 应 用 中 待 解 决 的 若
干问题 ．

关键词 卷积神经网络；深度学习；网络结构；训练方法；领域数据
中图法分类号 ＴＰ１８ ＤＯＩ号 １０．
１１８９７／ＳＰ．
Ｊ．１０１６．
２０１７．
０１２２９

Ｒｅ
ｖｉｅｗｏ
ｆＣｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌＮｅ
ｕｒａ
ｌＮｅ
ｔｗｏ
ｒｋ
），
２） ），
２） ）
ｉ－Ｙａｎ１
ＺＨＯＵ Ｆｅ Ｊ
ＩＮ Ｌ
ｉｎ－Ｐｅｎｇ１ ＤＯＮＧＪｕｎ１
１）（
ＳｕｚｈｏｕＩｎ
ｓｔｉ
ｔｕｔ
ｅｏｆ Ｎａｎｏ－Ｔｅ
ｃｈａｎｄ Ｎａｎｏ－Ｂｉ
ｏｎｉ
ｃｓ，Ｃｈ
ｉｎｅ
ｓｅＡｃａｄｅｍｙｏｆＳｃ
ｉｅｎｃ
ｅｓ，Ｓｕｚｈｏｕ，Ｊｉ ｕ ２１５１２３）
ａｎｇｓ
２）（
Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙｏｆＣｈ
ｉｎｅ
ｓｅＡｃａｄｅｍｙｏｆＳｃ
ｉｅｎｃ
ｅｓ，Ｂｅ
ｉｊｎｇ １０００４９）
ｉ

Ａｂ
ｓｔｒ
ａｃｔ Ａｓａｎｅｗａｎｄｒ ａｐｉ
ｄｌｙｇ ｒ
ｏｗｉｎｇｆ
ｉｅｌ
ｄｆ ｏ
ｒｍｏｒｅｔｈａｎｔｅｎｙｅ
ａｒｓ，ｄｅｅｐｌ
ｅ ａ
ｒｎｉｎｇｈａｓｇａ
ｉｎｅｄ
ｍｏ
ｒｅａｎｄ ｍｏｒｅａ
ｔｔｅｎ
ｔｉｏｎｆ
ｒ ｏｍ ｄ
ｉｆｆ
ｅｒｅｎ
ｔｒｅｓ
ｅａｒｃｈｅｒ
ｓ．Ｃｏｍｐａｒ
ｅｄｗｉｔｈｓｈａ
ｌｌｏｗａｒｃｈｉｔ
ｅｃｔ
ｕｒｓ，ｉ
ｅ ｔｈａｓ
ｒ
ｇｅｔａｄｖａｎ
ａ ｔａｇｅ
ｓｉｎｂｏ
ｔｈｆ
ｅａｔ
ｕｒｅｅｘ
ｔｒａ
ｃｔｉ
ｎｇａｎｄ ｍｏｄｅ
ｌｆｉ
ｔｔｉ
ｎｇ．Ａｎｄｉ
ｔｉｓｖｅ
ｒｙｇｏｏｄａ
ｔｄｉ
ｓｃｏｖｅ
ｒｉｎｇ
ｉ
ｎｃｒ
ｅａｓ
ｉｎｇ
ｌｙａｂｓ
ｔｒａ
ｃｔｆ
ｅａｔ
ｕｒｅｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ ｗｈｏｓ
ｅｇｅｎｅ
ｒａｌ
ｉｚａ
ｔｉｏｎａｂ
ｉｌｉ
ｔｙｉ
ｓｓｔ
ｒｏｎｇｆ
ｒｏｍ ｔ
ｈｅｒ
ａｗ
ｉ
ｎｐｕ
ｔｄａ ｔａ．Ｉｔａ
ｌｓｏｈａｓｓｕｃｃ
ｅｓｓｆｕ
ｌｌｙｓｏ
ｌｖｅｄｓｏｍｅｐｒ ｏｂｅｍｓｗｈ
ｌ ｉｃｈｗｅｒｅｃｏｎｓｉｄｅ
ｒｅｄｄｉｆ
ｆｉｃｕｌｔｔｏｓｏ
ｌｖｅ
ｉ
ｎａｒｔ
ｉｆｉ
ｃｉａｌｉ
ｎｔｅ
ｌｌｉ
ｇｅｎｃ
ｅ ｉ
ｎ ｔｈｅｐａｓｔ．Ｆｕｒｔ
ｈ ｅ
ｒ ｍｏｒ
ｅ ，ｗｉｔｈｔｈｅｏ ｕ
ｔｓｔ
ａｎｄｉ
ｎ ｌ
ｇｙ ｉｎｃｒ
ｅａｓ
ｅｄ ｓ
ｉｚｅｏｆ ｄａ
ｔａ
ｕｓｅｄｆｏｒｔ
ｒａｉｎ
ｉｎｇａｎｄｔｈｅｄ
ｒａｓ
ｔｉｃｉ
ｎｃｒ
ｅ ａｓ
ｅｓｉ
ｎｃｈｉｐｐｒ
ｏｃｅｓｓ
ｉｎｇｃａｐａｂ
ｉｌｉ
ｔｉｓ，
ｅ ｉｔｈａ
ｓｒｅｓｕｌ
ｔｅｄｉ
ｎｓｉｇｎ
ｉｆｉ－
ｃａｎｔｐｒ
ｏｇｒｅｓ
ｓａｎｄｂｅ ｅｎｕｓ
ｅｄｉｎａｂｒ ｏａｄａｒｅａｏ
ｆａｐｐｌｉ
ｃａｔ
ｉｏｎｓｓｕｃｈａ ｓｏｂｅ
ｊｃｔｄｅｔ
ｅｃｔ
ｉｏｎ，ｃｏｍｐｕｔｅｒ
ｖ
ｉｓｏｎ，ｎａ
ｉ ｔｕｒ
ａｌｌ
ａｎｇｕａｇｅｐｒ
ｏｃｅ
ｓｓｎｇ，ｓｐｅ
ｉ ｅｃｈｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎａｎｄｓ
ｅｍａｎ
ｔｉｃｐａ
ｒｓｎｇａｎｄｓｏｏｎ，ｔ
ｉ ｈｕｓａ
ｌｓｏ

收稿日期： ２０１７－０１－１８．周 飞 燕，女，

２０１６－０７－２７；在线出版日期： １９８６ 年 生，博 士 研 究 生，主 要 研 究 方 向 为 计 算 机 辅 助 心 血 管 疾 病 诊 断 ．
Ｅ－ｍａ
ｉｌ：ｚｈ
ｆ ｆ
ｙｙ１５＠１２６．
ｃｏｍ．金林鹏，男，
１９８４ 年生，博士，主要研究方向为机器学习 ．董 军（通信作者），男，
１９６４ 年生，博 士，研 究 员，博
士生导师，主要研究领域为人工智能及其在健康监护、传统文化中的应用 ．
Ｅ－ｍａ
ｉｌ：ｊ
ｄｏｎｇ２０１０＠ｓ
ｉｎａｎｏ．
ａｃ．
ｃｎ．
 １２３０ 计 算 机 学 报 ２０１７ 年

ｐｒ
ｏｍｏ
ｔｉｎｇｔ
ｈｅａｄｖａｎｃ
ｅｍｅｎ
ｔｏｆａ
ｒｔｉ
ｆｉｃ
ｉａｌｉ
ｎｔｅ
ｌｌｉ
ｇｅｎｃ
ｅ．Ｄｅ
ｅｐｌ
ｅａｒｎ
ｉｎｇ ｗｈ
ｉｃｈ ｃｏｎｓ
ｉｓｔ
ｓｏｆ ｍｕ
ｌｔｉ
ｐｌｅ
ｌ
ｅｖｅ
ｌｓｏ
ｆｎｏｎ－ｌ
ｉｎｅ
ａｒｔ
ｒａｎｓ
ｆｏｒｍａ
ｔｉｏｎｓｉ
ｓａｈ
ｉｅｒ
ａｒｃｈ
ｉｃａ
ｌｍａ
ｃｈｉ
ｎｅｌ
ｅａｒｎ
ｉｎｇ ｍｅ
ｔｈｏｄ．Ａｎｄｄｅ
ｅｐｎｅｕｒ
ａｌ
ｎｅ
ｔｗｏ
ｒｋｉ
ｓｔｈｅ ｍａ
ｉｎｆ
ｏｒｍ ｏ
ｆｔｈｅｐｒ
ｅｓｅｎ
ｔｄｅ
ｅｐｌ
ｅａｒｎ
ｉｎｇ ｍｅ
ｔｈｏｄｉ
ｎ ｗｈ
ｉｃｈｔ
ｈｅｃｏｎｎｅ
ｃｔｉ
ｖｉｙｐａ
ｔ ｔｔｅ
ｒｎ
ｂｅ
ｔｗｅ
ｅｎｉ
ｔｓｎｅｕｒ
ｏｎｓｉ
ｓｉｎｓｐ
ｉｒｅｄ ｂｙｔ
ｈｅｏ
ｒｇａｎ
ｉｚａ
ｔｉｏｎ ｏ
ｆｔｈｅａｎ
ｉｍａ
ｌｖｉ
ｓｕａ
ｌｃｏ
ｒｔｅｘ．Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ
ｎｅｕｒｌｎｅ
ａ ｔｗｏｒｋｔｈａ
ｔｈａｓｂｅｅｎｗｉｄｅｌ
ｙｕｓ ｅｄｉｓａｃｌａ
ｓｓｉ
ｃｋ ｉ
ｎｄｏｆｄｅｅｐｎｅｕｒａ
ｌｎｅ
ｔｗｏｒｋ．Ｔｈｅｒｅａ
ｒｅｓ
ｅ ｖｅｒ
ａｌ
ｃｈａｒ
ａｃｔｅ
ｒｉｓ
ｔｉｃ
ｓｓｕｃｈａｓｌｏｃ
ａｌｃｏｎｎｅ
ｃｔｉ ，
ｏｎｓ ｓｈａｒ
ｅｄ ｗｅｉｇｈｔ ，
ｓ ｐｏｏ
ｌｉｎｇｅ
ｔｃ．Ｔｈｅｓ
ｅｆ ｅ
ａｔｕｒ
ｅｓｃａｎｒｅｄｕｃｅ
ｔ
ｈｅｃｏｍｐｌｅｘ
ｉｔｙｏｆｔ
ｈｅｎｅｔｗｏ
ｒｋａｎｄｔｈｅｎｕｍｂｅｒｏｆｔｒａ
ｉｎｉｎｇｐａｒ
ａｍｅｔｅｓ，ａｎｄｔ
ｒ ｈｅ
ｙａｌｓｏｃ
ａｎ ｍａｋｅｔｈｅ
ｍｏｄｅ
ｌｃｒ
ｅａｔｉ
ｎｇｓｏｍｅｄｅｇ
ｒｅｅｏ
ｆｉｎｖ
ａｒｉ
ａｎｃ
ｅｔｏｓｈｉ
ｆｔ，ｄｉ
ｓｔｏｒ
ｔｉｏｎａｎｄｓｃ
ａｌｅａｎｄｈａｖ
ｉｎｇｓｔ
ｒｏｎｇｒｏｂｕｓｔ
ｎｅｓｓ
ａｎｄｆ ａｕ
ｌｔｔ ｏ
ｌｅｒ
ａｎｃｅ．Ｓｏｉ ｔｉｓｅａ
ｓｙｔｏｔｒ
ａｉｎａｎｄ ｏｐ
ｔｉｍｉ
ｚｅｉｔｓｎｅｔｗｏ
ｒｋｓｔｒｕｃ
ｔｕｒｅ．Ｂａｓｅｄ ｏｎｔｈｅ
ｓｅ
ｐｒｅｄｏｍｉｎａｎ
ｔｃｈａｒａ
ｃｔｅ
ｒｉｓ
ｔｉｃ
ｓｉ，ｔｈａｓｂｅ
ｅｎｓｈｏｗｎｔｏｏｕｔｐｅ
ｒｆｏ
ｒｍ ｔｈｅｓｔ
ａｎｄａ
ｒｄｆ ｕｌ
ｌｙｃｏｎｎｅｃ
ｔｅｄｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓｉｎａｖａｒｉ
ｅｔｙｏｆｓｉｇｎａｌａｎｄｉｎｆｏｒｍａ
ｔｉｏｎｐｒｏｃ
ｅｓｓ
ｉｎｇｔａ
ｓｋｓ．Ｉｎｔｈｉ
ｓｐａｐｅｒ，ｆ
ｉｒｓｔｏ
ｆａ ｌｌ，ｔｈｅ
ｈｉ
ｓｔｏｒ
ｉｃａｌｄｅｖｅ
ｌｏｐｍｅｎｔｏｆｃｏｎｖｏｌｕ
ｔｉｏｎａ
ｌｎｅｕｒａｌｎｅ
ｔｗｏｒｋｉｓｓｕｍｍａｒ
ｉｚｅｄ．Ａｆｔ
ｅｒｔ
ｈａ ，
ｔｔ ｈｅｓｔｒｕｃｔ
ｕｒｅｓ
ｆａ ｎｅｕｒ
ｏ ｏｎ ｍｏｄｅ
ｌａｎｄ ｍｕ
ｌｔｉ
ｌａｙｅ
ｒｐｅ
ｒｃｅｐ
ｔｉｏｎ ａ
ｒｅｓｈｏｗｎ．Ｌａ
ｔｅｒｏｎ，ａ ｄｅ
ｔａｉ
ｌｅｄ ａｎａ
ｌｙｓ
ｉｓｏ
ｆｔｈｅ
ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋａ
ｒｃｈ
ｉｔｅ
ｃｔｕｒ
ｅｗｈ
ｉｃｈｉ
ｓｃｏｍｐｒ
ｉｓｅｄｏ
ｆａｎｕｍｂｅ
ｒｏｆｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｌａｙｅ
ｒｓ
ａｎｄｐｏｏｌｉ
ｎｇｌａｙｅ
ｒｓｆｏ
ｌｌｏｗｅｄｂｙｆ ｕ
ｌｌｙｃｏｎｎｅ
ｃｔｅｄｌａｙｅ
ｒｓｉｓｇ
ｉｖｅｎ．Ｄｉ
ｆｆｅ
ｒｅｎ
ｔｋｉｎｄｓｏｆｌ
ａｙｅ
ｒｓｉｎｃｏｎｖｏ－
ｌｕ
ｔｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅｔｗｏｒｋａｒｃｈ
ｉｔｅ
ｃｔｕｒｅｐｌａｙｄｉ
ｆｆｅ
ｒｅｎｔｒｏｌ
ｅ ，
ｓ．Ｔｈｅｎ ａｆｅｗｉｍｐｒｏｖｅｄａ
ｌｇｏ
ｒｉｔ
ｈｍｓｓｕｃｈ
ａｓＮｅｔｗｏｒｋｉ
ｎ Ｎｅｔｗｏｒｋａｎｄｓｐａｔｉ
ａｌｔ ｒ
ａｎｓｆｏ
ｒｍｅｒｎｅｔｗｏｒｋｓｏｆｃｏｎｖｏ
ｌｕｔｉ
ｏｎａｌｎｅｕｒ
ａｌｎｅｔｗｏ
ｒｋ ａｒ
ｅ
ｄｅｓ
ｃｒｉ
ｂｅｄ．Ｍｅａｎｗｈｉ
ｌ ，
ｅｔ ｈｅｓｕｐｅ
ｒｖｉｓｅｄｌｅａ
ｒｎｉｎｇａｎｄｕｎｓｕｐｅ
ｒｖｉ
ｓｅｄｌ
ｅａｒｎ
ｉｎｇ ｍｅ
ｔｈｏｄｏｆｃ
ｏｎｖｏｌ
ｕｔｉ
ｏｎａｌ
ｎｅｕ
ｒａｌｎｅｔｗｏ
ｒｋａｎｄｓ ｏｍｅｗｉｄｅ
ｌｙｕｓｅｄｏｐｅｎｓｏｕ
ｒｃｅｔｏｏ
ｌｓａｒｅｉｎ
ｔｒ ｅｄ，ｒ
ｏｄｕｃ ｅ
ｓｐｅｃｔ
ｉｖｅ
ｌｙ．Ｉ
ｎａｄｄｉ
ｔｉｏｎ，ｔｈｅ
ａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｏｆｃｏｎｖｏ
ｌｕｔｉ
ｏｎａ
ｌｎｅｕｒａ
ｌｎｅｔｗｏｒｋｏｎｉｍａｇｅｃｌａ
ｓｓｉ
ｆｉ
ｃａｔｏｎ，ｆ
ｉ ａｃ
ｅｒｅｃｏｇｎ
ｉｔｏｎ，ａｕｄ
ｉ ｉｏｒｅｔｒ
ｉｅｖｅ，
ｅ
ｌｅｃ
ｔｒｏ
ｃａｒ
ｄｉｏｇ
ｒａｍｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ，ｏｂ
ｊｅｃ
ｔｄｅ
ｔｅｃ
ｔｉｏｎ，ａｎｄｓ
ｏｏｎｉ
ｓａｎａ
ｌｙｚ
ｅｄ．Ｉ
ｎｔｅ
ｇｒａ
ｔｉｎｇｏ
ｆｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ
ｎｅｕｒ
ａｌｎｅｔｗｏｒｋ ａｎｄ ｒ
ｅｃｕｒ
ｒｅｎ
ｔ ｎｅｕｒａｌ ｎｅ
ｔｗｏ ｒｋ ｔｏｔｒａｉ
ｎｉｎｐｕｔｔ
ｅｄ ｄａ
ｔａ ｃｏｕｌｄ ｂｅ ａｎ ａｌ
ｔｅｒｎａｔ
ｉｖｅ
ｍａｃｈｉｎｅｌ
ｅａｒ
ｎｉｎｇａｐｐｒｏ
ａｃｈ．Ｆｉｎａ
ｌｌ ，
ｙ ｄｉ
ｆｆｅｒｅｎ
ｔｃ ｏｎｖｏｌ
ｕｔｉ
ｏｎｎｅｕｒ
ａｌｎｅｔｗｏｒｋｓｔｒ
ｕｃｔｕｒｅｓ ｗｉ
ｔｈｄ ｉ
ｆｆｅ
ｒｅｎｔ
ｐａ
ｒａｍｅ
ｔｅｒ
ｓａｎｄ ｄ
ｉｆｆ
ｅｒｅｎ
ｔ ｄｅｐ
ｔｈｓ ａ
ｒｅｔ
ｅｓｔ
ｅｄ．Ｔｈｒ
ｏｕｇｈ ａ ｓ
ｅｒｉ
ｅｓｏ
ｆ ｅｘｐｅ
ｒｉｍｅｎ
ｔｓ，ｔ
ｈｅ ｒ
ｅｌａ
ｔｉｏｎｓ
ｂｅ ｅｎｔ
ｔｗｅ ｈｅｓ
ｅｐａ
ｒａｍｅ
ｔｅｓｉ
ｒ ｎｔ
ｈｅｓ
ｅ ｍｏｄｅ
ｌｓａｎｄｔ
ｈｅｉ
ｎｆｌ
ｕｅｎｃ
ｅｏｆｄ
ｉｆｆ
ｅｒｅｎ
ｔｐａ
ｒａｍｅ
ｔｅｒｓ
ｅｔｔ
ｉｎｇｓａ
ｒｅ
ｐｒ
ｅｌｉｍｉ
ｎａｒ
ｙｇｒ
ａｓｐｅｄ．Ｓｏｍｅａｄｖａｎ
ｔａｇｅ
ｓａｎｄｒ
ｅｍａ
ｉｎｅｄｉ
ｓｓｕｅ
ｓｏｆｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋａｎｄ
ｉ
ｔｓａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｓａ
ｒｅｃｏｎｃ
ｌｕｄｅｄ．

Ｋｅ
ｙｗｏ
ｒｄｓ ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ ｒｋ；ｄｅ
ｔｗｏ ｅｐｌ
ｅａｒｎ
ｉｎｇ；ｎｅ
ｔｗｏ
ｒｋｓ
ｔｒｕｃ
ｔ ｅ；ｔ
ｕｒ ｒａｉ
ｎｉｎｇ ｍｅ
ｔｈｏｄ；
ｄｏｍａ
ｉｎｄａ
ｔａ

等人 ［４］提出了一种按误差逆传播算法训练的多层前
１ 引 言 馈网络—反向传播网络（ Ｂａ
ｃｋＰｒ ｏｐａｇａ
ｔｉｏｎ Ｎｅ
ｔｗｏｒｋ，
ＢＰ 网络），解决 了 原 来 一 些 单 层 感 知 器 所 不 能 解 决
人工 神 经 元 网 络 （Ａｒ
ｔｉｆ
ｉｃｉ
ａｌ Ｎｅｕｒ
ａｌ Ｎｅ ｒｋ，
ｔｗｏ 的问题 ．由于在 ２０ 世纪 ９０ 年代，各种浅层机器学习
ＡＮＮ）是对生 物 神 经 网 络 的 一 种 模 拟 和 近 似，是 由 模型相继被提出，较经典的如支持向量机 ［５］，而且当
大量神经元通过相互连接而构成的自适应非线性动 增加神经网络的层数时传统 的 ＢＰ 网 络 会 遇 到 局 部
态网络系统 ．１９４３ 年，心理学家 ＭｃＣｕ ｌｌｏｃｈ 和数理逻 最优、过拟合及梯度扩散等问题，这些使得深度模型
辑学家 Ｐ
ｉｔｓ 提 出 了 神 经 元 的 第 １ 个 数 学 模 型———
ｔ 的研究被搁置 ．
２００６ 年，Ｈｉ ｏｎ 等 人 ６ 在 《 ｅ》上 发 文，其
［］
ＭＰ 模 型 ．ＭＰ 模 型 具 有 开 创 意 义，为 后 来 的 研 究
［
１］
ｎｔ Ｓｃｉ
ｅｎｃ
工作提供了依据 ．到了 ２０ 世纪 ５０ 年代末至 ６０ 年代 主要观点有：（ １）多 隐 层 的 人 工 神 经 网 络 具 有 优 异
初，
Ｒｏｓ
ｅｎｂ
ｌａｔ在 ＭＰ 模 型 的 基 础 之 上 增 加 了 学 习
ｔ 的特征学习能 力；（
２）可 通 过 “逐 层 预 训 练 ”（
ｌａｙｅ
ｒ－
功能，提出了单层感知器模型，第一次把神经网络的 ｗｉ
ｓｅｐｒ
ｅ－ｔ
ｒａｉ
ｎｉｎｇ）来有效克服深层神经网络在训 练
研究付诸 实 践 ．但 是 单 层 感 知 器 网 络 模 型 不 能
［
２，３］
上的困难，从此引出了 深 度 学 习 （
Ｄｅｅｐ Ｌｅ
ａｒｎ
ｉｎｇ）的
够处 理 线 性 不 可 分 问 题 ．直 至 １９８６ 年，Ｒｕｍｅｌｈａｒ
ｔ 研究，同时也掀起了人工神经网络的又一热潮 ［７］．在
 ６期 周飞燕等：卷积神经网络研究综述 １２３１

深度学习的逐层预训练算法中首先将无监督学习应 其中：
ｘｉ表示输入信号；
ｎ 个输入信号同时输入神经
用于网络每一层的预训练，每次只无监督训练一层， ｗｉｊ 表示输入信号ｘｉ与神经元ｊ 连接的权重值，
元ｊ．
并将该层的训练结 果 作 为 其 下 一 层 的 输 入，然 后 再 ｂｊ表示神经 元 的 内 部 状 态 即 偏 置 值，
ｙｊ 为 神 经 元 的
用有监督学习（
ＢＰ 算法）微 调 预 训 练 好 的 网 络 ８－１０ ．
［ ］
输出 ．输入与输出之间的对应关系可用下式表示：
这种深度学习预训练方法在手写体数字识别或者行 ｎ

ｂｊ ＋ ∑ （
ｙｊ ＝ ｆ（ ｘｉ × ｗｉｊ ）） （
１）
人检测中，特别是当 标 注 样 本 数 量 有 限 时 能 使 识 别 ｉ＝１

效果或者检测效果得到显著提升 ［１１］．
Ｂｅｎｇ
ｉｏ１２ 系统
［ ］
·）为激 励 函 数，其 可 以 有 很 多 种 选 择，可 以 是 线
ｆ（
地介绍了深度学习 所 包 含 的 网 络 结 构 和 学 习 方 法 ． 性 纠 正 函 数 （Ｒｅ
ｃｔｉ
ｆｉｅｄ Ｌ
ｉｎｅ
ａｒ Ｕｎ
ｉ
［ ］
ｔ，ＲｅＬＵ ）２５ ，
目 前，常 用 的 深 度 学 习 模 型 有 深 度 置 信 网 络 （
Ｄｅｅｐ ｓｉ
ｇｍｏｄ 函数、
ｉ ｔ ｘ）函数、径向基函数等 ２６ ．
ａｎｈ（
［ ］

ＤＢＮ）１３－１６ 、层 叠 自 动 去 噪 编 码 机 ２ 多层感知器
［ ］
Ｂｅ
ｌｉｅ
ｆＮｅ ｒｋ，
ｔｗｏ ２．
ＳＤＡ）１７ １８ 、卷积神
［ ， ］
（Ｓ
ｔａｃｋｅｄＤｅｏ
ｉｓｉ
ｎｇ Ａｕｔ
ｏｅｎｃ ｏｄｅｒｓ， 多 层 感 知 器 （Ｍｕ
ｌｔｉ
ｌａｙｅ
ｒ Ｐｅ
ｒｃｅｐ
ｔｒｏｎ，ＭＬＰ）是
经网 络（
Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌＮｅｕ
ｒａｌＮｅ
ｔｗｏ
ｒｋ，ＣＮＮ）
［
１９，
２０］
由输入层、隐含层（一 层 或 者 多 层）及 输 出 层 构 成 的
等．
２０１６ 年 １ 月 ２８ 日，英国《
Ｎａｔ
ｕｒｅ》杂志以封面文章 神经网络模型，它可 以 解 决 单 层 感 知 器 不 能 解 决 的
形式报道：谷歌旗下 人 工 智 能 公 司 深 灵 （
Ｄｅ ｎｄ）
ｅｐＭｉ 线性不可分问题 ．图 ２ 是 含 有 ２ 个 隐 含 层 的 多 层 感
开发的 Ａｌ
ｐｈａＧｏ 以 ５∶０ 战胜了卫冕欧 洲 冠 军——— 知器网络拓扑结构图 ．
本以为大概 １０ 年后人工智能才能做到［２１］．
ＡｌｐｈａＧｏ
主要 采 用 价 值 网 络 （
ｖａｌ
ｕｅｎｅ ｒｋｓ）来 评 估 棋 盘 的
ｔｗｏ
位置，用策 略 网 络 （
ｐｏｌ
ｉｃｙｎｅ ｒｋｓ）来 选 择 下 棋 步
ｔｗｏ
法，这两 种 网 络 都 是 深 层 神 经 网 络 模 型，Ａｌ
ｐｈａＧｏ
所取得的成果是深度学习带来的人工智能的又一次
突破，这也说明了深度学习具有强大的潜力 ．
事实上，早在 ２００６ 年以前就已有人提出一种学
习效率很 高 的 深 度 学 习 模 型———ＣＮＮ．在 ２０ 世 纪
８０ 年代和 ９０ 年代，一些研究者发表了 ＣＮＮ 的相关
研究工作，且在几个模式识别领域尤其是手写数字识
别中取得了良好的识别效果［２２，２３］．然 而 此 时 的 ＣＮＮ
只适合做小 图 片 的 识 别，对 于 大 规 模 数 据，识 别 效
果不佳 ［７］．直至 ２０１２ 年，
Ｋｒｚｈｅｖｓｋｙ 等人 ２４ 使用 扩
ｉ
［ ］

展了深度的 ＣＮＮ 在 ＩｍａｇｅＮｅ

ｔ大 规 模 视 觉 识 别 挑
战竞 赛 （
ＩｍａｇｅＮｅ
ｔＬａ
ｒｇｅＳｃ
ａｌｅ Ｖｉ
ｓｕａ
ｌＲｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ
Ｃｈａ
ｌｌ ＬＳＶＲＣ）中取得了当时最佳的分类效果，
ｅｎｇｅ，
使得 ＣＮＮ 越来越受研究者们的重视 ．
图 ２ 多层感知器结构图
２ ＣＮＮ 概述 输入 层 神 经 元 接 收 输 入 信 号，隐 含 层 和 输 出 层
的每一个神经元与 之 相 邻 层 的 所 有 神 经 元 连 接，即
１ 神经元
２．
全连接，同一层的神 经 元 间 不 相 连 ．图 ２ 中，有 箭 头
神经 元 是 人 工 神 经 网 络 的 基 本 处 理 单 元，一 般
的线段表示神经元 间 的 连 接 和 信 号 传 输 的 方 向，且
是多输入单输出的单元，其结构模型如图 １ 所示 ．
每个连接都有一个 连 接 权 值 ．隐 含 层 和 输 出 层 中 每
一个神经元的输入为前一层所有神经元输出值的加
权和 ．假设 ｘｌｍ 是 ＭＬＰ 中第ｌ 层 第 ｍ 个 神 经 元 的 输
入值，
ｙｍ 和 ｂｍ 分 别 为 该 神 经 元 输 出 值 和 偏 置 值，
ｌ ｌ

ｉｍ 为该 神 经 元 与 第ｌ－１ 层 第ｉ 个 神 经 元 的 连 接
ｗｌ－１

权值，则有：
图 １ 神经元模型
 １２３２ 计 算 机 学 报 ２０１７ 年

ｋ
ｌ－１
敏感性 ．尽管 在 神 经 认 知 机 中 没 有 像 ＢＰ 算 法 那 样
ｘｌｍ ＝ｂｌｍ ＋ ∑ｗｌ－１
ｉｍ ×ｙｉ
（
２）
ｉ＝１ 的全局监督学习过程可利用，但它仍可认为是 ＣＮＮ
ｌ
ｙ ＝ ｆ（
ｍｘ ） ｌ
ｍ （
３） 的第一个 工 程 实 现 网 络，卷 积 和 池 化 （也 称 作 下 采
当多层感知器 用 于 分 类 时，其 输 入 神 经 元 个 数 样）分别受启发于 Ｈｕｂｅ
ｌ－Ｗｉ
ｅｓｌ概念的简单细胞和
ｅ
为输入信号的维数，输出神经元个数为类别数，隐含 复杂细胞，它能够准 确 识 别 具 有 位 移 和 轻 微 形 变 的
层个数及隐层神经 元 个 数 视 具 体 情 况 而 定 ．但 在 实 输入 模 式 ［２９，３０］．随 后，
ＬｅＣｕｎ 等 人 基 于 Ｆｕｋｕｓｈ
ｉｍａ
际应用中，由于受到参数学习效率影响，一般使用不 的研究工作使用 ＢＰ 算 法 设 计 并 训 练 了 ＣＮＮ（该 模
超过 ３ 层的浅层 模 型 ．
ＢＰ 算 法 可 分 为 两 个 阶 段：前 型称为 ＬｅＮｅ
ｔ－５）， ｔ－５ 是 经 典 的 ＣＮＮ 结 构，后
ＬｅＮｅ
向传播和后 向 传 播，其 后 向 传 播 始 于 ＭＬＰ 的 输 出 续有许多工作基于 此 进 行 改 进，它 在 一 些 模 式 识 别
层 ．以图 ２ 为例，则损失函数为 ［
２７］ 领域中取得了良好的分类效果 ［１９］．

ｌ ｌ
ｈ
ｌ
ＣＮＮ 的基 本 结 构 由 输 入 层、卷 积 层 （
ｃｏｎｖｏｌｕ－
Ｅ ＝ Ｅ（
ｙ１ ，…，
ｙｈ ）＝ ∑ （ｙｊ －ｔｊ）
２
（
４） ）、池 化 层 （ ，也 称 为 取 样
ｊ
ｔ
ｉｏｎａ
ｌｌａｙｅ
ｒ ｐｏｏ
ｌｉｎｇｌ
ａｙｅ
ｒ
其中第ｌ 层为输出层，
ｔｊ为输出层第ｊ 个神经元的期 层）、全连接层及输出层构成 ．卷积层和池化层一般会
望输出，对损失函数求一阶偏导，则网络权值更新公 取若干个，采用卷积层和池化层交替设置，即一个卷
式为 积层连接一个池化层，池化层后再连接一个卷积层，
ｌ－１ ｌ－１ Ｅ 依此类推 ．由于卷积层中输出特征面的每个神经元与
ｗｉｍ ＝ ｗｉｍ －η× ｌ １
（
５）
ｗｉｍ－ 其输入进行局部连接，并通过对应的连接权值与局部
其中，η 为学习率 ． 输入进行加权求和再加上偏置值，得到该神经元输入
２．
３ ＣＮＮ 值，该过程等同于卷积过程，
ＣＮＮ 也由此而得名 １９ ．
［ ］

１９６２ 年，生 物 学 家 Ｈｕｂｅ

ｌ和 Ｗｉ 通过对
［
２８］
ｅｓｅ
ｌ ２．
３．１ 卷积层
猫脑视觉皮层的研 究，发 现 在 视 觉 皮 层 中 存 在 一 系 卷积层由多个特征面（
Ｆｅａ
ｔ ｅ Ｍａｐ）组成，每个
ｕｒ
列复杂构造的细胞，这 些 细 胞 对 视 觉 输 入 空 间 的 局 特征面由多个神经 元 组 成，它 的 每 一 个 神 经 元 通 过
部区域很敏感，它们被称为“感受野”．感受野以某种 卷积核与上一层特 征 面 的 局 部 区 域 相 连 ．卷 积 核 是
方式覆盖整个视觉域，它在输入空间中起局部作用， 一个权 值 矩 阵 （如 对 于 二 维 图 像 而 言 可 为 ３×３ 或
因而能够更好地挖掘出存在于自然图像中强烈的局 ５×５ 矩阵）１９ ３１ ．
ＣＮＮ 的卷积层通过 卷 积 操 作 提 取
［ ， ］

部空间相关性 ．文献 ［
２８］将 这 些 被 称 为 感 受 野 的 细 输 入 的 不 同 特 征，第 １ 层 卷 积 层 提 取 低 级 特 征 如 边
胞分为简单细胞和复杂细 胞 两 种 类 型 ．根 据 Ｈｕｂｅ
ｌ－ 缘、线条、角落，更高层的卷积层提取更高级的特征 ① ．
Ｗｉ
ｅｓｌ的层级模型，在 视 觉 皮 层 中 的 神 经 网 络 有 一
ｅ 为了能够 更 好 地 理 解 ＣＮＮ，下 面 以 一 维 ＣＮＮ（
１Ｄ
个层级结构：外侧膝状 体 → 简 单 细 胞 → 复 杂 细 胞 → ＣＮＮ）为 例，二 维 和 三 维 ＣＮＮ 可 依 此 进 行 拓 展 ．
低阶超复杂细胞 → 高阶超复杂 细 胞 ［
．低 阶 超 复 杂
２９］
图 ３ 所示为一维 ＣＮＮ 的 卷 积 层 和 池 化 层 结 构 示 意
细胞与高阶超复杂细胞之间的神经网络结构类似于 图，最顶层为池化 层，中 间 层 为 卷 积 层，最 底 层 为 卷
简单细胞和复杂细 胞 间 的 神 经 网 络 结 构 ．在 该 层 级 积层的输入层 ．
结构中，处于较高阶 段 的 细 胞 通 常 会 有 这 样 一 个 倾 由图 ３ 可看出卷积层的神经元被组织到各个特
向：选择性地响应刺激模式更复杂的特征；同时还具 征面中，每个神经元 通 过 一 组 权 值 被 连 接 到 上 一 层
有一个更大的感受 野，对 刺 激 模 式 位 置 的 变 化 更 加 特征面的局部区域，即 卷 积 层 中 的 神 经 元 与 其 输 入
不敏感 ［２９］．
１９８０ 年，
Ｆｕｋｕ
ｓｈｉｍａ 根 据 Ｈｕｂ
ｌｅ和 Ｗｉ
ｅｓｅ
ｌ 层中的特征面进行局部连接 ［１１］．然 后 将 该 局 部 加 权
的层 级 模 型 提 出 了 结 构 与 之 类 似 的 神 经 认 知 机 和传递给 一 个 非 线 性 函 数 如 ＲｅＬＵ 函 数 即 可 获 得
ｏｎ）２９ ．神 经 认 知 机 采 用 简 单 细 胞 层
［ ］
（
Ｎｅｏｃｏｇｎ
ｉｔｒ 卷积层中每个神经 元 的 输 出 值 ．在 同 一 个 输 入 特 征
（
Ｓ－ｌ ｒ，
ａｙｅ Ｓ 层）和复杂细胞层（
Ｃ－ｌ ｒ，
ａｙｅ Ｃ 层）交 替 组 面和同 一 个 输 出 特 征 面 中，ＣＮＮ 的 权 值 共 享，如
成，其中 Ｓ 层与 Ｈｕｂ
ｌｅ－Ｗｉ
ｅｓｌ层级模型中的简单细
ｅ 图３所示，
权值共享发生在同一种颜色当中，不同颜色
胞层或者 低 阶 超 复 杂 细 胞 层 相 对 应，
Ｃ层对应于复 权值不共享 ．通过权值共享可以减小模型复杂度，使
杂细胞层或者高阶超复杂细胞层 ．
Ｓ 层能够最大程度
地响应感受野内 的 特 定 边 缘 刺 激，提 取 其 输 入 层 的 ① Ｈｉｊａ
ｚｉＳ，Ｋｕｍａ ｒＲ，Ｒｏｗｅｎ Ｃ，ｅ ｔａｌ．Ｕｓｉ
ｎｇｃｏｎｖｏ
ｌｕｔ
ｉｏｎａｌ
ｎｅｕｒａ
ｌｎｅｔｗｏｒｋｓｆ
ｏｒｉｍａｇｅｒ ｅ
ｃ ｏｇｎ
ｉｔｉ
ｏｎ．ｈｔｐ：
ｔ ／／
ｉｐ．ｃ
ａｄｅｎｃｅ．
局部特征，
Ｃ层对来自确切位置的刺激具有局部不 ｃｏｍ／ｕｐｌ ／９０１／ｃｎｎ＿
ｏａｄｓ ｗｐ－ｐｄｆ，２０１６，９，２２
 ６期 周飞燕等：卷积神经网络研究综述 １２３３

图 ３ 卷积层与池化层结构示意图

得网络更 易 于 训 练 ．以 图 ３ 中 卷 积 层 的 输 出 特 征 ｓ
ｉｇｍｏ
ｉｄ 函数、 ｔａｎｈ 函数等 ．相比较于饱和非线 性 函
面 １ 和其 输 入 层 的 输 入 特 征 面 １ 为 例，
ｗ１（１）１（１） ＝ 数，不 饱 和 非 线 性 函 数 （
ｎｏｎ－ｓ
ａｔｕ
ｒａｔ
ｉｎｇｎｏｎ
ｌｉｎｅ
ａｒｉ
ｔｙ）
ｗ１（２）１（２）＝ｗ１（３）１（３）＝ｗ１（４）１（４），而 ｗ１（１）１（１）≠ｗ１（２）１（１）≠ 能够解决梯度爆炸／梯度消失问题，同时也能够加快
ｗ１（３）１（１），其中 ｗｍ（ｉ）ｎ（ｊ）表示输入特征面 ｍ 第ｉ 个神经 收敛速 度 ［３３］．
Ｊａｒ
ｒｅｔ 等 人 ３４ 探 讨 了 卷 积 网 络 中 不
ｔ
［ ］

元与输出特征面 ｎ 第ｊ 个 神 经 元 的 连 接 权 值 ．此 外 同的 纠 正 非 线 性 函 数 （
ｒｅｃ
ｔｉｆ
ｉｅｄ ｎｏｎ
ｌｉｎｅ
ａｒｉ
ｔｙ，包 括
卷积核的滑动步长即卷积核每一次平移的距离也是 ｍａｘ（
０，ｘ）非 线 性 函 数），通 过 实 验 发 现 它 们 能 够 显
卷积层中一个重要的参数 ．在图 ３ 中，设置卷积核在 著提升卷积网络的性能，
Ｎａｒ等人 ２５ 也验证了这一
ｉ
［ ］

上一层的滑动 步 长 为 １，卷 积 核 大 小 为 １×３．

ＣＮＮ 结论 ．因此在目前的 ＣＮＮ 结构中常用不饱和非线性
中每一个卷积层的 每 个 输 出 特 征 面 的 大 小 （即 神 经 函数作为卷积层的激励函数如 ＲｅＬＵ 函数 ．
ＲｅＬＵ 函
元的个数）
ｏＭａｐＮ 满足如下关系
［
３２］
数的计算公式如下所示 ［２４，２５］
（
ｉＭａｐＮ －ＣＷｉ ｎｄｏｗ） ｆｃｏｖ（
ｘ）＝ ｍａｘ（０，
ｘ） （
９）
ｏＭａｐＮ ＝
（ ＣＩｎ
ｔｅｒｖａ
ｌ
＋１
） （
６）
图 ４ 中 实 线 为 ＲｅＬＵ 曲 线，虚 线 为 ｔ
ａｎｈ 曲 线 ．
其 中：
ｉＭａｐＮ 表 示 每 一 个 输 入 特 征 面 的 大 小； 对于 ＲｅＬＵ 而言，如果输入大于 ０，则输出与输入相
ｎｄｏｗ 为卷积 核 的 大 小；
ＣＷｉ ＣＩｎ
ｔｅ ｌ表示卷积核
ｒｖａ 等，否则 输 出 为 ０．从 图 ４ 可 以 看 出，使 用 ＲｅＬＵ 函
在其上一层的滑动步 长 ．通 常 情 况 下，要 保 证 式 （
６） 数，输 出 不 会 随 着 输 入 的 逐 渐 增 加 而 趋 于 饱 和 ．
能够整除，否则需对 ＣＮＮ 网 络 结 构 作 额 外 处 理 ．每 Ｃｈｅｎ 在其报 告 中 分 析 了 影 响 ＣＮＮ 性 能 的 ３ 个 因
个卷积层可训练参数数目 ＣＰａｒａｍｓ 满足式（ ［ ］
７）３２ 素：层 数、特 征 面 的 数 目 及 网 络 组 织 ① ．该 报 告 使 用
ＣＰａｒａｍｓ＝ （ ｎｄｏｗ ＋１）×ｏＭａｐ
ｉＭａｐ ×ＣＷｉ ９ 种结构的 ＣＮＮ 进行中文手写体识别实验，通过统
（
７） 计测试结果得到具有 较 小 卷 积 核 的 ＣＮＮ 结 构 的 一
其 中：
ｏＭａｐ 为 每 个 卷 积 层 输 出 特 征 面 的 个 数； 些结 论：（
１）增 加 网 络 的 深 度 能 够 提 升 准 确 率；
ｉＭａｐ 为输入特征 面 个 数 ．
１ 表 示 偏 置，在 同 一 个 输 ２ 增加特征面的数 目 也 可 以 提 升 准 确 率；（
（ ） ３）增 加
出特征面中偏置也 共 享 ．假 设 卷 积 层 中 输 出 特 征 面 一个卷积层比增加一个全连接层更能获得一个更 高
ｎ 第ｋ 个神经元的输出 值 为 ｘｎｏｋ
ｕｔ
，而 ｘｉｍｎｈ 表 示 其 输 入 的准确率 ．
Ｂｅｎｇ
ｉｏ 等人 ３５ 指出深度网络结构具有两
［ ］

特征 面 ｍ 第 ｈ 个 神 经 元 的 输 出 值，以 图 ３ 为 例， 个优点：
（１）可以促进特征的重复利用；（
２）能够获取
则 ［
３２］
高层表达中更 抽 象 的 特 征，由 于 更 抽 象 的 概 念 可 根
ｏｕｔ ｉｎ ｉ
ｎ
ｘ ｎｋ ＝ｆｃｏｖ（
ｘ × ｗ１（ｈ）ｎ（ｋ） ＋ｘ
１ｈ １（ｈ＋１） × ｗ１（ｈ＋１）ｎ（ｋ） ＋ 据抽象性更弱的概 念 来 构 造，因 此 深 度 结 构 能 够 获
ｘ
ｉ
ｎ
× ｗ１（ｈ＋２）ｎ（ｋ） ＋ … ＋ｂｎ ）
１（ｈ＋２）
（
８） 取更抽象的 表 达，例 如 在 ＣＮＮ 中 通 过 池 化 操 作 来
式（
８）中，
ｂｎ 为输 出 特 征 面ｎ 的 偏 置 值 ． ·）为 非
ｆｃｏｖ（
线性 激 励 函 数 ．在 传 统 的 ＣＮＮ 中，激 励 函 数 一 般 ① ＸｕＣｈｅｎ．Ｃｏｎｖｏ ｌ
ｕｔｉ
ｏｎｎｅｕｒ ａｌｎｅｔｗｏｒｋｓｆｏ
ｒＣｈ ｉ
ｎｅｓｅｈａｎｄ－
ｗｒｉ
ｔｉｎｇｒｅｃｏ
ｇｎｉｔ
ｉｏｎ．ｈｔ
ｔｐ：／／ｃ
ｓ２３１ｎ．ｓ
ｔａｎｆｏ
ｒｄ．
ｅ ／ｒ
ｄｕ ｅｐｏ
ｒｔ２０１６／
ｓ
使用 饱 和 非 线 性 函 数 （ｓａ
ｔｕｒ
ａｔｉ
ｎｇ ｎｏｎ
ｌｉｎｅ
ａｒｉ
ｔｙ）如 ４２８＿Ｒｅｐｏ
ｒｔ． ｆ，２０１６，
ｐｄ ９，２２
 １２３４ 计 算 机 学 报 ２０１７ 年

建立这种抽象，更抽 象 的 概 念 通 常 对 输 入 的 大 部 分 获得具有空间不变性的特征 ［３７］．池 化 层 起 到 二 次 提

局部变 化 具 有 不 变 性 ．Ｈｅ 等 人 ［３６］探 讨 了 在 限 定 计
算复杂 度 和 时 间 上 如 何 平 衡 ＣＮＮ 网 络 结 构 中 深
度、特征面数目、卷 积 核 大 小 等 因 素 的 问 题 ．该 文 献
首先研究 了 深 度 （
Ｄｅｐ
ｔｈ）与 卷 积 核 大 小 间 的 关 系，
取特征的作用，它的 每 个 神 经 元 对 局 部 接 受 域 进 行
池化操作 ．常用的池 化 方 法 有 最 大 池 化 即 取 局 部 接
受域中值最大的点、均 值 池 化 即 对 局 部 接 受 域 中 的
所有 值 求 均 值、随 机 池 化 ［３８，３９］．
Ｂｏｕｒ
ｅａｕ 等 人 ４０ 给
［ ］

采用较小的卷积核 替 代 较 大 的 卷 积 核，同 时 增 加 网 出了关于最大池化 和 均 值 池 化 详 细 的 理 论 分 析，通

络深度来增加复杂 度，通 过 实 验 结 果 表 明 网 络 深 度 过分析得出 以 下 一 些 预 测：（
１）最 大 池 化 特 别 适 用
比卷积核大小更重要；当时间复杂度大致相同时，具 于分离非常稀疏的特征；（
２）使用局部区域内所有的
有更小卷积核且深度 更 深 的 ＣＮＮ 结 构 比 具 有 更 大 采样点去执行池化操作也许不是最优的，例如均值池
卷积核同时深度更浅 的 ＣＮＮ 结 构 能 够 获 得 更 好 的 化就利用了局部接受域内的所有采样点 ．
Ｂｏｕｒ
ｅａｕ 等
实验结果 ．其次，该文献也研究了网络深度和特征面 人 ［４１］比较了最大池化和均值池化 两 种 方 法，通 过 实
数目间的关系，
ＣＮＮ 网 络 结 构 设 置 为：在 增 加 网 络 验发现：当分类层采用线 性 分 类 器 如 线 性 ＳＶＭ 时，
深度时适当减少特 征 面 的 数 目，同 时 卷 积 核 的 大 小 最大池化方法比均值池化能够获得一个更好的分类
保持不变，实验结 果 表 明，深 度 越 深，网 络 的 性 能 越 性能 ．随机池化方法 是 对 局 部 接 受 域 采 样 点 按 照 其
好；然而随 着 深 度 的 增 加，网 络 性 能 也 逐 渐 达 到 饱 值大小赋予概率值，再根据概率值大小随机选择，该
和 ．此外，该文献还通过固定网络深度研究了特征面 池化方法确保了特征面中不是最大激励的神经元也
数目和卷积核大小间的关系，通过实验对比，发现特 能够被利用 到 ［３７］．随 机 池 化 具 有 最 大 池 化 的 优 点，
征面数目和卷积核 大 小 的 优 先 级 差 不 多，其 发 挥 的 同时由于随机性它能够避免过拟合 ．此外，还有混合
作用均没有网络深度大 ． 池化、空间金字塔池化、频谱 池 化 等 池 化 方 法 ［３７］．在
通常所采用的池化 方 法 中，池 化 层 的 同 一 个 特 征 面
不同神经元与上一 层 的 局 部 接 受 域 不 重 叠，然 而 也
可以采用重叠池化 的 方 法 ．所 谓 重 叠 池 化 方 法 就 是
相邻的池化窗口间有重叠 区 域 ．
Ｋｒｚｈｅｖｓｋｙ 等 人 ２４
ｉ
［ ］

采用重叠池化 框 架 使 ｔ
ｏｐ－１ 和 ｔ
ｏｐ－５ 的 错 误 率 分 别
４％ 和 ０．
降低了 ０． ３％ ，与 无 重 叠 池 化 框 架 相 比，其
泛化能力更强，更不易产生过拟合 ．设池 化 层 中 第 ｎ
个输出特征面第ｌ 个神经元的输出值为ｔｎ
ｏｕｔ
ｌ ，同样以
图 ４ ＲｅＬＵ 与 ｔ
ａｎｈ 函数曲线图
图 ３ 为例，则有 ［３２］：
在 ＣＮＮ 结构 中，深 度 越 深、特 征 面 数 目 越 多， ｏｕｔ
ｔｎｌ ＝ ｆｓｕｂ（ｎｑ ，
ｔｉｎ ｉ
ｎ
ｔｎ（ｑ＋１）） （
１０）
则网络能够表示的 特 征 空 间 也 就 越 大、网 络 学 习 能 其中：
ｔ 表示池化层 的 第ｎ 个 输 入 特 征 面 第ｑ 个 神
ｉｎ
ｎｑ

力也越强，然而也会使网络的计算更复杂，极易出现 经元的输出 值； ·）可 为 取 最 大 值 函 数、取 均 值

ｆｓｕｂ （
过拟合的现象 ．因而，在实际应用中应适当选取网络 函数等 ．
深度、特征面数目、卷积核的大小及卷积时滑动的步 池化 层 在 上 一 层 滑 动 的 窗 口 也 称 为 池 化 核 ．事
长，以使在训练能够 获 得 一 个 好 的 模 型 的 同 时 还 能 实 上，ＣＮＮ 中 的 卷 积 核 与 池 化 核 相 当 于 Ｈｕｂｅ
ｌ－
减少训练时间 ． Ｗｉ
ｅｓｌ模型 ２８ 中感受野在工程上的实现，卷积层用
ｅ
［ ］

２．
３．２ 池化层 来模拟 Ｈｕｂｅ
ｌ－Ｗｉ
ｅｓｌ理论的简单细胞，池化层模 拟
ｅ
池化 层 紧 跟 在 卷 积 层 之 后，同 样 由 多 个 特 征 面 该理论的复杂细胞 ．
ＣＮＮ 中每个池化层的每一个输
组成，它的每一个特 征 面 唯 一 对 应 于 其 上 一 层 的 一 出特征面的大小（神经元个数）
ＤｏＭａｐＮ 为 ３２
［ ］

个特征面，不 会 改 变 特 征 面 的 个 数 ．如 图 ３，卷 积 层 ｏＭａ Ｎ

是池化层的输入层，卷 积 层 的 一 个 特 征 面 与 池 化 层
ＤｏＭａｐＮ ＝ （ＤＷｉｎｐｄｏｗ ） （
１１）

中的一个特征面唯 一 对 应，且 池 化 层 的 神 经 元 也 与 其中，

池化核的大小为ＤＷｉ
ｎｄｏｗ，在图３中ＤＷｉ
ｎｄｏｗ＝
其输入层的局部接 受 域 相 连，不 同 神 经 元 局 部 接 受 ２．池 化 层 通 过 减 少 卷 积 层 间 的 连 接 数 量，即 通
域不重叠 ．池化层旨 在 通 过 降 低 特 征 面 的 分 辨 率 来 过池化操作 使 神 经 元 数 量 减 少，降 低 了 网 络 模 型
 ６期 周飞燕等：卷积神经网络研究综述 １２３５

的计算量 ． 少，可能会使一些有利于网络学习的特征被忽略掉，
２．
３．３ 全连接层 从而不利于网络的学习；但是如果特征面个数过多，
在 ＣＮＮ 结构中，经多个卷积层和池化层 后，连 可训练参数个数及 网 络 训 练 时 间 也 会 增 加，这 同 样
接着 １ 个或 １ 个以上 的 全 连 接 层 ．与 ＭＬＰ 类 似，全 Ｃｈｕｏ 等 人 ４６ 提 出 了 一 种 理
不利于学习 网 络 模 型 ． ［ ］

连接层中的每个神经元与其前一层的所有神经元进 论方法用于确定最 佳 的 特 征 面 数 目，然 而 该 方 法 仅

行全连接 ．全连接层 可 以 整 合 卷 积 层 或 者 池 化 层 中 对极小的接受域有 效，它 不 能 够 推 广 到 任 意 大 小 的
具有类别区分 性 的 局 部 信 息 ［
４２］
．为 了 提 升 ＣＮＮ 网 接受域 ．该文献通过实验发现：与每层特征面数目均
络性能，全连接层每 个 神 经 元 的 激 励 函 数 一 般 采 用 相同的 ＣＮＮ 结构相比，金 字 塔 架 构 （该 网 络 结 构 的
ＲｅＬＵ 函数
［
．最 后 一 层 全 连 接 层 的 输 出 值 被 传 递
４３］
特征面数目按倍数增加）更能有效利用计算资源 ．目
给一个输出层，可以采用 ｓｏ
ｆｔｍａｘ 逻辑回归（
ｓｏｆ
ｔｍａｘ 前，对于 ＣＮＮ 网 络 特 征 面 数 目 的 设 定 通 常 采 用 的
ｒ
ｅｇｒｅｓｓ
ｉｏｎ）进 行 分 类，该 层 也 可 称 为 ｓｏ
ｆｔｍａｘ 层 是人工设置方法，然 后 进 行 实 验 并 观 察 所 得 训 练 模
（ｓｏ
ｆｔｍａｘｌ ｒ）．对于一个具体的分类任务，选择一
ａｙｅ 型的分类性能，最终 根 据 网 络 训 练 时 间 和 分 类 性 能
Ｇｕ 等 人
个合适的损 失 函 数 是 十 分 重 要 的， ［
介绍
３７］
来选取特征面数目 ．
了 ＣＮＮ 几种常用的损失 函 数 并 分 析 了 它 们 各 自 的 ２．
３．５ ＣＮＮ 结构的进一步说明
特点 ．通 常，ＣＮＮ 的 全 连 接 层 与 ＭＬＰ 结 构 一 样， ＣＮＮ 的实现过 程 实 际 上 已 经 包 含 了 特 征 提 取
ＣＮＮ 的训练算法也多采用 ＢＰ 算法 ． 过程，以图 ５、图 ６ 为 例 直 观 地 显 示 ＣＮＮ 提 取 的 特
当一个大的前馈神经网络训练一个小的数据集 征．
Ｃａｏ 等 人 ４７ 采 用 ＣＮＮ 进 行 指 纹 方 向 场 评 估，
［ ］

时，由 于 它 的 高 容 量，它 在 留 存 测 试 数 据 （
ｈｅｌ
ｄ－ｏｕ
ｔ 图 ５ 为其模 型 结 构 ．图 ５ 共 有 ３ 个 卷 积 层 （
Ｃ１，
Ｃ３，
ａ，也可称 为 校 验 集）上 通 常 表 现 不 佳 ．为 ２ 个 池 化 层 （Ｍ２，Ｍ４）、
１个全连接层（ Ｆ６）和
［
３０］
ｔ
ｅｓｔｄａ
ｔ Ｃ５）、
了避免训练过拟合，常 在 全 连 接 层 中 采 用 正 则 化 方 １ 个输出层（ Ｏ７）．输入的大小为１６０×１６０，
Ｃ１ 中 ９６×
法———丢失数据（
ｄｒ ｔ）技术，即使隐层神经元 的
ｏｐｏｕ ４）表示 Ｃ１ 层 有 ９６ 个 大 小 为 １１×１１ 的
１１×１１×１（
输出值以 ０．
５ 的 概 率 变 为 ０，通 过 该 技 术 部 分 隐 层 卷积核，
１ 为它的输 入 特 征 面 个 数，
４是卷积核在其
节点失效，这些节点 不 参 加 ＣＮＮ 的 前 向 传 播 过 程， ３８×３８ 为 每 个 输 出 特 征
输入特征面上的滑动步长，
也不会参加后向 传 播 过 程 ［
２４，
．对 于 每 次 输 入 到 网
３０］
面的大小 ．卷积层通 过 卷 积 操 作 提 取 其 前 一 层 的 各
络中的样本，由于 ｄ
ｒ ｔ技术的随机性，它对应的
ｏｐｏｕ 种不同的局部特 征，由 图 ５ 可 看 出，
Ｃ１ 层 提 取 输 入
网 络 结 构 不 相 同，但 是 所 有 的 这 些 结 构 共 享 权 图像的边缘、轮廓 特 征，可 看 成 是 边 缘 检 测 器 ．池 化
值 ［
．由于一个神经元不能依赖于 其 它 特 定 神 经 元
２４］
层的作用是在语义 上 把 相 似 的 特 征 合 并 起 来，池 化
而存在，所以这种技 术 降 低 了 神 经 元 间 相 互 适 应 的 层通过池 化 操 作 使 得 特 征 对 噪 声 和 变 形 具 有 鲁 棒
复杂性，使神 经 元 学 习 能 够 得 到 更 鲁 棒 的 特 征 ［
２４］
． 性 ［１１］．从图上可 看 出，各 层 所 提 取 的 特 征 以 增 强 的
目前，关于 ＣＮＮ 的 研 究 大 都 采 用 ＲｅＬＵ＋ｄ
ｒｏｐｏｕ
ｔ 方式从不同角度表 现 原 始 图 像，并 且 随 着 层 数 的 增
技术，并取得了很好的分类性能 ［
２４，
４４，
４５］
． 加，其表现形式越来越抽象 ［４８］．全连接层 Ｆ６ 中的每
２．
３．４ 特征面 个神经元与其前一 层 进 行 全 连 接，该 层 将 前 期 所 提
特征面数 目 作 为 ＣＮＮ 的 一 个 重 要 参 数，它 通 取的各种局部特征 综 合 起 来，最 后 通 过 输 出 层 得 到
常是根据实际应用 进 行 设 置 的，如 果 特 征 面 个 数 过 每个类别的 后 验 概 率 ．从 模 式 分 类 角 度 来 说，满 足

图 ５ 指纹经过 ＣＮＮ 的中间层输出特征 ［４７］

 １２３６ 计 算 机 学 报 ２０１７ 年

Ｆ
ｉ ｒ判别准则的 特 征 最 有 利 于 分 类，通 过 正 则 化
ｓｈｅ 来替换传统 ＣＮＮ 的 全 连 接 层，它 可 以 增 强 神 经 网
方法（ ｄｒ ｔ方法），网 络 参 数 得 到 有 效 调 整，从 而
ｏｐｏｕ 络的表示能力 ．微神 经 网 络 主 要 是 采 用 ＭＬＰ 模 型，
使全连接层提取的特 征 尽 量 满 足 Ｆ
ｉ ｒ 判 别 准 则，
ｓｈｅ 如图 ７ 所示 ．
最终有利于分类 ［
．图 ６ 给 出 了 ＣＮＮ 提 取 心 电 图
４８］

（
ｅｌｅ
ｃｔｒ
ｏｃａ
ｒｄｉ
ｏｇａｍ，
ｒ ＥＣＧ）特征 的 过 程，首 先 通 过 卷
积单元 Ａ１、 Ｂ１、Ｃ１（其 中 每 个 卷 积 单 元 包 括 一 个 卷
积层和一个池化层）提取特征，最后由全连接层汇总
所有局部特征 ．由 图 中 也 可 以 看 出，层 数 越 高，特 征
的表现形式也越抽象 ．显然，这些特征并没有临床诊
断的物理意义，仅仅是数理值 ［４８］． 图 ７ 线性卷积层与 ＭＬＰ 卷积层对比 ［５０］

图 ６ ＥＣＧ 经过 ＣＮＮ 的中间层 ［４８］
图 ７ 中，图 ７（
ａ）是 传 统 ＣＮＮ 的 线 性 卷 积 层，
图 ７（
ｂ）是 ＮＩＮ 模型的非 线 性 卷 积 层，用 ＭＬＰ 来 取
代原 来 的 ＧＬＭ．ＮＩＮ 通 过 在 输 入 中 滑 动 微 型 神 经
网络得到卷积层的特征面 ．与卷积的权值共享类似，
ＭＬＰ 对同一个特征面的所有局部感受野也共享，即
对于同一个 特 征 面 ＭＬＰ 相 同 ．文 献 ［
５０］之 所 以 选
择 ＭＬＰ，考虑到 ＭＬＰ 采用 ＢＰ 算法进行训练，能与
ＣＮＮ 结 构 融 合，同 时 ＭＬＰ 也 是 一 种 深 度 模 型，具
有特征重用的思想 ．ＭＬＰ 卷积层能够处理更复杂的

２．
３．６ 与传统的模式识别算法相比 非线性问题，提 取 更 加 抽 象 的 特 征 ．在 传 统 的 ＣＮＮ

ＣＮＮ 的本质就 是 每 一 个 卷 积 层 包 含 一 定 数 量 结构中全连接层的参数过多，易于过拟合，因此它严

的特 征 面 或 者 卷 积 核 ［４６］．与 传 统 ＭＬＰ 相 比， 重依赖于 ｄ

ｒ ｔ正 则 化 技 术 ．ＮＩＮ 模 型 采 用 全 局
ｏｐｏｕ
ＣＮＮ
中卷积层的权值共 享 使 网 络 中 可 训 练 的 参 数 变 少， 平均池化代替原来 的 全 连 接 层，使 模 型 的 参 数 大 大
减少 ．它通 过 全 局 平 均 池 化 方 法 对 最 后 一 个 ＭＬＰ
降低了网络模型复杂度，减少过拟合，从而获得了一
卷积层的每个特征 面 求 取 均 值，再 将 这 些 数 值 连 接
个更好的泛化能力 ［４９］．同时，在 ＣＮＮ 结构中使用池
成向量，最后输入到 ｓｏ
ｆｔｍａｘ 分类层中 ．全局平均池
化操作使模型中的 神 经 元 个 数 大 大 减 少，对 输 入 空
化可看 成 是 一 个 结 构 性 的 正 则 化 算 子 （
ｓｔｒｕｃ
ｔｕｒ
ａｌ
间的平移不变 性 也 更 具 有 鲁 棒 性 ［４９］．而 且 ＣＮＮ 结
ｒ
ｅｇｕ
ｌａｒ
ｉｚｒ），它 可 以 增 强 特 征 面 与 类 别 的 一 致 性 ．
ｅ
构的可拓展性很强，它可以采用很深的层数 ．深度模
在全局平均池化层 中 没 有 需 要 优 化 的 参 数，因 此 能
型具有更强的表达 能 力，它 能 够 处 理 更 复 杂 的 分 类
够避免过拟合 ．此外，全局平均池化层对空间信息进
问题 ．总的来说，
ＣＮＮ 的局部连接、权值共享和池化
行求和，因此对输入的空间变化具有更强的鲁棒性 ．
操作使其比 传 统 ＭＬＰ 具 有 更 少 的 连 接 和 参 数，从
ｎ 等人 ５０ 将 该 算 法 应 用 于 ＭＮＩＳＴ 及 ＳＶＨＮ 等
［ ］
Ｌ
ｉ
而更易于训练 ．
数据集中，验证了该算法 的 有 效 性 ． Ｘｕ 等 人 ５１ 结 合
［ ］

ＮＩＮ 模型提出 了 ＭＬ－ＤＮＮ 模 型，使 用 与 文 献 ［

５０］
３ ＣＮＮ 的一些改进算法 相同的数据库，将其与稀疏编码等方法比较，表明了
该模型的优越性 ．
１ 网中网结构
３．
２ 空间变换网络
３．
ＣＮＮ 中 的 卷 积 滤 波 器 是 一 种 广 义 线 性 模 型 尽管 ＣＮＮ 已 经 是 一 个 能 力 强 大 的 分 类 模 型，
（
Ｇｅｎｅｒ
ａｌｉ
ｚｅｄＬｉ
ｎｅａｒ Ｍｏｄｅｌ，
ＧＬＭ）， ＧＬＭ 的 抽 象 水 但是它 仍 然 会 受 到 数 据 在 空 间 上 多 样 性 的 影 响 ．
平比较低，但通过抽 象 却 可 以 得 到 对 同 一 概 念 的 不
ｇ 等人 采用 一 种 新 的 可 学 习 模 块—空 间
［
５２］
Ｊ
ａｄｅ
ｒｂｅ
ｒ
同变体保持不变的特 征 ［
５０］
．
Ｌｉｎ等人
［
提出了一种
５０］
变换网络 （ Ｓｐａ
ｔｉａｌ Ｔｒ
ａｎｓ
ｆｏｒｍｅ
ｒ Ｎｅ ｒｋｓ，
ｔｗｏ ＳＴＮｓ）
网中网（ Ｎｅｔｗｏｒｋｉ
ｎ Ｎｅｔｗｏｒｋ，ＮＩＮ）模型，该模型使 来解决此问题，该模块由 ３ 个部分组成：本地化网络
用微 型 神 经 网 络 （ｍｉ
ｃｒｏ ｎｅｕｒ
ａｌｎｅ ｒｋ）代 替 传
ｔｗｏ （
ｌｏｃ
ａｌｉ
ｓａｔ
ｉｏｎｎｅ
ｔｗｏｒｋ）、网格生成器（ ｇｒｉ
ｄｇｅｎｅｒａ
ｔｏｒ）
统 ＣＮＮ 的卷积过 程，同 时 还 采 用 全 局 平 均 池 化 层 及采 样 器 （ｓａｍｐｌ
ｅｒ）．ＳＴＮｓ 可 用 于 输 入 层，也 可
 ６期 周飞燕等：卷积神经网络研究综述 １２３７

插入 到 卷 积 层 或 者 其 它 层 的 后 面，不 需 要 改 变 原 于与视频相关的任务 ［５５］．

ＣＮＮ 模型的内部结 构 ．
ＳＴＮｓ 能 够 自 适 应 地 对 数 据
进行 空 间 变 换 和 对 齐，使 得 ＣＮＮ 模 型 对 平 移、缩 ４ 训练方法及开源工具
放、旋转或 者 其 它 变 换 等 保 持 不 变 性 ．此 外，
ＳＴＮｓ
的计算速度 很 快，几 乎 不 会 影 响 原 有 ＣＮＮ 模 型 的 １ 训练方法
４．
训练速度 ． 虽然 通 常 都 认 为 如 果 没 有 无 监 督 预 训 练，对 深
３ 反卷积
３． 度神经网络进行有监督训练是非常困难的，但 ＣＮＮ
由 Ｚｅ
ｉｌｒ等 人
ｅ
［
５３］
提 出 的 反 卷 积 网 络 （Ｄｅ
ｃｏｎ－ 却是一个特 例，它 可 直 接 执 行 有 监 督 学 习 训 练 ［１２］．
ｖｏ
ｌｕｔ
ｉｏｎａ
ｌＮｅ ｒｋｓ）模 型 与 ＣＮＮ 的 思 想 类 似，只
ｔｗｏ ＣＮＮ 通过 ＢＰ 算法进行有监督训练，也需经过信息
是在运算 上 有 所 不 同 ．
ＣＮＮ 是 一 种 自 底 而 上 的 方 的正向传 播 和 误 差 的 反 向 传 播 两 个 阶 段 ［１９］．
ＣＮＮ
法，其输入信号经过多层的卷积、非线性变换和下采 开始训练之前，需要 采 用 一 些 不 同 的 小 随 机 数 对 网
样处理 ．而反卷积网络中的每层信息是自顶而下的， 络中所有的权值和偏置值进行随机初始化 ．使用“小
它对由已学习的滤波器组与特征面进行卷积后得到 随机数”以保证网 络 不 会 因 为 权 过 大 而 进 入 饱 和 状
的特征求和就能重 构 输 入 信 号 ．随 后，
Ｚｅｉ
ｌｅｒ
［
５４］
采用 态，从而导致训练失败；“不同”用来保证网络可正常
反卷积网络 可 视 化 ＣＮＮ 中各网络层学习得到的特 地学习训练，如果使用相同的数值初始化权矩阵，那
征，从而有利于分析并改进它的网络结构 ．反卷积网 么网络将没有学习的能力 ［５６］．随机 初 始 化 的 权 值 和
络也可看成是一个卷积模型，它同样需要进行卷积和 偏置值的范围可为［－０．
５， ５］或 者 ［－１，
０． １］（或 者
池化过程，不同之处在于与 ＣＮＮ 是一个逆过程 ．文献 是其它合适的区间）［５７］．在实际应 用 中，无 标 注 的 数
５４］模型中的每一个卷积层都加上一个反卷积层 ．在
［ 据远多于有标注的 数 据，同 时 对 数 据 进 行 人 工 标 注
卷积、非线性函数、最 大 池 化 后，不 仅 将 输 出 的 特 征 也需要耗 费 较 大 的 人 力 ．但 是 为 了 使 有 监 督 ＣＮＮ
作为下一层的输入，也将它送给对应的反卷积层 ．反 得到充分的训练并 获 得 较 好 的 泛 化 能 力，又 需 要 大
卷积层需要依次进行 ｕｎｐｏｏ
ｌｉｎｇ（采用一种近似的方 量有标注 的 训 练 样 本，这 一 定 程 度 上 制 约 了 ＣＮＮ
法求最大池化的逆 过 程）、矫 正 （使 用 非 线 性 函 数 来 在实际中的应用 ．这也是有监督学习的一个缺欠 ．
保证所有输出均为非负数）及反卷积操作（利用卷积 事实上，
ＣＮＮ 也 可 以 进 行 无 监 督 训 练 ．现 存 的
过程中卷积核的转 置 作 为 核，与 矫 正 后 的 特 征 作 卷 一些无监 督 学 习 算 法 一 般 都 需 要 调 整 很 多 超 参 数
积运算），然后形成 重 构 特 征 ．通 过 反 卷 积 技 术 可 视 （
ｈｙｐｅ
ｒｐａ
ｒａｍｅ
ｔｅｒ），这 使 得 它 们 难 以 被 利 用，对 此
化 ＣＮＮ 各网络层学习到的特征， 还得出以 ａｍ 等人 ５８ 提 出 了 一 种 只 需 调 整 一 个 超 参 数 的
［
５４］ ［ ］
Ｚｅｉ
ｌｅｒ Ｎｇ
ｉ
下结论：
ＣＮＮ 学习到的特征对于平移和缩放具有不 无监督学习算法—稀疏滤波（ ｓｐａｒ
ｓｅｆｉｌ
ｔｅｒｎｇ）．稀疏
ｉ
变性，但是对于旋转操作一般不具有该特性，除非被 滤波只优化 一 个 简 单 的 代 价 函 数———Ｌ２ 范 数 稀 疏
识别对象具 有 很 强 的 对 称 性 ．
Ｚｈａｏ 等 人
［
５５］
提出了 约束特征，从而得 到 好 的 特 征 表 示 ．在 稀 疏 滤 波 中，
一个新的称为 ＳＷＷＡＥ（
Ｓｔａ
ｃｋｅｄ Ｗｈａ
ｔ－Ｗｈｅ
ｒｅＡｕ
ｔｏ－ 其特征 分 布 矩 阵 具 有 如 下 特 点：样 本 分 布 稀 疏 性
Ｅｎｃｏｄｅ
ｒｓ）的 结 构，
ＳＷＷＡＥ 模 型 由 卷 积 结 构 及 反 （
ｐｏｐｕ
ｌａｔ
ｉｏｎｓｐａｒｓ
ｉｔｙ）、高 分 散 性 （ｈ
ｉｇｈ ｄｉ
ｓｐｅｒｓｌ）、
ａ
卷积结构组成，采用卷积结构对输入进行编码，而反 存在稀疏（ ｌ
ｉｆｅ
ｔｉｍｅｓｐａｒｓ
ｉｔｙ）．文 中 指 出 可 将 稀 疏 滤
卷积结构用来进 行 重 构 ．
ＳＷＷＡＥ 的 每 一 个 阶 段 是 波用于深度网络模 型 中，先 用 稀 疏 滤 波 训 练 得 到 一
一个“内容 －位置”（
ｗｈａ
ｔ－ｗｈｅ
ｒｅ）自动编码机，编码机 个单层的归一化特 征，然 后 将 它 们 作 为 第 ２ 层 的 输
由一个卷积层及紧 随 其 后 的 一 个 最 大 池 化 层 组 成， 入来训练第 ２ 层，依 此 类 推 ．通 过 实 验，发 现 使 用 稀
通过最大 池 化 层产生两个 变 量 集：最 大 池 化 的 输 出 疏滤波贪心算法逐 层 训 练，可 学 习 到 一 些 很 有 意 义
ｔ变量，它作为下一层的输入；将最大池化的
记为 ｗｈａ 的特征表示 ．
Ｄｏｎｇ 等人 ５９ 将稀疏滤波应用于 ＣＮＮ
［ ］

位置信 息 记 为 ｗｈｅ
ｒｅ 变 量，
ｗｈｅ
ｒｅ变 量 要 横 向 传 递 的无监督学 习，同 时 使 用 该 ＣＮＮ 模 型 识 别 交 通 工
到反卷积结构中 ．
ＳＷＷＡＥ 的 损 失 函 数 包 含 ３ 个 部 具类型 ．在文献［
５９］中，采 用 稀 疏 滤 波 作 为 预 训 练，
分（判别损失、重构损失及中间重构损失）．
ＳＷＷＡＥ 并将 ＣＮＮ 学习到的高级 全 局 特 征 和 低 级 局 部 特 征
在各 种 半 监 督 和 有 监 督 任 务 中 取 得 了 很 高 的 准 输入到 ｓｏ
ｆｔｍａｘ 层中 进 行 分 类 ．随 后，
Ｄｏｎｇ 等 人 ６０
［ ］

确率，它特别适用于 具 有 大 量 无 标 注 类 别 而 有 标 注 又采用一种半监督学 习 ＣＮＮ 用 于 交 通 工 具 类 型 识

类别相 对 少 的 数 据 集 的 情 况，该 模 型 也 可 能 适 用 别中 ．文中采用大量 无 标 注 的 数 据 无 监 督 训 练 卷 积
 １２３８ 计 算 机 学 报 ２０１７ 年

层的卷积核，该无监督算法为稀疏拉普拉斯滤波器， 许多优秀的开源深度学习仿真工具 ．目前常用的深度

再用一定量的有标注 数 据 有 监 督 训 练 ＣＮＮ 输 出 层 学习仿真工具有 Ｃａ
ｆｆ
［ ］
ｅ６２ ① 、
Ｔｏｃｈ② ③ 及 Ｔｈｅ
ｒ
［ ］
ａｎｏ６３ ④
的参数，最后通过 ＢＩＴ－Ｖｅｈ
ｉｃｅ 数 据 库 验 证 该 ＣＮＮ
ｌ 等．
Ｃａｆ
ｆｅ是一个基于 Ｃ＋ ＋ 语 言 且 关 于 ＣＮＮ 相 关
模型的可行性 ．如果数据集中只有少量的标注数据， 算法的架构 ．
Ｃａｆ
ｆｅ可以在 ＣＰＵ 及 ＧＰＵ 上运行，它支
同时还需要 训 练 一 个 大 的 ＣＮＮ 网 络，传 统 的 做 法 持 ＭＡＴＬＡＢ 和 Ｐｙ
ｔｈｏｎ 接 口 ．
Ｃａｆ
ｆｅ提 供 了 一 个 完
是首先进行无监督 预 训 练，然 后 再 采 用 有 监 督 学 习 整的工具包，用于训练、测试、微调及部署模型 ．
Ｃａｆ
ｆｅ
（如 ＢＰ 算法）进行微调（
ｆｉｎｅ－ｔ
ｕｎｎｇ）．
ｉ 允许用户对新数据 格 式、网 络 层 和 损 失 函 数 进 行 拓
显性 训 练 是 传 统 的 神 经 网 络 训 练 方 法，其 最 大 展；它的运 行 速 度 也 很 快，在 单 个 Ｋ４０ 或 者 Ｔｉ
ｔａｎ
特点是训练过程中有 一 部 分 样 本 不 参 与 ＣＮＮ 的 误 ＧＰＵ 上一天可以训练超过 ４ 千万幅图像；用户还可
差反向传播过程，将该部分样本称为校验集 ．在显性 以通过 Ｃａ
ｆｆｅ社区参与开发与讨论 ．但是 Ｃａ
ｆｆｅ 的灵
训练过程中，为了防止发生过拟合现象，每隔一定时 活性较差 ．
间就用当前分类模 型 测 试 校 验 样 本，这 也 表 明 了 校 Ｔｏ
ｒｃｈ 是一个支持机器学习算法的科学计算框
验集中样 本 选 取 的 好 坏 会 影 响 最 终 分 类 模 型 的 性 架 ．它是采用 Ｌｕａ 脚本语言和 Ｃ 语言编写的 ．
Ｔｏｒ
ｃｈ
能 ．在 ＣＮＮ 分 类 模 型 中，为 了 增 加 训 练 样 本 数，可 为设计和 训 练 机 器 学 习 模 型 提 供 了 一 个 灵 活 的 环
采用“平移起始点”和“加躁”这两种 技 术 ［６１］．不 妨 以 境，它还 可 支 持 ｉＯＳ、Ａｎｄ
ｒｏｄ 等 嵌 入 式 平 台 ．最 新
ｉ
一个采样点数为 １×１９００ 的 一 维 信 号 为 例，设 置 起 版本 Ｔｏ
ｒｃｈ７ 使 ＣＮＮ 的训练速 度 得 到 大 幅 度 提 升 ．
始点的范围为［
１，２００］．训 练 过 程 中，每 个 样 本 随 机 对于 Ｔｏ
ｒｃｈ 的 时 域 卷 积，其 输 入 长 度 可 变，这 非 常
选定一个起始点，截取其后连续的 １７００ 个点作为网 有助于自然语言任务 ．但 Ｔｏ
ｒｃｈ 没有 Ｐｙ
ｔｈｏｎ 接口 ．
络的输入参与 ＢＰ 训练过程，则 ＣＮＮ 的输入维数为 ａｎｏ 是一个允许用户定义、优化并评价数学
Ｔｈｅ
１×１７００，显然起始点不同，截取所得的子段也不同 ． 表达式 的 ｐｙ
ｔｈｏｎ 库 ．Ｔｈｅ
ａｎｏ 提 供 了 ＮｕｍＰｙ 的 大
在文献［ ４８］的 校 验 集 中，每 幅 ＥＣＧ 的 起 始 点 均 为 部分功能，可在 ＧＰＵ 上 运 行 ．此 外， ａｎｏ 能 够 自
Ｔｈｅ
１，实际上起 始 点 也 可 以 不 一 样，但 是 在 ＣＮＮ 的 整 动求 微 分，它 尤 其 适 用 于 基 于 梯 度 的 方 法 ．Ｔｈｅ
ａｎｏ
个训练过程中，必须保持该校验集不变，同时校验集 能够很容易且高效地实 现 递 归 神 经 网 络（
Ｒｅｃｕｒ
ｒｅｎ
ｔ
和训练集完全没有 交 集，其 样 本 为 来 自 不 同 病 人 的
Ｎｅｕｒ
ａｌＮｅ
ｔｗｏ ＲＮＮ）．然 而 Ｔｈｅ
ｒｋ， ａｎｏ 的 编 译 过 程
不同记录 ．此外，只 要 对 类 别 的 最 终 判 断 没 有 影 响， 很慢，导入 Ｔｈｅ
ａｎｏ 也需要消耗时间 ．
也可通过加躁处理或者对原始数据做某种扭曲变换
ａｍｐｏｕｒ等人 ６４ 从可拓展性、硬件利用率及
［ ］
Ｂａｈｒ
从而达到增加训练样本的目的 ．
速度方面对 Ｃａ
ｆｆｅ、
Ｔｏｒ
ｃｈ、 ａｎｏ、
Ｔｈｅ Ｎｅｏｎ⑤ 及 Ｔｅｎｓｏ
ｒ－
在某些应用领域如计算机辅助 ＥＣＧ 分析中，不
ｏｗ⑥ 等 ５ 个 深 度 学 习 软 件 架 构 作 了 比 较 ．其 中
Ｆｌ
同的 ＥＣＧ 记录（一维 信 号）也 可 能 存 在 一 些 表 现 相
Ｃａｆ
ｆｅ、
Ｔｏｒｃｈ 及 Ｔｈｅ
ａｎｏ 是 目 前 最 广 泛 使 用 的 软 件
似的 ＥＣＧ 记录 ．如果 校 验 样 本 不 典 型，即 该 校 验 集
架构 ．这 ５ 个软件架构 均 可 在 ＣＰＵ 或 者 ＧＰＵ 上 运
没有包含全部有差 异 的 个 体，则 训 练 所 得 的 分 类 模
行，但是 Ｎｅｏｎ 不 能 使 用 多 线 程 ＣＰＵ，
Ｃａｆｅ需 要 在
ｆ
型就会存在偏差 ．由于受到一些现实条件的影响，人
安装 的 时 候 确 定 好 ＣＰＵ 的 线 程 数，Ｔｅｎｓｏ ｏｗ、
ｒＦｌ
工挑选校验 样 本 也 并 非 易 事 ．因 此 在 ＣＮＮ 的 分 类
Ｔｏ
ｒｃｈ 及 Ｔｈｅ
ａｎｏ 则 可 以 灵 活 地 选 择 ＣＰＵ 线 程
过程中，还 可 以 采 用 隐 性 训 练 方 法 ．与 显 性 训 练 相
数 ［６４］． ａｍｐｏｕｒ等人 ６４ 通过 实 验 发 现：
Ｂａｈｒ
［ ］
Ｔｏｃｈ 与
ｒ
比，隐性训练方法主 要 的 区 别 是 怎 样 检 验 当 前 的 分
ａｎｏ 是两个最具有拓展性的架构，不仅支持各种
Ｔｈｅ
类模型 ．隐性训练方 法 从 整 个 训 练 集 中 取 出 一 小 部
深度结构，还 支 持 各 种 库；在 ＣＰＵ 上，对 于 任 一 深
分样本用于校验：用 于 校 验 的 这 部 分 样 本 不 做 加 躁
处理，并且对于每一 个 样 本 都 截 取 起 始 点 固 定 的 子
① Ｃａｆｅ ［Ｏｎ
ｆ ｌｉｎｅ］．ｈｔｔｐ／／ｃａｆ
ｆｅ．ｂｅ ｒｋｅ
ｌｅｙｖｉ
ｓｉｏｎ．ｏ ｒｇ／，２０１６，
段 ．在实际应用中，这 两 种 训 练 方 法 各 有 优 势 ．通 过 ９，２２
② Ｔｏｒｃｈ ［
Ｏｎ ｌ
ｉｎｅ］．ｈｔｔｐ：／／ｔｏ
ｒｃｈ． ｃｈ／，２０１６， ９，２２
实验表明，这种平移 起 始 点 和 加 躁 技 术 对 分 类 性 能 ③ Ｔｏｒｃｈ７［Ｏｎｌｉｎｅ］．ｈｔｔ
ｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｔｏｒｃｈ／ｔｏ
ｒｃｈ７，２０１６，
９，２２
的提升有很大的帮 助，尤 其 是 对 于 数 据 不 平 衡 的 分 ④ Ｔｈｅａｎｏ ［Ｏｎ ｌ
ｉｎｅ］．ｈ ｔ
ｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／Ｔｈｅ ａｎｏ／Ｔｈｅａｎｏ，
类问题 ［６１］． ２０１６，９，２２
⑤ Ｎｅｏｎ ［Ｏｎｌｉｎｅ］．ｈｔｔｐｓ：／／ｇｉ
ｔ ｈｕｂ．ｃｏｍ／ｙｅｌｉｔ／ｎｅｏｎ，２０１６，
ｅ
２ 开源工具
４． ９，２２
⑥ ＴｅｎｓｏｒＦｏｗ ［Ｏｎ
ｌ ｌｎｅ］．ｈ
ｉ ｔｔｐｓ：／／ｗｗｗ．ｔ ｅｎｓ ｏｒ
ｆｌｏｗ．ｏｒｇ／，
深度学习能够广泛应用于众多研究领域，离不开 ２０１６，９，２２
 ６期 周飞燕等：卷积神经网络研究综述 １２３９

度网络结构的训练和部署， Ｔｏ
ｒｃｈ 表现最优，其次是 最易于评价标准深 度 结 构 的 性 能；与 Ｔｈｅ
ａｎｏ 类 似，
Ｔｈｅ Ｎｅｏｎ 的 性 能 最 差；在 ＧＰＵ 上 训 练 卷 积 和
ａｎｏ， Ｔｅｎｓｏ ｏｗ 也是 非 常 灵 活 的 架 构，但 是 它 在 单 个
ｒＦｌ
全连 接 网 络，对 于 小 网 络 模 型 Ｔｈｅ
ａｎｏ 的 训 练 速 度 ＧＰＵ 上的性能不如其它几个架构． 表１ 总结了 Ｃａ ｆｅ、
ｆ
最快，对于 较 大 的 网 络 模 型 则 是 Ｔｏ
ｒｃｈ 最 快，而 对 Ｔｏ
ｒｃｈ 及 Ｔｈｅ
ａｎｏ 所 具 有 的 一 些 特 点 ① ．Ｔｈｅ
ａｎｏ 没
于大的卷积网络 Ｎｅｏｎ 也非常有竞争力；在 ＧＰＵ 上 有预训练的 ＣＮＮ 模型，所以在 Ｔｈｅ
ａｎｏ 上不能直接
训 练 和 部 署 ＲＮＮ 模 型 ， ａｎｏ的 性 能 最 好 ；
Ｔｈｅ Ｃａｆ
ｆｅ 进行 ＣＮＮ 无监督预训练 ．

表 １ 不同软件包的一些特点
架构 编写语言 开源 接口 硬件 平台 适合模型 预训练 ＣＮＮ 模型
命令行，Ｐｙｔｈｏｎ， Ｌ
ｉｎｕｘ，ＯＳＸ，Ｗｉ
ｎｄｏｗｓ，
Ｃａ
ｆｆｅ Ｃ＋＋ ，
Ｐｙｔ
ｈｏｎ 是 ＣＰＵ，
ＧＰＵ ＣＮＮ 有
Ｍａ
ｔｌａｂ Ｕｂｕｎｕ，
ｔ ＡＷＳ，Ａｎｄｒ
ｏｉｄ
Ｌ
ｉｎｕｘ，Ａｎｄ
ｒｉｏｄ，ＭａｃＯＳＸ，
Ｔｏ
ｒｃｈ Ｌｕａ，
Ｃ 是 Ｌｕａ，
Ｃ ＣＰＵ，
ＧＰＵ，
ＦＰＧＡ ＣＮＮ，
ＲＮＮ，
ＤＢＮ 有
ｉＯＳ，Ｗｉｎｄｏｗｓ
Ｔｈｅ
ａｎｏ Ｐｙ
ｔｈｏｎ 是 Ｐｙ
ｔｈｏｎ ＣＰＵ，
ＧＰＵ 可跨平台 ＣＮＮ，
ＲＮＮ，
ＤＢＮ 无

换方式减少了参数 的 数 量，而 且 也 能 够 使 决 策 函 数
５ 实际应用 更具有判别性 ．ＶＧＧ 模 型 在 ＬＳＶＲＣ－１４ 竞 赛 中，得
到了图像分类“指定数据”组的第 ２ 名，证明了深度在
１ 图像分类
５． 视觉表示中的重要性 ．但是由于 ＶＧＧ 与 ＧｏｏｇＬｅＮｅ
ｔ
近年来，
ＣＮＮ 已被广泛应用于图像处理领域中 ． 的深度都比较深，所以网络结构比较复杂，训练时间
ｚｈｅｖｓｋｙ 等人 第 １ 次将 ＣＮＮ 用于 ＬＳＶＲＣ－１２
［
２４］
Ｋｒ
ｉ 长，而且 ＶＧＧ 还需要多次微调网络的参数 ．
竞赛中，通过加深 ＣＮＮ 模型的深度并采用 ＲｅＬＵ＋ Ａｌ ｔ模 型、ＧｏｏｇＬｅＮｅ
ｅｘＮｅ ｔ 模 型 与 ＶＧＧ 模 型
ｄ
ｒ ｔ技术，取得了当 时 最 好 的 分 类 结 果 （该 网 络
ｏｐｏｕ 都在ＩｍａｇｅＮｅ
ｔ竞 赛 中 取 得 了 很 好 的 结 果，然 而 它
结构也被称为 Ａｌ ｔ）．
ｅｘＮｅ ＡｌｅｘＮｅｔ模 型 包 含 ５ 个 卷 们只能接受固 定 大 小 的 输 入 ．事 实 上，
ＣＮＮ 的 卷 积
积层和 ２ 个 全 连 接 层 ．与 传 统 ＣＮＮ 相 比：在 Ａｌ
ｅｘ－ 层不需要固定大小 的 输 入，它 可 以 产 生 任 意 大 小 的
ｔ中采用 ＲｅＬＵ 代替饱和非线性 函 数 ｔ
Ｎｅ ａｎｈ 函 数， 特征面，但是它的全连接层需要固定长度的输入，因
降低了模型的计算 复 杂 度，模 型 的 训 练 速 度 也 提 升 此 ＣＮＮ 的输入大小需保 持 一 致 的 限 制 源 于 它 的 全
了几倍；通过 ｄ
ｒ ｔ技术在训练过程中将中间层的
ｏｐｏｕ 连接层 ［６７］．为了 获 得 固 定 大 小 的 输 入，需 要 对 输 入
一些神经元 随 机 置 为 ０，使 模 型 更 具 有 鲁 棒 性，也 减 图像进行裁剪或者 缩 放，但 是 这 样 的 变 换 会 破 坏 输
少了全连接层的过拟合；而且还通过图像平移、图像 入图像的纵横比及 完 整 的 信 息 等，从 而 影 响 识 别 的
水 平 镜 像 变 换、改 变 图 像 灰 度 等 方 式 来 增 加 训 练 样 准确率 ．
Ｈｅ等人 ６７ 提出 一 种 ＳＰＰ－ｎｅ
［ ］
ｔ模 型，该 模 型
本，从 而 减 少 过 拟 合 ．相 比 于 Ａｌ ｔ，
ｅｘＮｅ ｅｇｅｄｙ 等
Ｓｚ 是在 ＣＮＮ 的 最 后 一 个 卷 积 层 与 第 １ 个 全 连 接 层
人 大大增加了 ＣＮＮ 的深度，提出了一个超过 ２
［
６５］
０层 中间 加 入 一 个 空 间 金 字 塔 池 化 （
Ｓｐａ
ｔｉａ
ｌＰｙ
ｒａｍｉ
ｄ
的 ＣＮＮ 结 构 （称 为 ＧｏｏｇＬｅＮｅ ｔ）．在 ＧｏｏｇＬｅＮｅ
ｔ Ｐｏｏ
ｌｉ ＳＰＰ）层 ．
ｎｇ， ＳＰＰ 层 能 够 使 ＣＮＮ 不 同 大 小 的
结构中 采 用 了 ３ 种 类 型 的 卷 积 操 作 （
１×１ ３×３，
， 输入却产生 大 小 相 同 的 输 出，打 破 了 以 往 ＣＮＮ 模
５×５），该结构的主要特点是提升了计算资源的利用 型的输入 均 为 固 定 大 小 的 局 限，且 该 改 进 的 ＣＮＮ
率，它的参数比文献［２４］少了１２ 倍，而且 ＧｏｏｇＬｅＮｅ
ｔ 模型训练速度较 快，在 ＬＳＶＲＣ－１４ 的 图 像 分 类 比 赛
的准确 率 更 高，在 ＬＳＶＲＣ－１４ 中 获 得 了 图 像 分 类 中获得第 ３ 名 ．
“指定数 据 ”组 的 第 １ 名 ．
Ｓｉｍｏｎｙａｎ 等 人 ６６ 在 其 发
［ ］
在层 级 很 深 的 深 度 网 络 模 型 中，除 了 存 在 梯 度
表的文 章 中 探 讨 了 “深 度 ”对 于 ＣＮＮ 网 络 的 重 要 扩散问题 外，还 存 在 着 退 化 问 题 ．批 规 范 化 （
Ｂａｔ
ｃｈ
性 ．该文 通 过 在 现 有 的 网 络 结 构 中 不 断 增 加 具 有
Ｎｏ
ｒｍａ
ｌｉｚ
ａｔｉ ＢＮ）是 解 决 梯 度 扩 散 问 题 的 一 种 有
ｏｎ，
３×３卷积核的卷积层来增加网络的深度，实验表明， 效方法 ［６８］．所谓退化问题就是：随 着 深 度 的 增 加，网
当权值层数达到 １６～１９ 时，模型的性能能够得到有 络精度达到饱和，然后迅速下降 ．且该性能的下降不
效提升（文中的模型也 称 为 ＶＧＧ 模 型）．
ＶＧＧ 模 型 是 由过拟合引起的 ，而是增加网络的深度使 得 它 的
用具有小卷积核的多个卷积层替换一个具有较大卷
积核的卷积层（如用大小均为 ３×３ 卷积核的 ３ 层卷 ① Ｃｏｍｐａｓｉ
ｏｎｏｆｄｅｅｐｌｅａ
ｒｎｉ
ｎｇｓｏｆｔｗａ
ｒｅ［Ｏｎｌ
ｉｎｅ］．ｈｔ
ｔｐｓ：
／／ｅｎ．
ｗｉｋ
ｉｐｅｄｉ
ａ．ｏｇ／ｗｉ
ｒ ｋ／Ｃｏｍｐａ
ｉ ｒ
ｉｓｏｎ＿ｏｆ＿ｄｅ
ｅｐ＿ ｌｅ
ａｒｎ
ｉｎｇ＿ｓｏｆ
ｔ－
积层代替一层具有 ７×７ 卷 积 核 的 卷 积 层），这 种 替 ｗａｒｅ，２０１６，９，
２２
 １２４０ 计 算 机 学 报 ２０１７ 年

训 练 误 差 也 随 之 增 加 ［６９］．文 献 ［
６９］采 用 残 差 网 络 不 能 增 加 输 入 图 像 的 大 小 ，那 么 可 以 减 小 其 后
（
Ｒｅｓ
ｉｄｕａ
ｌ Ｎｅ ｒｋｓ，Ｒｅ
ｔｗｏ ｔ）来 解 决 退 化 问 题 ．
ｓＮｅ 卷 积 层 中 的 滑 动 步 长 ，这 样 也 能 够 得 到 大 致 相 同
Ｒｅ ｔ的主要特点是跨层连接，它通过引入捷径连
ｓＮｅ 的结果．
接技术（
ｓｈｏ
ｒｔｃｕ
ｔｃｏｎｎｅ
ｃｔｏｎｓ）将输入跨层传递并 与
ｉ ２ 人脸识别
５．
卷积的结果相加 ．在 Ｒｅ ｔ中 只 有 一 个 池 化 层，它
ｓＮｅ 在人脸识别中，传统的识别路线包括 ４ 个步骤：
连接在最后一个卷积层后面 ．
Ｒｅ ｔ使得底层的网
ｓＮｅ 检测 －对齐 －人脸表示 －分类 ．
ＤｅｅｐＦａ
ｃｅ７２ 也 遵 循 这 一
［ ］

络能够 得 到 充 分 训 练，准 确 率 也 随 着 深 度 的 加 深 技术路线，但是对人 脸 对 齐 和 人 脸 表 示 阶 段 进 行 了

而得到显 著 提 升 ．将 深 度 为 １５２ 层 的 Ｒｅ ｔ用 于
ｓＮｅ 改进 ．在 Ｄｅ
ｅｐＦａ
ｃｅ 中 首 先 对 图 像 进 行 ３Ｄ 人 脸 对
ＬＳＶＲＣ－１５ 的图像分类比赛中，它获得了第 １ 名的成 齐，再输入到 深 度 神 经 网 络 中 ．
ＤｅｅｐＦａ
ｃｅ的 前 ３ 层
绩．
在该文献中，
还尝试将 Ｒｅ ｔ的深度设置为 １０００，
ｓＮｅ ２ 个卷积层及 １ 个 池 化 层 ）用 于 提 取 低 级 特 征 （如
（
并在 ＣＩＦＡＲ－１０ 图像处理数据集中验证该模型 ． 边缘及纹理信息）．池化层能够使得网络对微小偏移
Ａｌ ｔ与 ＶＧＧ 模 型 的 网 络 结 构 为 直 线 型，
ｅｘＮｅ 更具有 鲁 棒 性，但 是 为 了 减 少 信 息 的 丢 失，Ｄｅ
ｅｐ－
它们的输入都是从第 １ 个卷积层按单个路径直接传 Ｆａ
ｃｅ的池化层只有 １ 层，其 紧 跟 在 第 １ 个 卷 积 层 后
递到最后一层 ．在 ＢＰ 训练中预测误差是由最顶层传 面．
ＤｅｅｐＦａ
ｃｅ的第 ２ 个卷积层后紧连着 ３ 个 局 部 连
递到底层的，对于很深的网络模型传递至底层的误差 接层（这 ３ 个局部 连 接 层 卷 积 核 不 共 享），由 于 在 对
很小，难以优化底层参 数 ［
７０］
．因 此，对 于 Ａｌ ｔ与
ｅｘＮｅ 齐的人脸 图 像 中 不 同 的 区 域 有 不 同 的 局 部 统 计 特
ＶＧＧ 模 型，如 果 它 们 的 深 度 很 深，则 将 难 以 优 化 它 征，采 用 不 共 享 的 卷 积 核 可 减 少 信 息 的 丢 失 ．
Ｄｅｅｐ－
们 的 结 构 ．为 了 使 网 络 结 构 能 够 得 到 有 效 训 练， Ｆａ
ｃｅ具有 ２ 个全连接层，全 连 接 层 可 用 来 捕 获 人 脸
ｔ在多个中间层中加 入 监 督 信 号 ．
ＧｏｏｇＬｅＮｅ ＲｅｓＮｅ
ｔ 图像不同位置的特征之间（如人眼的位置与形状、嘴
则通过捷径连接技术使得输入可以通过多个路径流 巴的位置与形状）的相关性 ．将该模型应用于户外人
入最顶层，它大幅度降低了更深层模型的训练难度 ． 脸检测数据 库 （
Ｌａｂ
ｅｌｅ
ｄＦａ
ｃｅｓｉ
ｎｔｈｅ Ｗｉ
ｌ ＬＦＷ）中，
ｄ，
如何有效地训练层级很深的深度网络模型仍旧是一 Ｄｅ
ｅｅｐＦａ
ｃｅ７２ 取得的人脸识别准确率为 ９７．
［ ］
３５％ ，接
个有待研究的问题 ．尽 管 图 像 分 类 任 务 能 够 受 益 于 ５３％ ，其 所 用 方 法 克 服 了 以
近人眼辨识 准 确 率 ９７．
层级较深的卷积网 络，但 一 些 方 法 还 是 不 能 很 好 地 往方法的缺点和局限性 ．然而 Ｄｅ
ｅｐＦａ
ｃｅ的参数个数
处理遮挡或者运动模糊等问题 ． 多于 １．
２ 亿，其中 ９５％ 参数来 自 ３ 个 局 部 连 接 层 及
ｎ等人 系统地比较了近年来在Ｉｍａ ２ 个全连接层，因此 Ｄｅ ｅ 对有标注样 本 的 数 量
［
７１］
Ｍｉ
ｓｈｋ
ｉ ｇｅＮｅ
ｔ ｅｐＦａ
ｃ
竞 赛 的 大 数 据 中 不 同 ＣＮＮ 结 构 （包 括 ＶＧＧ、 要求较高，它需要一个大的有标注数据集 ．
ｔ）的性能 及 不 同 参 数 选 取 对 ＣＮＮ 结 构 的 在 Ｄｅ ＩＤ２７４ 之 后，
Ｓｕｎ 等 人 ７５ 又
［ ］ ［ ］ ［ ］
Ｇｏ
ｏｇＬｅＮｅ ｅｐＩＤ ７３ 、
Ｄｅｅｐ
影响 ．文中通过实验得 到 以 下 一 些 建 议：（ １）对 于 激 相继 提 出 了 Ｄｅ
ｅｐＩＤ２＋ 、
Ｄｅ
［ ］
ＩＤ３７６ ．
ｅｐ Ｄｅ
ｅｐＩＤ２＋ 继
励函数，可选取没有 ＢＮ 的指数线性单元（
Ｅｘｐｏｎｅｎ－ 承了 Ｄｅ
ｅｐＩＤ２ 的 结 构，它 也 包 含 ４ 个 卷 积 层，且 每
ｔ
ｉａｌＬ
ｉｎｅ
ａｒＵｎ
ｉｔ，
ＥＬＵ）
［
３７，
７１］
或者有 ＢＮ 的 ＲｅＬＵ 非 个卷积层后均紧随 着 一 个 池 化 层，并 作 了 ３ 个 方 面
线性函数；（
２）在 池 化 层 中 采 用 平 均 池 化 及 最 大 值 的改进：（
１）加大网 络 结 构，每 个 卷 积 层 的 特 征 面 个
池化之和比随机池 化、单 独 的 平 均 池 化 或 者 最 大 池 数增 加 到 了 １２８ 个，最 终 的 特 征 表 示 也 增 加 到 了
化等方法要 好；（
３）相 比 较 于 平 方 根 学 习 率 衰 减 方 ５１２ 维；（
２）增加了训练数据；（
３）一个具有 ５１２ 维的
法（
ｓｑｕａ
ｒｅｒ
ｏｏｔ）、平 方 学 习 率 衰 减 方 法 （
ｓｑｕａ
ｒｅ）或 全连接层均与每一 个 池 化 层 进 行 全 连 接，且 每 一 池
者阶跃学习 率 衰 减 方 法 （
ｓｔｅｐ），使 用 线 性 学 习 率 衰 化层都添加监督信 号 （由 人 脸 辨 识 信 号 和 人 脸 确 认
减方法（
ｌｉ
ｎｅｒ）更 好；（
ａ ４）最 小 批 量 尺 寸 （ｍｉ
ｎｉ－ｂａ
ｔｃｈ 信号组成），使用监督信号既能够增加类间变化又能
ｓ
ｉｚｅ）可取 １２８ 或者 ２５６，如果这对于所用 ＧＰＵ 而言 够减少类内变化 ．
Ｄｅ ＩＤ２＋ 在 ＬＦＷ 上的准确率达
ｅｐ
还是太大，那 么 可 按 批 量 尺 寸 成 比 例 减 少 学 习 率； 到了 ９９．
４７％．Ｄｅ
ｅｐＩＤ２＋ 具 有 ３ 个 重 要 的 属 性：
５）目 前 深 度 学 习 的 性 能 高 度 依 赖 于 数 据 集 的 大
（ １）它的顶层 神 经 元 响 应 是 中 度 稀 疏 的，即 使 将 神
（
小 ．如果训练集大小小于它的最小值，那么模型性能 经元二值化后，仍能获得较好的识别结果，该性质能
会迅速降低 ．因 此 当 增 加 训 练 集 大 小 时 ，需 要 检 查 够最大化网 络 的 辨 识 能 力 及 图 像 间 的 距 离；（
２）高
６）如 果
数 据 量 是 否 已 达 到 模 型 所 需 的 最 小 值 ；（ 层的神经元对人脸身份以及人脸属性具有很高的选
 ６期 周飞燕等：卷积神经网络研究综述 １２４１

择性；（
３）高 层 神 经 元 对 局 部 遮 挡 具 有 良 好 的 鲁 棒 高，但是 ＣＮＮ 在 人 脸 识 别 中 仍 然 有 许 多 具 有 挑 战
性 ．以往的许多研究 工 作 为 了 获 得 这 些 引 人 注 目 的 性的问题，如面部 特 征 点 定 位、人 脸、姿 态 等 对 人 脸
属性，通常 需 要 对 模 型 加 入 一 些 显 性 的 约 束，但 是 识别效果的影响，都是需要深入研究的问题 ［７９］．
Ｄｅ
ｅｐＩＤ２＋ 通过 数据训练深度模型就能够自动地得 ３ 音频检索
５．
到这些属性 ［
７５］
．
Ｄｅ ＩＤ２＋ 的 提 出 不 仅 能 够 显 著 提
ｅｐ Ａｂｄｅ ｄ 等人 ８０ ８１ 结合隐马尔科夫建立了
ｌ－Ｈａｍｉ
［ ， ］

升人脸识别的性能，还 能 够 帮 助 人 们 理 解 深 度 模 型 ＣＮＮ 用于识别语音 的 模 型，并 在 标 准 ＴＩＭＩＴ 语 音

及其网络连接，且对稀疏表示、属性学习和遮挡处理 数据库上进行实验，实 验 结 果 显 示 该 模 型 的 错 误 率
等研究也起一定的指导作用 ［
Ｓｕｎ 等人
７５］
．
［
分别重
７６］
相对于具有相同隐含层数和权值的常规神经网络模
建了 ＶＧＧ 网 络 和 ＧｏｏｇＬｅＮｅ
ｔ网 络，得 到 Ｄｅ
ｅｐＩＤ３ 型低了 １０％ ，表明 ＣＮＮ 模 型 能 够 提 升 语 音 的 识 别
ｎｅ
ｔ１ 网络和 Ｄｅ
ｅｐＩＤ３ｎｅ
ｔ２ 网 络（将 它 们 称 为 Ｄｅ
ｅｐ－ 准确率 ．在文献［ ８１］中，
８０， ＣＮＮ 模型的卷积层均采
ＩＤ３）．
Ｄｅ ＩＤ３ 继承了 Ｄｅ
ｅｐ ｅｐＩＤ２＋ 的一些特点，在最 用了受限权值共享（
Ｌｉｍｉ
ｔｅｄ Ｗｅ
ｉｇｈ
ｔＳｈａ
ｒｉｎｇ，
ＬＷＳ）
后几个特征提取层 中 它 们 的 权 值 也 不 共 享，并 且 为 技术，该技 术 能 够 更 好 地 处 理 语 音 特 征，然 而 这 种
了使网络能够更好 地 学 习 中 级 特 征 及 更 易 于 训 练， ＬＷＳ 方 法 仅 限 于 单 个 卷 积 层，不 像 大 部 分 的 ＣＮＮ
在网络的一些 中 间 层 中 也 要 加 入 人 脸 辨 识 －人 脸 确 研究可以使用多个卷积层 ．
ＩＢＭ 和微软公司近年来
认监督信 号 ．然 而 Ｄｅ
ｅｐＩＤ３ 的 深 度 更 深，且 它 的 非 在 ＣＮＮ 用 于 识 别 语 音 方 面 也 做 了 大 量 的 研 究 工
线性特征提取层可达 １０～１５ 层 ．通过结合 Ｄｅ
ｅｐＩＤ３ 作，并发表了一些相关的论文 ［８２－８４］．
ｎｅ
ｔ１ 网络和 Ｄｅ
ｅｐＩＤ３ｎｅ
ｔ２ 网 络，在 ＬＦＷ 上 Ｄｅ
ｅｐ－ ４ ＥＣＧ 分析
５．
ＩＤ３ 的 人 脸 识 别 准 确 率 为 ９９．
５３％．尽 管 Ｄｅ
ｅｐＩＤ３ ＥＣＧ 是目前 极 为 有 用 的 一 种 心 血 管 系 统 疾 病
的深度 要 比 Ｄｅ
ｅｐＩＤ２＋ 深，但 是 它 要 比 ＶＧＧ 或 者 的临床诊断体征 ．远 程 医 疗 诊 断 服 务 系 统 的 产 生 使
ｔ深度浅得多 ．然而当更正了 ＬＦＷ 上一些
ＧｏｏｇＬｅＮｅ 得更多的人获得医 疗 专 家 的 诊 断 服 务，许 多 研 究 者
错误标注的数据后，它的准确率与 Ｄｅ
ｅｐＩＤ２＋ 一样， 包括 本 课 题 组 多 年 来 一 直 致 力 于 研 究 计 算 机 辅
还需在更大的训练集上进一步研究很深的深度模型 助 ＥＣＧ 分析 ［８５］． ｉ等 人 ８６ 综 述 了 从 ２０００ 年 到
Ｋａｄ
［ ］

的有效性 ． ２０１５ 年将数据 挖 掘 技 术 应 用 于 计 算 机 辅 助 心 血 管

Ｆａ
ｃｅＮｅ
ｔ
［
７７］
是由 Ｇｏｏｇ
ｌｅ公 司 提 出 的 一 种 人 脸 疾病分析的文章 ．他 们 根 据 数 据 挖 掘 技 术 及 其 性 能
识别模型，它直接学 习 从 人 脸 图 像 到 紧 致 欧 式 空 间 选出 １４９ 篇 文 献 并 进 行 分 析，通 过 研 究 发 现：从
的一个映射，使欧式 距 离 直 接 关 联 着 人 脸 相 似 度 的 ２０００ 年到 ２０１５ 年，关 于 使 用 数 据 挖 掘 技 术 辅 助 分
一个度量 ．
Ｆａｃ ｔ是一个端对 端 的 学 习 方 法，它 通
ｅＮｅ 析心血管疾病的研 究 数 量 呈 增 长 趋 势；研 究 人 员 常
过引入三元组损失函数进行人脸验证、识别和聚类 ． 将挖掘技术用于分 类 和 预 测；相 比 较 于 其 它 数 据 挖
Ｆａ
ｃ ｔ直接优 化 与 任 务 相 关 的 三 元 组 损 失 函 数，
ｅＮｅ 掘技术，神经网络和 支 持 向 量 机 能 够 获 得 更 高 的 准
在训练过程中该损 失 不 仅 仅 用 在 最 后 一 层，它 也 用 确率 ．该文献的分析 结 果 也 说 明 了 神 经 网 络 技 术 在
于多个层中 ．然而如 果 选 择 不 合 适 的 三 元 组 损 失 函 计算机辅助心血管 疾 病 分 析 中 的 有 效 性 ．然 而 由 于
数，那么将会影响模型的性能，同时也会使收敛速度 实际应用中 ＥＣＧ 数据形态复杂多变，将传统的神经
变慢，因 此 三 元 组 损 失 函 数 的 选 取 对 于 Ｆａ
ｃ ｔ性
ｅＮｅ 网络技术应用于大数据的 ＥＣＧ 分析中，取得的结果
能的提升很重要 ．经 ＬＦＷ 数据库和 ＹｏｕＴｕｂｅ 人 脸 并不是很理想 ．
数据库 测 试，Ｆａ
ｃ ｔ得 到 的 识 别 准 确 率 分 别 为
ｅＮｅ 临床实际应 用 中，
ＥＣＧ 多 数 为 多 导 联 信 号，与
６３％ 和 ９５．
９９． １２％． 二维图像相似 ．本课题组成员朱 洪 海 ［８７］针 对 多 导 联
相比 较 于 Ｄｅ
ｅｐＦａ
ｃｅ、Ｄｅ
ｅｐＩＤ，
Ｆａｃ ｔ不 需 要
ｅＮｅ ＥＣＧ 数据，同时考虑到 ＣＮＮ 的优越特性，提出了一
进行复杂的 ３Ｄ 对齐，
Ｄｅ ＩＤ 则需要一个简单的 ２Ｄ
ｅｐ 种 ＥＣＧ－ＣＮＮ 模型，从目前公开发表的文献可知，该
仿射对齐 ．
Ｐａ ｉ等人
ｒｋｈ
［
在其文章中也研究了在 不
７８］
ＥＣＧ－ＣＮＮ 模 型 也 是 ＣＮＮ 首 次 应 用 于 ＥＣＧ 分 类
同 ＣＮＮ 结 构 中 人 脸 对 齐 对 人 脸 识 别 准 确 性 的 影 中．
ＥＣＧ－ＣＮＮ 模型采用 具 有 ３ 个 卷 积 层 和 ３ 个 池
响 ．他 们 通 过 实 验 发 现 对 齐 后 Ｆａ
ｃ ｔ的 识 别 准 确
ｅＮｅ 化层的 ＣＮＮ 结构，其 输 入 数 据 维 数 为 ８×１８００（对
率比原模型的高 ［
．在 ＬＦＷ 数 据 库，Ｄｅ
７８］
ｅｐＦａ
ｃｅ、 应 ８ 个基本导联 ＥＣＧ 采样点数）．
ＥＣＧ－ＣＮＮ 的第 １
Ｄｅ
ｅｐＩＤ 系 列 及 Ｆａ
ｃ ｔ的 人 脸 识 别 准 确 率 都 比 较
ｅＮｅ 个卷积核的大小为 ８×２３，它包含 了 全 部 的 行，这 与
 １２４２ 计 算 机 学 报 ２０１７ 年

ｔ－５ 网 络 结 构 在 图 像 中 的 卷 积 核 大 小 为 ５×５
ＬｅＮｅ ＣＮＮ 模型 的 分 类 性 能 优 于 对 照 文 献 的 分 类 性 能 ．
不一样，图像中的卷积核一般不会包含全部的行 ．通 ｃｏｖａ等人 ９１ ２０１２ 年统计了市场上一些心电图
Ｈａｋａ
［ ］

过采 用 ＥＣＧ－ＣＮＮ 模 型 对 国 际 公 认 的 心 律 失 常 数 机的自动诊 断 结 果，总 共 统 计 了 ５７６ 例 ＥＣＧ，发 现

据库——— ＭＩＴ－ＢＩＨ 数 据 库 ① （该 数 据 库 共 ４８ 条 记 Ｐｈｉ
ｌｉｐｓｍｅｄｉ
ｃａｌ自动诊断准 确 率 只 有 ８０％ ，
Ｄｒａ
ｅｇｅ
ｒ
录）中的 ４０ 条 ＥＣＧ 记录进行病人内心拍分类，得到 ｍｅｄｉｃｌｓｙｓ
ａ ｔｅｍｓ的准确率为 ７５％ ，而 ３ 名普通医生
的准 确 率 为 ９９．
２％．同 时 在 该 文 献 中 还 采 用 ＥＣＧ－ 的 ＥＣＧ 判 读 准 确 率 为 ８５％ ，对 比 该 统 计 结 果 及
ＣＮＮ 模型对本课 题 组 为 了 面 向 临 床 应 用 而 建 立 的 ＥＣＧ－ＣＮＮ 模型所得结 果，验 证 了 ＣＮＮ 在 ＥＣＧ 分
中国心血管 疾 病 数 据 库 ［８８］（
Ｃｈｉ
ｎｅｓ
ｅＣａｒｄｉｏｖａ
ｓｃｕｌ
ａｒ 类中的有效性 ．
Ｄｉｓｅ
ａ ｓｅ Ｄａ
ｔａｂａ
ｓｅ，ＣＣＤＤ，ｈ
ｔｔｐ：／／５８．
２１０． １６４：
５６． 文献［８７］的 ＥＣＧ－ＣＮＮ 模 型 其 实 也 是 一 种 二
８８／ｃｃｄｄ／）的前 ２５１ 条记录进行心拍正异常分类，得 维 ＣＮＮ，但是 ＥＣＧ 的 导 联 间 数 据 相 关 性 与 导 联 内
到 的 准 确 率 为 ９７．８９％．文 中 将 文 献 ［８９］和 文 献 数据的相关性不一样，导联内数据具有时间相关性，
９０］作为对照文献，相同数据集上，文献［
［ ８９］和［
９０］ 导联间的数据却是 独 立 的，因 此 不 宜 将 二 维 图 像 的
得到的 心 拍 正 异 常 分 类 准 确 率 分 别 为 ９８．
５１％ 和 ＣＮＮ 结构应 用 于 ＥＣＧ 分 类 中 ４８ ．据 此，金 林 鹏 和
［ ］

９７％．此外文 献 ［
９４． ８７］还 采 用 该 算 法 对 ＣＣＤＤ 数 董军 ［４８］在 ＥＣＧ－ＣＮＮ 模型上做了改进，提出了导联
据库的 Ｓｅ
ｔＩＶ 数 据 集 共 １１７６０ 条 记 录 进 行 按 记 录 卷积神经网络（ ＬｅａｄＣｏｎｖｏｌｕ
ｔｉｏｎａ
ｌＮｅｕｒａｌＮｅｔｗｏｋ，
ｒ
的病 人 间 正 异 常 分 类，最 终 准 确 率 为 ８３．
４９％ ，文 ＬＣＮＮ）模型 ．图 ８ 所 示 为 基 于 记 录 分 类 的 ＬＣＮＮ
献［８９］和［９０］在 该 数 据 集 中 得 到 的 准 确 率 分 别 为 结构 ．
１５％ 和７２．
７０． １４％ ．从 上 述 对 比 结 果 可 知 ，ＥＣＧ－

图 ８ 基于记录分类的 ＬＣＮＮ 结构 ［４８］

在 图 ８ 中，每 个 卷 积 单 元 ＣＵ 均 包 含 一 个 卷 积 ＥＣＧ 记录的周 期 特 性，对 ＥＣＧ 记 录 进 行 起 始 点 平

层和一个池化层，例如 ＣＵ－Ａ１、
ＣＵ－Ｂ１ 及 ＣＵ－Ｃ１ 均 移操作，将一条 ＥＣＧ 记录所有可能的情况都包含进
包含一个卷积层和一个池化层，
１Ｄ－Ｃｏｃ表示一维卷 去 ［４８］．在 ＬＣＮＮ 的训练 过 程 中，采 用 惯 性 量 和 变 步
积运算 ．对于 ８ 个导联，每一个导联均有 ３ 个卷积单 长的反向 ＢＰ 算法 ［９２］．同样在 ＣＣＤＤ 上进行 模 型 验
元，而且不同导联间的卷积单元是相互独立的 ．每个 证，经 测 试，
ＬＣＮＮ 取 得 了 ８３．
６６％ 的 ＥＣＧ 病 人 间
导联的数据依次通 过 ３ 个 卷 积 单 元，如 其 中 一 个 导 正异常分类准确率，该结果也说明了 ＬＣＮＮ 在实际
联依次通过卷 积 单 元 ＣＵ－Ａ１、 ＣＵ－Ｃ１，然 后
ＣＵ－Ｂ１、 应用中的有效性 ．王丽苹 ［９３］构建了 一 个 包 含 个 体 内
将每个导联的第 ３ 个池化层都连接到同一个全连接 时间 序 列 及 统 计 分 类 的 混 合 分 类 模 型 （简 称 ＥＣＧ－
层进行信息汇总，最终在逻辑回归层上进行分类 ．与 ＭＴＨＣ），该模型包含 ＲＲ 间期正异常分析、 ＱＲＳ 波
文献［８７］相比， ＥＣＧ－ＣＮＮ 模型只有 ３ 个卷积单元， 群相似度分 析、基 于 数 值 和 形 态 特 征 的 ＳＶＭ 分 类
而图 ８ 中的 ＬＣＮＮ 结构有 ２４ 个卷积单元 ．文献［
８７］ 模型及 ＥＣＧ 典 型 特 征 分 析 ４ 个 分 类 模 块 ．金 等 将

中 对 于 连 接 输 入 层 的 卷 积 层，其 卷 积 核 大 小 为 ＥＣＧ－ＭＴＨＣ 模型 同 样 对 ＣＣＤＤ 中 的 ＥＣＧ 记 录 进

行测试，但是由于有 １ 万多条 ＥＣＧ 记录的中间特征
８×２３，图 ８ 中每一个导联的第 １ 个卷积层的卷积核
大小 均 为 １×１８．为 了 增 加 训 练 样 本 从 而 降 低 不 同
① ＭＩＴ－ＢＩＨ Ａｒｒｈｙ
ｔｈｍｉａ Ｄａｔａｂａ
ｓｅ ［Ｏｎｌｎｅ］．ｈ
ｉ ｔｔｐ：／／ｗｗｗ．
类别 ＥＣＧ 数 据 的 不 平 衡 性，ＬＣＮＮ 充 分 利 用 了 ｐｈｙｓ
ｉｏｎｅ
ｔ．ｏ
ｒｇ／ｐｈｙｓ
ｉｏｂａｎｋ／ｄａｔ
ａｂａｓｅ／ｍｉｔｄｂ／，２０１６，９，２８
 ６期 周飞燕等：卷积神经网络研究综述 １２４３

提取 出 错 而 无 法 给 出 诊 断 结 论，因 此 ＥＣＧ－ＭＴＨＣ 出一种基于一维 ＣＮＮ 的病人内 ＥＣＧ 分类，该 ＣＮＮ

模型只 给 出 了 １４ 多 万 条 ＥＣＧ 的 自 动 诊 断 结 果， 结构包含 ３ 个 ＣＮＮ 层和 ２ 个 ＭＬＰ 层，将 ＭＩＴ－ＢＩＨ
其判断 准 确 率 为 ７２．４９％ ，而 ＬＣＮＮ 在 该 测 试 数 数据库中的 ４４ 条记录作为实验数据，得到室性异位
据上 的 分 类 结 果 为 ８３．
７２％
［
．与 文 献 ［
４８］
９３］相 比： 心拍（
ＶＥＢ）和室上性 异 位 心 拍 （
ＳＶＥＢ）的 分 类 准 确
１）ＬＣＮＮ 实际上 也 是 一 个 端 对 端 的 学 习 方 法，将
（ 率分别为 ９９％ 和 ９７．
６％．然而这些研究工作仅利用
中间的卷积层和池化层提取得到的特征输入到全连 了标准数据库中的 部 分 数 据，不 能 够 充 分 体 现 模 型
接层中，最后由 ｓ
ｏｆｔｍａｘ 层 进 行 分 类；（
２）对 于 较 大 在实际应用中的整体分类性能 ．
规模的数 据 集，ＬＣＮＮ 比 ＥＣＧ－ＭＴＨＣ 更 易 于 训 练； 由于不同的时间序列可能需要不同时间尺度上
３ 由于 ＬＣＮＮ 的深度架构及复杂的网络结构，使它
（ ） 的不同特征表示，但 是 现 有 的 许 多 算 法 没 有 考 虑 到
具有很 强 的 非 线 性 拟 合 能 力，克 服 了 ＥＣＧ－ＭＴＨＣ 这些因素，而且由于高频干扰及随机噪声的影响，在
中 ＳＶＭ 非线 性 拟 合 能 力 有 限 的 缺 点 ．最 终，
ＬＣＮＮ 实时时间序列数据中具有判别性的模式通常也会变
的分类准确率 高 于 ＥＣＧ－ＭＴＨＣ 的 准 确 率 ．周 飞 燕 形 ．为了克服这些问题，
Ｃｕｉ等人 ９７ 提出了一种基于
［ ］

等人 ［
将 ＬＣＮＮ 作为基分类器提出了一种基于集成
９４］
学习的室性早博识别方法，采用该方法对 ＭＩＴ－ＢＩＨ
中的 ４８ 条记录进行 室 性 早 搏 心 拍 分 类 得 到 的 准 确
率为 ９９．
９１％ ；同 时 该 文 还 注 重 模 拟 医 生 诊 断 ＥＣＧ
的思维过程，采用 ＬＣＮＮ 与室性早搏诊断规则相结
合的方法对 ＣＣＤＤ 进行 按 记 录 的 室 性 早 搏 分 类，得
８７％．在 与 文 献 ［
到的测试准 确 率 为 ９７． ４８］相 同 的
数据集上，
Ｊｉｎ 等人 ① 还分别采用显性训练方法及 隐
性训练 方 法 独 立 训 练 两 个 ＬＣＮＮ 模 型 并 进 行 正 异
常分类，然后采用集成学习中的融合规则方法融合这
两个分类器的判别结果，最后再采用规则推理分别对
ＬＣＮＮ 融合后判断出来 的 正 异 常 类 作 再 次 判 断，最
终得到的准 确 率 为 ８６．
２２％ ，所 得 分 类 结 果 优 于 文
献［
４８］．实验结果表明，利 用 ＣＮＮ 与 其 它 方 法 相 结
合是提升整体分类性能的一种有效途径 ．
然而在文 献 ［
４８， ９４］的 ＣＮＮ 结 构 中，它 们
８７，
的全连接层只能接 受 固 定 长 度 的 输 入，因 此 在 网 络
训练之前需要将 ＥＣＧ 记录截取到固定长度 ．但是在
实际应 用 中，ＥＣＧ 记 录 的 长 度 通 常 不 一 致，如 在
ＣＣＤＤ 中 ＥＣＧ 记录 的 长 度 为 １０ｓ～３０ｓ，而 且 有 的
疾 病（如 早 搏）可 以 发 生 在 一 条 记 录 的 前 几 秒 ，它
也 可 发 生 在 记 录 中 的 中 间 几 秒 或 者 最 后 几 秒 ，这
多尺度 ＣＮＮ 的时间序列分类模 型（称 为 ＭＣＮＮ 模
型）．ＭＣＮＮ 模 型 包 含 ３ 个 阶 段：变 换 阶 段、局 部 卷
积阶段、全卷积阶 段 ．变 换 阶 段：首 先 对 输 入 数 据 分
别采用不同的变换（包含时域中的恒等映射、下采样
变换以及频域中的光谱变换），假设原始输入数据分
别经过上述 ３ 种变换，则得到 ３ 种变换数据 ．局部卷
积阶段：将 ３ 种变换 数 据 作 为 ３ 个 并 联 卷 积 层 的 输
入（一种 变 换 数 据 输 入 到 一 个 卷 积 层 中，这 与 文 献
４８］的 ＬＣＮＮ 模 型 类 似 ），每 个 卷 积 层 后 紧 随 着 一
［
个池化层 ．全卷积阶段：局部卷积阶段的 ３ 个池化层
连接到同一个卷积层中进行信息汇总，在该阶段中可
以采用多个卷积层和多个池化层进行交替设置，最后
跟随着 一 个 全 连 接 层 及 ｓｏ
ｆｔｍａｘ 层 ．与 文 献 ［
４８］相
比：ＭＣＮＮ 在 卷 积 层 中 将 多 通 道 的 数 据 进 行 整 合，
文献［４８］则在全连接层中进行信息汇总，ＭＣＮＮ 对
卷积核大小及池化 核 大 小 的 设 置 也 不 一 样 ．ＭＣＮＮ
可以处理 多 元 时 间 序 列，它通过将 原 始 数 据 下 采 样
到不同的时间尺度使其不仅能够提取不同尺度的低
级特征还能够提取更高级的特征 ．
ＣＮＮ 除了用于时
间序列分类外，
还可以用于时间序列度量学习［９８］．
５ 其它应用
５．
Ｒｅｄｍｏｎ 等人 ９９ 将目标检测看成是一个回归问
［ ］

种截取到固定长度的方式可能会使信 息 丢 失 比 较
题，采用一个 具 有 ２４ 个 卷 积 层 和 ２ 个 全 连 接 层 的
严重．
ＣＮＮ 结 构 （也 称 为 ＹＯＬＯ，
Ｙｏｕ Ｏｎ
ｌｙＬｏｏｋ Ｏｎ
ｃｅ）进
ｎｇ等人 ９５ ９６ 将一种多通道的深层 ＣＮＮ 模型
［ ， ］
Ｚｈｅ
行目标检 测 ．在 ＹＯＬＯ 中，输 入 整 幅 图 像，并 将 图 像
（Ｍｕ
ｌｔｉ－Ｃｈａｎｎ
ｅｌｓＤｅ ｅｐ Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎ Ｎｅ
ｕｒａ
ｌＮｅ
ｔｗｏ
ｒｋｓ，
划分为 ７×７ 个网格，通过 ＣＮＮ 预测每 个 网 格 的 多
ＭＣ－ＤＣＮＮ）应用于时 间 序 列 分 类 中，每 一 通 道 的 数
个包围盒（
ｂｏｕｎｄ
ｉ ｓ，用 来 包 裹 场 景 中 目 标 的
ｎｇｂｏｘｅ
据都首先经 过 一 个 独 立 的 ＣＮＮ 结 构，其 中 每 一 通
几何体）及 这 些 包 围 盒 的 类 别 概 率 ．ＹＯＬＯ 将 整 幅
道的输入是 一 个 时 间 序 列，然 后 将 每 一 个 ＣＮＮ 结
构的最后一 层 卷 积 层 全 连 接 到 ＭＬＰ 中 进 行 分 类，
① Ｊｉ
ｎＬ ｉ
ｎ－Ｐｅｎｇ，ＤｏｎｇＪｕｎ．Ｃ ｌａｓｓ
ｉｆ
ｉｃａ
ｔｉｏｎｏｆｎｏｒｍａｌａｎｄａｂｎｏｒｍａｌ
在 ＢＩＤＭＣ 充血性心力衰竭数 据 集 上 的 检 测 准 确 率 ＥＣＧｒ ｅｃｏｒｄｓｕｓｉ
ｎｇｌ ｅ
ａｄｃ ｏｎｖｏｌ
ｕｔｉｏｎａｌｎｅｕｒａ
ｌｎｅ ｔｗｏｒｋａｎｄ
ｒｕｌｅｉｎｆ
ｅｒｅｎｃｅ［Ｊ］．Ｓｃ ｉｅｎｃｅｓ Ｃｈｉｎａ Ｉｎｆ
ｏｒｍａｔｉ
ｏｎ Ｓｃｉｅｎｃｅ，
为９４．
６５％ ，优于其他一些算法 ．
Ｋｉｒ ｚ等人 ２７ 提
ａｎｙａ
［ ］
２０１７．ｄｏｉ：１０．１００７／ｓ１１４３２－０１６－９０４７－６）
 １２４４ 计 算 机 学 报 ２０１７ 年

图 像 作 为 下 文 信 息，使 得 背 景 误 差 比 较 小 ．ＹＯＬＯ 构，并 将 不 同 网 络 结 构 的 ＣＮＮ 模 型 应 用 于 ＭＩＴ－

的检测速度也非常快，在 Ｔｉ
ｔａｎＸ 的 ＧＰＵ 上每秒钟
可以处理 ４５ 幅 图 像 ．然 而 ＹＯＬＯ 也 有 存 在 一 些 不
足：（
１）因 为 每 个 网 格 只 预 测 两 个 包 围 盒 且 只 有 一
个类别，因此它具有很强的空间约束性，这种约束限
制了模型对邻近目 标 的 预 测，同 时 如 果 小 目 标 数 量
２）对 于 不 包 含 在
过多也会影 响 模 型 的 检 测 能 力；（
训练集中的目标或 者 有 异 常 比 例 的 目 标，它 的 泛 化
能力不是 很 好；（
３）模 型 主 要 的 误 差 仍 然 因 为 是 不
能精准定位而引起的误差 ．由于 ＹＯＬＯ 不能精准定
ＢＩＨ 数据库中的室性早 搏 心 拍 分 类 中 ．根 据 各 个 实
验结果，分析 了 ＣＮＮ 各 参 数 间 的 相 互 关 系 及 不 同
参数设置 对 分 类 结 果 的 影 响 ．将 ＭＩＴ－ＢＩＨ 数 据 库
中 ４８ 条记录的 １１０１０９ 个心拍划分为 ＣＮＮ 模 型 的
训练集和测试集，其 中 随 机 选 取 ２４１００ 个 心 拍 作 为
训练集，其余心拍为测试 集，同 时 采 用 ＢＰ 算 法 进 行
有监督训练（用 开 源 工 具 Ｔｈｅ
ａｎｏ 实 现）．每 个 ＣＮＮ
结构的训练集和测 试 集 都 一 样 ．心 拍 截 取 方 式 与 文
献［
９４］一致 ．本文采用 ＡＵＣ ４８ 即 ＲＯＣ 曲 线 下 的 面
［ ］

位，这也使得它的检测精度小于 Ｆａ
ｓｔｅ
［ ］
ｒＲ－ＣＮＮ １００ ， 积来衡量每 个 ＣＮＮ 结 构 的 室 性 早 搏 分 类 性 能 ．一
但是 ＹＯＬＯ 的 速 度 更 快 ．
Ｆａｓｔ
ｅｒＲ－ＣＮＮ 是 候 选 框 般来说，
ＡＵＣ 值越大，算法分类性能越好 ．
网络 Ｒｅｇ
（ ｉ
ｏｎ Ｐｒ
ｏｐｏｓａｌＮｅ ｔｗｏ ＲＰＮ）１００ 与 Ｆａ
ｒｋ，
［ ］
ｓ
ｔ 本文 所 采 用 的 网 络 结 构 深 度 共 有 ４ 种：深 度 为
Ｒ－ＣＮＮ １０１ 结合并 共 享 卷 积 层 特 征 的 网 络，它 也 是
［ ］
５（含 输 入 层、输 出 层、全 连 接 层、
１个卷积层及１个
基于分类 器 的 方 法 ［７９］．由 于 ＹＯＬＯ 检 测 精 度 不 是
池化层）、
７（含 输 入 层、输 出 层、全 连 接 层、
２个卷积
很 高，因 此 Ｌｕ 等 人 １０２ 基 于 ＹＯＬＯ 提 出 了 ＳＳＤ
ｉ
［ ］
层及 ２ 个池化层）、
９（含 输 入 层、输 出 层、全 连 接 层、
（
Ｓｉｎｇ
ｌｅＳｈｏ
ｔＤｅ ｔ
ｅｃｔ
ｏｒ）模 型 ．ＳＳＤ 利 用 了 ＹＯＬＯ 的
３ 个卷积层及 ３ 个池化层）及 １１（含输入层、输出层、
回归思 想，同 时 还 借 鉴 了 Ｆａ
ｓｔｒ Ｒ－ＣＮＮ 的 锚 点 机
ｅ
全连 接 层、
４ 个 卷 积 层 及 ４ 个 池 化 层）．首 先 讨 论 卷
制（ ｒ机制）．它与 ＹＯＬＯ 一样通过回归获取目
ａｎｃｈｏ
积核大小对分类性能的影响 ．实验过程：分别对每一
标位置和类 别，不 同 的 是：
ＳＳＤ 预 测 某 个 位 置 采 用
种深度设置 ５ 个 不 同 的 ＣＮＮ 模 型，这 ５ 个 不 同 的
的是该位置 周 围 的 特 征 ．最 终，
ＳＳＤ 获 得 的 检 测 精
ＣＮＮ 模型除 卷 积 核 大 小 外，其 它 参 数 如 特 征 面 数
度与 Ｆａ
ｓｔｒ Ｒ－ＣＮＮ 的 差 不 多，但 是 ＳＳＤ 保 持 了
ｅ
目、池 化 核 大 小、全 连 接 层 神 经 元 个 数 均 相 同 ．如
ＹＯＬＯ 快 速 检 测 的 特 性 ．此 外，
ＣＮＮ 还 可 用 于 短 文
表 ２ 所示 ．
本聚类 ［１０３］
、视觉追踪 ［
１０４］
、图像融合 ［１０５］等领域中 ．
表 ２ 列出了每个卷积层和池化层对应卷积核的
６ ＣＮＮ 的优势
５．
大小及池 化 核 的 大 小 ．每 一 行 参 数 构 成 一 个 ＣＮＮ
ＣＮＮ 具有 ４ 个特点：局部连接、权值共享、池化
模型，表中特征面数 目 为 每 个 卷 积 层 所 采 用 的 特 征
操作及多 层 结 构 ［１１］．
ＣＮＮ 能 够 通 过 多 层 非 线 性 变
面个数，由于卷积层与池化层特征面唯一对应，所以
换，从数据中自动学习特征，从而代替手工设计的特
卷积层特征面个数 确 定 后，紧 跟 其 后 的 池 化 层 特 征
征，且深层的结构使它具有很强的表达能力和学习能
面个数也唯 一 确 定 ．表 ２ 的 这 ５ 个 ＣＮＮ 模 型 只 有
力［７０］．许多研究实验已经表明了 ＣＮＮ 结构中深度的
重要性 ．例如从结构来看， 卷积核大小不同 ．从表 ２ 的分类结果可看出，对于网
Ａｌ ｔ、
ｅｘＮｅ ＶＧＧ、
Ｇｏｏ
ｌｅＮｅ
ｔ
及 Ｒｅ 络深度为 １１ 的模型，随着卷积核变大，
ＡＵＣ 先增加
ｔ的一个典型 的 发 展 趋 势 是 它 们 的 深 度 越
ｓＮｅ
来越深 ［３７］．在 ＣＮＮ 中，通过增加深度从而增加网络 后减小 ．对于另外 ３ 组实验：在深度为 ５ 和 ７ 的模型

的非线性来使它能 够 更 好 地 拟 合 目 标 函 数，获 得 更 中，随着卷积核的增大，

ＡＵＣ 先减小后增加再减小；
好的分布式特征 ［
１１］
． 深度为 ９ 的模 型，随 着 卷 积 核 增 大，
ＡＵＣ 先 较 小 后
趋于平稳再 减 小 ．图 ９ 所 示 为 深 度 是 ５ 的 ＣＮＮ 结

６ 关于 ＣＮＮ 参数设置的一些探讨 构（含 １ 个 卷 积 层 和 １ 个 池 化 层）随 着 卷 积 核 的 改

１ ＥＣＧ 实验分析
６．
ＣＮＮ 在计算机辅助 ＥＣＧ 分析领域中的研究已
初见端倪 ．本文就 ＣＮＮ 在 计 算 机 辅 助 ＥＣＧ 分 析 应
用中，设计了 不 同 参 数 及 不 同 深 度 的 ＣＮＮ 网 络 结
变，其分类性能的 变 化 曲 线 图 ．通 过 实 验 发 现，在 某
一个范围内我们能够找到一个比较合适的卷积核的
大小，卷积核过大或者过小均不利于模型的学习 ．在
本实验中，卷积核的 大 小 取 值 范 围 在 ［ １６］时，其
１０，
模型能够获得一个更好的分类结果 ．
 ６期 周飞燕等：卷积神经网络研究综述 １２４５

表 ２ 深度为 １１ 的 ５ 个不同网络结构的 ＣＮＮ 分类结果

Ｓ
ｔａｇｅ
１ Ｓ
ｔａｇｅ
２ Ｓ
ｔａｇｅ
３ Ｓ
ｔａｇｅ
４
特征面数目 深度 ＡＵＣ
卷积层 池化层 卷积层 池化层 卷积层 池化层 卷积层 池化层
１×３ １×２ １×４ １×２ １×４ １×２ １×４ １×２ （
８，８，
８，８） １１ ０．
９９７９
１×７ １×２ １×６ １×２ １×６ １×２ １×６ １×２ （
８，８，
８，８） １１ ０．
９９８０
Ｄｅｐ＿
１１Ａ １×１１ １×２ １×１０ １×２ １×１１ １×２ １×１０ １×２ （
８，８，
８，８） １１ ０．
９９８７
１×１５ １×２ １×１４ １×２ １×１４ １×２ １×１５ １×２ （
８，８，
８，８） １１ ０．
９９６７
１×１９ １×２ １×１８ １×２ １×１９ １×２ １×１９ １×２ （
８，８，
８，８） １１ ０．
９９６７

来看，随着 模 型 深 度 的 增 加，其 分 类 结 果 也 越 来 越
好 ．在本实验中，模型通常在池化核 大 小 为 ２ 或 者 ３
时取 得 相 对 较 好 的 分 类 结 果 ．表 ３ 列 出 了 深 度 为 ９
的 ３ 个不同网络结构的 ＣＮＮ 室性早搏分类结果 ．
为了 探 讨 特 征 面 数 目 对 分 类 性 能 的 影 响，这 里
我们也对每一种深度分 别 设 置 ５ 个 不 同 的 ＣＮＮ 模
型 ．其 中，这 ５ 个 ＣＮＮ 模 型 除 特 征 面 数 目 外，其 它
参数设置一 样 ．通 过 实 验 发 现，如 果 特 征 面 数 目 过
小，其分类性能较 差 ．这 是 由 于 特 征 面 数 目 过 少，使
图 ９ 卷积核大小与分类性能的影响 得一些有利于网络 学 习 的 特 征 被 忽 略 掉，因 而 不 利
为了讨论池化 核 大 小 对 分 类 性 能 的 影 响，我 们 于模型的学习 ．然而，当特征面数目大于 ４０ 时，模型
同样对每 一 种 深 度 分 别 设 置 ３ 个 不 同 的 ＣＮＮ 模 的训练时间大大增加，这同样不利于模型的学习 ．通
型 ．类似地，这 ３ 个 ＣＮＮ 模型，除了池化核大小外， 过实验可知，本实验中，比较好的特征面数目选取范
其他参数设置均相 同 ．由 于 池 化 核 大 小 要 使 式 （
１１） 围为［
１０，３５］．表 ４ 列 出 了 深 度 为 １１ 的 ５ 个 不 同 网
能够整除，因此对于某一深度的网络，池化核大小不 络结构 的 ＣＮＮ 分 类 结 果，在 这 ５ 个 ＣＮＮ 结 构 中，
能够随意取值 ．从几组实验的结果来看，一般来说随 只有特征 面 数 目 不 同，且 随 着 特 征 面 数 目 的 增 加，
着池化核大小的增加，
ＡＵＣ 先 增 加 后 减 小 ．从 总 体 ＡＵＣ 先增加再减小后增加 ．
表 ３ 深度为 ９ 的 ３ 个不同网络结构的 ＣＮＮ 分类结果
Ｓ
ｔａｇｅ
１ Ｓ
ｔａｇｅ
２ Ｓ
ｔａｇｅ
３
特征面数目 深度 ＡＵＣ
卷积层 池化层 卷积层 池化层 卷积层 池化层
１×５ １×１ １×５ １×１ １×５ １×１ （
１６，
１６，
１６） ９ ０．
９９７０
Ｄｅｐ＿
９ １×５ １×２ １×５ １×２ １×５ １×２ （
１６，
１６，
１６） ９ ０．
９９８０
１×５ １×４ １×５ １×５ １×５ １×５ （
１６，
１６，
１６） ９ ０．
９９７８

表 ４ 深度为 １１ 的 ５ 个不同网络结构的 ＣＮＮ 分类结果

Ｓ
ｔａｇｅ
１ Ｓ
ｔａｇｅ
２ Ｓ
ｔａｇｅ
３ Ｓ
ｔａｇｅ
４
特征面数目 深度 ＡＵＣ
卷积层 池化层 卷积层 池化层 卷积层 池化层 卷积层 池化层
１×５ １×２ １×５ １×４ １×５ １×４ １×５ １×４ （
３，３，
３，３） １１ ０．
９８４６
１×５ １×２ １×５ １×４ １×５ １×４ １×５ １×４ （
６，６，
６，６） １１ ０．
９９１０
Ｄｅｐ＿
１１Ｂ １×５ １×２ １×５ １×４ １×５ １×４ １×５ １×４ （
１２，
１２，
１２，
１２） １１ ０．
９９７１
１×５ １×２ １×５ １×４ １×５ １×４ １×５ １×４ （
２４，
２４，
２４，
２４） １１ ０．
９９５６
１×５ １×２ １×５ １×４ １×５ １×４ １×５ １×４ （
４８，
４８，
４８，
４８） １１ ０．
９９７２

表 ５ 所示为 ４ 个 不 同 深 度 的 ＣＮＮ 模 型 及 其 室 表 ５ 不同深度的 ＣＮＮ 分类结果

Ｍｏｄｅｌ 具体结构 特征面数目 深度 ＡＵＣ
性早搏分类结果 ．在每一个 Ｓ
ｔａｇｅ：（
１×５）＋ （
１×２）
ｌ＿
Ｍｏｄｅ Ａ Ｓ
ｔａｇｅ１：（
１×５）＋ （
１×２） １５ ５ ０．
９９７１
中，
１×５ 表示卷积 层 中 卷 积 核 大 小，
１×２ 表 示 紧 跟 Ｓ
ｔａｇｅ１：（
１×５）＋ （
１×２）；
Ｍｏｄｅｌ＿
Ｂ （
１５，
１５） ７ ０．
９９７５
Ｓ
ｔａｇｅ２：（
１×５）＋ （
１×２）
其后的池化层的池化核大小 ．实验结果表明，随着深
Ｓ
ｔ １：（
ａｇｅ １×５）＋ （
１×２）；
度的加深，网络性能也越来越好 ． ｌ＿
Ｍｏｄｅ Ｃ Ｓ
ｔ ２：（
ａｇｅ １×５）＋ （
１×２）； １５，
（ １５，
１５） ９ ０．
９９８１
Ｓ
ｔ ３：（
ａｇｅ １×５）＋ （
１×２）
为了探讨 ＣＮＮ 的深度、卷积核大小、池化 核 大 Ｓ
ｔ １：（
ａｇｅ １×５）＋ （
１×２）；
Ｓ
ｔ ２：（
ａｇｅ １×５）＋ （
１×２）； （ ， ， ， ）
小及特征面数目之间的关系，我们采用不同的深度、 ｌ＿
Ｍｏｄｅ Ｄ １５ １５ １５ １５ １１ ０．
９９８５
Ｓ
ｔ ３：（
ａｇｅ １×５）＋ （
１×２）；
卷积 核 大 小 、池 化 核 大 小 及 特 征 面 数 目 设 计 了３５０ Ｓ
ｔ ４：（
ａｇｅ １×５）＋ （
１×２）
 １２４６ 计 算 机 学 报 ２０１７ 年

多个不同的 ＣＮＮ 模型 ．这些不同的 ＣＮＮ 模型均利 ＭＩＴ－ＢＩＨ 数据库进行的；（２）深 度 比 卷 积 核 大 小 及

用与上述相同的训 练 集 和 测 试 集 进 行 实 验 ．通 过 实 池化核大小更重要；（ ３）随 着 网 络 深 度 的 加 深，模 型
验发现：（
１）对于同 一 深 度，特 征 面 数 目 比 卷 积 核 大 分类性能来越越好；（
４）对 于 同 一 个 深 度 的 模 型，特
小更重 要，具 有 更 小 卷 积 核 及 更 大 特 征 面 数 目 的 征面数目越大，分类性能越好 ．
ＣＮＮ 模型比具有 更 大 卷 积 核 且 更 小 特 征 面 数 目 的 ２ 脉搏波实验分析
６．
ＣＮＮ 模型获得更好的分类结果，这与文献［ ３６］中特 胡晓娟 ［１０６］采 用 两 种 不 同 深 度 的 ＣＮＮ 结 构 分
征面数目与卷积核 大 小 所 发 挥 的 作 用 相 当 不 一 样， 别在健康／亚健康数据集及动脉硬化／肺动脉硬化数
同时也说明了对于不同的数据库，
ＣＮＮ 的分类性能 据集进行分 类 实 验 ．表 ６ 为 不 同 ＣＮＮ 模 型 分 别 在
会有些 不 一 样 的 表 现，本 小 结 的 实 验 分 析 是 基 于 两个数据集上的测试结果 ．

表 ６ 不同深度的 ＣＮＮ 在脉搏波上的分类结果

健康／亚健康 动脉硬化／非动脉硬化
Ｍｏｄｅ
ｌ
特异性／％ 灵敏度／％ 准确率／％ 特异性／％ 灵敏度／％ 准确率／％
ＣＮＮ（
７Ｌ） ７０．
８７ ６４．
１４ ６７．
５０ ９６．
６２ ８９．
０９ ９４．
７８
ＣＮＮ（
９Ｌ） ７５．
６４ ６８．
９９ ７２．
３１ ９６．
６４ ９５．
５３ ９６．
３３

表 ６ 中 ＣＮＮ（
７Ｌ）表示该 ＣＮＮ 的 深 度 为 ７ 层， ２）对 于 一 个 具 体 的 任 务，仍 很 难 确 定 使 用 哪
（
而 ＣＮＮ（
９Ｌ）模型的深度为 ９ 层 ．从上述结果也可看 种网络结构，使用多少层，每一层使用多少个神经元
出，在两个 数 据 集 上 ＣＮＮ（
９Ｌ）模 型 所 得 各 指 标 均 等才是合适的 ．仍然 需 要 详 细 的 知 识 来 选 择 合 理 的
高于 ＣＮＮ（
７Ｌ）模 型，同 时 也 说 明 了 增 加 网 络 的 层 值如学习率、正则化的强度等 ［１０７］．
数可以挖掘脉搏波更深层的特征，深度越深，模型的 ３）如果训练数 据 集 与 测 试 数 据 集 的 分 布 不 一
（
性能越好 ． 样，则 ＣＮＮ 也很难获得 一 个 好 的 识 别 结 果，特 别 是
对于复杂的数据例 如 临 床 ＥＣＧ 数 据 ．因 此，需 要 引
７ 总 结 入 ＣＮＮ 模型的 自 适 应 技 术，可 考 虑 将 自 适 应 抽 样
等应用于 ＣＮＮ 模型中 ［１６］．
近年来，
ＣＮＮ 的局部连接、权值共享、池化操作 ４）尽管 依 赖 于 计 算 机 的 ＣＮＮ 模 型 是 否 与 灵
（
及多层结构等优良特性使其受到了许多研究者的关 长类视觉系统相似 仍 待 确 定，但 是 通 过 模 仿 和 纳 入
注．
ＣＮＮ 通 过 权 值 共 享 减 少 了 需 要 训 练 的 权 值 个 灵长类视觉系统也能 使 ＣＮＮ 模 型 具 有 进 一 步 提 高
数、降低了网络的计算复杂度，同时通过池化操作使 性能的潜力 ［１０７］．
得网络对输入的局部变换具有一定的不变性如平移 ５）目 前，
（ ＣＮＮ 在 计 算 机 辅 助 ＥＣＧ 分 析 领 域
不 变 性、缩 放 不 变 性 等，提 升 了 网 络 的 泛 化 能 力 ． 中，其输入维数需保持一致 ．为了使输入维数保持一
ＣＮＮ 将原始数据直接输入到网络中，然后隐性地从 致，需要将原始数据截取 到 固 定 长 度，然 而 ＲＮＮ 可
训练数据中进行网络学习，避免了手工提取特征、从 以处理长 度 不 等 的 数 据，因 此 需 考 虑 如 何 将 ＣＮＮ
而导致误差累积的缺点，其整个分类过程是自动的 ． 与 ＲＮＮ 相结合，并应用于 ＥＣＧ 记录分类中 ．
虽然 ＣＮＮ 所具有的这些 特 点 使 其 已 被 广 泛 应 用 于 ６）在 隐 性 训 练 中，如 何 将 整 个 训 练 过 程 中 的
（
各种领域中，但其优 势 并 不 意 味 着 可 以 解 决 或 改 善 最佳分类模型保存 下 来 也 是 一 个 值 得 探 讨 的 问 题 ．
以往各种问题 ．比如，由对金融数据的初步分析结果 在文献［
４８］的隐性 训 练 中，当 所 有 的 训 练 样 本 在 一
可知，
ＣＮＮ 并未获 得 预 期 性 能，可 能 原 因 是 金 融 数 个训练周期 内 都 参 与 ＢＰ 反 向 传 播 过 程 后，才 输 出
据本身缺乏规律、易 受 干 扰 以 及 预 测 结 果 反 过 来 会 整个训练中的测试结果，如 果 此 时 其 准 确 率 是 目 前
影响走势等特点所致 ．
ＣＮＮ 仍有许多工作需要进一 为 止 最 高 的 ，则 保 存 当 前 分 类 模 型 ．事 实 上 ，我 们
步去做： 还 可 以 对 它 做 进 一 步 的 改 进 ，例 如 当 部 分 样 本 进
（１）目 前 所 使 用 的 ＣＮＮ 模 型 是 Ｈｕｂｅ
ｌ－Ｗｉ
ｅｓｅ
ｌ 行 ＢＰ 训 练 后 ，就 可 采 用 校 验 样 本 测 试 当 前 的 模
模型 简化的版本，有待进一步借鉴 Ｈｕｂｅ
［
２８］
ｌ－Ｗｉ
ｅｓｅ
ｌ 型 ，然后判断该模型 是 否 为 迄 今 为 止 性 能 最 佳 的 分
模型，对它进行深入 研 究 并 发 现 结 构 特 点 及 一 些 规 类模型 ．
律，同时还需 引 入 其 它 理 论 使 ＣＮＮ 能 够 充 分 发 挥 总之，
ＣＮＮ 虽然 还 有 许 多 有 待 解 决 的 问 题，但
其潜在的优势 ． 是这并不影响今后它在模式识别与人工智能等领域
 ６期 周飞燕等：卷积神经网络研究综述 １２４７

中的发展与应用，它 在 未 来 很 长 的 一 段 时 间 内 仍 然 ［
１５］ Ｓａ
ｌａｋｈｕ
ｔｄｎｏｖＲ，Ｈｉ
ｉ ｎｔｏｎ Ｇ．Ａｎｅ
ｆｆｉ
ｃｉｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇｐ
ｒｏｃ
ｅｄｕｒ
ｅ
ｆ
ｏｒｄｅ
ｅｐ Ｂｏ
ｌｔｚｍａｎｎ ｍａ
ｃｈｉ
ｎｅｓ．Ｎｅｕｒ
ａｌ Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ，２０１２，
会是人们研究的一个热点 ．
２４（
８）：１９６７－２００６
［
１６］ Ｌ
ｉｕＪ
ｉ ｉ， Ｌ
ａｎ－Ｗｅ ｉｕ Ｙｕａｎ， Ｌｕｏ Ｘｉ
ｏｎｇ－Ｌ
ｉｎ． Ｒｅ
ｓｅａ
ｒｃｈ ａｎｄ
致 谢 感谢朱洪海博士关于金融数据的尝试！
ｄｅｖｅ
ｌｏｐｍｅｎ
ｔｏｎ Ｂｏ
ｌｔｚｍａｎｎ ｍａ
ｃｈｉ
ｎｅ．Ｊ
ｏｕｒ
ｎａｌｏ
ｆ Ｃｏｍｐｕ
ｔｅｒ
Ｒｅ
ｓｅａ
ｒｃｈａｎｄＤｅｖｅ
ｌ ｔ，２０１４，５１（
ｏｐｍｅｎ １）：１－１６（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
参 考 文 献 （刘建伟，刘媛，罗雄麟 ．波尔兹曼机研究进展 ．计算机 研 究
与发展，２０１４，５１（
１）：１－１６）
［
１７］ Ｖｉ
ｎｃ ｔＰ，Ｌａ
ｅｎ ｒｏｃｈｅ
ｌｌｅ Ｈ，Ｂｅｎｇ
ｉｏ Ｙ，ｅ
ｔａｌ．Ｅｘ
ｔｒａ
ｃｔｉ
ｎｇａｎｄ
［
１］ ＭｃＣｕ
ｌｌｃｈ Ｗ Ｓ，Ｐ
ｏ ｉｔｔ
ｓ Ｗ．Ａ ｌ
ｏｇｉ
ｃａｌｃ
ａｌｃｕ
ｌｕｓ ｏ
ｆｔｈｅｉ
ｄｅａ
ｓ
ｃ
ｏｍｐｏ
ｓｉｎｇ ｒ
ｏｂｕｓ
ｔｆｅ
ａｔｕｒ
ｅｓ ｗｉ
ｔｈ ｄｅｎｏ
ｉｓｉ
ｎｇ ａｕ
ｔｏｅｎｃ
ｏｄｅ
ｒｓ／／
ｔｉ
ｉｍｍａｎｅｎ ｎ ｎｅ
ｒｖｏｕｓ ａ
ｃｔｉ
ｖｉｔ
ｙ． Ｂｕ
ｌｌｅ
ｔｉｎｏ
ｆ Ｍａ
ｔｈｅｍａ
ｔｉｃ
ａｌ
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ２５
ｔｈｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｍａ
ｃｈｉ
ｎｅ
Ｂ
ｉｏｐｈｙｓ
ｉｃｓ，１９４３，５（
４）：１１５－１３３
［ Ｌｅ
ａｒｎ
ｉｎｇ．Ｈｅ
ｌｓｉ
ｎｋｉ，Ｆ
ｉｎａｎｄ，２００８：
ｌ １０９６－１１０３
２］ Ｒｏ
ｓｅｎｂ
ｌａｔ
ｔ Ｆ．Ｔｈｅ ｐｅ
ｒｃｅｐ
ｔｒｏｎ： Ａ ｐ
ｒｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ ｍｏｄｅ
ｌｆｏ
ｒ
［
１８］ Ｖｉ
ｎｃ ｔＰ，Ｌａ
ｅｎ ｒｏｃｈｅ
ｌｌｅＨ，Ｂｅｎｇ
ｉｏＹ，ｅ
ｔａｌ．Ｓ
ｔａｃｋｅｄｄｅｎｏ
ｉｓｉ
ｎｇ
ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎｓ
ｔｏｒ
ａｇｅａｎｄｏ
ｒｇａｎ
ｉｚａ
ｔｉｏｎｉ
ｎｔｈｅｂ
ｒａｉ
ｎ．Ｐｓ
ｙｃｈｏ
ｌｏｇ
ｉｃａ
ｌ
ａｕ
ｔｏｅｎｃ
ｏｄｅ
ｒｓ： Ｌｅ
ａｒｎ
ｉｎｇ ｕｓ
ｅｆｕ
ｌｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｓ ｉ
ｎ ａ ｄｅ
ｅｐ
Ｒｅｖ
ｉｅｗ，１９５８，６５（
６）：３８６－４０８
ｎｅ
ｔｗｏ
ｒｋ ｗｉ
ｔｈａｌ
ｏｃａ
ｌｄｅｎｏ
ｉｓｉ
ｎｇｃ
ｒｉｔ
ｅｒｉ
ｏｎ．Ｊ
ｏｕｒ
ｎａｌｏ
ｆ Ｍａ
ｃｈｉ
ｎｅ
［
３］ Ｒｏ
ｓｅｎｂ
ｌａｔ
ｔＦ．Ｐｒ
ｉｎｃ
ｉｐｌ
ｅｓｏ
ｆ Ｎｅｕｒ
ｏｄｉ
ｎａｍｉ
ｃｓ：Ｐｒ
ｅｃｅｐ
ｔｒｏｎａｎｄ
Ｌｅ
ａｒｎ
ｉｎｇＲｅ
ｓｅａ
ｒｃｈ，２０１０，１１（
１２）：３３７１－３４０８
Ｔｈｅｏ
ｒｙｏ
ｆ Ｂｒ
ａｉｎ Ｍｅ
ｃｈａｎ
ｉｓｍｓ．Ｗａ
ｓｈｉ
ｎｇｏｎ，ＵＳＡ：Ｓｐａ
ｔ ｒｔａｎ
［
１９］ ＬｅＣｕｎ Ｙ，Ｂｏ
ｔｔｏｕＬ，Ｂｅｎｇ
ｉｏＹ，ｅ
ｔａｌ．Ｇｒ
ａｄｉ
ｅｎｔ－ｂａ
ｓｅｄｌ
ｅａｒ
ｎｉｎｇ
Ｂｏｏｋｓ，１９６２
［ ａｐｐ
ｌｉｅｄｔ
ｏｄｏ
ｃｕｍｅｎ
ｔｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥ，
４］ Ｒｕｍｅ
ｌｈａ
ｒｔＤＥ，Ｈｉ
ｎｔｏｎＧ，Ｗｉ
ｌｌ
ｉａｍｓＲＪ．Ｌｅ
ａｒｎ
ｉｎｇｒ
ｅｐｒ
ｅｓｅｎ－
１９９８，８６（
１１）：２２７８－２３２４
ｔ
ａｔｉ
ｏｎｓ ｂｙ ｂａ
ｃｋ－ｐ
ｒｏｐａｇａ
ｔｉｎｇ ｅ
ｒｒｏ
ｒｓ． Ｎａ
ｔ ｅ， １９８６， ３２３
ｕｒ
（ ［
２０］ ＬｅＣｕｎ Ｙ，Ｂｏ
ｓｅｒ Ｂ，Ｄｅｎｋｅ
ｒ Ｊ Ｓ，ｅ
ｔａｌ．Ｂａ
ｃｋｐ
ｒｏｐａｇａ
ｔｉｏｎ
６０８８）：５３３－５３６
［ ａ
ｐｐｌ
ｉｅｄｔ
ｏｈａ
ｎｄｗｒ
ｉｔ
ｔｅｎｚ
ｉｐｃ
ｏｄｅｒ
ｅｃｏ
ｇｎｉ
ｔｉｏｎ．Ｎｅ
ｕｒａ
ｌＣｏｍｐｕ
ｔａｔ
ｉｏｎ，
５］ Ｃｏ
ｒｔｓ Ｃ， Ｖａｐｎ
ｅ ｉｋ Ｖ．Ｓｕｐｐｏ
ｒｔ ｖｅ
ｃｔｏ
ｒ ｎｅ
ｔｗｏ
ｒｋｓ． Ｍａ
ｃｈｉ
ｎｅ
１９８９，１１（
４）：５４１－５５１
Ｌｅ
ａｒｎ
ｉｎｇ，１９９５，２０（
３）：
２７３－２９７
［
２１］ Ｄａｖ
ｉｄＳ，Ｈｕａｎｇ Ａ，Ｍａｄｄ
ｉｄｏｎ Ｃ Ｊ．Ｍａ
ｓｔｅ
ｒｉｎｇｔ
ｈｅｇａｍｅｏ
ｆ
［
６］ Ｈｉ
ｎｔｏｎ Ｇ，Ｓａ
ｌａｋｈｕ
ｔｄｉ
ｎｏｖ Ｒ Ｒ．Ｒｅｄｕｃ
ｉｎｇｔ
ｈｅｄ
ｉｍｅｎｓ
ｉｏｎａ
ｌｉｔ
ｙ
Ｇｏ ｗｉ
ｔｈ ｄｅ
ｅｐ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ ａｎｄ ｔ
ｒｅｅｓ
ｅａｒ
ｃｈ． Ｎａ
ｔ ｅ，
ｕｒ
ｏ
ｆｄａ
ｔａ ｗｉ
ｔｈ ｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓ．Ｓｃ
ｉ ｅ，２００６，３１３（
ｅｎｃ ５７８６）：
２０１６，５２９（
７５８７）：４８４－４８９
５０４－５０７
［ ［
２２］ Ｌａｗｒ ｅＳ，Ｇｉ
ｅｎｃ ｌｅｓＣＬ，Ｔｓ
ｏｉＡ Ｃ，ｅ
ｔａｌ．Ｆａ
ｃｅｒ
ｅｃｏｇｎ
ｉｔｏｎ：Ａ
ｉ
７］ Ｙｕ Ｋａ
ｉ，Ｊ
ｉ ｉ，Ｃｈｅｎ Ｙｕ－Ｑｉ
ａ Ｌｅ ａｎｇ，ｅ
ｔａｌ．Ｄｅ
ｅｐ ｌ
ｅａｒ
ｎｉｎｇ：
Ｙｅ
ｓｔｅ
ｒｄｙ，ｔ
ａ ｏｄｙ，ａ
ａ ｎｄｔ
ｏｍｏ
ｒｒｏｗ．Ｊ
ｏｕｒ
ｎａｌｏ
ｆＣｏｍｐｕ
ｔｅｒＲｅ
ｓｅａ
ｒｃｈ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌ－ｎｅ
ｔｗｏ
ｒｋ ａｐｐ
ｒｏａ
ｃｈ．ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓ

ｎｄＤｅｖｅ
ａ ｌ ｔ，２０１３，５０（
ｏｐｍｅｎ ９）：１７９９－１８０４（
ｉｎＣｈ
ｉｎｅ
ｓｅ） ｏｎ Ｎｅｕｒ
ａｌＮｅ ｒｋｓ，１９９７，８（
ｔｗｏ １）：９８－１１３

（于凯，贾磊，陈宇强 等 ．深 度 学 习 的 昨 天、今 天 和 明 天 ．计 ［
２３］ Ｎｅｕｂａｕｅ
ｒＣ．Ｅｖａ
ｌｕａ
ｔｉｏｎｏ
ｆｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｆ
ｏｒ
算机研究与发展，２０１３，５０（
９）：１７９９－１８０４） ｖ
ｉｓｕａ
ｌｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎ Ｎｅｕｒ
ａｌＮｅ ｒｋｓ，
ｔｗｏ

［
８］ Ｂｅｎｇ
ｉｏＹ，Ｌａｍｂ
ｌｉｎＰ，Ｐｏｐｏｖ
ｉｃｉＤ，ｅ
ｔａｌ．Ｇｒ
ｅｅｄｙｌ
ａｙｅ
ｒ－ｗｉ
ｓｅ １９９８，９（
４）：
６８５－６９６

ｔ
ｒａｉ
ｎｉｎｇｏ
ｆｄｅ
ｅｐｎｅ
ｔｗｏ ／／Ｐｒ
ｒｋｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ２００７Ａｄｖａｎｃ
ｅｓ ［
２４］ Ｋｒ
ｉｚｈｅ
ｖｓｋｙ Ａ，Ｓｕ
ｔｓｋｅ
ｖｅ Ｉ，Ｈｉ
ｒＩ ｎｔｏｎＧ．Ｉｍａｇｅｎｅ
ｔｃｌ
ａｓｓ
ｉｆ
ｉｃａ
ｔｉｏｎ

ｉ
ｎＮｅ
ｕｒａ
ｌＩｎ
ｆｏｒｍａ
ｔｉｏｎＰｒ
ｏｃｅ
ｓｓｉ
ｎｇＳｙ
ｓｔｅｍｓ．Ｖａ
ｎｃｏｕｖ
ｅｒ，Ｃａ
ｎａａ，
ｄ ｗｉ
ｔｈｄｅ
ｅｐｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ ／／Ｐｒ
ｒｋｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ

２００７：１５３－１６０ Ａｄｖａｎｃ
ｅｓｉ
ｎ Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎ Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ Ｓｙｓ
ｔｅｍｓ．Ｌａｋｅ
［
９］ Ｒａｎ
ｚａｏ Ｍ Ａ，Ｐｏｕ
ｔ ｌｔ ｙＣ，Ｃｈｏｐ
ｎｅ ｒａＳ，ｅ
ｔａｌ．Ｅｆ
ｆｉ
ｃｉｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇ Ｔａｈｏｅ，ＵＳＡ，２０１２：１０９７－１１０５

ｏ
ｆ ｓｐａ
ｒｓｅｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ ｗｉ
ｔｈ ａｎ ｅｎｅ
ｒｇｙ－ｂａ
ｓｅｄ ｍｏｄｅ
ｌ／／ ［
２５］ Ｎａ
ｉｒ Ｖ， Ｈｉ
ｎｔｏｎ Ｇ Ｅ， Ｆａ
ｒａｂｅ
ｔ Ｃ．Ｒｅ
ｃｔｉ
ｆｉｅｄ ｌ
ｉｎｅ
ａｒ ｕｎ
ｉｔｓ
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆｔｈｅ ２００７ Ａｄｖａｎｃ
ｅｓｉ
ｎ Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎ ｉｍｐ
ｒｏｖｅｒ
ｅｓｔ
ｒｉｃ
ｔｅｄ Ｂｏ
ｌｔｚｍａｎｎ ｍａ
ｃｈｉ
ｎｅ／／Ｐｒ
ｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ
Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇＳｙｓ
ｔｅｍｓ．Ｖａｎｃ ｒ，Ｃａｎａｄａ，２００７：１１３７－１１４４
ｏｕｖｅ ２７
ｔｈＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｍａ
ｃｈｉ
ｎｅ Ｌｅ
ａｒｎ
ｉｎｇ．Ｈａ
ｉｆａ，
［
１０］ ＥｒｈａｎＤ，Ｂｅｎｇ
ｉｏＹ，Ｃｏｕｒ
ｖｉｌ
ｌｅＡ，ｅ
ｔａｌ．Ｗｈｙｄｏｅ
ｓｕｎｓｕｐｅ
ｒ－ Ｉ
ｓｒａ
ｅｌ，２０１０：８０７－８１４

ｖ
ｉｓｅｄ ｐ
ｒｅ－ｔ
ｒａｉ
ｎｉｎｇ ｈｅ
ｌｐ ｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇ？Ｊ
ｏｕｒ
ｎａｌｏ
ｆ Ｍａ
ｃｈｉ
ｎｅ ［
２６］ Ｈａｇａｎ Ｍ Ｔ，Ｄｅｍｕ
ｔｈ Ｈ Ｂ，Ｂｅ
ａｌｅ Ｍ Ｈ．Ｎｅｕｒ
ａｌ Ｎｅ
ｔｗｏ
ｒｋ
Ｌｅ
ａｒｎ
ｉｎｇＲｅ
ｓｅａ
ｒｃｈ，２０１０，１１（
３）：６２５－６６０ Ｄｅ
ｓｉｇｎ．Ｔｒ
ａｎｓ
ｌａｅｄ ｂｙ Ｄａ
ｔ ｉ， Ｂｅ
ｉ Ｋｕ ｉｉ
ｊｎｇ： Ｃｈ
ｉｎａ Ｍａ
ｃｈｉ
ｎｅ
［
１１］ Ｌｅ
ｃｕｎ Ｙ，Ｂｅｎｇ
ｉｏ Ｙ， Ｈｉ
ｎｔｏｎ Ｇ．Ｄｅ
ｅｐ ｌ
ｅａｒ
ｎｉｎｇ．Ｎａ
ｔ ｅ，
ｕｒ Ｐｒ
ｅｓｓ，２００２（
ｉｎＣｈ
ｉｎｅ
ｓｅ）

２０１５，５２１（
７５５３）：４３６－４４４ （Ｈａｇａｎ Ｍ Ｔ，Ｄｅｍｕ
ｔｈ Ｈ Ｂ，Ｂｅ
ａｌｅ Ｍ Ｈ．神 经 网 络 设 计 ．戴
［
１２］ Ｂｅｎｇ
ｉｏＹ．Ｌｅ
ａｒｎ
ｉｎｇｄｅ
ｅｐａ
ｒｃｈ
ｉｔｅ
ｃｔｕｒ
ｅｓｆ
ｏｒ ＡＩ．Ｆｏｕｎｄａ
ｔｉｏｎｓ 葵，译 ．北京：机械工业出版社，２００２）

ａｎｄＴｒ
ｅｎｄｓｉ
ｎ Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ，２００９，２（
１）：１－１２７ ［
２７］ Ｋｉ
ｒ ｚＳ，Ｉ
ａｎｙａ ｎｃｅ Ｔ，Ｇａｂｂｏｕ
ｊ Ｍ．Ｒｅ
ａｌ－ｔ
ｉｍｅｐａ
ｔｉｅｎ
ｔ－ｓ
ｐｅｃ
ｉｆｉ
ｃ
［
１３］ Ｈｉ
ｎｔｏｎ Ｇ，Ｏｓ
ｉｎｄｅ
ｒｏＳ，Ｔｅｈ Ｙ－Ｗ．Ａｆ
ａｓｔｌ
ｅａｒ
ｎｉｎｇａ
ｌｇｏ
ｒｉｔ
ｈｍ ＥＣＧ ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ ｂｙ １Ｄ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ．
ｆ
ｏｒｄｅ
ｅｐ ｂｅ
ｌｉｅ
ｆ ｎｅ
ｔｓ．Ｎｅｕｒ
ａｌ Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ，２００６，１８（
７）： ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎＢ
ｉｏｍｅｄ
ｉｃａ
ｌＥｎｇ
ｉｎｅ
ｅｒｎｇ，２０１６，６３（
ｉ ３）：
１５２７－１５５４ ６６４－６７５
［
１４］ Ｓａ
ｌａｋｈｕ
ｔｄｎｏｖ Ｒ， Ｈｉ
ｉ ｎｔｏｎ Ｇ． Ｄｅ
ｅｐ Ｂｏ
ｌｔｚｍａｎｎ ｍａ
ｃｈｉ
ｎｅｓ． ［
２８］ Ｈｕｂ
ｅｌＤ Ｈ，Ｗｉ
ｅｓｅ
ｌＴ Ｎ．Ｒｅ
ｃｅｐ
ｔｉｖ
ｅｆｉ
ｅｌｄ
ｓｂｉ
ｎｏｃ
ｕｌａ
ｒｉｎ
ｔｅｒ
ａｃｔ
ｉｏｎ，
Ｊ
ｏｕｒ
ｎａｌｏ
ｆ Ｍａ
ｃｈｉ
ｎｅ Ｌｅ
ａｒｎ
ｉｎｇ Ｒｅ
ｓｅａ
ｒｃｈ－Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ Ｔｒ
ａｃｋ， ａｎｄｆ
ｕｎｃ
ｔｉｏｎａ
ｌａｒ
ｃｈｉ
ｔｅｃ
ｔｕｒ
ｅｉｎｔ
ｈｅｃ
ａｔ’
ｓｖｉ
ｓｕａ
ｌｃｏ
ｒｔｅｘ．Ｊ
ｏｕｒ
ｎａｌ
２００９，９（
１）：４４８－４５５ ｏ
ｆＰｈｙｓ
ｉｏｏｇｙ，１９６２，１６０（
ｌ １）：１０６－１５４
 １２４８ 计 算 机 学 报 ２０１７ 年

［
２９］ Ｆｕｋｕ
ｓｈｉｍａＫ．Ｎｅ
ｏｃｏ
ｇｎｉ
ｔｒｏｎ：Ａ ｓ
ｅｌｆ－ｏ
ｒｇａ
ｎｉｚ
ｉｎｇｎ
ｅｕｒ
ａｌｎ
ｅｔｗｏ
ｒｋ ［
４４］ Ｓｒ
ｉｖａ
ｓｔａｖａＮ，Ｈｉ
ｎｔｏｎ Ｇ，Ｋｒ
ｉ ｓｋｙ Ａ，ｅ
ｚｈｅｖ ｔａｌ．Ｄｒ ｔ：Ａ
ｏｐｏｕ
ｍｏｄｅ
ｌｆｏ
ｒａ ｍｅ
ｃｈａｎ
ｉｓｍ ｏ
ｆｐａ
ｔｔｅ
ｒｎｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ ｕｎａ
ｆｆｅ
ｃｔｅｄｂｙ ｓ
ｉｍｐ
ｌｅ ｗａｙ ｔ
ｏｐｒ
ｅｖｅｎ
ｔ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ ｆ
ｒｏｍ ｏｖｅ
ｒｆｉ
ｔｔｉ
ｎｇ．
ｓｈ
ｉｆｔｉ
ｎｐｏ
ｓｉｔ
ｉｏｎ．Ｂ
ｉｏｌ
ｏｇｉ
ｃａｌＣｙｂｅ
ｒｎｅ
ｔｉｓ，１９８０，３６（
ｃ ４）：１９３－ Ｊ
ｏｕｒ
ｎａｌｏ
ｆ Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ Ｒｅ
ｓｅａ
ｒｃｈ，２０１４，１５（
６）：１９２９－
２０２ １９５８
［
３０］ Ｙｏ
ｏＨ－Ｊ．Ｄｅ
ｅｐｃ
ｏｎｖ
ｏｌｕ
ｔｉｏｎｎ
ｅｕｒ
ａｌｎ
ｅｔｗｏ
ｒｋｓｉ
ｎｃｏｍｐｕ
ｔｅｒｖ
ｉｓｏｎ：
ｉ ［
４５］ Ｓａ
ｉｎａ
ｔｈａＴ Ｎ，Ｋｉ ｙａＢ，ＳａｏｎａＧ，ｅ
ｎｇｓｂｕｒ ｔａｌ．Ｄｅ
ｅｐｃ
ｏｎｖｏ
ｌｕ－
Ａｒ
ｅｖｉ
ｅｗ．ＩＥＩＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓ ｏｎ Ｓｍａ
ｒｔ Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ ａｎｄ ｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｆ
ｏｒｌ
ａｒｇｅ－ｓ
ｃａｌ
ｅｓｐｅ
ｅｃｈｔ
ａｓｋｓ．Ｎｅｕｒ
ａｌ
Ｃｏｍｐｕ
ｔｉｎｇ，２０１５，４（
１）：３５－４３ Ｎｅ ｒｋｓ，２０１５，６４（
ｔｗｏ Ｓｐｅ
ｃｉａ
ｌＩｓｕｅ）：３９－４８
ｓ
［
３１］ ＧａｏＬ
ｉ－Ｇａｎｇ，ＣｈｅｎＰａ
ｉ－Ｙｕ，ＹｕＳｈ
ｉ－Ｍｅｎｇ．Ｄｅｍｏｎｓ
ｔｒａ
ｔｉｏｎｏ
ｆ ［
４６］ ＣｈｕＪＬ，Ｋｒ
ｚｙｚ
ａｋ Ａ．Ａｎａ
ｌｙｓ
ｉｓｏ
ｆｆｅ
ａｔｕｒ
ｅ ｍａｐｓｓ
ｅｌｅ
ｃｔｉ
ｏｎｉ
ｎ
ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎ ｋｅ
ｒｎｅ
ｌｏｐｅ
ｒａｔ
ｉｏｎ ｏｎｒ
ｅｓｉ
ｓｔｉ
ｖｅｃ
ｒｏｓ
ｓ－ｐｏ
ｉｎｔａ
ｒｒａｙ． ／／
ｓｕｐｅ
ｒｖｉ
ｓｅｄｌ
ｅａｒ
ｎｉｎｇ ｕｓ
ｉｎｇ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ
ＩＥＥＥ Ｅｌ
ｅｃｔ
ｒｏｎＤｅｖ
ｉｃｅＬｅ
ｔｔｅ
ｒｓ，２０１６，３７（
７）：８７０－８７３
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ ２７
ｔｈ Ｃａｎａｄ
ｉａｎ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ａｒ
ｔｉｆ
ｉｃｉ
ａｌ
［
３２］ Ｊ
ｉｎＬ
ｉｎ－Ｐｅｎｇ． Ｓ
ｔｕｄｙ ｏｎ Ａｐｐ
ｒｏａ
ｃｈ ｏ
ｆ Ｅｌ
ｅｃｔ
ｒｏｃ
ａｒｄ
ｉｏｇ
ｒａｍ
Ｉ
ｎｔｅ
ｌｌ
ｉｇｅｎｃ
ｅ．Ｍｏｎ
ｔｒｅ
ａｌ，Ｃａｎａｄａ，２０１４：５９－７０
Ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎｆ
ｏｒＣ
ｌｉｎ
ｉｃａ
ｌ Ａｐｐ
ｌｉｃ
ａｔｏｎ［
ｉ Ｐｈ．Ｄ．ｄ
ｉｓｓ
ｅｒｔ
ａｔｏｎ］．
ｉ
［
４７］ Ｃａｏ Ｋ，Ｊ
ａｉｎ Ａ Ｋ．Ｌａ
ｔｅｎ
ｔｏｒ
ｉｅｎ
ｔａｔ
ｉｏｎ ｆ
ｉｅｌ
ｄｅｓ
ｔｉｍａ
ｔｉｏｎ ｖ
ｉａ
Ｓｕｚｈｏｕ Ｉ
ｎｓｔ
ｉｔｕ
ｔｅｏ
ｆ Ｎａｎｏ－ｔ
ｅｃｈ ａｎｄ Ｎａｎｏ－ｂ
ｉｏｎ
ｉｃｓ，Ｃｈ
ｉｎｅ
ｓｅ
ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ ｒｋ／／Ｐｒ
ｔｗｏ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ２０１５Ｉ
ｎｔｅ
ｒ－
Ａｃ
ａｄｅｍｙｏ
ｆＳｃ
ｉｅｎｃ
ｅｓ，Ｓｕｚｈｏｕ，２０１６（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
ｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＢ
ｉｏｍｅ
ｔｒｉ
ｃ ｔ，Ｔｈａ
ｓ．Ｐｈｕｋｅ ｉｌａｎｄ，２０１５：
（金林鹏 ．面向 临 床 应 用 的 心 电 图 分 类 方 法 研 究 ［博 士 学 位 论
３４９－３５６
文］．中国科学院苏州纳米技术与纳米仿生研究所，苏州，２０１６）
［
４８］ Ｊ
ｉｎＬ
ｉｎ－Ｐｅｎｇ，ＤｏｎｇＪｕｎ．Ｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇｒ
ｅｓｅ
ａｒｃｈ ｏｎｃ
ｌｉｎ
ｉｃａ
ｌ
［
３３］ Ｘｕ Ｂ
ｉｎｇ， Ｗａｎｇ Ｎａ
ｉ－Ｙａｎ，Ｃｈｅｎ Ｔｉ
ａｎ－Ｑｉ，ｅ
ｔａｌ．Ｅｍｐ
ｉｒｉ
ｃａｌ
ｅ
ｌｅｃ
ｔｒｏ
ｃａｒ
ｄｉｏｇ
ｒａｍ ａｎａ
ｌｙｓ
ｉｓ． Ｓｃ
ｉｅｎｃ
ｅ Ｃｈ
ｉｎａ： Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ
ｅｖａ
ｌｕａ
ｔｉｏｎ ｏ
ｆｒｅ
ｃｔｉ
ｆｉｅｄ ａ
ｃｔｉ
ｖａｔ
ｉｏｎｓｉ
ｎｃｏｎｖｏ
ｌｕｔ
ｉｏｎ ｎｅ
ｔｗｏ
ｒｋ．
Ｓｃ
ｉｅｎｃ
ｅｓ，２０１５，４５（
３）：３９８－４１６（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
ａ ｖ：
ｒＸｉ ００８５３ｖ２，２０１５
１５０５．
（金林鹏，董军 ．面向临床心电图分析的 深 层 学 习 算 法 研 究 ．
［
３４］ Ｊ
ａｒｒ
ｅｔｔ Ｋ，Ｋａｖｕｋｃｕｏｇ
ｌｕ Ｋ， Ｍａ
ｒｃ’Ａｕｒ
ｅｌｉ
ｏ Ｒａｎｚ
ａｔｏ，ｅ
ｔａｌ．
中国科学：信息科学，２０１５，４５（
３）：３９８－４１６）
Ｗｈａ
ｔｉｓｔ
ｈｅｂｅ
ｓｔｍｕ
ｌｔｉ
－ｓｔ
ａｇｅａ
ｒｃｈ
ｉｔｅ
ｃｔｕ
ｒｅｆ
ｏｒｏｂ
ｊｅｃ
ｔｒｅ
ｃｏｇｎ
ｉｔｏｎ？
ｉ
／／Ｐｒ ［
４９］ ＨｕａｎｇＪｕ ｎｇ，Ｌ
ｉ－Ｔｉ ｉＪｎ－Ｙｕ，Ｇｏｎｇ Ｙｉ－Ｆａｎ．Ａｎ ａｎａ
ｉ ｌｙｓ
ｉｓｏ
ｆ
ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆ ｔ
ｈｅ ２００９ ＩＥＥＥ １２
ｔｈ Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ
Ｃｏｎ
ｆｅｒ ｅｏｎＣｏｍｐｕ
ｅｎｃ ｔｅｒＶｉ
ｓｉｏｎ．Ｋｙｏ
ｔｏ，Ｊ
ａｐａｎ，２００９：２１４６－ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ ｆ
ｏｒ ｓｐｅ
ｅｃｈ ｒ
ｅｃｏｇｎ
ｉｔｏｎ／／
ｉ

２１５３ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎ
ａｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ａｃ
ｏｕｓ
ｔｉｓ，
ｃ
［
３５］ Ｂｅｎｇ
ｉｏＹ，Ｃｏｕｒ
ｖｉｌ
ｌｅＡ，Ｖｉ
ｎｃｅｎ
ｔＰ．Ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｌ
ｅａｒ
ｎｉｎｇ： Ｓｐｅ
ｅｃｈａｎｄ Ｓ
ｉｇｎａ
ｌＰｒ
ｏｃｅ
ｓｓｎｇ （
ｉ ＩＣＡＳＳＰ）．Ｓｏｕ
ｔｈ Ｂｒ
ｉｓｂａｎｅ，

Ａｒ
ｅｖｉ
ｅｗａｎｄｎｅｗｐｅ
ｒｓｐｅ
ｃｔｉ
ｖｅｓ．ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎＰａ
ｔｔｅ
ｒｎ Ａｕｓ
ｔｒａ
ｌｉａ，２０１５：４９８９－４９９３

Ａｎａ
ｌｙｓ
ｉｓａｎｄ Ｍａ
ｃｈｉ
ｎｅＩ
ｎｔｅ
ｌｌ
ｉ ｅ，２０１３，３５（
ｇｅｎｃ ８）：１７９８－１８２８ ［
５０］ Ｌ
ｉ ｎ，ＣｈｅｎＱｉ
ｎ Ｍｉ ａｎｇ，ＹａｎＳｈｕ
ｉ－Ｃｈｅｎｇ．Ｎｅ
ｔｗｏ
ｒｋｉ
ｎｎｅ
ｔｗｏ
ｒｋ．
［
３６］ Ｈｅ Ｋａ ｎｇ，Ｓｕｎ Ｊ
ｉ－Ｍｉ ｉａｎ．Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓａ
ｔ ａ ｖ：
ｒＸｉ ４４００ｖ３，２０１３
１３１２．
ｃ
ｏｎｓ
ｔｒａ
ｉｎｅｄｔ
ｉｍｅｃ
ｏｓ／／Ｐｒ
ｔ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ［
５１］ ＸｕＣｈｕｎ－Ｙａｎ，ＬｕＣａｎ－Ｙｉ，Ｌ
ｉ ａｏ－Ｄａｎ，ｅ
ａｎｇＸｉ ｔａｌ．Ｍｕ
ｌｔｉ
－ｌｏ
ｓｓ
ｏｎ Ｃｏｍｐｕ
ｔｅｒ Ｖｉ
ｓｉｏｎ ａｎｄ Ｐａ
ｔｔｅ
ｒｎ Ｒｅ
ｃｏｇｎ
ｉｔｏｎ （ＣＶＰＲ ）．
ｉ ｒ
ｅｇｕ
ｌａｒ
ｉｚｄｄ
ｅ ｅ
ｅｐｎ
ｅｕｒ
ａｌｎ
ｅｔｗｏ
ｒｋ．ＩＥＥＥ Ｔ
ｒａｎ
ｓａｃ
ｔｉｏｎ
ｓ ｏｎ Ｃ
ｉｒｃ
ｕｉｔ
ｓ
Ｂｏ
ｓｔｏｎ，ＵＳＡ，２０１５：５３５３－５３６０ ａｎｄＳｙｓ
ｔｅｍｓ Ｆｏ
ｒ Ｖｉ
ｄｅｏ Ｔｅ
ｃｈｎｏ
ｌｏｇｙ，２０１５，２６（
１２）：２２７３－
［
３７］ ＧｕＪ
ｉ ａｎｇ，ＷａｎｇＺｈｅｎ－Ｈｕａ，Ｊ
ｕ－Ｘｉ ａｓｏｎ Ｋｕｅｎ，ｅ
ｔａｌ．Ｒｅ
ｃｅｎ
ｔ ２２８３
ａｄｖａｎｃ
ｅｓｉ
ｎｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ．ａ ｖ：１５１２．
ｒＸｉ ［
５２］ Ｊ
ａｄｅ
ｒｂｅ
ｒｇ Ｍ，Ｓ
ｉｍｏｎｙａｎ Ｋ，Ｚ
ｉｓｓ
ｅｒｍａｎ Ａ，ｅ
ｔａｌ．Ｓｐａ
ｔｉａ
ｌ
０７１０８ｖ５，２０１７ ｔ
ｒａｎｓ
ｆｏｒｍｅ
ｒｎｅ
ｔｗｏ
ｒｋｓ．ａ ｖ：
ｒＸｉ ０２０２５ｖ３，２０１６
１５０６．
［
３８］ Ｂｏｕｒ
ｅａｕ Ｙ－Ｌ，Ｒｏｕｘ Ｎ Ｌ，Ｂａ
ｃｈ Ｆ，ｅ
ｔａｌ．Ａｓｋｔ
ｈｅｌ
ｏｃａ
ｌｓ： ［
５３］ Ｚｅ
ｉｌｒＭ Ｄ，Ｋｒ
ｅ ｉｓｈｎａｎＤ，Ｔａｙ
ｌｏｒＧ Ｗ，ｅ
ｔａｌ．Ｄｅ
ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ
Ｍｕ
ｌｔｉ－ｗａｙｌ
ｏｃｌｐｏｏ
ａ ｌｉｎｇｆ
ｏｒｉｍａｇｅｒ
ｅｃｏｇｎ
ｉｔｏｎ／／Ｐｒ
ｉ ｏｃｅ
ｅｄｉ
ｎｇｓ ／／Ｐｒ
ｎｅ
ｔｗｏ
ｒｋｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＣｏｍｐｕ
ｔｅｒ
ｏ
ｆｔｈｅ２０１１Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｃｏｍｐｕ
ｔｅｒ Ｖｉ
ｓｉｏｎ．
Ｖｉ
ｓｉｏｎａｎｄＰａ
ｔｔｅ
ｒｎＲｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．ＳａｎＦｒ
ａｎｃ
ｉｓｏ，ＵＳＡ，２０１０：
ｃ
Ｂａ
ｒｃｅ
ｌｏｎａ，Ｓｐａ
ｉｎ，２０１１：２６５１－２６５８
２５２８－２５３５
［
３９］ Ｚｅ
ｉｌｒ Ｍ Ｄ，Ｆｅ
ｅ ｒｇｕｓ Ｒ．Ｓ
ｔｏｃｈａ
ｓｔｉ
ｃｐｏｏ
ｌｉｎｇｆ
ｏｒｒ
ｅｇｕ
ｌａｒ
ｉｚａ
ｔｉｏｎ
［
５４］ Ｚｅ
ｉｌｅ
ｒ Ｍ Ｄ． Ｖｉ
ｓｕａ
ｌｉｚ
ｉｎｇ ａｎｄ ｕｎｄｅ
ｒｓｔ
ａｎｄ
ｉｎｇ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ
ｆｄｅ
ｏ ｅｐｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓ．ａ ｖ：
ｒＸｉ ３５５７ｖ１，
１３０１．
ｎｅ
ｔｗｏ ／／Ｐｒ
ｒｋｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ１３
ｔｈ Ｅｕｒ
ｏｐｅ
ａｎ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ
２０１３
Ｃｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎ （
ＥＣＣＶ）．Ｚｕｒ
ｉｃｈ，Ｓｗｉ
ｔｚｅ
ｒｌａｎｄ，２０１４：８１８－
［
４０］ Ｂｏｕｒ
ｅａｕ Ｙ－Ｌ，Ｐｏｎｃ
ｅＪ，ＬｅＣｕｎ Ｙ．Ａ ｔ
ｈｅｏ
ｒｅｔ
ｉｃａ
ｌａｎａ
ｌｙｓ
ｉｓｏ
ｆ
８３３
ｆ
ｅａｔ
ｕｒｅｐｏｏ
ｌｉｎｇｉ
ｎｖｉ
ｓｕａ
ｌｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅ
［
５５］ ＺｈａｏＪｕｎ－Ｂｏ，Ｍａ
ｔｈｅｕ Ｍ，Ｇｏ
ｉ ｒｏｓｈ
ｉｎＲ，ｅ
ｔａｌ．Ｓ
ｔａｃｋｅｄｗｈａ
ｔ－
ｏｎ Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ，２０１０，３２（
４）：１１１－１１８
ｗｈｅ
ｒｅａｕ
ｔｏ－ｅｎｃ
ｏｄｅ
ｒｓ．ａ ｖ：
ｒＸｉ ０２３５１ｖ８，２０１６
１５０６．
［
４１］ Ｂｏｕｒ
ｅａｕ Ｙ－Ｌ，Ｂａ
ｃｈ Ｆ，ＬｅＣｕｎ Ｙ，ｅ
ｔａｌ．Ｌｅ
ａｒｎ
ｉｎｇ ｍｉ
ｄ－ｌ
ｅｖｅ
ｌ
［
５６］ Ｊ
ｉａｎｇＺｏｎｇ－Ｌ
ｉ．Ｉ
ｎｔｒ
ｏｄｕｃ
ｔｉｏｎｔ
ｏ Ａｒ
ｉｔｉ
ｆｉｃ
ｉａｌ Ｎｅｕｒ
ａｌ Ｎｅ
ｔｗｏ
ｒｋｓ．
ｆ
ｅａｔ
ｕｒｓｆ
ｅ ｏ
ｒｒｅ
ｃｏｇｎ
ｉｔｏｎ／／Ｐｒ
ｉ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥＣｏｎ
ｆｅｒ
ｅｎｃ
ｅ
Ｂｅ
ｉｉ
ｊｎｇ：Ｈｉ
ｇｈｅ
ｒＥｄｕｃ
ａｔｉ
ｏｎＰｒ
ｅｓｓ，２００１（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
ｏｎＣｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎａｎｄＰａ
ｔｔｅ
ｒｎＲｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．ＳａｎＦｒ
ａｎｃ
ｉｓｏ，
ｃ
（蒋宗 礼 ． 人 工 神 经 网 络 导 论 ． 北 京：高 等 教 育 出 版 社，
ＵＳＡ，２０１０：２５５９－２５６６
［
４２］ Ｓａ ｈＴ Ｎ，ＭｏｈａｍｅｄＡ，Ｋｉ ２００１）
ｉｎａ
ｔ ｙＢ，ｅ
ｎｇｓｂｕｒ ｔａｌ．Ｄｅ
ｅｐｃ
ｏｎｖｏ－
ｌ
ｕｔｉ
ｏｎａ
ｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ ｆ
ｏｒ ＬＶＣＳＲ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆｔｈｅ ［
５７］ Ｆａｕｓ
ｅｔｔＬ．Ｆｕｎｄａｍｅｎ
ｔａｌ
ｓｏｆＮｅｕ
ｒａｌＮｅ
ｔｗｏ
ｒｋｓ：Ａｒ
ｃｈｉ
ｔｅｃ
ｔｕｒ
ｅｓ，

ＩＥＥＥ Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ａｃ
ｏｕｓ
ｔｉｓ，Ｓｐｅ
ｃ ｅｃｈ ａｎｄ Ａｌ
ｇｏｒ
ｉｔｈｍｓ，ａｎｄＡｐｐ
ｌｉｃ
ａｔｏｎｓ．Ｌｏｎｄｏｎ：Ｐｒ
ｉ ｅｎｔ
ｉｃｅ－Ｈａ
ｌｌ，１９９４

Ｓ
ｉｇｎａ
ｌＰｒ
ｏｃｅ
ｓｓｉ
ｎｇ．Ｖａｎｃ ｒ，Ｃａｎａｄａ，２０１３：８６１４－８６１８
ｏｕｖｅ ［
５８］ Ｎｇ
ｉａｍ Ｊ， Ｋｏｈ Ｐ Ｗ， Ｃｈｅｎ Ｚ，ｅ
ｔａｌ．Ｓｐａ
ｒｓｅｆ
ｉｌ
ｔｅｒ
ｉｎｇ／／
［
４３］ Ｏ’ ａＫ，Ｎａ
Ｓｈｅ ｓｈＲ．Ａｎｉ
ｎｔｒ
ｏｄｕｃ
ｔｉｏｎｔ
ｏｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ Ａｄｖ
ａｎｃ
ｅｓｉ
ｎ Ｎｅｕ
ｒａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎＰｒ
ｏｃｅ
ｓｓｉ
ｎｇ
ｎｅ
ｔｗｏ
ｒｋｓ．ａ ｖ：
ｒＸｉ ０８４５８ｖ２，２０１５
１５１１． Ｓｙｓ
ｔｅｍｓ２４ （
ＮＩＰＳ２０１１）．Ｇｒ
ａｎａｄａ，Ｓｐａ
ｉｎ，２０１１：１１２５－１１３３
 ６期 周飞燕等：卷积神经网络研究综述 １２４９

［
５９］ ＤｏｎｇＺｈｅｎ，Ｐｅ ｎｇ－Ｔａｏ，Ｈｅ Ｙａｎｇ，ｅ
ｉ Ｍｉ ｔａｌ．Ｖｅｈ
ｉｃｌ
ｅｔｙｐｅ ［
７４］ Ｓｕｎ Ｙｉ， Ｃｈｅｎ Ｙｕ－Ｈｅｎｇ， Ｗａｎｇ Ｘｉ
ａｏ－Ｇａｎｇ，ｅ
ｔａｌ．Ｄｅ
ｅｐ
ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎｕ
ｓｉｎｇｕｎ
ｓｕｐ
ｅｒｖ
ｉｓｅ
ｄｃｏｎｖ
ｏｌｕ
ｔｉｏｎ
ａｌｎ
ｅｕｒ
ａｌｎ
ｅｔｗｏ
ｒｋ／／ ｌ
ｅａｒ
ｎｉｎｇｆ
ａｃｅｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｂｙｊ
ｏｉｎ
ｔｉｄｅｎ
ｔｉｆ
ｉｃａ
ｔｉｏｎ－ｖｅ
ｒｉｆ
ｉｃａ
ｔｉｏｎ
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ２２ｎｄＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｐａ
ｔｔｅ
ｒｎ ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆｔｈｅ Ａｄｖａｎｃ
ｅｓｉ
ｎ Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎ
Ｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．Ｓ
ｔｏ ｌｍ，Ｓｗｅｄｅｎ，２０１４：１７２－１７７
ｃｋｈｏ Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇＳｙｓ
ｔｅｍｓ．Ｍｏｎ
ｔｒｅ
ａｌ，Ｃａｎａｄａ，２０１４：１９８８－１９９６
［
６０］ ＤｏｎｇＺｈｅｎ，Ｗｕ Ｙｕ－Ｗｅ
ｉ，Ｐｅ ｎｇ－Ｔａｏ，ｅ
ｉＭｉ ｔａｌ．Ｖｅｈ
ｉｃｌ
ｅｔｙｐｅ ［
７５］ Ｓｕｎ Ｙｉ， Ｗａｎｇ Ｘｉ
ａｏ－Ｇａｎｇ，Ｔａｎｇ Ｘｉ
ａｏ－Ｏｕ．Ｄｅ
ｅｐｌ
ｙｌｅ
ａｒｎｅｄ
ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ ｕｓ
ｉｎｇ ａ ｓ
ｅｍｉ
ｓｕｐｅ
ｒｖｉ
ｓｅｄ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ ｎｅｕｒ
ａｌ ｆ
ａｃｅｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ ａ
ｒｅ ｓｐａ
ｒｓｅ，ｓ
ｅｌｅ
ｃｔｖｅ，ａｎｄ Ｒｏｂｕｓ
ｉ ｔ／／

ｎｅ
ｔｗｏ
ｒｋ．ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓ ｏｎ Ｉ
ｎｔｅ
ｌｌ
ｉｇｅｎ
ｔ Ｔｒ
ａｎｓｐｏ
ｒｔａ
ｔｉｏｎ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＣｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎａｎｄ
Ｓｙｓ
ｔｅｍｓ，２０１５，１６（
４）：２２４７－２２５６ Ｐａ
ｔｔｅ
ｒｎ Ｒｅ
ｃｏｇｎ
ｉｔｏｎ （
ｉ ＣＶＰＲ）．Ｂｏ
ｓｔｏｎ，ＵＳＡ，２０１５：２８９２－
［
６１］ Ｊ
ｉｎＬ
ｉ ｎｇ，ＤｏｎｇＪ
ｎ－Ｐｅ ｕｎ．Ｅｎ
ｓｅｍｂ
ｌｅｄ
ｅｅｐｌ
ｅａｒ
ｎｉｎｇｆ
ｏｒｂ
ｉｏｍｅ
ｄｉｃ
ａｌ ２９００
ｔ
ｉｍｅ ｓ
ｅｒｉ
ｅｓｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ． Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌＩｎ
ｔｅｌ
ｌｉｇｅｎｃ
ｅ ａｎｄ ［
７６］ Ｓｕｎ Ｙｉ，Ｌ
ｉ ｎｇ，ＷａｎｇＸｉ
ａｎｇＤｉ ａｏ－Ｇａｎｇ，ｅ
ｔａｌ．Ｄｅ
ｅｐＩＤ３：Ｆａ
ｃｅ
Ｎｅｕｒ
ｏｓｃ
ｉ ｅ，２０１６，２０１６（
ｅｎｃ ３）：１－１３ ｒ
ｅｃｏｇｎ
ｉｔｏｎ ｗｉ
ｉ ｔｈ ｖｅ
ｒｙ ｄｅ
ｅｐ ｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓ．ａ ｖ：１５０２．
ｒＸｉ
［
６２］ Ｊ
ｉａＹａ ｎｇ，Ｓｈ
ｎｇ－Ｑｉ ｅｌｈ ｒＥ，Ｄｏｎ
ａｍｅ ｅＪ，ｅ
ａｈｕ ｔａｌ．Ｃａ
ｆｆｅ：Ｃｏｎｖ
ｏｌｕ－ ００８７３ｖ１，２０１５

ｔ
ｉｏｎ
ａｌａ
ｒｃｈ
ｉｔｅ
ｃｔｕｒ
ｅｆｏ
ｒｆａ
ｓｔｆ
ｅａｔ
ｕｒｅｅｍｂｅｄｄ
ｉｎｇ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆ ［
７７］ Ｓｃｈｒ
ｏｆｆＦ，Ｋａ
ｌｅｎ
ｉｃｈｅｎｋｏ Ｄ，Ｐｈ
ｉｌｂ
ｉｎＪ．Ｆａ
ｃ ｔ：Ａ ｕｎ
ｅＮｅ ｉｆｉ
ｅｄ

ｔ
ｈｅＡＣＭ Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｍｕ
ｌｔｉｍｅｄ
ｉａ．Ｏｒ
ｌａｎｄｏ， ｅｍｂｅｄｄ
ｉｎｇｆ
ｏｒｆ
ａｃｅｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ ａｎｄｃ
ｌｕｓ
ｔｅｒ
ｉｎｇ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ

ＵＳＡ，２０１４：６７５－６７８ ｏ
ｆｔｈｅ ＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｃｏｍｐｕ
ｔｅｒ Ｖｉ
ｓｉｏｎ ａｎｄ Ｐａ
ｔｔｅ
ｒｎ

［
６３］ Ａｌ－Ｒｆ
ｏｕＲ，Ａｌ
ａｉｎＧ，Ａｌｍａｈａ
ｉｒｉＡ，ｅ
ｔａ ａｎｏ：Ａｐｙ
ｌ．Ｔｈｅ ｔｈｏｎ Ｒｅ
ｃｏｇｎ
ｉｔｏｎ （
ｉ ＣＶＰＲ）．Ｂｏ
ｓｔｏｎ，ＵＳＡ，２０１５：８１５－８２３
［
７８］ Ｐａ ｉＯ Ｍ，Ｖｅｄａ
ｒｋｈ ｌｄｉＡ，Ｚ
ｉｓｓ
ｅｒｍａｎＡ．Ｄｅ
ｅｐｆ
ａｃｅｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ
ｆ
ｒ ｒｋｆ
ａｍｅｗｏ ｏｒｆ
ａｓｔｃ
ｏｍｐｕ
ｔａｔ
ｉｏｎｏ
ｆｍａ
ｔｈｅｍａ
ｔｉｃ
ａｌｅｘｐ
ｒｅｓ
ｓｉｏｎｓ．
／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆｔｈｅ Ｂｒ
ｉｔｉ
ｓｈ Ｍａ
ｃｈｉ
ｎｅ Ｖｉ
ｓｉｏｎ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ
ａ ｖ：
ｒＸｉ ０２６８８ｖ１，２０１６
１６０５．
（
ＢＭＶＣ２０１５）．Ｓｗａｎｓ
ｅａ，Ｅｎｇ
ｌａｎｄ，２０１５：１－１２
［
６４］ Ｂａｈｒ
ａｍｐｏｕｒＳ，Ｒａｍａｋｒ
ｉｓｈｎａｎ Ｎ，Ｓｃｈｏ
ｔｔＬ，ｅ
ｔａｌ．Ｃｏｍｐａ
ｒａ－
［
７９］ Ｃｈａｎｇ Ｌ
ｉａｎｇ，Ｄｅｎｇ Ｘｉ ｎｇ，Ｚｈｏｕ Ｍｉ
ａｏ－Ｍｉ ｎｇ－Ｑｕａｎ，ｅ
ｔａｌ．
ｔ
ｉｖｅｓ
ｔｕｄｙ ｏ
ｆ ｄｅ
ｅｐ ｌ
ｅａｒ
ｎｉｎｇ ｓ
ｏｆｔｗａ
ｒｅｆ
ｒａｍｅｗｏ
ｒｋｓ．ａ ｖ：
ｒＸｉ
Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｉ
ｎｉｍａｇｅｕｎｄｅ
ｒｓｔ
ａｎｄ
ｉｎｇ．Ａｃ
ｔａ
０６４３５ｖ３，２０１６
１５１１．
Ａｕ
ｔｏｍａ
ｔｉｃ
ａＳｉ
ｎｉａ，２０１６，４２（
ｃ ９）：１３００－１３１２（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
［
６５］ Ｓｚ
ｅｇｅｄｙ Ｃ，Ｌ
ｉ ｉ，Ｊ
ｕ Ｗｅ ｉ ｎｇ，ｅ
ａ Ｙａｎｇ－Ｑｉ ｔａｌ．Ｇｏ
ｉｎｇ ｄｅ
ｅｐｅ
ｒ
（常亮，邓小明，周明全等 ．图像理解中的卷积神经网 络 ．自
ｗｉ
ｔｈｃ
ｏｎｖｏ
ｌｕｔ
ｉ ／／Ｐｒ
ｏｎｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ
动化学报，２０１６，４２（
９）：１３００－１３１２）
Ｃｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎａｎｄＰａ
ｔｔｅ
ｒｎＲｅ
ｃｏｇｎ
ｉｔｏｎ （
ｉ ＣＶＰＲ）．Ｂｏ
ｓｔｏｎ，
［
８０］ Ａｂｄｅ
ｌ－Ｈａｍｉ
ｄＯｓ
ｓａｍａ，Ｍｏｈａｍｅｄ Ａｂｄｅ ａｈｍａｎ，Ｊ
ｌ－ｒ ｉ ｉ，
ａｎｇ Ｈｕ
ＵＳＡ，２０１５：１－９
ｅ
ｔａｌ．Ａｐｐ
ｌｙｉ
ｎｇ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｃ
ｏｎｃ
ｅｐｔ
ｓｔｏ
［
６６］ Ｓ
ｉｍｏｎｙａｎ Ｋ，Ｚ
ｉｓｓ
ｅｒｍａｎ Ａ．Ｖｅ
ｒｙｄｅ
ｅｐｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅ
ｔｗｏ
ｒｋｓ
ｈｙｂｒ
ｉｄ ＮＮ－ＨＭＭ ｍｏｄｅ
ｌｆｏ
ｒｓｐｅ
ｅｃｈｒ
ｅｃｏｇｎ
ｉｔｏｎ／／Ｐｒ
ｉ ｏｃｅ
ｅｄｉ
ｎｇｓ
ｆ
ｏｒｌ
ａｒｇｅ－ｓ
ｃａｌ
ｅｉｍａｇｅｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ．ａ ｖ：
ｒＸｉ １５５６ｖ６，２０１４
１４０９．
ｏ
ｆｔｈｅＩＥＥＥＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ａｃ
ｏｕｓ
ｔｉｓ，Ｓｐｅ
ｃ ｅｃｈ
［
６７］ Ｈｅ Ｋａ ｎｇ， Ｚｈａｎｇ Ｘｉ
ｉ－Ｍｉ ａｎｇ－Ｙｕ， Ｒｅｎ Ｓｈａｏ－Ｑｉ
ｎｇ，ｅ
ｔａｌ．
ａｎｄ Ｓ
ｉｇｎａ
ｌ Ｐｒ
ｏｃｅ
ｓｓｎｇ （
ｉ ＩＣＡＳＳＰ）． Ｋｙｏ
ｔｏ，Ｊ
ａｐａｎ，２０１２：
Ｓｐａ
ｔｉａ ｒ
ｌｐｙａｍｉ
ｄ ｐｏｏ
ｌｉｎｇｉ
ｎ ｄｅ
ｅｐｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅ
ｔｗｏ
ｒｋｓｆ
ｏｒ
４２７７－４２８０
ｖ
ｉｓｕａ
ｌｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓ ｏｎ Ｐａ
ｔｔｅ
ｒｎ Ａｎａ
ｌｙｓ
ｉｓ
［
８１］ Ａｂｄｅ
ｌ－Ｈａｍｉ
ｄＯｓ
ｓａｍａ，Ｍｏｈａｍｅｄ Ａｂｄｅ ａｈｍａｎ，Ｊ
ｌ－ｒ ｉ ｉ，
ａｎｇ Ｈｕ
ａｎｄ Ｍａ
ｃｈｉ
ｎｅＩ
ｎｔｅ
ｌｌ
ｉ ｅ，２０１５，３７（
ｇｅｎｃ ９）：１９０４－１９１５
ｅ
ｔａｌ．Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｆ
ｏｒｓｐｅ
ｅｃｈｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ．
［
６８］ Ｉ
ｏｆｅＳ，Ｓｚ
ｆ ｅｇｅｄｙ Ｃ．Ｂａ
ｔｃｈｎｏ
ｒｍａ
ｌｉｚ
ａｔｏｎ：Ａｃ
ｉ ｃｅｌ
ｅｒａ
ｔｉｎｇｄｅ
ｅｐ
ＩＥＥＥ／ＡＣＭ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎ Ａｕｄ
ｉｏ，Ｓｐｅ
ｅｃｈ，ａｎｄ Ｌａｎｇｕａｇｅ
ｎｅ
ｔｗｏ
ｒｋｔ
ｒａｉ
ｎｉｎｇｂｙｒ
ｅｄｕｃ
ｉｎｇｉ
ｎｔｅ
ｒｎａ
ｌｃｏｖａ
ｒｉａ
ｔｅｓｈ
ｉｆｔ．ａ ｖ：
ｒＸｉ
Ｐｒ
ｏｃｅ
ｓｓｎｇ，２０１４，２２（
ｉ １０）：１５３３－１５４５
０３１６７，２０１５
１５０２．
［
８２］ Ｔｈｏｍａ
ｓＳ，Ｇａｎａｐａ
ｔｈｙＳ，ＳａｏｎＧ，ｅ
ｔａｌ．Ａｎａ
ｌｙｚ
ｉｎｇｃ
ｏｎｖｏ
ｌｕ－
［
６９］ ＨｅＫａ ｎｇ，ＺｈａｎｇＸｉ
ｉ－Ｍｉ ａｎｇ－Ｙｕ，ＲｅｎＳｈａｏ－Ｑｉ
ｎｇ，ｅ
ｔａｌ．Ｄｅ
ｅｐ
ｔ
ｉｏｎａ
ｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ ｆ
ｏｒ ｓｐｅ
ｅｃｈ ａ
ｃｔｉ
ｖｉｔ
ｙ ｄｅ
ｔｅｃ
ｔｉｏｎ ｉ
ｎ
ｒ
ｅｓｉ
ｄｕａ
ｌｌｅ
ａｒｎ
ｉｎｇｆ
ｏｒｉｍａｇｅｒ
ｅｃｏｇｎ
ｉｔｏｎ／／Ｐｒ
ｉ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ ／／Ｐｒ
ｍｉ
ｓｍａ
ｔｃｈｅｄ ａ
ｃｏｕｓ
ｔｉｃｃ
ｏｎｄ
ｉｔｉ
ｏｎｓ ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆｔｈｅ ＩＥＥＥ
ＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＣｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎａｎｄＰａ
ｔｔｅ
ｒｎＲｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．
Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ａｃ
ｏｕｓ
ｔｉｓ，Ｓｐｅ
ｃ ｅｃｈ ａｎｄ Ｓ
ｉｇｎａ
ｌ
ｓ，ＵＳＡ，２０１６：７７０－７７８
ｓＶｅｇａ
Ｌａ
Ｐｒ
ｏｃｅ
ｓｓｎｇ （
ｉ ＩＣＡＳＳＰ）．Ｆ
ｌｏｒ ｅ，Ｉ
ｅｎｃ ｔａｙ，２０１４：２５１９－２５２３
ｌ
［
７０］ Ｗａｎｇ Ｘｉ
ａｏ－Ｇａｎｇ． Ｄｅ
ｅｐ ｌ
ｅａｒ
ｎｉｎｇ ｉ
ｎ ｉｍａｇｅ ｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ． ［
８３］ Ｈｉ
ｎｔｏｎ Ｇ，ＤｅｎｇＬ
ｉ，Ｙｕ Ｄｏｎｇ，ｅ
ｔａｌ．Ｄｅ
ｅｐｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓ
Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎｓｏ
ｆｔｈｅＣＣＦ，２０１５，１１（
８）：１５－２３（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
ｆ
ｏｒａ
ｃｏｕｓ
ｔｉｃｍｏｄｅ
ｌｉｎｇｉ
ｎｓｐｅ
ｅｃｈｒ
ｅｃｏｇｎ
ｉｔｏｎ：Ｔｈｅｓｈａ
ｉ ｒｅｄｖ
ｉｅｗｓ
（王晓刚 ．图 像 识 别 中 的 深 度 学 习 ．中 国 计 算 机 学 会 通 讯，
ｆｆ
ｏ ｏｕｒｒ
ｅｓｅ
ａｒｃｈｇ
ｒｏｕｐｓ．ＩＥＥＥ Ｓ
ｉｇｎａ
ｌＰｒ
ｏｃｅ
ｓｓｉ
ｎｇ Ｍａｇａ
ｚｉｎｅ，
２０１５，１１（
８）：１５－２３） ２０１２，２９（
６）：８２－９７
７１］ Ｍｉ
［ ｓｈｋ
ｉｎＤ，Ｓｅ
ｒｇｉ
ｅｖｓｋ
ｉｙＮ，Ｍａ
ｔａｓＪ．Ｓｙｓ
ｔｅｍａ
ｔｉｃｅｖａ
ｌｕａ
ｔｉｏｎｏ
ｆ ［
８４］ ＨｕａｎｇＪｕ ｎｇ，Ｌ
ｉ－Ｔｉ ｉＪｎ－Ｙｕ，Ｇｏｎｇ Ｙｉ－Ｆａｎ．Ａｎ ａｎａ
ｉ ｌｙｓ
ｉｓｏ
ｆ
ＣＮＮａｄｖａｎｃ
ｅｓｏｎｔ
ｈｅｉｍａｇｅＮｅ
ｔ．ａ ｖ：
ｒＸｉ ０２２２８ｖ２，２０１６
１６０６． ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ ｆ
ｏｒ ｓｐｅ
ｅｃｈ ｒ
ｅｃｏｇｎ
ｉｔｏｎ／／
ｉ
［
７２］ Ｔ
ａｉ ｎ Ｙ，Ｙａ
ｇｍａ ｎｇ Ｍ，Ｒａ
ｎｚａ
ｔｏ Ｍ Ａ，ｅ
ｔａｌ．Ｄｅ
ｅｐＦａ
ｃｅ：Ｃ
ｌｏｓ
ｉｎｇ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎ
ａｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ａｃ
ｏｕｓ
ｔｉｓ，
ｃ
ｔ
ｈｅ ｇａｐ ｔ
ｏ ｈｕｍａｎ－ｌ
ｅｖｅ
ｌ ｐｅ
ｒｆｏ
ｒｍａｎｃ
ｅｉｎｆ
ａｃｅ ｖｅ
ｒｉｆ
ｉｃａ
ｔｉｏｎ／／ Ｓｐｅ
ｅｃｈａｎｄＳ
ｉｇｎａ
ｌＰｒ
ｏｃｅ
ｓｓｎｇ （
ｉ ＩＣＡＳＳＰ）．Ｂｒ
ｉｓｂａｎｅ，Ａｕｓ
ｔｒａ
ｌｉａ，
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＣｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎａｎｄ ２０１５：４９８９－４９９３
Ｐａ
ｔｔｅ
ｒｎ Ｒｅ
ｃｏｇｎ
ｉｔｏｎ （ＣＶＰＲ ）． Ｃｏ
ｉ ｌｕｍｂｕｓ， ＵＳＡ， ２０１４： ［
８５］ ＤｏｎｇＪｕｎ，ＺｈａｎｇＪ
ｉ ｉ，Ｚｈｕ Ｈｏｎｇ－Ｈａ
ａ－Ｗｅ ｉ，ｅ
ｔａｌ．Ｗｅ
ａｒａｂ
ｌｅ
１７０１－１７０８ ＥＣＧ ｍｏｎ
ｉｔｏ
ｒｓ ａｎｄ ｉ
ｔｓｒ
ｅｍｏ
ｔｅｄ
ｉａｇｎｏ
ｓｉｓｓ
ｅｒｖ
ｉｃｅｐ
ｌａｔ
ｆｏｒｍ．
［
７３］ Ｓｕｎ Ｙｉ，ＷａｎｇＸｉ
ａｏ－Ｇａｎｇ，ＴａｎｇＸｉ
ａｏ－Ｏｕ．Ｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇｆ
ａｃｅ ＩＥＥＥＩ
ｎｔｅ
ｌｌ
ｉｇｅｎ
ｔＳｙｓ
ｔｅｍｓ，２０１２，２７（
６）：３６－４３
ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｆ
ｒｏｍ ｐ
ｒｅｄ
ｉｃｔ
ｉｎｇ１００００ｃ
ｌａｓ
ｓｅ／／Ｐｒ
ｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆ ［
８６］ Ｋａｄ
ｉＩ，Ｉ
ｄｒｉＡ，Ｆｅ
ｒｎａｎｄｅ
ｚ－Ａｌ
ｅｍａｎＪＬ．Ｋｎｏｗｌ
ｅｄｇｅｄ
ｉｓｃ
ｏｖｅ
ｒｙ
ｔ
ｈｅＩＥＥＥＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＣｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎａｎｄＰａ
ｔｔｅ
ｒｎＲｅ
ｃｏｇ－ ｉ
ｎｃａ
ｒｄｉ
ｏｌｏｇｙ：Ａ ｓ
ｙｓｔ
ｅｍａ
ｔｉｃｌ
ｉｔｅ
ｒａｔ
ｕｒｅｒ
ｅｖｉ
ｅｗ．Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ
ｎ
ｉｔｉ
ｏｎ．Ｃｏ
ｌｕｍｂｕｓ，ＵＳＡ，２０１４：１８９１－１８９８ Ｊ
ｏｕｒ
ｎａｌｏ
ｆ Ｍｅｄ
ｉｃａ
ｌＩｎ
ｆｏｒｍａ
ｔｉｓ，２０１７，９７：１２－３２
ｃ
 １２５０ 计 算 机 学 报 ２０１７ 年

［
８７］ Ｚｈｕ Ｈｏｎｇ－Ｈａ
ｉ．Ｋｅ
ｙＡｌ
ｇｏｒ
ｉｔｈｍｓｏｎＣｏｍｐｕ
ｔｅｒ－Ａｉ
ｄｅｄＥｌ
ｅｃｔ
ｒｏ－ ［
９７］ Ｃｕ ｉ－Ｃｈｅｎｇ，Ｃｈｅｎ Ｗｅｎ－Ｌ
ｉＺｈ ｉｎ， Ｃｈｅｎ Ｙｉ－Ｘｉ
ｎ． Ｍｕ
ｌｔｉ－ｓ
ｃａｌ
ｅ
ｃ
ａｒｄ
ｉｏｇ
ｒａｍ Ａｎａ
ｌｙｓ
ｉｓａｎｄＤｅｖｅ
ｌｏｐｍｅｎ
ｔｏｆＲｅｍｏ
ｔｅ Ｍｕ
ｌｔｉ－Ｓ
ｉｇｎｓ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｆ
ｏｒｔ
ｉｍｅｓ
ｅｒｉ
ｅｓｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ．
Ｍｏｎ
ｉｔｏ
ｒｉｎｇＳｙｓ
ｔｅｍ ［
Ｐｈ．
Ｄ．ｄ
ｉｓｓ
ｅｒｔ
ａｔｏｎ］．ＳｕｚｈｏｕＩ
ｉ ｎｓｔ
ｉｔｕ
ｔｅｏ
ｆ ａ ｖ：
ｒＸｉ ０６９９５，２０１６
１６０３．
Ｎａｎｏ－ｔ
ｅｃｈａｎｄ Ｎａｎｏ－ｂ
ｉｏｎ
ｉｃｓ，Ｃｈ
ｉｎｅ
ｓｅ Ａｃ
ａｄｅｍｙｏ
ｆＳｃ
ｉｅｎｃ
ｅｓ， ［
９８］ Ｚｈｅｎｇ Ｙｉ，Ｌ
ｉｕ Ｑｉ，Ｃｈｅｎ Ｅｎ－Ｈｏｎｇ，ｅ
ｔａｌ．Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ
Ｓｕｚｈｏｕ，２０１３（
ｉｎＣｈ
ｉｎｅ
ｓｅ） ｎｏｎ
ｌｉｎｅ
ａｒｎｅ
ｉｇｈｂｏｕｒｈｏｏｄｃ
ｏｍｐｏｎｅｎ
ｔｓａｎａ
ｌｙｓ
ｉｓｆ
ｏｒｔ
ｉｍｅｓ
ｅｒｉ
ｅｓ
（朱洪海 ．心电图自动识 别 的 关 键 算 法 及 多 体 征 监 护 系 统 研 ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ１９ｔ
ｈＰａ
ｃｉｆ
ｉｃ－Ａｓ
ｉａＣｏｎ
ｆｅｒ
ｅｎｃ
ｅ
制［博士学位论文］．中国科学院苏州纳米技术与纳米仿生 研 ｏｎ Ｋｎｏｗｌ
ｅｄｇｅ Ｄｉ
ｓｃｏｖｅ
ｒｙ ａｎｄ Ｄａ
ｔａ Ｍｉ
ｎｉｎｇ．Ｈｏ Ｃｈ ｎｈ，
ｉ Ｍｉ
究所，苏州，２０１３） Ｖｉ
ｅｔｎａｍ，２０１５：５３４－５４６
［
８８］ ＺｈａｎｇＪ
ｉ ｉ，Ｌ
ａ－Ｗｅ ｉ ａ，Ｄｏｎｇ Ｊｕｎ．ＣＣＤＤ：Ａｎ ｅｎｈａｎｃ
ｕ Ｘｉ ｅｄ ［
９９］ ＲｅｄｍｏｎＪ，Ｄｉ
ｖｖａ
ｌａＳ，Ｇｉ
ｒｓｈ
ｉｃｋＲ，ｅ
ｔａｌ．Ｙｏｕｏｎ
ｌｙｌ ｅ：
ｏｏｋｏｎｃ
ｓ
ｔａｎｄａ
ｒｄ ＥＣＧ ｄａ
ｔａｂａ
ｓｅ ｗｉ
ｔｈｉ
ｔｓ ｍａｎａｇｅｍｅｎ
ｔａｎｄａｎｎｏ
ｔａｔ
ｉｏｎ Ｕｎ
ｉｆｉ
ｅｄ，ｒ
ｅａｌ
－ｔｉｍｅ ｏｂ
ｊｅｃ
ｔ ｄｅ
ｔｅｃ
ｔｉｏｎ．ａ ｖ：１５０６．０２６４０ｖ５，
ｒＸｉ
ｔ
ｏｏｌ
ｓ．Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＪｏｕｒ
ｎａｌ ｏｎ Ａｒ
ｔｉｃ
ｌｅＩ
ｎｔｅ
ｌｌ
ｉｇｅｎｃ
ｅ Ｔｏｏ
ｌｓ， ２０１５
２０１２，２１（
５）：１－２６ ［
１００］ Ｒｅｎ Ｓｈａｏ－Ｑｉ
ｎｇ， Ｈｅ Ｋａ ｎｇ，Ｇｉ
ｉ－Ｍｉ ｒｓｈ
ｉｃｋ Ｒ，ｅ
ｔａｌ．Ｆａ
ｓｔｅ
ｒ
［
８９］ Ｆａｙｙａ
ｚ－ｕ
ｌ－Ａｆ
ｓａｒ Ａｍｉ
ｒ Ｍｉ ｓ， Ｍｕｈａｍｍａｄ Ａｒ
ｎｈａ ｉｆ． Ｒｏｂｕｓ
ｔ Ｒ－ＣＮＮ：Ｔｏｗａ
ｒｄｓｒ
ｅａｌ
－ｔｉｍｅｏｂ
ｊｅｃ
ｔｄｅ
ｔｅｃ
ｔｉｏｎｗ
ｉｔｈｒ
ｅｇｉ
ｏｎｐ
ｒｏｐｏ
ｓａｌ
ｅ
ｌｅｃ
ｔｒｏ
ｃａｒ
ｄｉｏｇ
ｒａｍ ｂｅ
ａｔｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ ｕｓ
ｉｎｇ ｄ
ｉｓｃ
ｒｅｔ
ｅ ｗａｖｅ
ｌｅｔ ｎｅ
ｔｗｏ
ｒｋｓ．ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓ ｏｎ Ｐａ
ｔｔｅ
ｒｎ Ａｎａ
ｌｙｓ
ｉｓ ａｎｄ
ｔ
ｒａｎｓ
ｆｏｒｍ．Ｐｈｙｓ
ｉｏｌ
ｏｇｉ
ｃａｌ Ｍｅ
ａｓｕｒ ｔ，２００８，２９（
ｅｍｅｎ ５）：５５５－ Ｍａ
ｃｈｉ
ｎｅＩ
ｎｔｅ
ｌｌ
ｉ ｅ，２０１６，ｄｏ
ｇｅｎｃ ｉ：１０．
１１０９／ＴＰＡＭＩ．２０１６．
５７０ ２５７７０３１
［
９０］ Ｍａ
ｒｔｓＲＪ，Ｃｈａｋｒ
ｉ ａｂｏ
ｒｔｙＣ，Ｒａｙ Ａ Ｋ．Ａｔｗｏ－ｓ
ｔａｇｅ ｍｅ
ｃｈａ－ ［
１０１］ Ｇｉ
ｒｓｈ
ｉｃｋ Ｒ．Ｆａ
ｓｔ Ｒ－ＣＮＮ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆｔｈｅ ２０１５ＩＥＥＥ
ｎ
ｉｓｍｆ
ｏｒｒ
ｅｇｉ
ｓｔｒ
ａｔｉ
ｏｎａｎｄｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎｏ
ｆＥＣＧｕｓ
ｉｎｇＧａｕｓ
ｓｉａｎ Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｃｏｍｐｕ
ｔｅｒ Ｖｉ
ｓｉｏｎ． Ｓａｎ
ｔｉａｇｏ，
ｍｉ
ｘｔｕｒ
ｅｍｏｄｅ
ｌ．Ｐａ
ｔｔｅ
ｒｎ Ｒｅ
ｃｏｇｎ
ｉｔｏｎ，２００９，４２（
ｉ １１）：２９７９－ Ｃｈ
ｉｌｅ，２０１５：１４４０－１４４８
２９８８ ［
１０２］ Ｌ
ｉ ｉ，Ａｎｇｕｅ
ｕ Ｗｅ ｌｏｖ Ｄ，Ｅｒｈａｎ Ｄ，ｅ
ｔａｌ．ＳＳＤ：Ｓ
ｉｎｇ
ｌｅｓｈｏ
ｔ
［
９１］ Ｈａｋａ
ｃｏｖａ Ｎ，Ｔｒ
ａｇａ
ｒｄｈ－Ｊ
ｏｈａｎｓ
ｓｏｎ Ｅ， Ｗａｇｎｅ
ｒ Ｇ Ｓ，ｅ
ｔａｌ． ｍｕ
ｌｔｂｏｘ ｄｅ
ｉ ｔｅｃ
ｔｏ／／Ｐｒ
ｒ ｏｃｅ
ｅｄｉ
ｎｇｓ ｏ
ｆ ｔ
ｈｅ １４
ｔｈ Ｅｕｒ
ｏｐｅ
ａｎ
Ｃｏｍｐｕ
ｔｅｒ－ｂａ
ｓｅｄｒｈｙ
ｔｈｍ ｄ
ｉａｇｎｏ
ｓｉｓａｎｄｉ
ｔｓｐｏ
ｓｓｉ
ｂｌｅｉ
ｎｆｌ
ｕｅｎｃ
ｅ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｃｏｍｐｕ
ｔｅｒ Ｖｉ
ｓｉｏｎ．Ａｍｓ
ｔｅｄａｍ，Ｎｅ
ｒ ｔｈｅ
ｒｌａｎｄｓ，
ｏｎｎｏｎｅｘｐｅ
ｒｔｅ
ｌｅｃ
ｔｒｏ
ｃａｒ
ｄｉｏｇ
ｒａｍ ｒ
ｅａｄｅ
ｒｓ．Ｊ
ｏｕｒ
ｎａｌｏ
ｆＥｌ
ｅｃｔ
ｒｏ－ ２０１６：２１－３７
ｃ
ａｒｄ
ｉｏｏｇｙ，２０１２，４５（
ｌ １）：１８－２２ ［
１０３］ ＸｕＪ
ｉ ｎｇ，ＷａｎｇＰｅｎｇ，Ｔｉ
ａ－Ｍｉ ａｎＧｕａｎ－Ｈｕａ，ｅ
ｔａｌ．Ｓｈｏ
ｒｔｔ
ｅｘｔ
［
９２］ Ｖｏｇ
ｌＴ Ｐ，Ｍａｎｇ
ｉｓＪＫ，Ｒｉ
ｇｌｒＡ Ｋ，ｅ
ｅ ｔａｌ．Ａｃ
ｃｅｌ
ｅｒａ
ｔｉｎｇｔ
ｈｅ ｃ
ｌｕｓ
ｔｅｒ
ｉｎｇｖ
ｉａｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ ／／Ｐｒ
ｒｋｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆ
ｃ
ｏｎｖｅ
ｒｇｅｎｃ
ｅｏｆｔ
ｈｅ ｂａ
ｃｋ－ｐ
ｒｏｐａｇａ
ｔｉｏｎ ｍｅ
ｔｈｏｄ． Ｂ
ｉｏｌ
ｏｇｉ
ｃａｌ ｔ ｒ，ＵＳＡ，２０１５：６２－６９
ｈｅＮＡＡＣＬ－ＨＬＴ２０１５．Ｄｅｎｖｅ
Ｃｙｂｅ
ｒｎｅ
ｔｉｓ，１９８８，５９（
ｃ ４）：２５７－２６３ ［
１０４］ Ｇａｏ Ｊｕｎ－Ｙｕ， Ｙａｎｇ Ｘｉ
ａｏ－Ｓｈａｎ， Ｚｈａｎｇ Ｔｉ
ａｎ－Ｚｈｕ，ｅ
ｔａｌ．
［
９３］ Ｗａｎｇ Ｌ
ｉ－Ｐ
ｉｎｇ．Ｓ
ｔｕｄｙ ｏｎ Ａｐｐ
ｒｏａ
ｃｈ ｏ
ｆ ＥＣＧ Ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ ｔｖ
Ｒｏｂｕｓ ｉ
ｓｕａ
ｌｔｒ
ａｃｋ
ｉｎｇ ｍｅ
ｔｈｏｄ ｖ
ｉａ ｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇ．Ｃｈ
ｉｎｅ
ｓｅ
ｗｉ
ｔｈ Ｄｏｍａ
ｉ ｅｄｇｅ［
ｎ Ｋｎｏｗｌ Ｐｈ．Ｄ．ｄ
ｉｓｓ
ｅｒｔ
ａｔｏｎ］．Ｅａ
ｉ ｓｔ Ｃｈ
ｉｎａ Ｊ
ｏｕｒ
ｎａｌｏ
ｆＣｏｍｐｕ
ｔｅｓ，２０１６，３９（
ｒ ７）：１４１９－１４３４（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
Ｎｏ
ｒｍａ
ｌＵｎ
ｉｖｅ
ｒｓｉ
ｔｙ，Ｓｈａｎｇｈａ
ｉ，２０１２（
ｉｎＣｈ
ｉｎｅ
ｓｅ） （高君宇，杨小汕，张天柱等 ．基于深度学习的鲁棒性视觉跟
（王丽苹 ．融合领域知识的心电图分类方法研究［博士学位 论 踪方法 ．计算机学报，２０１６，３９（
７）：１４１９－１４３２）
文］．华东师范大学，上海，２０１２） ［
１０５］ Ｌ
ｉＨｏｎｇ，Ｌ
ｉｕＦａｎｇ，ＹａｎｇＳｈｕ－Ｙｕａｎ，ｅ
ｔａｌ．Ｒｅｍｏ
ｔｅｓ
ｅｎｓ
ｉｎｇ
９４］ Ｚｈｏｕ Ｆｅ
［ ｉ－Ｙａｎ，Ｊ
ｉｎＬ
ｉｎ－Ｐｅｎｇ，Ｄｏｎｇ Ｊｕｎ．ＰＶＣ ｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ ｉｍａｇｅｆ
ｕｓｉ
ｏｎｂａ
ｓｅｄｏｎｄｅ
ｅｐｓｕｐｐｏ
ｒｔｖａ
ｌｕｅｌ
ｅａｒ
ｎｉｎｇｎｅ
ｔｗｏ
ｒｋｓ．
ａ
ｌｇｏ
ｒｉｈｍ ｂａ
ｔ ｓｅｄ ｏｎ ｅｎｓ
ｅｍｂ
ｌｅｌ
ｅａｒ
ｎｉｎｇ． Ａｃ
ｔａ Ｅｌ
ｅｃｔ
ｒｏｎ
ｉｃａ Ｃｈ
ｉｎｅ
ｓｅＪ
ｏｕｒ
ｎａｌｏ
ｆＣｏｍｐｕ
ｔｅｓ，２０１６，３９（
ｒ ８）：１５８３－１５９６（
ｉｎ
Ｓ
ｉｎｉ
ｃａ，２０１７，４５（
２）：５０１－５０７（
ｉｎＣｈ
ｉｎｅ
ｓｅ） Ｃｈ
ｉｎｅ
ｓｅ）
（周飞燕，金林 鹏，董 军 ．基 于 集 成 学 习 的 室 性 早 博 识 别 方 （李 红 ，刘 芳 ，杨 淑 媛 等 ．基 于 深 度 支 撑 值 学 习 网 络 的 遥 感
法 ．电子学报，２０１７，４５（
２）：５０１－５０７） 图 像 融 合 ．计 算 机 学 报 ，２０１６，３９（
８）：１５８３－１５９６）
［
９５］ Ｚｈｅｎｇ Ｙｉ， Ｌ
ｉｕ Ｑｉ， Ｃｈｅｎ Ｅｎ－Ｈｏｎｇ，ｅ
ｔａｌ． Ｔｉｍｅ ｓ
ｅｒｉ
ｅｓ ［
１０６］ Ｈｕ Ｘｉ
ａｏ－Ｊ
ｕａｎ． Ｔｈｅ Ｒｅ
ｓｅａ
ｒｃｈ ｏｎ Ｓ
ｉｇｎａ
ｌ Ｐｅ
ｒｃｅｐ
ｔｉｏｎ ａｎｄ
ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎｕｓ
ｉｎｇ ｍｕ
ｌｔｉ－ｃｈａｎｎｅ
ｌｓｄｅ
ｅｐｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌ Ｃｏｍｐｕ
ｔｅｒＡｉ
ｄｅｄ Ｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ ｏ
ｆ Ｔｒ
ａｄｉ
ｔｉｏｎａ
ｌＣｈ
ｉｎｅ
ｓｅ Ｍｅ
ｄｉｃ
ｉｎｅ
ｎｅ
ｔｗｏ ／／Ｐｒ
ｒｋｓ ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ１５
ｔｈＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅ Ｐｕ
ｌｓｅＤ
ｉａｇｎｏ
ｓｉｓ ［Ｐｈ．Ｄ．ｄ
ｉｓｓ
ｅｒｔ
ａｔｏｎ］．Ｅａ
ｉ ｓｔ Ｃｈ
ｉｎａ Ｎｏ
ｒｍａ
ｌ
ｏｎ Ｗｅｂ－Ａｇｅ Ｉ
ｎｆｏ
ｒｍａ
ｔｉ ｔ （ＷＡＩＭ）． Ｍａ
ｏｎ Ｍａｎａｇｅｍｅｎ ｃａｕ， Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙ，Ｓｈａｎｇｈａ
ｉ，２０１３（
ｉｎＣｈ
ｉｎｅ
ｓｅ）
Ｃｈ
ｉｎａ，２０１４：２９８－３１０ （胡 晓 娟 ．中 医 脉 诊 中 医 脉 诊 信 号 感 知 与 计 算 机 辅 助 识 别
［
９６］ Ｚｈｅｎｇ Ｙｉ，Ｌ
ｉｕ Ｑｉ，Ｃｈｅｎ Ｅｎ－Ｈｏｎｇ，ｅ
ｔａｌ．Ｅｘｐ
ｌｏｉ
ｔｉｎｇ ｍｕ
ｌｔｉ－ 研 究［博 士 学 位 论 文］．华 东 师 范 大 学 ，上 海 ，２０１３）
ｃｈａｎｎｅ
ｌｓｄｅ
ｅｐｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｆ
ｏｒ ｍｕ
ｌｔｉ
ｖａｒ
ｉａｔ
ｅ ［
１０７］ ＧｕｏＹａｎ－Ｍｉ
ｎｇ，Ｌ
ｉｕＹｕ，Ａｒ
ｄＯｅ
ｒｌｅｍａｎｓ，ｅ
ｔａｌ．Ｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇ
ｔ
ｉｍｅ ｓ
ｅｒｉ
ｅｓｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ．Ｆｒ
ｏｎｔ
ｉｅｒ
ｓｏｆ Ｃｏｍｐｕ
ｔｅｒ Ｓｃ
ｉ ｅ，
ｅｎｃ ｆ
ｏｒｖ
ｉｓｕａ
ｌｕｎｄｅ
ｒｓｔ
ａｎｄ
ｉｎｇ：Ａｒ
ｅｖｉ
ｅｗ．Ｎｅｕｒ
ｏｃｏｍｐｕ
ｔｉｎｇ，２０１６，
２０１５，１０（
１）：９６－１１２ １８７（
Ｓｐｅ
ｃｉａ
ｌＩｓｕｅ）：２７－４８
ｓ

ｉ－Ｙａｎ， ｂｏ
ＺＨＯＵ Ｆｅ ｒ ｎ １９８６，
ｎｉ Ｊ
ＩＮ Ｌ
ｉｎ－Ｐｅｎｇ，ｂｏ
ｒ ｎ１９８４，Ｐｈ．
ｎｉ Ｄ．Ｈｉ
ｓ ｍａ
ｉｎｒ
ｅｓｅ
ａｒｃｈ
Ｐｈ．
Ｄ．ｃ
ａｎｄ
ｉｄａ
ｔｅ． Ｈｅ
ｒ ｍａ
ｉｎｒ
ｅｓｅ
ａｒｃｈ ｉ
ｎｔｅ
ｒｅｓｔｉ
ｓｍａ ｃｈｉ
ｎｅｌ
ｅａｒ
ｎｉｎｇ．
ｉ
ｎｔｅ
ｒｅｓ
ｔｉｓｃ
ｏｍｐｕ
ｔｅｒ－ａ
ｉｄｅｄ ｄ
ｉａｇｎｏ
ｓｉｓｏ
ｆ ，
ＤＯＮＧ Ｊｕｎ ｂｏ
ｒｎｉ ｎ １９６４，Ｐｈ．
Ｄ．，ｐ
ｒｏｆ
ｅｓｓ
ｏｒ，Ｐｈ．
Ｄ．
ｃ
ａｒｄ
ｉｏｖａ
ｓｃｕ
ｌａｒｄ
ｉｓｅ
ａｓｅ
ｓ． ｓｕｐｅ
ｒｖｉ
ｓｏｒ．Ｈｉ
ｓ ｍａ
ｉｎｒ
ｅｓｅ
ａｒｃｈｉ
ｎｔｅ
ｒｅｓ
ｔｓａ
ｒｅａ
ｒｔｉ
ｆｉｃ
ｉａｌｉ
ｎｔｅ
ｌｌ
ｉ－
ｇｅｎｃ
ｅａｎｄｉ
ｔｓａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｓｉ
ｎ ｈｅ
ａｌｔ
ｈ ｍｏｎ
ｉｔｏ
ｒａｎｄｔ
ｒａｄ
ｉｔｉ
ｏｎａ
ｌ
ｃｕ
ｌｔｕ
ｒｅ．
 ６期 周飞燕等：卷积神经网络研究综述 １２５１

Ｂａ
ｃｋｇ
ｒｏｕｎｄ
Ｓｈａｌ
ｌｏｗａｒｃｈｉ
ｔｅｃｔｕ
ｒｅｓｓｕｃｈａｓＧａｕｓｓｉ
ａｎ ｍｉ
ｘｔｕｒｅ ｍｏｄｅ
ｌｓ， ｔｈａ
ｔｏ ｆ
ｓｔａｎｄａｒｄｆｕｌ
ｌｙｃｏｎｎｅｃ
ｔｅｄ ｎｅｕ
ｒａｌｎｅ
ｔｗｏｒｋｓ．Ｉｎｒｅｃｅｎｔ
ｓｕｐｐｏｒ
ｔｖｅ ｃ
ｔｏｒ ｍａ
ｃｈｉｎｅ ，
ｓｌ ｏｇ
ｉｓｔ
ｉｃｒｅｇ
ｒｅｓｓ
ｉｏｎａｎｄｓ ｏｏｎｈａｖｅ ｙｅａｒ
ｓｃ， ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒａ
ｌｎｅｔｗｏｒｋｈａｓｍａｄｅｍａｊｏ
ｒａｄｖａｎｃｅ
ｓ
ｂｅｅｎｓｈｏｗｎｅ ｆ
ｆｅｃｔ
ｉｖｅｉｎｓ ｏ
ｌｖｉ
ｎｇ ｍａｎｙｓｉｍｐｌ
ｅｐ ｒｏｂ
ｌｅｍｓ，ｂｕ ｔ ｉ
ｎｐｒ
ａ ｃ
ｔｉｃ
ａ ｌａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｓ．
ｔ
ｈｅｉ
ｒｌｉｍｉ
ｔｅｄ ｍｏｄｅ
ｌｉ ｈｅｐｏｗｅ
ｎｇａｎｄｔ ｒｏｆｆ
ｅａｔ
ｕｒｅｒ
ｅｐｒ
ｅｓｅｎ
ｔａ－ Ｃｕｒｒｅｎｔ
ｌ ，
ｙ ｃａｒｄ
ｉｏｖａ
ｓｃｕ
ｌａｒｄ
ｉｓｅ
ａｓｅｉ
ｓｏｎｅｏ
ｆｔｈｅｄｅ
ａｄｌ
ｉｅｓ
ｔ
ｔ
ｉｏｎｓ ｍａｙ ｃ
ａｕｓ
ｅｄｉ
ｆｆｉ
ｃｕｌ
ｔｉｅ
ｓ ｗｈｅｎ ｄｅ
ａｌｉ
ｎｇ ｗｉ
ｔｈｃ
ｏｍｐ
ｌｉｃ
ａｔｅｄ ｄ
ｉｓｅ
ａｓｓｆ
ｅ ｏ
ｒｈｕｍａｎｂｅ
ｉｎｇｓ．ＥＣＧｉ
ｓｖｅ
ｒｙｉｍｐｏ
ｒｔａｎ
ｔｆｏ
ｒｃａ
ｒｄｉ
ｏ－
ｓ
ｉｇｎａ
ｌａｎｄｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ ｔ
ａｓｋｓ．Ｄｅ
ｅｐ ｌ
ｅａｒ
ｎｉｎｇ ｗｉ
ｔｈ ｍｕ
ｌｔｉ
ｐｌｅ ｖａ
ｓｃｕ
ｌａｒｄ
ｉｓｅ
ａｓｅ
ｓｍｏｎ
ｉｔｏ
ｒａｎｄｄ
ｉａｇｎｏ
ｓｉｓ．Ｏｕ
ｒｇｒ
ｏｕｐｈａ
ｓｂｅ
ｅｎ
ｌ
ｅｖｅ
ｌｓｏ
ｆｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｓｉ
ｓａｒ
ａｐｉ
ｄｌ ｒ
ｙｇｏｗｉ
ｎｇｆ
ｉｅｌ
ｄｏｆｍａ
ｃｈｉ
ｎｅ ｗｏ
ｒｋｎｇｏｎｃ
ｉ ｏｍｐｕ
ｔｅｒ－ａ
ｉｄｅｄ ＥＣＧ ａｎａ
ｌｙｓ
ｉｓ ｍｅ
ｔｈｏｄｓｆ
ｏｒ ｍｏ
ｒｅ
ｌｅ
ａｒ ｎ
ｉｎｇ．Ｄｅｅｐｌ
ｅａｒｎｉ
ｎｇ ａｌ
ｌｅｖ
ｉａｔ
ｅｓｔｈｅｏｐｔ
ｉｍｉｚａ
ｔｉｏｎ ｄ
ｉｆｆ
ｉｃｕ
ｌｔｙ ｔ
ｈａｎｔ ｅｎｙｅａ
ｒｓ．Ｗｈａ ｔｉｓ ｍｏｒｅ ｗｅｈａｖｅｔｒｉ
ｅｄ ｍａｎｙｄ ｉ
ｆｆｅｒ
ｅｎｔ
ｕｓｉｎｇ ｔｈｒｅ
ｅ ｔｅｃｈｎ
ｉｑｕｅ ：
ｓ ｂｅ ｔ
ｔｅｒ ｐａ
ｒａｍｅｔ
ｅｒ ｉ ｎ
ｉｔｉ
ａｌｉ
ｚａｔ
ｉｏｎ ｍａｃｈ
ｉｎｅｌｅａ
ｒｎｉｎｇ ｍｅ
ｔｈｏｄｓｉｎｃ
ｌｕｄｉｎｇｓｕｐｐｏ
ｒｔｖｅｃｔｏｒ ｍａｃｈ
ｉｎｅ，
ｔ
ｅｃｈｎｉ
ｑｕｅｓ，ｂｅ
ｔｔｅ
ｒｌｅ
ａｒ ｎ
ｉｎｇａｌ
ｇｏｒ
ｉｔｈｍｓｓｕｃｈａｓｓｔｏｃｈａ
ｓｔｉ
ｃＢＰ ｈ
ｉｄｄｅｎ Ｍａ
ｒ ｌ，ｒ
ｋｏｖｍｏｄｅ ｕｌｅ
ｓｉｎ
ｆｅｒ
ｅｎｃ
ｅｅｔａ
ｌ．ｉ
ｎｃａ
ｒｄｉ
ｏｖａ
ｓｃｕ
ｌａｒ
ａ
ｌｇｏｒ
ｉｔｈｍｓ，ａｎｄａｌａｒｇｅｒｎｕｍｂｅ
ｒｏ ｆｈｉ
ｄｄｅｎ ｕｎ
ｉｔｓ ｗｈ
ｉｃｈｃａｎ ｄ
ｉｓｅ
ａｓｓｓ
ｅ ｔ
ｕｄｉ
ｅｓｓｕｃｈａ
ｓｎｏ
ｒｍａ
ｌ／ａｂｎｏ
ｒｍａ
ｌＥＣＧｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ，
ｉｍｐ
ｒｏｖｅｔ
ｈｅ ｍｏｄｅ
ｌｉｎｇ ｐｏｗｅ
ｒ．Ｉ
ｔｈａ
ｓｓｏ
ｌｖｅｄｓ ｒ
ｏｍｅ ｐｏｂ
ｌｅｍｓ ａ
ｔｒｉ
ａｌｆ
ｉｂｒ
ｉｌ
ｌａｔ
ｉ ｒ
ｏｎａｎｄｐｅｍａ
ｔｕｒ
ｅｖｅｎ
ｔｒｉ
ｃｕｌ
ａｒｃ
ｏｎｔ
ｒａｃ
ｔｉｏｎｃ
ｌａｓ
ｓｉ－
ｔ
ｈａｔｈａｖｅｒ
ｅｓｉ
ｓｔｅｄｔ
ｈｅｂｅ
ｓｔａ
ｔｔｅｍｐ
ｔｓｏ
ｆｔｈｅｓｈａ
ｌｌｏｗ ａ
ｒｃｈ
ｉｔｅ
ｃ－ ｆ
ｉｃａ
ｔｉｏｎａｎｄｓ
ｏｏｎ．Ｔｈｒ
ｏｕｇｈａｓ
ｅｒｉ
ｅｓｏ
ｆｅｘｐｅ
ｒｉｍｅｎ
ｔｓ，ｗｅｈａｖｅ
ｔ
ｕｒｅｓｆｒｍａｎｙｙｅ
ｏ ａ
ｒｓ．Ａｓｏｎｅｏ ｆｔ
ｈｅｍｏｓｔｒｅｐ
ｒｅｓｅｎ
ｔａｔ
ｉｖｅｄｅｅｐ ｆ
ｏｕｎｄｔ
ｈａｔｔ
ｈｅｍｅ
ｔｈｏｄｃ
ｏｍｂ
ｉｎｇｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕ
ｒａｌｎｅ
ｔｗｏ
ｒｋ
ｌ
ｅａｒ
ｎｉｎｇ ｍｏｄｅ
ｌｓ，ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕｒ
ａｌｎｅｔｗｏｒｋｉｓａｔｔ
ｒａｃ
ｔｉｎｇ ａｎｄｒ
ｕｌｅ
ｓｉｎ
ｆｅｒ
ｅｎｃ
ｅｉｓｂｅ
ｔｔｅ
ｒｆｏ
ｒｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎｏ
ｆｔｈｅ
ｓｅｃ
ａｒｄ
ｉｏ－
ｔｈｅａｔ
ｔｅｎｔｉ
ｏｎｏ ｆ ｍａｎｙａｃａｄｅｍｉｃｒｅｓ
ｅａｒ
ｃｈｅｒｓ．Ｂｅｃａｕｓｅｏｆｔ
ｈｅ ｖａ
ｓｃｕ
ｌａｒｄ
ｉｓｅ
ａｓｓ，ａｎｄｉ
ｅ ｔｃａｎｇａ
ｉｎｈ
ｉｇｈｅ
ｒａｃ
ｃｕｒ
ａｃｙｒ
ａｔｅ
ｓｔｈａｎ
ｌ
ｏ ｃ
ａｌｃｏｎｎｅｃｔ
ｉ ，
ｏｎｓ ｓｈａｒ
ｅｄ ｗｅｉｇｈｔ ，
ｓ ｐｏｏｌｉ
ｎｇ ｏｐｅ
ｒａｔｉｏｎｉ
ｎｔｈｅ ｏｍｅｏ
ｓ ｔｈｅ
ｒｔｒ
ａｄｉ
ｔｉｏｎａ
ｌ ｍａ
ｃｈｉ
ｎｅｌ
ｅａｒ
ｎｉｎｇ ｍｅ
ｔｈｏｄｓ．Ｎｏｗ ｗｅ
ｃｏｎｖｏｌ
ｕｔｉ
ｏｎａ
ｌｎｅｕｒａｌｎｅｔｗｏ
ｒｋ，ｉｔｈａｓｆｅｗｅｒｐａｒａｍｅｔｅ
ｒｓｔｏｂｅ ｈａｖｅｕｓ
ｅｄｔ
ｈｅｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌｎｅｕ
ｒａｌｎｅ
ｔｗｏ
ｒｋ ｍｏｄｅ
ｌｆｏ
ｒｓｏｍｅ
ｔ
ｒ ａ
ｉｎｅｄ．Ｔｈｅｒｅ
ｆｏ ，
ｅ ｉ
ｒ ｔｉｓ ｍｏ
ｒｅ ａｐｐ
ｌｉｃ
ａｂｌ
ｅｔ ｏ ｏｐｔ
ｉｍｉｚｅｔ
ｈａｎ ｃ
ａｒｄ
ｉｏｖａ
ｓｃｕ
ｌａｒｄ
ｉｓｅ
ａｓｅ
ｓｃｌ
ａｓｓ
ｉｆｉ
ｃａｔ
ｉｏｎｏｎｏｕ
ｒｃｌ
ｏｕｄｐ
ｌａｔ
ｆｏｒｍ．