第 ４６ 卷 第 １ 期 计 算 机 科 学 Ｖｏ

ｌ．４６Ｎｏ．１
２０１９ 年 １ 月 ＣＯＭＰＵＴＥＲ ＳＣＩＥＮＣＥ Ｊａｎ．
２０１９

时间序列预测方法综述
杨海民１ 潘志松２ 白 玮２
（陆军工程大学研究生院 南京 ２１０００７）
１
（陆军工程大学指挥控制工程学院 南京 ２１０００７）
２

摘 要 时 间 序 列 是 按 照 时 间 排 序 的 一 组 随 机 变 量 ，它 通 常 是 在 相 等 间 隔 的 时 间 段 内 依 照 给 定 的 采 样 率 对 某 种 潜 在
过程进行观测的结果。时间序列数据本质上反映的是某个 或 者 某 些 随 机 变 量 随 时 间 不 断 变 化 的 趋 势 ，而 时 间 序 列 预
测方法的核心就是从数据中挖掘出这种规律，并利用其对将来的数据做出估计。针对时间序列预测方法，着重介 绍 了
传统的时间序列预测方法、基于机器学习的时间序列预测方法和基于参数模型的在线时间序列预测方法，并对未 来 的
研究方向进行了进一步的展望。
关键词 时间序列，时间序列预测，机器学习，在线学习
中图法分类号 ＴＰ１８１ 文献标识码 Ａ １１８９６／
ＤＯＩ １０． ｊ．ｉ
ｓｓｎ．
１００２－１３７Ｘ．
２０１９．
０１．
００４

Ｒｅ
ｖｉｅｗｏ
ｆＴｉｍｅＳ
ｅｒｉ
ｅｓＰｒ
ｅｄｉ
ｃｔｉ
ｏｎ Ｍｅ
ｔｈｏｄ
ｓ
ＹＡＮＧ Ｈａ ｎ１ ＰＡＮ Ｚｈ
ｉ－ｍｉ ｏｎｇ２ ＢＡＩ Ｗｅ
ｉ－ｓ ｉ２

（
Ｓｃｈｏｏ
ｌｏｆＧｒ
ａｄｕａ
ｔｅ，
ＡｒｍｙＥｎｇ
ｉｎｅ
ｅｒｉ
ｎｇ Ｕｎ
ｉｖｅ
ｒｓｉ
ｔ ｆＰＬＡ，
ｙｏ Ｎａｎ
ｊｉｎｇ２１０００７，
Ｃｈｎａ）
ｉ １

（
Ｃｏｌ
ｌｅｇｅｏ
ｆＣｏｍｍａｎｄａｎｄＣｏｎ
ｔｒｏ
ｌＥｎｇ
ｉｎｅ
ｅｒｎｇ，
ｉ ＡｒｍｙＥｎｇ
ｉｎｅ
ｅｒｉ
ｎｇ Ｕｎ
ｉｖｅ
ｒｓｉ
ｔ ｆＰＬＡ，
ｙｏ Ｎａｎ
ｊｉｎｇ２１０００７，
Ｃｈｎａ）
ｉ ２

Ａｂ
ｓｔｒ
ａｃｔ Ｔｉｍｅｓ
ｅｒｉ
ｅｓｉ
ｓａｓ
ｅｔｏ
ｆｒａｎｄｏｍ ｖａ
ｒｉａｂ
ｌｅｓｏ
ｒｄｅ
ｒｅｄｉ
ｎｔｉｍｅ
ｓｔａｍｐ．
Ｉｔｉ
ｓｏｆ
ｔｅｎｔ
ｈｅｏｂｓ
ｅｒｖａ
ｔｉｏｎｏ
ｆａｎｕｎｄｅ
ｒｌｉ
ｙｎｇ
ｒ
ｐｏｃ
ｅｓｓ，
ｉｎ ｗｈ
ｉｃｈｖａ
ｌｕｅ
ｓａｒ
ｅｃｏ
ｌｌｅ
ｃｔｅｄｆ
ｒｏｍ ｕｎ
ｉｆｏ ｙｓｐａ
ｒｍｌ ｃｅｄｔ
ｉｍｅｉ
ｎｓｔ
ａｎｓ，
ｔ ａ
ｃｃｏ
ｒｄｎｇｔ
ｉ ｏａｇ
ｉｖｅｎｓ
ａｍｐ
ｌｉｎｇｒ
ａｔｅ．
Ｔｉｍｅｓ
ｅ－
ｉ
ｒｅｓｄａ
ｔａｅ
ｓｓｅｎ
ｔｉａ
ｌｌｙｒ
ｅｆｌ
ｅｃｔ
ｓｔｈｅｔ
ｒｅｎｄｔ
ｈａｔｏｎｅｏ
ｒｓｏｍｅｒ
ａｎｄｏｍｖａ
ｒｉａｂ
ｌｅｓｃｈａｎｇｅｗｉ
ｔｈｔ
ｉｍｅ．
Ｔｈｅｃ
ｏｒｅｏ
ｆｔｉｍｅｓ
ｅｒｉ
ｅｓｐ
ｒｅ－
ｄ
ｉｃｔ
ｉｏｎｉ
ｓｍｉ
ｎｉｎｇｔ
ｈｅｒ
ｕｌｅｆ
ｒｏｍ ｄａ
ｔａａｎｄ ｍａｋ
ｉｎｇｕｓ
ｅｏｆｉ
ｔｔｏｅ
ｓｔｉｍａ
ｔｅｆ
ｕｔｕ
ｒｅｄａ
ｔａ．
Ｔｈｉ
ｓｐａｐｅ
ｒｅｍｐｈａ
ｔｉｃ
ａｌｙｉ
ｌ ｎ
ｔｒｏｄｕｃ
ｅｄａ
ｓｕｍｍａ
ｒｙｏ
ｆｔｉｍｅｓ
ｅｒｉ
ｅｓｐ
ｒｅｄ
ｉｃｔ
ｉｏｎ ｍｅ
ｔｈｏｄ，
ｎａｍｅ
ｌｙｔ
ｈｅｔ
ｒａｄ
ｉｔｉ
ｏｎａ
ｌｔｉｍｅｓ
ｅｒｉ
ｅｓｐ
ｒｅｄ
ｉｃｔ
ｉｏｎ ｍｅ
ｔｈｏｄ，
ｍａｃｈ
ｉｎｅｌ
ｅａｒ
ｎｉｎｇｂａ
ｓｅｄ
ｔ
ｉｍｅｓ
ｅｒｉ
ｅｓｐ
ｒｅｄ
ｉｃｔ
ｉｏｎ ｍｅ
ｔｈｏｄａｎｄｏｎ
ｌｉｎｅｔ
ｉｍｅｓ
ｅｒｉ
ｅｓｐ
ｒｅｄ
ｉｃｔ
ｉｏｎ ｍｅ
ｔｈｏｄｂａ
ｓｅｄｏｎｐａ
ｒａｍｅ
ｔｅ ｌ，
ｒｍｏｄｅ ａｎｄｆ
ｕｒｔ
ｈｅｒｐ
ｒｏｓｐｅ
ｃ－
ｔ
ｅｄｔ
ｈｅｆ
ｕｔｕ
ｒｅｒ
ｅｓｅ
ａｒｃｈｄ
ｉｒｅ
ｃｔｉ
ｏｎ．
Ｋｅ
ｙｗｏ
ｒｄｓ Ｔｉｍｅｓ
ｅｒｉ
ｅｓ，
Ｔｉｍｅｓ
ｅｒｉ
ｅｓｐ
ｒｅｄ
ｉｃｔ
ｉｏｎ，Ｍａ
ｃｈｉ
ｎｅｌ
ｅａｒ
ｎｉｎｇ，
Ｏｎｌ
ｉｎｅｌ
ｅａｒ
ｎｉｎｇ

数据 的 特 点 以 及 相 关 的 时 间 序 列 参 数 模 型 ；第 ３ 节 主 要 描 述
１ 引言
传统 的 时 间 序 列 预 测 方 法 ；第 ４ 节 主 要 介 绍 基 于 机 器 学 习 的
通俗地说，时间序列是按照时间排序的一组随机变量，它 时间 序 列 预 测 方 法；第 ５ 节 介 绍 基 于 参 数 模 型 的 在 线 时 间 序
通 常 是 在 相 等 间 隔 的 时 间 段 内 ，依 照 给 定 的 采 样 率 对 某 种 潜 列预 测 方 法；第 ６ 节 介 绍 时 间 序 列 预 测 方 法 的 进 一 步 研 究 方
在过程进行观测的结果 ［
１］
。时间序列数据通常是一系列实 值 向；最后总结全文。
型数据，用 Ｘ１ ， Ｘ３ ，…，
Ｘ２ ， ｔ∈Ζ）表 示 时 间。 现 实
Ｘｔ ∈Ｒ（
Ｘｔ，
２ 时间序列数据的特点以及时间序列参数模型
生活中，在一系列时间点上观测数据是司空见惯的活动，在 农
业、商业、气象、军事和 医 疗 等 研 究 领 域 都 包 含 大 量 的 时 间 序 时间序列数据本质上反映的是某个或者某些随机变量 随
列数据。总之，目前时 间 序 列 数 据 正 以 不 可 预 测 的 速 度 几 乎 时 间 不 断 变 化 的 趋 势 ，而 时 间 序 列 预 测 问 题 的 核 心 就 是 从 数
产生于现实生活中的每一个应用领域。 据中挖掘出这种规 律，并 利 用 其 对 将 来 数 据 做 出 估 计。 本 节
时间序列数据的研 究 方 法 主 要 包 括 分 类、聚 类 和 回 归 预 主要介绍时间 序 列 数 据 的 特 点 以 及 相 关 的 时 间 序 列 参 数 模
测等方面，本文重点 讨 论 时 间 序 列 预 测 方 法。 现 实 生 活 中 的 型，其对时间序列预测方法具有很好的指导作用。
时间序列数据预测问题有很多，包括语音分析、噪声消除 以 １ 时间序列数据的特点
［
２］
２．
及股票市场的分 析 ［３－４］等，其 本 质 主 要 是 根 据 前 Ｔ 个 时 刻 的 时间序列数据被看 作 一 种 独 特 的 数 据 来 处 理 ，其 具 有 以
观测数据推算出 Ｔ ＋１ 时刻的时间序列的值。 下特点。
本文主要介绍时间 序 列 预 测 方 法，第 ２ 节 介 绍 时 间 序 列 １）时间序列数据 与 其 他 类 型 的 数 据 的 最 大 区 别 在 于 当
（

到稿日期：
２０１８－０２－０４ 返修日期：
２０１８－０４－０３ ２０１７ＹＦＢ０８０２８００）资助。
本文受国家重点研发计划“网络空间安全”重点专项（
杨海民（
１９９０－ ），男，博 士 生，主 要 研 究 方 向 为 机 器 学 习、时 间 序 列 预 测，
Ｅ－ｍａ
ｉｌ：
ｈａ ｎｙａｎｇ＿
ｉｍｉ ｎｊ＠１２６．
ｃｏｍ；潘 志 松 （
１９７３－ ），男，教授，博 士 生
导师，主要研究方向为机器学习、网络空间安全，
Ｅ－ｍａ
ｉｌ：
ｈａ ｎｙａｎｇ＿
ｉｍｉ ｎｊ＠１２６．
ｃｏｍ（通 信 作 者）；白 玮（
１９８３－ ），男，讲 师，主 要 研 究 方 向 为 网 络
空间安全。
 ２２ 计 算 机 科 学 ２０１９ 年

前 时 刻 的 数 据 值 与 之 前 时 刻 的 数 据 值 存 在 着 联 系 ，该 特 点 表 适当地改进该模型。
明过去的数据 已 经 暗 示 了 现 在 或 者 将 来 数 据 发 展 变 化 的 规 对于 ｄ 值的确定，可以通过对原始时间序列进行差分，然
律，这种规律主要包括了趋势性、周期性和不规则性。趋 势 性 后检验差分后的时间序列的平稳性来确定 ｄ 值 的 大 小。ｐ 值
反 映 的 是 时 间 序 列 在 一 个 较 长 时 间 内 的 发 展 方 向 ，它 可 以 在 和ｑ 值的 大 小 可 以 通 过 偏 自 相 关 函 数 ＰＡＣＦ（
Ｐａｒ
ｔｉａ
ｌＡｕ
ｔｏ－
一个相当长的时间内表现为一种近似直线的持续向上或持 续 Ｃｏ
ｒｒｅ
ｌａｔ
ｉｏｎＦｕｎｃ
ｔｉｏｎ）和 自 相 关 函 数 ＡＣＦ（Ａｕ
ｔｏ－Ｃｏ
ｒｒｅ
ｌａｔ
ｉｏｎ
向下或平稳的趋势。周期性反映的是时间序列受各种周期 因 Ｆｕｎｃ
ｔｉｏｎ）来确定。偏 自 相 关 函 数 主 要 用 于 在 消 除 中 间 介 入
素影响所形成的一种长度和幅度固定的周期波动。不规则 性 变量 Ｘｔ－１ ， Ｘｔ－ｋ＋１ 的 影 响 后 确 定 Ｘｔ 和 Ｘｔ－ｋ 的
Ｘｔ－３ ，…，
Ｘｔ－２ ，
反 映 的 是 时 间 序 列 受 各 种 突 发 事 件 、偶 然 因 素 的 影 响 所 形 成 相关系数ｋｋ ，这个系数称为 ｋ 阶滞后偏自相关 系 数。 自 相 关
的非趋势性和非周期性的不规则变动。 函数可以用于确定自相关系数ｒｋ 。ｋｋ 和ｒｋ 的计算公式如下：
２）时间序列的 平 稳 性 和 非 平 稳 性。 时 间 序 列 的 平 稳 性
（ ｏ
ｋｋ ＝ｃｒｒ（
Ｘｔ， Ｘｔ－２ ，…，
Ｘｔ－ｋ｜Ｘｔ－１ ， Ｘｔ－ｋ＋１ ），
ｋ＝１，
２，…
ｎ
表明了时间序 列 的 均 值 和 方 差 在 不 同 时 间 上 没 有 系 统 的 变
∑ （ Ｘｔ－Ｘ）（Ｘｔ－ｋ －Ｘ）
ｔ＝ｋ＋１
化，而非平稳性意味着均值和方差随着时间推移会发生变 化。 ｒｋ ＝ ｎ ｋ＝１，
， ２，…
２
∑（ Ｘｔ－Ｘ）
也 就 是 说，时 间 序 列 的 平 稳 性 保 证 了 时 间 序 列 的 本 质 特 征 不 ｔ＝１

最大似然估 计 经 常 被 用 来 进 行 时 间 序 列 模 型 参 数 的 估
仅仅存在于当前时刻，还会延伸到未来。
计，根据观察到的样 本 值，构 建 关 于 模 型 参 数 的 概 率 密 度，求
３）时间序列数据的规模不断变大。一方面，随着各 方 面
（
解 出 使 其 最 大 的 模 型 参 数 值 ，该 方 法 要 求 噪 声 符 合 一 个 具 体
硬件技术的不断发展，实际应用中数据的采样频率不断提 高，
分布。 下 面 给 出 ＡＲ（
ｐ）的 似 然 函 数 求 解 法 ，样 本 （
［
６］
ｘ１ ，
因 此 时 间 序 列 的 长 度 也 不 断 变 大 ，仅 仅 把 时 间 序 列 看 作 单 纯
ｘｔ）中的前 ｐ 个 观 测 值 （
ｘ２ ，…， ｘ１ ， ｘｐ ）合 成 一 个 （
ｘ２ ，…， ｐ×
的一维向量数据来处理不可避免地会带来维数灾难等问题；
１）向量 ｘｐ ，其均值为 ｕｐ ，
σ Ｖｐ 表示（
２
ｐ×ｐ）的协方差矩阵：
另 一 方 面，很 多 实 际 应 用 中 的 时 间 序 列 数 据 不 仅 仅 是 单 纯 的
… γｐ－１
一维数据，往往包含了一组数值，这一组数值之间也存在着 联 熿γ０ γ１ γ２ 燄
γ１ γ０ γ１ … γｐ－２
系，多维时间序列对时间序列预测提出了新的要求。
２
σ Ｖｐ ＝ γ２ γ１ γ０ … γｐ－３
实际上，在具体研究时间序列预测方法的过程中，时间 序
   … 
列 数 据 的 这 些 特 点 是 需 要 首 先 考 虑 的 ，这 是 完 成 预 测 工 作 的
燀γｐ－１ γｐ－２ γｐ－３ … γ０ 燅
难点和关键。结合这 些 特 点 进 行 时 间 序 列 预 测，才 能 针 对 实
其中，
γｊ 是 ＡＲ（
ｐ）的第ｊ 阶自协方差。前 ｐ 个 观 察 值 的 概 率
际问题给出满意的结果。
密度服从一个高斯分布 Ｎ （
ｕｐ ，２
σ Ｖｐ ）：
２ 相关的时间序列参数模型
２．
经典的时间序 列 模 型 包 括 移 动 平 均 模 型 （Ｍｏ ｆＸｐ ，Ｘｐ－１ ，… ，Ｘ１ （ ｘｐ－１ ，…，
ｘｐ ， ｘ１ ；
θ）
ｖｉｎｇ Ａｖ
ｅｒａ－
－ ／２ １／２ １
ｇｅ，ＭＡ）、自回 归 模 型 （ ｖｅ，ＡＲ）、自 回 归 移 动 平 －２ －１
Ａｕｔ
ｏ Ｒｅｇ
ｒｅｓ
ｓｉ ＝（
２π） ｐ ｜ σ Ｖｐ ） ｜ ｅｘｐ［－ ２ （
ｘｐ －
２
σ
均模型（
Ａｕｔ
ｏＲｅｇ
ｒｅｓ
ｓｉｖｅ Ｍｏｖ
ｉｎｇ Ａｖｅ
ｒ ＡＲＭＡ）。 假 设 ｘｔ
ａｇｅ，
′Ｖｐ－１ （
ｕｐ ） ｘｐ －ｕｐ ）］
表示ｔ 时刻的时间序列的值，
ｐ 和ｑ 表 示 时 间 窗 的 大 小，
εｔ 表
－ ／２ －２ ｋ／２ －１ １／２ １
＝（
２π） ｐ （ σ ） ｜Ｖｐ ｜ ｅｘｐ［－ ２ （
ｘｐ －
示ｔ 时刻的白噪声， αｐ 和β１ ，… ，
α１ ，… ， βｑ 表示权重系数。 ２
σ
ｑ）表示为：
ＭＡ（ ′Ｖｐ－１ （
ｕｐ ） ｘｐ －ｕｐ ）］
ｑ 对于样本余下的观察值（
ｘｐ＋１ ， ｘｔ），可 应 用 预 测
ｘｐ＋２ ，…，
Ｘｔ＝ ∑βｉεｔ－ｉ＋εｔ
ｉ＝１ 误差分解。以前ｔ－１ 个观察 值 为 条 件，第ｔ 个 观 察 值 的 概 率
ｐ）和 ＡＲＭＡ（
ＡＲ（ ｐ，ｑ）分别表示为：
ｐ）来说，只 有 最 近 ｐ 个 观
密度是服从高斯分布的。对于 ＡＲ（
ｐ
Ｘｔ＝ ∑αｉＸｔ－ｉ＋εｔ 察值会影响当前时刻的序列值，因此，当ｔ＞ｐ 时：
ｉ＝１
ｐ ｑ ｘｔ｜ｘｔ－１ ，…，
ｆＸｔ｜Ｘｔ－１ ，… ，Ｘ１ （ ｘ１ ；
θ）
Ｘｔ＝ ∑αｉＸｔ－ｉ＋ ∑βｉεｔ－ｉ＋εｔ
ｉ＝１ ｉ＝１
ｘｔ｜ｘｔ－１ ，…，
＝ｆＸｔ｜Ｘｔ－１ ，… ，Ｘｔ－ｐ （ ｘｔ－ｐ ；
θ）
注意 到 对 于 ＡＲＭＡ 模 型，当 权 重 系 数 β１ ，…，
βｑ 全 为 ０ ２
１ －（
ｘｔ－α１ｘｔ－１ －α２ｘｔ－２ － … －αｐｘｔ－ｐ ）
时，其可以被看作一个 ＡＲ 模型。因为 ＭＡ，
ＡＲ 和 ＡＲＭＡ 都 ＝ ｅｘｐ［ ］
槡２πσ２ ２σ
２

具有弱平稳性，其均值和协方 差 都 不 取 决 于ｔ，即 Ε（
Ｘｔ ）＝μ，
这样，全部样本的似然函数为：
ｏｖ（
ｃ Ｘｔ， Ｘｔ－ｕ）（
Ｘｔ＋ｋ ）＝Ε（ Ｘｔ＋ｋ －ｕ）＝γｋ ，
ｋ∈Ｚ。
ｆＸｔ，Ｘｔ－１ ，… ，Ｘ１ （ ｘｔ－１ ，…，
ｘｔ， ｘ１ ；
θ）
３ 传统的时间序列预测方法 ＝ｆＸｐ ，Ｘｐ－１ ，… ，Ｘ１ （
ｘｐ ，ｘｐ－１ ，…，ｘ１ ；
θ）×
ｔ

传统的时间序列预测方法主要是在确定时间序列参数 模 ｘｉ｜ｘｉ－１ ，…，

∏ ｆＸｉ｜Ｘｉ－１ ，… ，Ｘｉ－ｐ （ ｘｉ－ｐ ；
θ）
ｉ＝ｐ＋１

型 的 基 础 上 求 解 出 模 型 参 数 ，并 利 用 求 解 出 的 模 型 完 成 预 测 最大似然函数难以求解 时，可 以 通 过 ＥＭ 算 法 （
Ｅｘｐｅ
ｃｔａ－
工作。Ｂｏｘ 和 Ｊ
ｅｎｋ
ｉｎｓ５ 提出的“
［］
Ｂｏｘ－Ｊ
ｅｎｋ
ｉｎｓ方法”非 常 流 行。 ｔ
ｉｏｎ Ｍａｘ
ｉｍｉ
ｚａｔ
ｉｏｎ Ａｌ
ｇｏｒ
ｉｔｈｍ）求 解。ＥＭ 经 常 用 来 求 解 含 有
“
Ｂｏｘ－Ｊ
ｅｎｋ
ｉｎｓ方法”总的策略主要 包 含 ３ 步：对 于 给 定 的 时 间 隐变量的概率模型的最大似然 估 计 函 数。ＥＭ 算 法 由 Ｄｅｍｐ－
序列，首先确定适当 的 ｐ，
ｄ，ｑ 值；然 后 通 过 最 有 效 的 方 法 估 ｔ
ｓｅｒ于 １９７７ 年 提 出 ７ ，主 要 通 过 两 个 步 骤 进 行 循 环 交 替
［］

计出模型中具体的参数值；最后检验拟合模型的适当性，并 且 计算。
 第１期 杨海民，等：时间序列预测方法综述 ２３

Ｅ 步：计算期望，利用对隐变量的现有估计 值 计 算 其 最 大 传统的时间序列预 测 方 法 非 常 依 赖 参 数 模 型 的 选 择 ，能
似然估计值； 否正确选择参数模型在很大程度上决定了预测结果的准确率。
Ｍ 步：最大化在 Ｅ 步求得的最 大 似 然 估 计 值 来 计 算 参 数
４ 基于机器学习的时间序列预测方法
的值。
状态空间方程也可 以 用 来 实 现 时 间 序 列 的 预 测，其 主 要 时间序列数据预测工作本质上与机器学习方法分类中 的
通过卡尔曼滤波来进行求解。卡尔曼滤波是一种连续修正 系 回归分析之间存在着紧密的联系。经典的支持 向 量 机 ＳＶＭ、
统 的 线 性 投 影 算 法，其 进 行 时 间 序 列 预 测 通 常 是 把 回 归 模 型 贝叶斯网络 ＢＮ、矩阵分解 ＭＦ 和高斯过程 ＧＰ 在 时 间 序 列 预
表示成动态系统方程 形 式 ［６，８－９］，然 后 应 用 卡 尔 曼 滤 子 对 方 程 测方面均取得了不错的效 果。早 期 的 人 工 神 经 网 络 ＡＮＮ 也
进行处理，从而进行模型参数的估计，继而预测时间序列。 被用来获取时间序 列 中 长 期 的 趋 势。 随 着 深 度 学 习 的 崛 起，
令 ｙｔ 表示ｔ 时刻观察到的变量的一个 （
ｎ×１）向 量，
ｙｔ 的 其也可以被看作实现时间序列预测的有效工具。
ｒ×１）向 量ξｔ 来 表 示，
动态模型可以以可能 观 察 到 的 （ ξｔ 称 为 １ 基于支持向量机的时间序列预测方法
４．
状态变量。ｙｔ 的动态系统方程如下： 支持向量机（
Ｓｕｐｐｏ
ｒｔＶｅ
ｃｔｏ
ｒ Ｍａ
ｃｈｉ ＳＶＭ）是以 统 计 学
ｎｅ，
习理论为基础的机 器 学 习 方 法 ［１２－１３］，其 主 要 以 ＶＣ 维 理 论 和
ξｔ＋１ ＝Ｆξｔ＋ｖｔ＋１
′ｘｔ＋Ｈ′
ｙｔ＝Ａ 结构风险 最 小 化 原 理 为 基 础 ［１４－１５］，同 时 也 是 建 立 在 几 何 距
ξｔ＋ｗｔ
其中，
Ｆ，′，
Ａ Ｈ′分别为（
ｒ×ｒ），（
ｎ×ｐ），（ ｘｔ 是 外 生
ｎ×ｒ）矩阵， 离 ［１６］基础上的首 个 学 习 算 法。 支 持 向 量 机 坚 实 的 理 论 基 础

ｐ×１）向 量。 上 述 两 个 方 程 分 别 称 为 状 态 方
或前定变量的（ 保 证 了 其 在 解 决 小 样 本 、高 维 数 据 和 非 线 性 问 题 方 面 展 现 出

程和观察方程。 特有的优势。
Ｋｉｍ １７ 直接用支持向 量 机 来 预 测 股 票 价 格 指 数 ，并 通 过
［ ］
ｐ）的状态方程和观察方程表示如下：
ＡＲ（
ｐ 对比实验 检 验 了 该 方 法 的 可 行 性 。Ｇｅ
ｓｔｌ等 １８ 提 出 把 贝 叶
ｅ
［ ］

Ｘｔ＋１ －ｕ＝ ∑αｉ（

Ｘｔ－ｉ－ｕ）＋εｔ＋１
ｉ＝１ 斯证据框架 ［１９－２０］应 用 到 最 小 二 乘 支 持 向 量 机 ［２１－２２］来 推 断 关
Ｔ
Ｘｔ＝ｕ＋ ［
１，０，…，
０］［ Ｘｔ－１ －ｕ，…，
Ｘｔ－ｕ， Ｘｔ－ｐ＋１ －ｕ］ 于 金 融 时 间 序 列 的 数 据 的 模 型 参 数 和 相 关 的 波 动 性 ，从 而 实
为充分利用测量值 和 预 测 值，卡 尔 曼 滤 波 并 不 是 取 其 中 现时间序列的预测。该 方 法 主 要 分 为 ３ 个 推 断 步 骤，第 １ 步
一个作为输出，也不 是 简 单 地 求 平 均 值。 在 卡 尔 曼 滤 波 方 法 利用 最 小 二 乘 支 持 向 量 机 推 断 时 间 序 列 模 型 参 数 ；第 ２ 步 主
中，计算输出分为预测过程和修正过程，其假设预测过程噪 声 要负 责 推 断 与 正 则 化 和 噪 声 方 差 相 关 的 超 参 数 ；第 ３ 步 对 时
ｗ（
ｎ）～Ｎ（
０，Ｑ），测量噪声 ｖ（
ｎ）～Ｎ（
０，Ｒ）。 间 序 列 模 型 证 据 进 行 评 估 ，其 主 要 目 的 是 选 择 核 函 数 的 调 节
预测过程中的预测值为： 参数和最重要的输入集合。除 了 把 ＳＶＭ 应 用 到 金 融 时 间 序
ｘ（
ｎ｜ｎ－１）＝Ａｘ（
ｎ－１｜ｎ－１）＋Ｂｕ（
ｎ） 列预测外，Ｍｅ
ｌｌ
ｉｔ等 ２３ 还 利 用 ＳＶＭ 对 气 象 方 面 的 时 间 序 列
［ ］

最小均方误差矩阵为： 数据进行预测。
ｎ｜ｎ－１）＝ＡＰ（
Ｐ（ ＡＴ ＋Ｑ
ｎ－１｜ｎ－１） Ｔａｙ 和 Ｃａｏ 在把 ＳＶＭ 应用 到 时 间 序 列 预 测 方 面 做 了 很
修正过程中的误差增益为： 多工作。２００１ 年，他们 直 接 使 用 ＳＶＭ 来 预 测 金 融 时 间 序 列
Ｋ（
ｎ）＝Ｐ（ Ｈ Ｔ（
ｎ｜ｎ－１） ｎ）［
Ｒ（ｎ）＋ 数据，并 通 过 对 比 实 验 检 验 了 方 法 的 可 行 性 ［２４］；在 此 基 础 上，
Ｈ（
ｎ）Ｐ（ ｎ）］－１
Ｈ Ｔ（
ｎ｜ｎ－１） 他们于 ２００３ 年发 现 ＳＶＭ 预 测 性 能 的 变 化 受 到 自 由 参 数 的
修正值为： 影响，并提出一种自适应的参数选择方法，该方法主要是把 金
ｘ（ ｎ｜ｎ－１）＋Ｋ（
ｎ｜ｎ）＝Ａｘ（ ｎ）［
ｚ（ｎ）－Ｈ （
ｎ） ｎ｜ｎ－１）］
ｘ（ 融时间序列的不 稳 定 性 应 用 到 ＳＶＭ 中；同 时 通 过 实 验 证 明
最小均方误差矩阵为： 了自由参数对预测性能的影响和自适应参数选择方法对性 能
Ｐ（
ｎ｜ｎ）＝ ［
Ｉ－Ｋ（
ｎ）Ｈ（
ｎ）］
Ｐ（ｎ｜ｎ－１）］ 的提升。Ｃａｏ 于 ２００３ 年 又 提 出 把 混 合 专 家 系 统 结 构 （Ｍｉ
ｘ－
其中，
ｘ（ｎ）为状态向量，
ｕ（ｎ）为输入 向 量，
ｚ（ｎ）为 观 测 向 量，
Ａ ｕ
ｔｒｅｏ
ｆＥｘｐｅ
ｒｔｓ，ＭＥ）２５－２８ 应 用 到 ＳＶＭ 来 进 行 时 间 序 列 预
［ ］

Ｂ 是控制输入矩 阵，
是状态转移矩阵， ｘ（ｎ｜ｎ－１）为 用 ｎ 时 刻 测。该方法主要分为 ２ 个 阶 段，第 １ 阶 段 利 用 自 组 织 特 征 映
以前的数据对ｎ 时刻进行估计 的 结 果，
ｘ（ｎ｜ｎ）为 用 ｎ 时 刻 及 射（
Ｓｅｌ
ｆ－Ｏｒ
ｇａｎ
ｉｚｉ
ｎｇＦｅ
ａｔｕ
ｒ ＳＯＭ）２９ 作 为 聚 类 算 法，把
ｅ Ｍａｐ，
［ ］

ｎ 时刻以前的数据 对ｎ 时 刻 进 行 估 计 的 结 果，右 侧 公 式 为 最 输入空间划分成几个不相交的区域；第 ２ 阶段通 过 多 个 ＳＶＭ

小预测均方误差， 也就是 ＳＶＭ 专家系统对每个区域进行预测。
ｎ｜ｎ－１）＝Ｅ｛［
Ｐ（ ｘ（ ｎ｜ｎ－１）］［
ｎ）－ｘ（ ｘ（ｎ）－ｘ（
ｎ｜ｎ－ ２ 基于贝叶斯网络的时间序列预测方法
４．
Ｔ
１）］ ｝ 贝叶斯 网 络 ［３０－３２］（
Ｂａｙｅ
ｓｉａｎ Ｎｅ
ｔｗｏ
ｒ ＢＮ）本 质 上 是 一 个
ｋ，
其中，
Ｐ（ｎ｜ｎ）为修正后的 最 小 均 方 误 差 矩 阵，
Ｋ（ｎ）为 误 差 增 有向无环图，使用概 率 网 络 进 行 不 确 定 性 推 理。 这 个 有 向 无
益，
Ｈ（ｎ）为观测向量。通过卡尔曼滤波进行时 间 序 列 预 测 涉 环 图 中 的 节 点 表 示 随 机 变 量 ，节 点 之 间 的 有 向 弧 代 表 变 量 之
及到自回归模型，所以不可避免要对数据进行分布假设。 间的直接依 赖 关 系。 利 用 贝 叶 斯 网 络 进 行 时 间 序 列 预 测 工
对于求得参数后的 模 型，通 过 残 差 分 析 来 检 验 拟 合 模 型 作，主要是针对 给 定 数 据 集 学 习 出 贝 叶 斯 网 络 结 构 ［３３］，这 部
的适当性并适当改进模型。 残 差 在 数 值 上 等 于 Ｘｔ 真 实 值 与 分 工 作 是 构 建 整 个 预 测 模 型 的 基 础 ，其 目 的 就 是 找 出 一 个 最
预测值之差，由于εｔ是白噪声，合理的残差应该大致满足均值 适合数据的网络结构。
类似于为零、标准差为 １ 的正态分布 ［１０－１１］。 ｓ和 Ｇｈｏ
Ｄａ ｓｈ 在 把 ＢＮ 应 用 到 气 象 时 间 序 列 数 据 预 测 方
 ２４ 计 算 机 科 学 ２０１９ 年

面 做 了 很 多 工 作，他 们 主 要 是 把 时 空 信 息 融 入 到 现 有 网 络 结 对于过程 Ｘ１ ，
Ｘ２ ，
Ｘ３ …， ｔ∈Ｚ，其 任 意 的 有 限
Ｘｔ ∈Ｒ，
Ｘｔ，
构中。２０１１ 年，
Ｄａｓ和 Ｇｈｏ
ｓｈ 在 ＢＮ 的 基 础 上 提 出 了 一 种
３４］
［
序列都符合多元高斯分布，这 个 过 程 就 是 ＧＰ。ＧＰ 是 通 过 均
新 的 网 络 结 构，该 结 构 首 次 考 虑 了 气 候 变 量 间 的 时 空 相 互 关 值 函 数 和 协 方 差 核 函 数 对 数 据 进 行 非 参 数 形 式 的 表 示 ，其 中
系。在天气状况的预 测 过 程 中，首 先 对 气 候 变 量 间 的 时 空 关 协 方 差 核 函 数 代 表 了 数 据 之 间 的 依 赖 关 系 ，因 此 找 到 一 个 合
系 进 行 预 测，预 测 完 成 后 再 把 这 种 关 系 应 用 到 最 终 的 天 气 状 适的核是 ＧＰ 对数据进行 建 模 的 关 键 ［５４－５７］。 采 用 ＧＰ 进 行 时
况预测中。２０１７ 年，他们还提出了 基 于 语 义 贝 叶 斯 网 络 的 多 间序列预测时，通常 都 会 假 设 噪 声 服 从 高 斯 分 布。 文 献 ［
５８］
元气象时间序列 预 测 网 络 ｓ
ｅｍＢｎｅ
ｔ ，其 本 质 也 是 把 时 空 信
３５］
［
介绍 了 高 斯 过 程 卷 积 模 （
Ｇａｕｓ
ｓｉａｎ Ｐｒ
ｏｃｅ
ｓｓ Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎ Ｍｏ－
息作为领域知识具体化到语义贝叶斯网络中。 ｌ，
ｄｅ ＧＰＣＭ），其通过两个 阶 段 的 非 参 数 生 成 过 程 对 稳 定 时 间
３ 基于矩阵分解的时间序列预测方法
４． 序列进行建模，改进 了 ＧＰ 在 对 时 间 序 列 数 据 进 行 建 模 过 程
矩阵分解（Ｍａ
ｔｒｉ
ｘＦａ
ｃｔｏ
ｒｉｚ
ａｔｏｎ，ＭＦ）也 是 机 器 学 习 中 的
ｉ 中的不足。ＧＰＣＭ 是 一 个 连 续 时 间 下 的 非 参 数 窗 口 移 动 平
一项重要工 作，其 在 协 同 过 滤 ［３６－４０］、协 作 排 序 ［４１－４２］和 社 会 网 均过程，在某些条件下，其本质上是一个带有以概率形式定 义
络分析 ４３］
［
等领域都发挥了重要作用。 ＭＦ 本质就是针对原始 的非参数核 的 高 斯 过 程。ＧＰＣＭ 通 过 变 分 推 断 过 程 对 协 方
矩 阵 找 出 两 个 小 规 模 矩 阵 ，使 得 这 两 个 小 矩 阵 的 乘 积 最 大 程 差 核 进 行 封 闭 形 式 的 概 率 估 计 ，从 而 实 现 对 时 间 序 列 数 据 的
度地近似拟合原始矩阵。高维时间序列的表示可以采用矩 阵 预测。 自 动 贝 叶 斯 协 方 差 发 现 （Ａｕ
ｔｏｍａ
ｔｉｃ Ｂａｙｅ
ｓｉａｎ Ｃｏｖａ－
形式，其每一列对应的是时间点，每一行对应的是一维的时 间 ｒ
ｉａｎｃ
ｅＤｉ
ｓｃｏｖｅ
ｒ ＡＢＣＤ）对时间序列数据构建自然语言描 述，
ｙ，
序列特征。 使用带有复合协方差核函数的 ＧＰ 对 未 知 的 时 间 序 列 进 行 描
ＭＦ 在处理拥有缺失数据的时 间 序 列 数 据 预 测 中 取 得 了 述，但 利 用 单 一 的 时 间 序 列 数 据 学 习 到 的 核 对 数 据 的 描 述 往
很好的效果。网络流 量 数 据 本 质 上 是 一 个 时 间 序 列 数 据 ，其 往不够充分。 对 此，Ｈｗａｎｇ 等 ［５９］提 出 使 用 两 个 相 关 联 的 核
中存在缺失值 的 情 况 特 别 常 见。Ｚｈａｎｇ 等 于 ２００９ 年 利 用 矩 学 习 方 法 对 多 个 时 间 序 列 进 行 建 模 ，实 验 表 明 该 方 法 的 准 确
阵 分 解 对 网 络 流 量 数 据 进 行 估 计 ，提 出 一 种 新 的 稀 疏 正 则 矩 性更高。
阵分解（ ５ 基于深度学习的时间序列预测方法
［ ］
Ｓｐａ
ｒｓｉ
ｔｙＲｅｇｕ
ｌａｒ
ｉｚｅｄ Ｍａ
ｔｒｉ
ｘＦａ
ｃｔｏ
ｒｉｚ
ａｔｉ ＳＲＭＦ）４４
ｏｎ， ４．
框架，该框架是在原 有 ＭＦ 的 基 础 上 充 分 利 用 网 络 流 量 数 据 深度学习在语音识 别、计 算 机 视 觉 和 自 然 语 言 处 理 等 领
所蕴含 的 时 空 信 息，进 一 步 提 高 网 络 流 量 预 测 的 准 确 性 。 域 取 得 了 重 大 突 破，也 可 以 被 看 作 实 现 时 间 序 列 预 测 的 有 效
Ｚｈａｎｇ 等 ４５ 于 ２０１０ 年对手机无线网中的定位技术进行研究， 工具。深度学习在本 质 上 是 多 层 神 经 网 络，其 主 要 模 型 包 括
［ ］

真 实 的 手 机 轨 迹 本 质 上 也 是 一 个 时 间 序 列 数 据 ，这 些 轨 迹 数 卷积神经 网 络 （
Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌＮｅｕ
ｒａｌＮｅ
ｔｗｏ
ｒ ＣＮＮ）和 循 环
ｋ，
据具有低秩特征，从 而 选 择 ＭＦ 来 进 行 过 处 理。 在 现 有 定 位 神经网 络 （
Ｒｅｃｕ
ｒｒｅｎ
ｔ Ｎｅｕ
ｒａｌＮｅ
ｔｗｏ
ｒ ＲＮＮ）。 利 用 深 度 模
ｋｓ，
技 术 研 究 中，结 合 时 间 稳 定 性 和 数 据 低 秩 特 征 的 新 机 制 确 实 型 来 预 测 时 间 序 列 在 本 质 上 与 其 他 领 域 没 有 太 大 区 别 ，只 需
减小了定位误差。 对模型的输入和输出做好严格定义。
Ｙｕ 等 ４６ 在 ２０１６ 年的 ＮＩＰＳ 会议上提出一种时间正则 矩 文献［
６０］用带有 受 限 玻 尔 兹 曼 机 （
［ ］
Ｒｅｓ
ｔｒｉ
ｃｔｅｄＢｏ
ｌｔｚｍａｎｎ
阵分 解 （
Ｔｅｍｐｏ
ｒａｌＲｅｇｕ
ｌａｒ
ｉｚｅｄ Ｍａ
ｔｒｉ
ｘ Ｆａ
ｃｔｏ
ｒｉｚ
ａｔｏｎ，ＴＲＭＦ）
ｉ Ｍａ
ｃｈｉ
ｎｅ ＲＢＭ）的 深 度 置 信 网 （
ｓ， Ｄｅｅｐ Ｂｅ
ｌｉｅ
ｆ Ｎｅ
ｔｗｏ
ｒｋ，
ＤＢＮ）
技 术 来 处 理 高 维 时 间 序 列 的 预 测 问 题 ，其 不 仅 能 很 好 地 处 理 来处理时间序列预测问题；文献［
６１］比较了 ＤＢＮ 和集成去 噪
高维数据中 的 缺 失 数 据，还 展 现 出 了 对 噪 声 数 据 的 鲁 棒 性 。 自编码器（
Ｓｔａ
ｃｋｅｄＤｅｎｏ
ｉｓｉ
ｎｇ Ａｕ
ｔｏ－ｅｎｃ
ｏｄｅ
ｒｓ）在时间序 列 预 测
ＴＲＭＦ 使用一种新 的 正 则 化 算 子 来 表 达 时 间 序 列 数 据 在 时 ６２］用深度网络来预测室内温 度；文
问题上的性能差异；文献［
间 维 度 上 的 这 种 依 赖 性，不 同 于 以 往 的 用 基 于 图 的 正 则 化 算 ６３］用深度网络来预测交通流量。这些文献中对深度 学 习
献［
子 ４４－４５，
［ ４７］
来处理这种依赖 性 的 方 法，该 正 则 化 算 子 克 服 了 基 模型都只是简单直接的运用，没有结合时间序列数据的性 质。
于图的正则化算子不能表示时间序列数据之间负相关依赖 性 ６４－６６］对利用 深 度 学 习 来 完 成 各 种 时 间 序 列 预 测 的 问
文献［
的缺陷。另外，基于图 的 正 则 化 算 子 表 示 的 是 时 间 序 列 数 据 题做了很好的总结。
之 间 明 确 的 时 间 依 赖 关 系 ，在 实 际 应 用 中 这 些 明 确 的 依 赖 关 除了利用数据来训练新的深度学习网络结构以完成预 测
系往往不容易获取。 任务外，还可以对已有的深度学习模型进行修改，以实现预 测
４ 基于高斯过程的时间序列预测方法 目标。Ｂｏｏｖｙｋｈ 等 ６７ 对现有的深度 学 习 模 型 ＷａｖｅＮｅ
ｔ６８ 进
［ ］ ［ ］
４． ｒ
高斯过程（
Ｇａｕｓ
ｓＰｒ
ｏｃｅ
ｓ ＧＰ）最 早 于 ２０ 世 纪 ９０ 年 代 末
ｓ， 行修改，从而实现对大范围历史数据和序列之间关系的使用。
被 提 出。 在 ２００６ 年，Ｒａ
ｓｍｕｓ
ｓｅｎ 和 Ｗｉ
ｌｌ
ｉａｍｓ 在 Ｇａｕ
ｓｓｉ
ａｎ ６ 基于混合模型的时间序列预测方法
４．
ｎｇ ４８ 一书中从机器学习核方法 在利用深度学习来预测时间序列时，上述工作对深度学习
［ ］
Ｐｒ
ｏｃｅ
ｓｓｓｆｏ
ｅ ｒ Ｍａｃｈ
ｉｎｅＬｅａｒｎ
ｉ
角 度 对 高 斯 过 程 重 新 加 以 阐 述 ，并 对 回 归 和 分 类 两 类 问 题 做 模型都只是简单的直 接 应 用，没 有 结 合 时 间 序 列 数 据 的 特 点。
了系统的理论和数值实验分析。核函数的采用保证了高斯 过 在时间序列预测问题中，我们更加倾向于利用结合时间序列数
程 具 有 很 强 的 处 理 非 线 性 问 题 的 能 力 ，其 还 具 有 其 他 很 多 优 据特点的 混 合 模 型 ［６９－７４］来 完 成 预 测 工 作。 文 献 ［
６９－７１］结 合
点 ４９－５３］
［
。高斯过程 通 常 也 可 以 被 看 作 是 一 个 采 用 概 率 分 布 ＡＲＩＭＡ 模型 和 多 层 感 知 机 （Ｍｕ
ｌｔｉ
ｌａｅ
ｙｒＰｅ
ｒｃｅ
ｐｔｏｎ，ＭＬＰ）来 预
ｒ
进 行 描 述 的 正 态 随 机 过 程 ，可 以 对 复 杂 的 时 变 非 参 数 函 数 进 测时间序列数据，随着深度网络结构的发展，
ＣＮＮ 和 ＲＮＮ 的
行通用简易求解，具有很灵活的非参数性质，能够对时间序 列 混合模型也被用 来 完 成 预 测 工 作。 下 面 主 要 介 绍 文 献 ［
７２－
数据进行有效的估计。 ７４］的工作。
 第１期 杨海民，等：时间序列预测方法综述 ２５

７２］提 出 了 一 种 ＳＯＣＮＮ（
文献［ Ｓｉｇｎ
ｉｆｉ
ｃａｎｃ
ｅ－Ｏｆ
ｆｓｅ
ｔＣｏｎ－ 剧增长给传统 的 批 处 理 机 器 学 习 预 测 方 法 带 来 了 严 峻 的 挑
ｖｏ
ｌｕｔ
ｉｏｎａ
ｌＮｅｕ
ｒａｌＮｅ
ｔｗｏ
ｒｋ）模型来解 决 多 元 非 同 步 时 间 序 列 战，也严重影响了预测方法的效率，利用在线学习方法来进 行
数据的预测问题，这个模型受到标准的 ＡＲ 模型和 ＲＮＮ 中门 时间序列数据预测成为了新的趋势。相对于传统的批处理 学
机制思路的启发。门 机 制 的 原 理 可 以 用 ｆ（
ｘ）＝ｃ（
ｘ）σ（
ｘ） 习方法，在面对新样本到来时，在线学习方法不需要处理整 个
ｆ 表示输 出 函 数，
表示， ｃ 表 示 候 选 输 出，
σ是元素值在［
０，１］ 数据集，仅需要处理 这 个 新 的 样 本，大 大 提 高 了 方 法 的 效 率。
之间的矩阵， 运算为矩阵的 Ｈａｄａｍａ
ｒｄ 乘 积，即 对 应 元 素 相 目前利用在线学习对时间序列数据进行预测的相关工作还 比
乘。门机制的本质其实是对原始输出赋予不同的权重后再 输 Ａｎａｖａ等 ７５ 提出基于参数模 型 的 在 线 时 间 序 列 预 测 算
较少， ［ ］

出。文中研究 的 金 融 数 据 往 往 来 自 不 同 的 途 径 和 不 同 的 时 法 ＡＲＭＡ－ＯＮＳ，其本质主要是通过在线算法对 ＡＲ 模型参数

刻，因此这些数据是非同步的。对于这些多元非同步数 据，通 进行求解，并随新时间序列数据的到来更新模型参数的过 程，
过 增 加 一 维 时 间 间 隔 特 征 ，可 以 将 其 转 化 为 标 准 的 同 步 时 间 这样就把传统的时间序列模型和在线学习有效结合起来。
序列数据。多元时间序列 数 据 ｛ ｘ２ ，…，
ｘ１ ， ｘＴ ｝（ ｎ
ｘｔ ∈Ｒ ）展 开 ＡＲＭＡ－ＯＮＳ 算法利 用 牛 顿 法 ＯＮＳ 来 求 解 ＡＲ（
ｐ＋ｍ）
后如矩阵 Ｘｎ×Ｔ 所示： 的权重系数，此方法的主要贡献是证明了在在线学习中，可 以
ｘ１１ ｘ１２ ｘ１３ … ｘ１Ｔ 用 ＡＲ（ ｍ∈Ｚ）来 预 测 ＡＲＭＡ（
ｐ＋ｍ）（ ｐ，ｑ）。 相 对 于 ＡＲＭＡ
熿 燄
ｘ２１ ｘ２２ ｘ２３ … ｘ２Ｔ （
ｐ，ｑ）模型， ｐ＋ｍ）模 型 只 涉 及 到 权 重 系 数 α１ ，…，
ＡＲ（ αｐ＋ｍ ，
Ｘｎ×Ｔ ＝ ｘ３１ ｘ３２ ｘ３３ … ｘ３Ｔ 其求解更加 容 易。 另 外，在 线 算 法 ＡＲＭＡ－ＯＮＳ 对 时 间 序 列
   …  进 行 分 析 的 优 势 还 体 现 在 不 需 要 对 噪 声 分 布 进 行 假 设 ，而 传
燀ｘｎ１ ｘｎ２ ｘｎ３ … ｘｎＴ燅 统时间序 列 预 测 算 法 通 常 会 假 设 噪 声 服 从 高 斯 分 布 。ＡＲ－
ＳＯＣＮＮ 由两个卷 积 神 经 网 络 ＣＮＮ 构 成，分 别 是 ｏ
ｆｆｓ
ｅｔ ＭＡ－ＯＮＳ 的具体流程如算法 １ 所示。
和ｓ
ｉｇｎ
ｉｆｉ
ｃ ｅ。ｏ
ａｎｃ ｆｆｓ
ｅｔ网络负责对矩阵 Ｘｎ×Ｔ 的列向量进行处 算法 １ ＡＲＭＡ－ＯＮＳ（
ｐ，ｑ）
理，也就是在特征维度上对多元时间序列数据进行评估，其 本 １．输入：
ＡＲＭＡ 模型参数 ｐ，
ｑ；步长 η；（
ｍ＋ｐ）× （
ｍ＋ｐ）矩阵 Ａ０
质上是一个 特 征 选 择 过 程 ；而 ｓ
ｉｇｎ
ｉｆｉ
ｃ ｅ 网 络 对 矩 阵 Ｘｎ×Ｔ
ａｎｃ ２．设置 ｍ＝ｑ·ｌ ＴＬＭｍａｘ）－１）
ｏｇ１－ε（（
的行向量进行处理，其本质上类似于一个自回归 ＡＲ 过 程，主 ３．任意选择 γ１∈κ
要在时间维度上对多元时间序列进行选择。最后通过权重 向 ｆ
４．ｏ ｏ（
ｒｔ＝１ｔ Ｔ－１）ｄｏ
量与 经 过 ｏ
ｆｆｓ
ｅｔ和 ｓ
ｉｇｎ
ｉｆｉ
ｃ ｅ 处 理 过 的 数 据 的 Ｈａ－
ａｎｃ ５． 预测 Ｘｔ（ｔ ～ ｔ Ｔ
ｍ＋ｐ
γ ）＝ ∑ γｉＸｔ－ｉ＝γｔ Ｘｔ。
ｉ＝１
ｄａｍａ
ｒｄ 乘积来获得预测结果。文 中 通 过 实 验 将 ＳＯＣＮＮ 与
６． 观察 Ｘｔ 的值并计算损失ｌ
ｔ（
ｔ
γ ）。
ＣＮＮ 和 ＬＳＴＭ 做了对比，结果表明，
ＶＡＲ， ＳＯＣＮＮ 对异 步 时 Ｔ
γ ），更新
ｔ
７． ｔ＝ ｌｔ（ Ａｔ←Ａｔ－１＋ ｔ ｔ
间序 列 数 据 取 得 最 小 的 均 方 误 差 （Ｍｅ
ａｎ Ｓｑｕａ
ｒｅｄ Ｅｒ
ｒｏｒ， Ａｔ
－１
ＭＳＥ）。 ８． γｔ＋１←∏ （
γｔ－ηＡｔ · ｔ）
κ

文献［
７３］提出了一种混合模型 Ｒ２Ｎ２ （
Ｒｅｓ
ｉ ｌＲＮＮ）来
ｄｕａ ｅｎｄｆ
９． ｏｒ

对多元时间序列问题进行 预 测。Ｒ２Ｎ２ 首 先 通 过 一 个 线 性 模 下面主要以算法 １ 为例，形式化在线时间序列预测 问 题。

ｚ７６ 于 ２０１１ 年对在线学 习 做 了 定 义：在 线 学 习 是 指 在
［ ］
型 ｆ，例如 ＶＡＲ 等，对 数 据 进 行 预 测，在 此 基 础 上 通 过 ＲＮＮ Ｓｈｗａ
ｒｔ
对线性模型预测得到的残差进行预测。最终的预测结果通 过 给 定 之 前 全 部 或 者 部 分 问 题 的 正 确 答 案 ，可 能 还 有 些 额 外 信

ｆ 与 ＲＮＮ 预测的残差 相 加 获 得。 文 中 实 验 只 是 简 单 对 比 了 息的基础上，学习者对现有问题进行回答的过程，这个过程 会

Ｒ２Ｎ２ 和单一的 ＲＮＮ，
ＶＡＲ 的 效 果 差 距，证 明 了 Ｒ２Ｎ２ 能 取 一直持续下去。根据 在 线 学 习 的 定 义，在 线 时 间 序 列 预 测 的
得更好的预测效果。 主要任务就是在ｔ时 刻 对 当 前 时 刻 的 时 间 序 列 值 Ｘｔ 进 行 估
７４］提 出 一 种 新 的 深 度 学 习 框 架 ＬＳＴＮｅ
文献［ ｔ（Ｌｏｎｇ－ 计，在得到 Ｘｔ 的真实值后，根据损失对模型参数进行调整，在
ａｎｄＳｈｏ
ｒｔ－ｔ
ｅｒｍ Ｔｉｍｅ－ｓ
ｅｒｉ
ｅｓＮｅ
ｔｗｏ
ｒｋ）来解决多元时间序列 数 ｔ＋１ 时刻到来时继续进行估计并一直持续下去。 对 于 ＡＲ－
据的预测问题。ＬＳＴＮｅ
ｔ使 用 ＣＮＮ 来 提 取 数 据 间 短 期 的 依 ＭＡ－ＯＮＳ 算法，定义ｔ时刻的损失函数为：
赖关系，通过 ＲＮＮ 来发现数据长 期 的 模 式 和 趋 势，充 分 利 用 ～ ｍ＋ｐ
ｌｔ（
γｔ）＝ｌｔ（
Ｘｔ，
Ｘｔ（ Ｘｔ，（∑γｉｔＸｔ－ｉ））
γｔ））＝ｌｔ（
ｉ＝１
了 ＣＮＮ 和 ＲＮＮ 的 优 点。ＬＳＴＮｅ
ｔ由 ４ 个 单 元 构 成，即 卷 积 ～
其中， γｔ）是对 Ｘｔ 的 预 测 值，
Ｘｔ（ ｔ
γ１ ，
ｔ
γｍ＋ｐ 是ｔ 时 刻 ＡＲ
γ２ ，…，
ｔ
单元、循环单元、循环跳跃单元和自回归单元。卷积单元 和 循
ｍ＋ｐ 和ｐ 分 别 表 示 ＡＲ 和 ＡＲＭＡ 时 间 窗 的 大
的权重系数，
环单元分别 实 现 了 ＣＮＮ 和 ＲＮＮ 功 能。 循 环 跳 跃 单 元 主 要
小。为了保证预测误 差 最 小，在ｔ 时 刻，ＡＲＭＡ－ＯＮＳ 算 法 的
是 在 循 环 单 元 上 做 出 修 改 ，从 而 能 够 成 功 获 得 数 据 的 周 期 模
式。相对于一般的 ＲＮＮ，循环跳跃单元中隐含层与 一 个 周 期 优化目标函数是：
Ｔ ２
之前时刻的隐含层 建 立 联 系，而 不 是 前 一 时 刻 的 隐 含 层。 增 γｔ＝ａ
ｒ ｎ‖Ｘｔ－γ Ｘｔ‖２
ｇ ｍｉ
γ

加自回归单元主要是为了防止神经网络对输入数据尺寸变 化 ｔ．ｔ≥ｍ＋ｐ
ｓ．
不敏感而影响预测结果的精度。 向量 γｔ 表 示 ［
其中， ｔ ｔ
γ２ ，…，
γ１ ，
ｔ Ｔ
Ｘｔ 表 示 ［
γｍ＋ｐ ］ ， Ｘｔ－２，…，
Ｘｔ－１，
Ｔ
Ｘｔ－ （ｍ＋ｐ）］ 。在ｔ时刻，求解出 γｔ 并利用其对 Ｘｔ＋１ 做出预测。
５ 基于参数模型的在线时间序列预测方法
在线算法中 定 义 了 ｒ
ｅｇｒ
ｅｔ７７ 来 衡 量 在 线 优 化 算 法 的 优
［ ］

随着计算机网络技 术 的 广 泛 应 用 和 普 及，数 据 规 模 的 急 劣，其 定 量 描 述 了 在 线 算 法 在 不 同 时 刻 损 失 的 和 与 批 处 理 最

 ２６ 计 算 机 科 学 ２０１９ 年

优解获得的 损 失 之 间 的 差 异 。 一 种 好 的 在 线 算 法 需 要 保 证 ３）时间序列数 据 往 往 包 含 异 常 数 据 点，在 时 间 序 列 中，

（
ｒ
ｅｇｒ
ｅｔ与时间长度 Ｔ 之间 服 从 次 线 性 关 系，即ｌ
ｉｍｒ
ｅｇｒ
ｅｔ／Ｔ＝ 如 果 一 个 数 据 点 与 大 部 分 数 据 点 的 行 为 明 显 不 一 致 ，其 通 常
Ｔ→ ∞

０，从而可以说明在线算法与批处理算法之间获得的损失差 异 被确定为异常点。换 句 话 说，如 果 时 间 序 列 中 的 大 部 分 数 据

可以忽略。对于在线 时 间 序 列 预 测 方 法，同 样 使 用 ｒ
ｅｇｒ
ｅｔ来 是 系 统 或 者 程 序 正 常 运 行 时 产 生 的 ，那 么 异 常 点 就 是 这 些 系

评价权重系 数 求 解 算 法 的 合 理 性。 对 于 ＡＲＭＡ－ＯＮＳ 算 法， 统或者程序以不正常的方式运行产生的。研究者可以考虑 如

γ）表示，其定义如下：
用 ＲＴ （ 何 通 过 在 线 算 法 对 时 间 序 列 中 的 异 常 点 进 行 检 测 ，从 而 减 小
Ｔ Ｔ 预测方法的误差。
ＲＴ （
γ）＝ ∑ｌｔ（
γｔ）－ｍｉ
ｎ∑ｌｔ（
γ）
ｔ＝１ γ ｔ＝１ 结束语 本文首先 介 绍 了 时 间 序 列 的 概 念，然 后 阐 述 了
ＡＲＭＡ－ＯＮＳ 算 法 利 用 在 线 牛 顿 法 ＯＮＳ７８ 来 求 解 ＡＲ
［ ］
时间 序 列 数 据 的 特 点，在 此 基 础 上 分 ３ 个 方 面 介 绍 了 时 间 序
的权重系数。ＯＮＳ 基于著名的 Ｎｅｗｔ ｏｎ 离 线 优 化 方
ｏｎＲａｐｈｓ 列预测方法，包括传统的时间序列预测方法、基于机器学习 的
法，并利用了损失 函 数 的 二 阶 信 息，它 的 ｒ
ｅｇｒ
ｅｔ为 Ｏ（
ｌｏｇＴ）， 时间序列预测方法以及基于参数模型的在线时间序列预测 方
与时间长度 Ｔ 之 间 是 次 线 性 关 系。 因 此，ＡＲＭＡ－ＯＮＳ 算 法 法。时间序列数据规模的急剧增长为我们进一步的研究指 明
的权 重 系 数 调 整 策 略 即 算 法 １ 中 的 步 骤 ７ 和 步 骤 ８ 是 合 理 了 方 向，包 括 如 何 将 基 于 参 数 模 型 的 在 线 时 间 序 列 预 测 方 法
的，其中： 与 现 实 世 界 中 时 间 序 列 数 据 本 身 的 特 点 相 结 合 ，如 何 将 在 线
Ａｔ
Ｔ 时 间 序 列 预 测 方 法 与 多 元 时 间 序 列 模 型 相 结 合 ，如 何 处 理 时
∏（
ｙ）＝ａ
ｒ ｎ（
ｇ ｍｉ ｙ－ｘ）Ａｔ（
ｙ－ｘ）
κ ｘ∈κ
间序列数据中的异常点，这些都需要研究者进一步努力。
下面明确算法 １ 中 的 几 个 参 数，这 些 参 数 的 定 义 具 体 参
照文献［
７５］。向量 γｔ 的选择范围用κ 表示： 参 考 文 献
ｍ＋
κ＝ ｛
γ∈Ｒ ｐ ，
｜γｉ｜＜１，
ｍ，ｐ∈Ｎ，
ｉ∈ ［
１，ｍ＋ｐ］｝
［
１］ ＹＵＡＮＪＤ，ＷＡＮＧ Ｚ Ｈ．
Ｒｅｖ
ｉｅｗｏ
ｆＴｉｍｅＳｅ
ｒｉｅ
ｓＲｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎ
κ 中任意两个向量之间的最大距离用 Ｄ 表示：
ａｎｄ Ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ Ｔｅ
ｃｈｎ
ｉ ｓ ［
ｑｕｅ Ｊ］．Ｃｏｍｐｕ
ｔｅｒ Ｓｃ
ｉ ｅ，
ｅｎｃ ２０１５，
Ｄ＝ ｍａｘ ‖γ１ －γ２ ‖２ ≤ ２ｍａｘ‖γ‖２ ＝２ 槡（
ｍ＋ｐ） ４２（ １－７．（
３）： ｉｎＣｈ
ｉｎｅ
ｓｅ）
γ１ ，
γ２ ∈κ γ∈κ

γｔ ）‖ 的 上 确 界，
Ｇ 是损失函 数 导 数 ‖ ｌｔ （ Ｉｍ＋ｐ ，
Ａ０ ＝ε 原继东，王志海 ．时间序列的表示与分类算法综述［
Ｊ］．计 算 机 科
学，
２０１５，
４２（
３）：
１－７．
１ １
ε＝ ２ ２ ， ｎ｛
η＝ ２ ｍｉ Ｉｍ＋ｐ 表示 ｍ ＋ｐ 阶的单 位 矩 阵，
λ｝，
４ＧＤ，
η Ｄ ［
２］ ＧＡＯＪ，
ＳＵＬＴＡＮ Ｈ，
ＨＵＪ，
ｅｔａ
ｌ．Ｄｅｎｏ
ｉｓｎｇＮｏｎ
ｉ ｌｉｎｅ
ａｒＴｉｍｅＳｅ－

λ 和Ｌ 分别表示损失函数ｌｔ 的 ｅｘｐ－ｃｏｎｃ ａｖ
ｉｔｙ 常数和 Ｌ
ｉｐｓ
ｃｈｉ
ｔｚ ｒ
ｉｅｓｂｙ Ａｄａｐ
ｔｉｖｅＦ
ｉｌｔ
ｅｒｎｇａｎｄ Ｗａｖｅ
ｉ ｌｅｔＳｈｒ
ｉｎｋａｇｅ：Ａ Ｃｏｍｐａ
ｒｉ－

Ｍｍａｘ 是 ＡＲＭＡ 中噪声期望的上界。

常数， ｏｎ ［
ｓ Ｊ］．
ＩＥＥＥＳ
ｉｇｎａ
ｌＰｒ
ｏｃｅ
ｓｓｎｇＬｅ
ｉ ｔｔｅ
ｒｓ，
２０１０，
１７（
３）：
２３７－２４０．
［
３］ ＲＯＪＯ－ＡＬＶＡＲＥＺ Ｊ Ｌ，ＭＡＲＴＩＮＥＺ－ＲＡＭＯＮ Ｍ，
ＰＲＡＤＯ－
６ 进一步的研究方向 ＣＵＭＰＬＩＤＯ Ｍ，
ｅｔａ
ｌ．Ｓｕｐｐｏ
ｒｔ Ｖｅ
ｃｔｏ
ｒ Ｍｅ
ｔｈｏｄｆ
ｏｒＲｏｂｕｓ
ｔ ＡＲ－
ＭＡ Ｓｙｓ
ｔｅｍ Ｉ
ｄｅｎ
ｔｉｆ
ｉｃａ
ｔｉｏｎ ［
Ｊ］．
ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓ ｏｎ Ｓ
ｉｇｎａ
ｌ
时间序列预测方法 虽 然 经 历 了 很 长 时 间 的 发 展，但 数 据
Ｐｒ
ｏｃｅ
ｓｓｎｇ，
ｉ ２００４，
５２（
１）：
１５５－１６４．
规模的急剧增长给传统的批处理机器学习预测方法带来了 严
［
４］ ＧＲＡＮＧＥＲ Ｃ Ｗ Ｊ，ＮＥＷＢＯＬＤ Ｐ．
Ｆｏｒ
ｅｃａ
ｓｔｎｇ Ｅｃ
ｉ ｏｎｏｍｉ
ｃ Ｔｉｍｅ
峻的挑战，也严重影 响 了 预 测 方 法 的 效 率。 利 用 在 线 学 习 方
Ｓｅ
ｒｉｓ ［Ｍ］．
ｅ ｒｋ：
Ｎｅｗ Ｙｏ Ａｃａｄｅｍｉ
ｃＰｒ
ｅｓｓ，
１９８６．
法 来 进 行 时 间 序 列 数 据 预 测 成 为 新 的 趋 势 ，这 也 为 我 们 进 一
［
５］ ＢＯＸ Ｇ，
ＪＥＮＫＩＮＳ Ｇ．
Ｔｉｍｅ Ｓｅ
ｒｉｅ
ｓ Ａｎａ
ｌｙｓ
ｉｓ，
Ｆｏｒ
ｅｃａ
ｓｔｎｇ ａｎｄ
ｉ
步的研究指明了方向。
Ｃｏｎ
ｔｒｌ［Ｍ］．
ｏ Ｈｏｄｅｎ－Ｄａｙ，
ｌ １９９０．
１）将基于参数模 型 的 在 线 时 间 序 列 预 测 方 法 与 现 实 世
（ ［
６］ ＨＡＭＩＬＴＯＮＪ．
ＴｉｍｅＳｅ
ｒｉｅ
ｓＡｎａ
ｌｙｓ
ｉｓ ［Ｍ］．
Ｐｒｉ
ｎｃｅ
ｔｏｎ：
Ｐｒｉ
ｎｃｅ
ｔｏｎ
界中时间序列数据本身的特 点 相 结 合。Ａｎａｖａ 等 提 出 的 方 法 Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙＰｒ
ｅｓｓ，
１９９４．
主 要 是 针 对 传 统 的 时 间 序 列 模 型 ，往 往 忽 视 了 现 实 世 界 中 时 ［
７］ ＤＥＭＰＳＴＥＲ Ａ Ｐ，
ＬＡＩＲＤ Ｎ Ｍ，
ＲＵＢＩＮ Ｄ Ｂ．Ｍａｘ
ｉｍｕｍ Ｌ
ｉｋｅ
ｌｉ－
间 序 列 数 据 本 身 的 特 点 和 性 质 ，特 别 是 大 数 据 环 境 下 以 流 形 ｈｏｏｄｆ
ｒｏｍＩ
ｎｃｏｍｐ
ｌｅｔ
ｅＤａ
ｔａｖ
ｉａｔ
ｈｅＥＭ Ａｌ
ｇｏｒ
ｉｔｈｍ ［
Ｊ］．
Ｊｏｕｒ
ｎａｌ
式存在的时间序列数据的特点。研究者可以考虑提出一种 新 ｏ
ｆｔｈｅ Ｒｏｙａ
ｌＳｔ
ａｔｉ
ｓｔｉ
ｃａｌ Ｓｏ
ｃｉｅ
ｔｙ，Ｓｅ
ｒｉｓ Ｂ （Ｍｅ
ｅ ｔｈｏｄｏ
ｌｏｇ
ｉｃｌ），
ａ

的基于平稳稀疏 ＡＲ 模 型 的 在 线 时 间 序 列 预 测 算 法，在 现 有 １９７７，

３９（
１）：
１－３８．
［
８］ ＤＵＲＢＩＮ Ｊ，
ＫＯＯＰＭＡＮ Ｓ Ｊ．
Ｔｉｍｅ Ｓｅ
ｒｉｅ
ｓ Ａｎａ
ｌｙｓ
ｉｓ ｂｙ Ｓ
ｔａｔ
ｅ
算法 ＡＲＭＡ－ＯＮＳ 优化目标的基础上增加模型平稳 项 和 数 据
稀疏项，从而既保留现有参数模型 ＡＲ 本身的性质，又 兼 顾 时 Ｓｐａ
ｃｅ Ｍｅ
ｔｈｏｄｓ ［Ｍ］．
Ｏｘｆ
ｏｒｄ：
Ｏｘｆ
ｏｒｄ Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙＰｒ
ｅｓｓ，
２０１２．
［
９］ ＫＡＬＭＡＮ Ｒ Ｅ．
Ａ Ｎｅｗ Ａｐｐ
ｒｏａ
ｃｈｔ
ｏＬｉ
ｎｅａ
ｒＦｉ
ｌｔｅ
ｒｉｎｇａｎｄＰｒ
ｅ－
间序列数据自身的特点。
ｄ
ｉｃｔ
ｉｏｎ Ｐｒ
ｏｂｅｍｓ ［
ｌ Ｊ］．Ｊ
ｏｕｒ
ｎａｌｏ
ｆＦｌ
ｕｉｄｓ Ｅｎｇ
ｉｎｅ
ｅｒｎｇ，
ｉ １９６０，
２）将在线时间序 列 预 测 方 法 与 多 元 时 间 序 列 模 型 相 结
（
８２（
１）：
３５－４５．
合。在传统的多元统 计 分 析 中，通 常 是 以 批 处 理 的 方 法 对 多
［
１０］ＡＬＱＵＩＥＲ Ｐ，
ＬＩ Ｘ，ＷＩＮＴＥＮＢＥＲＧＥＲ Ｏ．
Ｐｒｅｄ
ｉｃｔ
ｉｏｎ ｏ
ｆ Ｔｉｍｅ
元时间序列模型的参数进行估计。这些方法包括条件似然 方
Ｓｅ
ｒｉｅ
ｓｂｙ Ｓ
ｔａｔ
ｉｓｔ
ｉｃａ
ｌ Ｌｅ
ａｒｎ
ｉｎｇ：Ｇｅｎｅ
ｒａｌ Ｌｏ
ｓｓｅ
ｓａｎｄ Ｆａ
ｓｔ Ｒａ
ｔｅｓ
法 和 确 切 似 然 方 法，这 两 种 方 法 通 常 会 假 设 噪 声 服 从 高 斯 分 ［
Ｊ］．
Ｄｅｐｅｎｄｅｎｃ
ｅ Ｍｏｄｅ
ｌｌ
ｉｎｇ，
２０１４，
１：６５－９３．
布，而在现实世界中，噪声往往不可能总是正好服从标准的 正 ［
１１］ ＫＵＺＮＥＴＳＯＶ Ｖ，ＭＯＨＲＩ Ｍ．
Ｇｅｎｅ
ｒａｌ
ｉｚａ
ｔｉｏｎ Ｂｏｕｎｄｓｆ
ｏｒ Ｔｉｍｅ
态分布。目前利用在线学习对时间序列数据进行预测的相 关 Ｓｅ
ｒｉｅ
ｓＰｒ
ｅｄｉ
ｃｔｉ
ｏｎ ｗｉ
ｔｈ Ｎｏｎ－Ｓ
ｔａｔ
ｉｏｎａ
ｒｙ Ｐｒ
ｏｃｅ
ｓｓｓ ［Ｍ ］∥ Ａｌ
ｅ ｇｏ－
工 作 还 比 较 少，研 究 者 可 以 考 虑 如 何 在 在 线 时 间 序 列 预 测 中 ｉ
ｒｔｈｍｉ
ｃ Ｌｅ
ａｒｎ
ｉｎｇ Ｔｈｅｏ
ｒｙ．Ｓｐ
ｒｉｎｇｅ
ｒＩｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌ Ｐｕｂ
ｌｉｓｈ
ｉｎｇ，
更方便地求解多元时间序列模型的参数。 ２０１４：
２６０－２７４．
 第１期 杨海民，等：时间序列预测方法综述 ２７

［
１２］ＣＲＩ
ＳＴＩＡＮＩＮＩＮ，
ＴＡＹＬＯＲＪＳ．
Ｉｎｔ
ｒｏｄｕｃ
ｔｉｏｎｔ
ｏＳｕｐｐｏ
ｒｔＶｅ
ｃｔｏ
ｒ Ｓｐ
ｒｉ ｒ，
ｎｇｅ １９８９．
Ｍａ
ｃｈｉ
ｎｅｓ ［Ｍ］．李国 正，王 猛，曾 华 军，译 ．北 京：电 子 工 业 出 版 ［
３０］ＰＥＡＲＬ Ｊ．Ｆｕｓ
ｉｏｎ，
Ｐｒｏｐａｇａ
ｔｉｏｎａｎｄ Ｓ
ｔｒｕｃ
ｔｕｒ
ｉｎｇＩ
ｎ Ｂｅ
ｌｉｅ
ｆ Ｎｅ
ｔ－
社，
２００４． ｒｋｓ ［
ｗｏ Ｊ］．
Ａｒｔ
ｉｆ
ｉｃｉ
ａｌＩ
ｎｔｅ
ｌｌ
ｉ ｅ，
ｇｅｎｃ １９８６，
２（３）：
２４１－２８８．
［
１３］ＺＨＡＮＧ Ｘ Ｇ．
Ｉｎｔ
ｒｏｄｕｃ
ｔｉｏｎｔ
ｏＳｔ
ａｔｉ
ｓｔｉ
ｃａｌＬｅ
ａｒｎ
ｉｎｇ Ｔｈｅｏ
ｒｙａｎｄ ［
３１］ＣＯＯＰＥＲ Ｇ Ｆ，ＨＥＲＳＫＯＶＩＴＳ Ｅ．Ａ Ｂａｙｅ
ｓｉａｎ Ｍｅ
ｔｈｏｄｆ
ｏｒｔ
ｈｅ
Ｓｕｐｐｏ
ｒｔ Ｖｅ
ｃｔｏ
ｒ Ｍａ
ｃｈｉ
ｎｅｓ［
Ｊ］．Ａｃ
ｔａ Ａｕ
ｔｏｍａ
ｔｉｃ
ａＳｉ
ｎｉａ，
ｃ ２０００， Ｉ
ｎｄｕｃ
ｔｉｏｎ ｏ
ｆ Ｐｒ
ｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ Ｎｅ
ｔｗｏ
ｒｋｓｆ
ｒｏｍ Ｄａ
ｔａ［
Ｊ］．Ｍａ
ｃｈｉ
ｎｅ
２６（
１）：
３２－４１．（
ｉｎＣｈ
ｉｎｅ
ｓｅ） Ｌｅ
ａｒｎ
ｉｎｇ，
２００８，
９（４）：
３０９－３４７．
张 学 工 ．关 于 统 计 学 习 理 论 与 支 持 向 量 机 ［
Ｊ］．自 动 化 学 报， ［
３２］ＺＨＡＮＧ Ｍ，
ＺＨＯＵ Ｚ．Ｍｕ
ｌｔｉ－Ｌａｂｅ
ｌＮｅｕｒ
ａｌＮｅ
ｔｗｏ
ｒｋｓ ｗｉ
ｔｈ Ａｐ－
２０００，
２６（
１）：
３２－４１． ｌ
ｐｉｃ
ａｔｉ
ｏｎｔ
ｏ Ｆｕｎｃ
ｔｉｏｎ Ｇｅｎｏｍｉ
ｃｓａｎｄ Ｔｅｘ
ｔ Ｃａ
ｔｅｇｏ
ｒｉｚ
ａｔｏｎ ［
ｉ Ｊ］．
［
１４］ＶＡＰＮＩＫ Ｖ Ｎ．
ＴｈｅＮａ
ｔｕｒ
ｅｏｆＳ
ｔａｔ
ｉｓｔ
ｉｃａ
ｌＬｅ
ａｒｎ
ｉｎｇＴｈｅｏ
ｒｙ ［Ｍ］． ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎ Ｋｎｏｗｌ
ｅｄｇｅａｎｄ Ｄａ
ｔａＥｎｇ
ｉｎｅ
ｅｒｎｇ，
ｉ ２００６，
张学工，译 ．北京：清华大学出版社，
２０００． １８（
１０）：
１３３８－１３５１．
［
１５］ＶＡＰＮＩＫ Ｖ Ｎ．
Ｓｔａ
ｔｉｓ
ｔｉｃ
ａｌＬｅ
ａｒｎ
ｉｎｇ Ｔｈｅｏ
ｒｙ ［Ｍ］．许 建 华，张 学 ［
３３］ ＭＥＺＪ，ＭＡＴＥＯＪＬ，
ＰＵＥＲＴＡＪ．
Ｌｅａ
ｒｎｉ
ｎｇＢａｙｅ
ｓｉａｎ Ｎｅ
ｔｗｏ
ｒｋｓ
工，译 ．北京：电子工业出版社，
２００４． ｂｙ Ｈｉ
ｌｌＣ
ｌｉｍｂ
ｉｎｇ：Ｅｆ
ｆｉｃ
ｉｅｎ
ｔ Ｍｅ
ｔｈｏｄｓ Ｂａ
ｓｅｄｏｎ Ｐｒ
ｏｇｒ
ｅｓｓ
ｉｖｅ Ｒｅ－
［
１６］ＣＲＩ
ＳＴＩＡＮＩＮＩ Ｎ，
ＴＡＹＬＯＲ Ｊ Ｓ．
Ａｎ Ｉ
ｎｔｒ
ｏｄｕｃ
ｔｉｏｎ ｔ
ｏ Ｓｕｐｐｏ
ｒｔ ｓ
ｔｒｉ
ｃｔｉ
ｏｎｏ
ｆｔｈｅＮｅ
ｉ ｒｈｏｏｄ ［
ｇｈｂｏ Ｊ］．
Ｄａｔ
ａ Ｍｉ
ｎｉｎｇＫｎｏｗｌ
ｅｄｇｅＤｉ
ｓ－
Ｖｅ
ｃｔｏ
ｒ Ｍａ
ｃｈｉ
ｎｅｓ［Ｍ］．
Ｃａｍｂｒ
ｉｄｇｅ：
Ｃａｍｂｒ
ｉｄｇｅＵｎ
ｉｖｅ
ｒｓｉ
ｔｙＰｒ
ｅｓｓ， ｃ
ｏｖｅ
ｒｙ，
２０１１， １－２）：
２２（ １０６－１４８．
２０００． ［
３４］ＤＡＳ Ｍ，ＧＨＯＳＨ Ｓ Ｋ．Ａ Ｐｒ
ｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ Ａｐｐ
ｒｏａ
ｃｈｆ
ｏｒ Ｗｅ
ａｔｈｅ
ｒ
［
１７］ＫＩＭ Ｋ．
Ｆｉｎａｎｃ
ｉａｌＴｉｍｅＳｅ
ｒｉｅ
ｓＦｏ
ｒｅｃ
ａｓｔ
ｉｎｇ Ｕｓ
ｉｎｇＳｕｐｐｏ
ｒｔ Ｖｅ
ｃ－ Ｆｏ
ｒｅｃ
ａｓｔ Ｕｓ
ｉｎｇ Ｓｐａ
ｔｉ ｅｍｐｏ
ｏ－ｔ ｒａｌＩ
ｎｔｅ
ｒ－ｒ
ｅｌａ
ｔｉｏｎｓｈ
ｉｐ ａｍｏｎｇ Ｃ
ｌｉ－
ｏ
ｔｒ Ｍａ
ｃｈｉ
ｎｅｓ［
Ｊ］．
Ｎｅｕｒ
ｏｃｏｍｐｕ
ｔｉｎｇ，
２００３，
５５（
１）：
３０７－３１９． ｍａ
ｔｅＶａ
ｒｉａｂ
ｌｅｓ［
Ｃ］∥Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＩ
ｎｄｕｓ
ｔｒｉ
ａｌａｎｄ
［
１８］ＧＥＳＴＥＬ Ｔ Ｖ，
ＳＵＹＫＥＮＳＪ Ａ Ｋ，
ＢＡＥＳＴＡＥＮＳ Ｄ Ｅ，
ｅｔａ
ｌ．Ｆ
ｉ－ Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎＳｙｓ
ｔ ＩＥＥＥ，
ｅｍｓ． ２０１５．
ｎａｎｃ
ｉａｌ Ｔｉｍｅ Ｓｅ
ｒｉｅ
ｓ Ｐｒ
ｅｄｉ
ｃｔｉ
ｏｎ Ｕｓ
ｉｎｇ Ｌｅ
ａｓｔ Ｓｑｕａ
ｒｅｓ Ｓｕｐｐｏ
ｒｔ ［
３５］ＤＡＳ Ｍ，
ＧＨＯＳＨ Ｓ Ｋ． ｔ：
ＳｅｍＢｎｅ Ａ Ｓｅｍａｎ
ｔｉｃＢａｙｅ
ｓｉａｎ Ｎｅ
ｔｗｏ
ｒｋ
Ｖｅ
ｃｔｏ
ｒ Ｍａ
ｃｈｉ
ｎｅｓ ｗｉ
ｔｈｉ
ｎ Ｔｈｅ Ｅｖ
ｉｄｅｎｃ
ｅ Ｆｒ ｒｋ ［
ａｍｅｗｏ Ｊ］．
ＩＥＥＥ ｆ
ｏｒ Ｍｕ
ｌｔｉ
ｖａｒ
ｉａｔ
ｅＰｒ
ｅｄｉ
ｃｔｉ
ｏｎｏ
ｆ Ｍｅ
ｔｅｏ
ｒｏｌ
ｏｇｉ
ｃａｌＴｉｍｅＳｅ
ｒｉｅ
ｓ Ｄａ
ｔａ
Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎ Ｎｅｕｒ
ａｌＮｅ ｒｋｓ，
ｔｗｏ ２００１，
１２（
４），
８０９－８２１． ［
Ｊ］．
Ｐａｔ
ｔｅｒ
ｎＲｅ
ｃｏｇｎ
ｉｔｉ
ｏｎＬｅ
ｔｔｅ
ｒｓ，
２０１７，
９３：
１９２－２０１．
［
１９］ ＭＡＣＫＡＹ ＤＪＣ．
Ｂａｙｅ
ｓｉａｎＩ
ｎｔｅ
ｒｐｏ
ｌａｔ
ｉｏｎ ［
Ｊ］．
Ｎｅｕｒ
ａｌＣｏｍｐｕ
ｔａ－ ［
３６］ＫＯＲＥＮ Ｙ，
ＢＥＬＬ Ｒ，
ＶＯＬＩＮＳＫＹ Ｃ．Ｍａ
ｔｒｉ
ｘ Ｆａ
ｃｔｏ
ｒｉｚ
ａｔｉ
ｏｎ
ｔ
ｉｏｎ，
１９９２，
４（３）：
４１５－４４７． Ｔｅ
ｃｈｎ
ｉｑｕｅ
ｓｆｏ
ｒ Ｒｅ
ｃｏｍｍｅｎｄｅ
ｒ Ｓｙｓ
ｔｅｍｓ ［
Ｊ］．Ｃｏｍｐｕ
ｔｅｒ，
２００９，
［
２０］ ＭＡＣＫＡＹ ＤＪＣ．
Ｐｒｏｂａｂ
ｌｅ Ｎｅ
ｔｗｏ
ｒｋｓａ
ｎｄＰ
ｌａｕ
ｓｉｂ
ｌｅＰｒ
ｅｄｉ
ｃｔｉ
ｏｎｓ－ ４２（
８）：
３０－３７．
Ａ Ｒｅｖ
ｉｅｗｏ
ｆＰｒ
ａｃｔ
ｉｃａ
ｌＢａｙｅ
ｓｉａｎ Ｍｅ
ｔｈｏｄｓｆ
ｏｒＳｕｐｅ
ｒｖｉ
ｓｅｄ Ｎｅｕｒ
ａｌ ［
３７］ＫＯＲＥＮ Ｋ．
Ｆａｃ
ｔｏｒ
ｉｚａ
ｔｉｏｎ Ｍｅ
ｅｔｓ Ｔｈｅ Ｎｅ
ｉ ｒｈｏｏｄ：
ｇｈｂｏ Ａ Ｍｕ
ｌｔｉ
ｆａ－
Ｎｅ ｒｋｓ ［
ｔｗｏ Ｊ］．
Ｎｅｔｗｏ
ｒｋ Ｃｏｍｐｕ
ｔａｔ
ｉｏｎｉ
ｎ Ｎｅｕｒ
ａｌＳｙｓ
ｔｅｍｓ，
１９９５， ｅ
ｃｔｅｄＣｏ
ｌｌａｂｏ
ｒａｔ
ｉｖｅＦ
ｉｌｔ
ｅｒ ｌ［
ｎｇ Ｍｏｄｅ
ｉ Ｃ］∥ＡＣＭ Ｓ
ＩＧＫＤＤＩ
ｎｔｅ
ｒ－
６（
３）：
４６９－５０５． ｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｋｎｏｗｌ
ｅｄｇｅＤｉ
ｓｃｏｖｅ
ｒｙａｎｄ Ｄａ
ｔａ Ｍｉ
ｎｉｎｇ．
［
２１］ＳＵＹＫＥＮＳＪ Ａ Ｋ，ＶＡＮＤＥＷＡＬＬＥ Ｊ．Ｌｅ
ａｓｔＳｑｕａ
ｒｅｓＳｕｐｐｏ
ｒｔ ＡＣＭ，
２００８：
４２６－４３４．
Ｖｅ
ｃｔｏ
ｒ Ｍａ
ｃｈｉ
ｎｅ Ｃ
ｌａｓ
ｓｉｆ
ｉｅｓ［
ｒ Ｊ］．Ｎｅｕｒ
ａｌ Ｐｒ
ｏｃｅ
ｓｓｎｇ Ｌｅ
ｉ ｔｔｅ
ｒｓ， ［
３８］ＳＡＬＡＫＨＵＴＤＩＮＯＶ Ｒ，ＭＮＩＨ Ａ．
Ｐｒｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ Ｍａ
ｔｒｉ
ｘＦａ
ｃｔｏ
ｒｉ－
１９９９，
９（３）：
２９３－３００． ｚ
ａｔｏｎ ［Ｃ］∥Ｉ
ｉ ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎ
［
２２］ＳＵＹＫＥＮＳＪ Ａ Ｋ．
Ｌｅａ
ｓｔＳｑｕａ
ｒｅｓＳｕｐｐｏ
ｒｔＶｅ
ｃｔｏ
ｒ Ｍａ
ｃｈｉ
ｎｅｓｆ
ｏｒ Ｐｒ
ｏｃｅ
ｓｓｎｇＳｙｓ
ｉ ｔｅｍｓ．
Ｃｕｒ
ｒａｎ Ａｓ
ｓｏｃ
ｉａｔ
ｅ ｎｃ．，
ｓＩ ２００７：
１２５７－１２６４．
Ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ ａｎｄ Ｎｏｎ
ｌｉｎｅ
ａｒ Ｍｏｄｅ
ｌｉｎｇ ［
Ｊ］．Ｎｅｕｒ
ａｌ Ｎｅ
ｔｗｏ
ｒｋ ［
３９］ＸＵ Ｍ，
ＺＨＵ Ｊ，
ＺＨＡＮＧ Ｂ．
Ｂａｙｅ
ｓｉａｎ Ｎｏｎｐａ
ｒａｍｅ
ｔｒｉ
ｃ Ｍａｘ
ｉｍｕｍ
Ｗｏ
ｒｌｄ，
２０００，
１０（
１）：
２９－４８． Ｍａ
ｒｇｉ
ｎ Ｍａ
ｔｒｉ
ｘＦａ
ｃｔｏ
ｒｉｚ
ａｔｉ
ｏｎｆ
ｏｒＣｏ
ｌｌａｂｏ
ｒａｔ
ｉｖｅＰｒ
ｅｄｉ
ｃｔｏｎ ［
ｉ Ｃ］∥
［
２３］ ＭＥＬＬＩＴ Ａ，
ＰＡＶＡＮ Ａ Ｍ，
ＢＥＮＧＨＡＮＥＭ Ｍ．Ｌｅ
ａｓｔＳｑｕａ
ｒｅｓ Ａｄｖａｎｃ
ｅｓｉ
ｎ Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎＰｒ
ｏｃｅ
ｓｓｎｇＳｙｓ
ｉ ｔｅｍｓ．
２０１２．
Ｓｕｐｐｏ
ｒｔＶｅ
ｃｔｏ
ｒ Ｍａ
ｃｈｉ
ｎｅＦｏ
ｒＳｈｏ
ｒｔ－Ｔｅ
ｒｍ Ｐｒ
ｅｄｉ
ｃｔｉ
ｏｎｏ
ｆ Ｍｅ
ｔｅｏ－ ［
４０］ＳＲＥＢＲＯ Ｎ．Ｍａｘ
ｉｍｕｍ ｍａ
ｒｇｉ
ｎ ｍａ
ｔｒｉ
ｘｆａ
ｃｔｏ
ｒｉｚ
ａｔｏｎ［
ｉ Ｊ］．
Ａｄ－
ｏ
ｒｌｏｇ
ｉｃａ
ｌ Ｔｉｍｅ Ｓｅ
ｒｉｓ［
ｅ Ｊ］．Ｔｈｅｏ
ｒｅｔ
ｉｃａ
ｌ Ａｐｐ
ｌｉｅｄ Ｃ
ｌｉｍａ
ｔｏｏｇｙ，
ｌ ｖａｎｃ
ｅｓｉ ｐｓ，
ｎ Ｎｉ ２００５，
３７（
２）：
１３２９－１３３６．
２０１３，
１１１（
１）：
２９７－３０７． ［
４１］ＢＡＬＡＫＲＩ
ＳＨＮＡＮ Ｓ，
ＣＨＯＰＲＡ Ｓ．
Ｃｏｌ
ｌａｂｏ
ｒａｔ
ｉｖｅ Ｒａ
ｎｋｎｇ［
ｉ Ｃ］∥
［
２４］ＴＡＹＦＥ Ｈ，
ＣＡＯ Ｌ．
Ａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｏ
ｆＳｕｐｐｏ
ｒｔＶｅ
ｃｔｏ
ｒＭａ
ｃｈｉ
ｎｅｓｉ
ｎ ＡＣＭ Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｗｅｂ Ｓｅ
ａｒｃｈ ａｎｄ Ｄａ
ｔａ Ｍｉ－
Ｆ
ｉｎａｎｃ
ｉａｌＴｉｍｅ Ｓｅ
ｒｉｅ
ｓ Ｆｏ
ｒｅｃ
ａｓｔ
ｉｎｇ ［
Ｊ］．Ｏｍｅｇａ，
２００１，
２９（
４）： ｎ
ｉ ＡＣＭ，
ｎｇ． ２０１２：
１４３－１５２．
３０９－３１７． ［
４２］ ＷＥＩＭＥＲ Ｍ，
ＫＡＲＡＴＺＯＧＬＯＵ Ａ，
ＬＥ Ｑ，
ｅｔａ
ｌ． ｉＲａｎｋ—
ＣｏＦ
［
２５］ＪＡＣＯＢＳ Ｒ Ａ，
ＪＯＲＤＡＮ Ｍ Ａ，ＮＯＷＬＡＮ ＳＪ，
ｅｔａ
ｌ．Ａｄａｐ
ｔｉｖｅ Ｍａｘ
ｉｍｕｍ Ｍａ
ｒｇｉ
ｎ Ｍａ
ｔｒｉ
ｘ Ｆａ
ｃｔｏ
ｒｉｚ
ａｔｉ
ｏｎｆ
ｏｒ Ｃｏ
ｌｌａｂｏ
ｒａｔ
ｉｖｅ Ｒａｎ－
Ｍｉ
ｘｔｕｒ
ｅｓｏ
ｆ Ｌｏ
ｃａｌ Ｅｘｐｅ
ｒｔｓ［
Ｊ］．Ｎｅｕｒ
ａｌ Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ，
１９９１， ｋ
ｉｎｇ ［
Ｃ］∥Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎＰｒ
ｏｃｅ
ｓｓｎｇＳｙｓ
ｉ ｔ ２００７：
ｅｍｓ． １５９３－
３（
１）：
７９－８７． １６００．
［
２６］ＪＯＲＤＡＮ Ｍ Ｉ，
ＪＡＣＯＢＳ Ｒ Ａ．Ｈｉ
ｅｒａ
ｒｃｈ
ｉｃａ
ｌ Ｍｉ
ｘｔｕｒ
ｅｓｏ
ｆＥｘｐｅ
ｒｔｓ ［
４３］ ＫＲＯＨＮ－ＧＲＩＭＢＥＲＧＨＥ Ａ，
ＤＲＵＭＯＮＤ Ｌ，
ＦＲＥＵＤＥＮＴＨＡ－
ａｎｄｔ
ｈｅＥＭ Ａｌ
ｇｏｒ
ｉｔｈｍ ［
Ｊ］．Ｎｅｕｒ
ａｌＣｏｍｐｕ
ｔａｔ
ｉｏｎ，
１９９４，
６（２）： ＬＥＲ Ｃ．Ｍｕ
ｌｔｉ－Ｒｅ
ｌａｔ
ｉｏｎａ
ｌ Ｍａ
ｔｒｉ
ｘ Ｆａ
ｃｔｏ
ｒｉｚ
ａｔｉ
ｏｎ Ｕｓ
ｉｎｇ Ｂａｙｅ
ｓｉａｎ
１８１－２１４． Ｐｅ
ｒｓｏｎａ
ｌｉｚ
ｅｄ Ｒａｎｋ
ｉｎｇｆ
ｏｒＳｏ
ｃｉａ
ｌ Ｎｅ
ｔｗｏ
ｒｋ Ｄａ
ｔａ ［Ｃ］∥Ｐｒ
ｏｃｅ
ｅ－
［
２７］ ＷＥＩＧＥＮＤ Ａ Ｓ，ＭＡＮＡＧＥＡＳ Ｍ．Ａｎａ
ｌｙｓ
ｉｓａｎｄ Ｐｒ
ｅｄｉ
ｃｔｉ
ｏｎ ｏ
ｆ ｄ
ｉｎｇｓｏ
ｆｔｈｅＦ
ｉｆｔ
ｈＩｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ ＷｅｂＳｅ
ａｒｃｈａｎｄ
Ｍｕ
ｌｔｉ－Ｓ
ｔａｔ
ｉｏｎａ
ｒｙＴｉｍｅＳｅ
ｒｉｓ［
ｅ Ｃ］∥Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅＴｈ
ｉｒｄＩ
ｎ－ ＷｅｂＤａ
ｔａ Ｍｉ
ｎｉｎｇ（ＷＳＤＭ ２０１２）．
Ｓｅａ
ｔｔｅ，ＷＡ，
ｌ ＵＳＡ，
２０１２．
ｔ
ｅｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｎｅｕｒ
ａｌＮｅ
ｔｗｏ
ｒｋｓｉ
ｎｔｈｅＣａｐ
ｉｔａ
ｌＭａ
ｒ－ ［
４４］ＺＨＡＮＧ Ｙ，
ＲＯＵＧＨＡＮ Ｍ，ＷＩＬＬＩＮＧＥＲ Ｗ，
ｅｔａ
ｌ．Ｓｐａ
ｔｉｏ－ｔ
ｅｍ－
ｋｅ
ｔｓ．
１９９５． ｒ
ｐｏａｌＣｏｍｐ
ｒｅｓ
ｓｉｖｅＳｅｎｓ
ｉｎｇａｎｄＩ
ｎｔｅ
ｒｎｅ
ｔＴｒ
ａｆｆ
ｉｃ Ｍａ
ｔｒｉ
ｃｅｓ［
Ｃ］∥
［
２８］ ＷＥＩＧＥＮＤ Ａ Ｓ，ＭＡＮＡＧＥＡＳ Ｍ，
ＳＲＩＶＡＳＴＡＶＡ Ａ Ｎ．
Ｎｏｎ
ｌｉ－ ＡＣＭ Ｓ
ｉｇｃ
ｏｍｍ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＤａ
ｔａＣｏｍｍｕｎ
ｉｃａ
ｔｉｏｎ．
２００９．
ｎｅ
ａｒＧａ
ｔｅｄ Ｅｘｐｅ
ｒｔｓｆ
ｏｒ Ｔｉｍｅ Ｓｅ
ｒｉｓ：Ｄｉ
ｅ ｓｃｏｖｅ
ｒｉｎｇ Ｒｅｇ
ｉｍｅ
ｓａｎｄ ［
４５］ＲＡＬＬＡＰＡＬＬＩＳ，
ＱＩＵ Ｌ，
ＺＨＡＮＧ Ｙ，
ｅｔａ
ｌ．Ｅｘｐ
ｌｏｉ
ｔｉｎｇ Ｔｅｍｐｏ－
Ａｖｏ
ｉｄｉ
ｎｇＯｖｅ
ｒ－ｆ
ｉｔｔ
ｉｎｇ ［
Ｊ］．
Ｉｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌＪｏｕｒ
ｎａｌｏ
ｆＮｅｕｒ
ａｌＳｙｓ－ ａ
ｒｌＳ
ｔａｂ
ｉｌｉ
ｔｙａｎｄＬｏｗ－ＲａｎｋＳ
ｔｒｕｃ
ｔｕｒ
ｅｆｏ
ｒＬｏ
ｃａｌ
ｉｚａ
ｔｉｏｎｉ
ｎ Ｍｏｂ
ｉｌｅ
ｅｍｓ，
ｔ １９９５，
６（４）：
３７３－３９９． Ｎｅ ｒｋｓ ［
ｔｗｏ Ｃ］∥Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｍｏｂ
ｉｌｅＣｏｍｐｕ
ｔｉｎｇ
［
２９］ＫＯＨＯＮＥＮ Ｔ．
Ｓｅｌ
ｆ－Ｏｒ
ｇａｎ
ｉｚａ
ｔｉｏｎａ
ｎｄＡｓ
ｓｏｃ
ｉａｔ
ｉｖｅ Ｍｅｍｏ
ｒｙ ［Ｍ ］． ａｎｄ Ｎｅ
ｔｗｏ
ｒｋｎｇ（Ｍｏｂ
ｉ ｉｃｏｍ’
１０）．
２０１０．
２８ 计 算 机 科 学 ２０１９ 年

［
４６］ＹＵ Ｈ Ｆ，
ＲＡＯ Ｎ，
ＤＨＩＬＬＯＮＩＳ．
Ｔｅｍｐｏ
ｒａｌＲｅｇｕ
ｌａｒ
ｉｚｅｄ Ｍａ
ｔｒｉ
ｘ Ｎｅｕｒ
ａｌＮｅ ｒｋｓ［
ｔｗｏ Ｄ］．
Ｂａｌ
ｔｉｍｏ
ｒｅ：
Ｕｎｉ
ｖｅｒ
ｓｉｔ
ｙｏｆＭａ
ｒｙａｎｄ，
ｌ ２０１４．
Ｆａ
ｃｔｏ
ｒｉｚ
ａｔｉ
ｏｎｆ
ｏｒＨｉ
ｇｈ－Ｄ
ｉｍｅ
ｎｓｉ
ｏｎａ
ｌＴｉｍｅＳ
ｅｒｉ
ｅｓＰｒ
ｅｄｉ
ｃｔｏｎ ［
ｉ Ｃ］∥ ［ ＺＡＭＯＲＡ－ＭＡＲＴＩＮＥＺ Ｆ，
６２］ＲＯＭＥＵ Ｐ， ＢＯＴＥＬＬＡ－ＲＯＣＡＭＯ－
ＮＩＰＳ．
２０１６． ＲＡ Ｐ，ｅ
ｔａｌ．Ｔｉｍｅ－Ｓｅ
ｒｉｅ
ｓ Ｆｏ
ｒｅｃ
ａｓｔ
ｉｎｇ ｏ
ｆＩｎｄｏｏ
ｒ Ｔｅｍｐｅ
ｒａｔ
ｕｒｅ
［
４７］ＸＩＯＮＧ Ｌ，
ＣＨＥＮ Ｘ，ＨＵＡＮＧ Ｔ Ｋ，
ｅｔａ
ｌ．Ｔｅｍｐｏ
ｒａｌＣｏ
ｌｌａｂｏ
ｒａ－ Ｕｓ
ｉ ｅ－ｔ
ｎｇＰｒ ｒａｉ
ｎｅｄ Ｄｅ
ｅｐ Ｎｅｕｒ
ａｌ Ｎｅ ｒｋｓ［Ｃ］∥Ｉ
ｔｗｏ ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ
ｔ
ｉｖｅ Ｆ
ｉｌｔ
ｅｒｉ
ｎｇ ｗｉ
ｔｈ Ｂａｙｅ
ｓｉａｎ Ｐｒ
ｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ Ｔｅｎｓ
ｏｒ Ｆａ
ｃｔｏ
ｒｉｚ
ａｔｉ
ｏｎ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ａｒ
ｔｉｆ
ｉｃｉ
ａｌ Ｎｅｕｒ
ａｌ Ｎｅ
ｔｗｏ
ｒｋｓ．Ｂｅ
ｒｌｎ：Ｓｐ
ｉ ｒｉ ｒ，
ｎｇｅ
［
Ｃ］∥ Ｓ
ｉａｍ Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｄａ
ｔａ Ｍｉ
ｎｉｎｇ（
ＳＤＭ ２０１３：
４５１－４５８．
２０１０）．
Ｃｏｕｍｂｕｓ，
ｌ Ｏｈｏ，
ｉ ＵＳＡ，
ＤＢＬＰ，
２０１０：
２１１－２２２． ［
６３］ＬＶ Ｙ，
ＤＵＡＮ Ｙ，
ＫＡＮＧ Ｗ，
ｅｔａ
ｌ．Ｔｒ
ａｆｆ
ｉｃＦ
ｌｏｗ Ｐｒ
ｅｄｉ
ｃｔｉ
ｏｎ ｗｉ
ｔｈ
［
４８］ＲＡＳＭＵＳＳＥＮ Ｃ Ｅ，ＷＩＬＬＩＡＭＳ Ｃ ＫＩ．
Ｇａｕｓ
ｓｉａｎＰｒ
ｏｃｅ
ｓｓｅ
ｓｆｏ
ｒ Ｂ
ｉｇＤａ
ｔａ：
Ａ Ｄｅ
ｅｐＬｅ
ａｒｎ
ｉｎｇＡｐｐ
ｒ ｃｈ ［
ｏａ Ｊ］．
ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎ
Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ ［Ｍ］．
Ｔｈｅ ＭＩＴ Ｐｒ
ｅｓｓ，
２００６． Ｉ
ｎｔｅ
ｌｌ
ｉｇｅｎ
ｔＴｒ
ａｎｓｐｏ
ｒｔａ
ｔｉｏｎＳｙｓ
ｔｅｍｓ，
２０１５，
１６（
２）：
８６５－８７３．
［
４９］ＡＬＥＸＥ Ｂ，
ＤＥＳＥＬＡＥＲＳ Ｔ，
ＦＥＲＲＡＲＩ Ｖ．Ｗｈａ
ｔｉｓ Ａｎ Ｏｂ
ｊｅｃ
ｔ ［
６４］ＬＡＮＧＫＶＩ
ＳＴ Ｍ，
ＫＡＲＬＳＳＯＮ Ｌ，
ＬＯＵＴＦＩＡ．
Ａ Ｒｅｖ
ｉｅｗｏ
ｆＵｎ－
［
Ｃ］∥Ｃｏｍｐｕ
ｔｅｒ Ｖｉ
ｓｉｏｎａｎｄ Ｐａ
ｔｔｅ
ｒｎ Ｒｅ
ｃｏｇｎ
ｉｔｉ ＩＥＥＥ，
ｏｎ． ２０１０： ｓｕｐｅ
ｒｖｉ
ｓｅｄＦｅ
ａｔｕｒ
ｅＬｅ
ａｒｎ
ｉｎｇａｎｄＤｅ
ｅｐＬｅ
ａｒｎ
ｉｎｇｆ
ｏｒＴｉｍｅ－Ｓｅ
ｒｉｅ
ｓ
７３－８０． Ｍｏｄｅ
ｌｉｎｇ ［
Ｊ］．
Ｐａｔ
ｔｅｒ
ｎＲｅ
ｃｏｇｎ
ｉｔｉ
ｏｎＬｅ
ｔｔｅ
ｒｓ，
２０１４，
４２（
１）：
１１－２４．
［
５０］ＥＶＥＲＩＮＧＨＡＭ Ｍ，
ＧＯＯＬ Ｌ Ｖ，ＷＩＬＬＩＡＭＳ Ｃ ＫＩ，
ｅｔａ
ｌ．Ｔｈｅ ［
６５］ＧＡＭＢＯＡＪＣ Ｂ．
ＤｅｅｐＬｅ
ａｒｎ
ｉｎｇｆ
ｏｒＴｉｍｅ－Ｓｅ
ｒｉｅ
ｓ Ａｎａ
ｌ ｓ［
Ｊ］．
ｙｓ
ｉ
Ｐａ
ｓｃｌ，
ａ Ｖｉ
ｓｕａ
ｌＯｂ
ｊｅｃ
ｔＣｌ
ａｓｓ
ｅｓ （ＶＯＣ）Ｃｈａ
ｌｌｅｎｇｅ［
Ｊ］．
Ｉｎｔ
ｅｒｎａ
ｔｉｏ－ Ａｒ
ｘｉｖ： ０１８８７，
１７０１． ２０１７．
ｎａ
ｌＪｏｕｒ
ｎａｌｏ
ｆＣｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎ，
２０１０，
８８（
２）：
３０３－３３８． ［
６６］ ＨＥＡＴＯＮ ＪＢ，
ＰＯＬＳＯＮ Ｎ Ｇ，ＷＩＴＴＥＪ Ｈ．
Ｄｅｅｐ Ｌｅ
ａｒｎ
ｉｎｇｉ
ｎ
［
５１］ＦＥＬＺＥＮＳＺＷＡＬＢＰＦ，
ＧＩＲＳＨＩＣＫＲＢ，ＭＣＡＬＬＥＳＴＥＲＤ，
ｅｔａ
ｌ． Ｆ
ｉ ｅ［
ｎａｎｃ Ｊ］．
Ａｒｘ
ｉｖ： ０６５６１，
１６０２． ２０１６．
Ｏｂ
ｊｅｃ
ｔＤｅ
ｔｅｃ
ｔｉｏｎｗｉ
ｔｈＤｉ
ｓｃｒ
ｉｍｉ
ｎａｔ
ｉｖｅ
ｌｙＴｒ
ａｉｎｅｄＰａ
ｒｔ－Ｂａ
ｓｅｄ Ｍｏｄ－ ［
６７］ＢＯＲＯＶＹＫＨ Ａ，
ＢＯＨＴＥ Ｓ，
ＯＯＳＴＥＲＬＥＥ Ｃ Ｗ．
Ｃｏｎｄ
ｉｔｉ
ｏｎａ
ｌ
ｅ
ｌｓ［
Ｊ］．
ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎＰａ
ｔｔｅ
ｒｎ Ａｎａ
ｌｙｓ
ｉｓ ＆ Ｍａ
ｃｈｉ
ｎｅＩ
ｎ－ ＴｉｍｅＳｅ
ｒｉｅ
ｓ Ｆｏ
ｒｅｃ
ａｓｔ
ｉｎｇ ｗｉ
ｔｈ Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ Ｎｅｕｒ
ａｌ Ｎｅ
ｔｗｏ
ｒｋｓ
ｅ
ｔｌｌ
ｉ ｅ，
ｇｅｎｃ ２０１０，
３２（
９）：
１６２７－１６４５． ［
Ｊ］．
Ａｒｘ
ｉｖ： ０４６９１，
１７０３． ２０１７．
［
５２］ＫＡＰＯＯＲ Ａ，
ＧＲＡＵＭＡＮ Ｋ，
ＵＲＴＡＳＵＮＲ，
ｅｔ ａ
ｌ．Ｇａｕｓ
ｓｉａｎ ［
６８］ＯＯＲＤ Ａ，
ＤＩＥＬＥＭＡＮ Ｓ，
ＺＥＮ Ｈ，
ｅｔａ ｔ：
ｌ．Ｗａｖｅｎｅ Ａ Ｇｅｎｅ
ｒａｔ
ｉｖｅ
Ｐｒ
ｏｃｅ
ｓｓｅ
ｓｆｏ
ｒＯｂ
ｊｅｃ
ｔＣａ
ｔｅｇｏ
ｒｉｚ
ａｔｏｎ［
ｉ Ｊ］．
Ｉｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌＪｏｕｒ
ｎａｌｏ
ｆ
Ｍｏｄｅ
ｌｆｏ
ｒＲａｗ Ａｕｄ
ｉｏ［
Ｊ］．
Ａｒｘ
ｉｖ： ０３４９９，
１６０９． ２０１６．
Ｃｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎ，
２０１０，
８８（
２）：
１６９－１８８． ［
６９］ＪＡＩＮ Ａ，
ＫＵＭＡＲ Ａ Ｍ．
Ｈｙｂｒ
ｉｄ Ｎｅｕｒ
ａｌ Ｎｅ
ｔｗｏ
ｒｋ Ｍｏｄｅ
ｌｓｆ
ｏｒ
［
５３］ＣＨＵＭ Ｏ，
ＺＩＳＳＥＲＭＡＮ Ａ．Ａｎ Ｅｘｅｍｐ
ｌａｒ Ｍｏｄｅ
ｌｆｏ
ｒＬｅ
ａｒｎ
ｉｎｇ
Ｈｙｄ
ｒｏｌ
ｏｇｉ
ｃＴｉｍｅＳｅ
ｒｉｅ
ｓＦｏ
ｒｅｃ
ａｓｔ
ｉｎｇ ［
Ｊ］．Ａｐｐ
ｌｉｅｄＳｏ
ｆｔＣｏｍｐｕ－
Ｏｂ
ｊｅｃ
ｔＣｌ
ａｓｓ
ｅｓ［
Ｃ］∥ＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＣｏｍｐｕ
ｔｅｒＶｉ
ｓｉｏｎａｎｄ
ｉ
ｔｎｇ，
２００７，
７（２）：
５８５－５９２．
Ｐａ
ｔｔｅ
ｒｎＲｅ
ｃｏｇｎ
ｉｔｏｎ，
ｉ ２００７（
ＣＶＰＲ’
０７）．
ＩＥＥＥ，
２００７：
１－８． ［
７０］ＺＨＡＮＧ Ｇ，
ＰＡＴＵＷＯ Ｂ Ｅ，ＨＵ Ｍ．
Ｆｏｒ
ｅｃａ
ｓｔｎｇ ｗｉ
ｉ ｔｈ Ａｒ
ｔｉｆ
ｉｃｉ
ａｌ
［
５４］ＤＩＯＳＡＮ Ｌ，
ＲＯＧＯＺＡＮ Ａ，
ＰＥＣＵＣＨＥＴ Ｊ Ｐ．
Ｅｖｏ
ｌｖｎｇ Ｋｅ
ｉ ｒｎｅ
ｌ
Ｎｅｕｒ
ａｌＮｅ ｒｋｓ：
ｔｗｏ ＴｈｅＳ
ｔａｔ
ｅｏ ｔ［
ｆＴｈｅＡｒ Ｊ］．
Ｉｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌＪｏｕｒ－
Ｆｕｎｃ
ｔｉｏｎｓｆ
ｏｒＳＶＭｓｂｙ Ｇｅｎｅ
ｔｉｃ Ｐｒ
ｏｇｒ ｎｇ ［Ｃ］∥Ｉ
ａｍｍｉ ｎｔｅ
ｒｎａ－
ｎａ
ｌｏｆＦｏ
ｒｅｃ
ａｓｔ
ｉｎｇ，
１９９８，
１４（
１）：
３５－６２．
ｉ
ｔｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇａｎｄＡｐｐ
ｌｉｃ
ａｔｉ ＩＥＥＥ，
ｏｎｓ．
［
７１］ＺＨＡＮＧ Ｇ．ＴｉｍｅＳｅ
ｒｉｅ
ｓ Ｆｏ
ｒｅｃ
ａｓｔ
ｉｎｇ Ｕｓ
ｉｎｇａ Ｈｙｂｒ
ｉｄ ＡＲＩＭＡ
２００７：
１９－２４．
ａｎｄ Ｎｅｕｒ
ａｌＮｅ
ｔｗｏ ｌ［
ｒｋ Ｍｏｄｅ Ｊ］．
Ｎｅｕｒ
ｏｃｏｍｐｕ
ｔｉｎｇ，
２００３，
５０（
１）：
［
５５］ ＷＵ Ｂ，
ＺＨＡＮＧ Ｗ，ＣＨＥＮ Ｌ，
ｅ ｌ．Ａ ＧＰ－ｂａ
ｔａ ｓｅｄ Ｋｅ
ｒｎｅ
ｌＣｏｎ－
１５９－１７５．
ｔ
ｓｒｕｃ
ｔｉｏｎａｎｄＯｐ
ｔｉｍｉ
ｚａｔ
ｉｏｎ Ｍｅ
ｔｈｏｄｆ
ｏｒＲＶＭ ［
Ｃ］∥ＴｈｅＩ
ｎｔｅ
ｒｎａ－
［
７２］ＢＩＮＫＯＷＳＫＩ Ｍ，ＭＡＲＴＩＧ，
ＤＯＮＮＡＴ Ｐ．
Ａｕｔ
ｏｒｅｇ
ｒｅｓ
ｓｉｖｅＣｏｎ－
ｔ
ｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｃｏｍｐｕ
ｔｅｒａｎｄ Ａｕ
ｔｏｍａ
ｔｉｏｎ Ｅｎｇ
ｉｎｅ
ｅｒｉ
ｎｇ．
ｖｏ
ｌｕｔ
ｉｏｎａ
ｌＮｅｕｒ
ａｌＮｅ
ｔｗｏ
ｒｋｓｆ
ｏｒＡｓ
ｙｎｃｈｒ
ｏｎｏｕｓＴｉｍｅＳｅ
ｒｉｓ［
ｅ Ｊ］．
ＩＥＥＥ，
２０１０：
４１９－４２３．
Ａｒ
ｘｉｖ： ０４１２２，
１７０３． ２０１７．
［
５６］ＫＬＥＮＳＫＥ Ｅ Ｄ，
ＺＥＩＬＩＮＧＥＲ Ｍ Ｎ，
ＳＣＨＯＬＫＯＰＦ Ｂ，
ｅｔａ
ｌ．
［
７３］ ＧＯＥＬ Ｈ，ＭＥＬＮＹＫＩ， Ｒ２Ｎ２：
ＢＡＮＥＲＪＥＥ Ａ． Ｒｅｓ
ｉｄｕａ
ｌＲｅ
ｃｕｒ－
Ｎｏｎｐａ
ｒａｍｅ
ｔｒｉ
ｃＤｙｎａｍｉ
ｃｓＥｓ
ｔｉｍａ
ｔｉｏｎｆ
ｏｒＴｉｍｅＰｅ
ｒｉｏｄ
ｉｃＳｙｓ
ｔｅｍｓ
ｅｎ
ｒ ｔＮｅｕｒ
ａｌＮｅ
ｔｗｏ
ｒｋｓｆ
ｏｒ Ｍｕ
ｌｔｉ
ｖａｒ
ｉａｔ
ｅＴｉｍｅＳｅ
ｒｉｅ
ｓＦｏ
ｒｅｃ
ａｓｔ
ｉｎｇ
［
Ｃ］∥ Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎ，Ｃｏｎ
ｔｒｌ，
ｏ ａｎｄ Ｃｏｍｐｕ
ｔｉ ＩＥＥＥ，２０１４：
ｎｇ．
［
Ｊ］．
Ａｒｘ
ｉｖ： ０３１５９，
１７０９． ２０１７．
４８６－４９３．
［
７４］ＬＡＩＧ，
ＣＨＡＮＧ Ｗ，
ＹＡＮＧ Ｙ，
ｅｔａ
ｌ．Ｍｏｄｅ
ｌｉｎｇＬｏｎｇ－ＡｎｄＳｈｏ
ｒｔ－
［
５７］ＬＬＯＹＤ Ｊ Ｒ，
ＤＵＶＥＮＡＵＤ Ｄ，
ＧＲＯＳＳＥ Ｒ，
ｅｔａ
ｌ．Ａｕ
ｔｏｍａ
ｔｉｃ
Ｔｅ
ｒｍ Ｔｅｍｐｏ
ｒａｌＰａ
ｔｔｅ
ｒｎｓ ｗｉ
ｔ ｅｐ Ｎｅｕｒ
ｈ Ｄｅ ａｌＮｅ ｒｋｓ ［
ｔｗｏ Ｊ］．Ａｒ－
Ｃｏｎｓ
ｔｒｕｃ
ｔｉｏｎａｎｄ Ｎａ
ｔｕｒ
ａｌ－Ｌａｎｇｕａｇｅ Ｄｅ
ｓｃｒ
ｉｐｔ
ｉｏｎｏ
ｆ Ｎｏｎｐａ
ｒａｍｅ－
ｘ
ｉｖ： ０７０１５，
１７０３． ２０１７．
ｒ
ｔｉｃＲｅｇ
ｒｅｓ
ｓｉｏｎ Ｍｏｄｅ
ｌｓ［
Ｃ］∥Ｔｗｅｎ
ｔ ｉ
ｙ－Ｅｇｈ
ｔｈ ＡＡＡＩＣｏｎ
ｆｅｒ
ｅｎｃ
ｅ
［
７５］ＡＮＡＶＡ Ｏ，
ＨＡＺＡＮ Ｅ，ＭＡＮＮＯＲＳ，
ｅｔａ
ｌ．Ｏｎ
ｌｉｎｅＬｅ
ａｒｎ
ｉｎｇｆ
ｏｒ
ｏｎ Ａｒ
ｔｉｆ
ｉｃｉ
ａｌＩ
ｎｔｅ
ｌｌ
ｉｇｅｎｃ
ｅ．ＡＡＡＩＰｒ
ｅｓｓ，
２０１４：
１２４２－１２５０．
［ ＴｉｍｅＳｅ
ｒｉｅ
ｓ Ｐｒ
ｅｄｉ
ｃｔｏｎ［
ｉ Ｊ］．
Ｊｏｕｒ
ｎａｌｏ
ｆ Ｍａ
ｃｈｉ
ｎｅ Ｌｅ
ａｒｎ
ｉｎｇ Ｒｅ－
５８］ＴＯＢＡＲ Ｆ，
ＢＵＩＴ Ｄ，
ＴＵＲＮＥＲ Ｒ Ｅ．
Ｌｅａ
ｒｎｉ
ｎｇＳ
ｔａｔ
ｉｏｎａ
ｒｙ Ｔｉｍｅ
ｓ
ｅａｃｈ，
ｒ ２０１３，
３０：
１７２－１８４．
Ｓｅ
ｒｉｅ
ｓ Ｕｓ
ｉｎｇ Ｇａｕｓ
ｓｉａｎ Ｐｒ
ｏｃｅ
ｓｓｅ
ｓ ｗｉ
ｔｈ Ｎｏｎｐａ
ｒａｍｅ
ｔｒｉ
ｃ Ｋｅ
ｒｎｅ
ｌｓ
［
７６］ＳＨＷＡＲＴＺＳＳ．
Ｏｎｌ
ｉｎｅＬｅ
ａｒｎ
ｉｎｇａｎｄ Ｏｎ
ｌｉｎｅＣｏｎｖｅｘ Ｏｐ
ｔｉｍｉ
ｚａ－
［
Ｃ］∥ Ａｄｖａｎｃ
ｅｓｉ
ｎ Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎ Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ Ｓｙｓ
ｔｅｍｓ２８
（
ＮＩＰＳ２０１５）．
２０１５． ｔ
ｉｏｎ ［
Ｊ］．Ｆｏｕｎｄａ
ｔｉｏｎｓａｎｄ Ｔｒ
ｅｎｄｓｉ
ｎ Ｍａ
ｃｈｉ
ｎｅ Ｌｅ
ａｒｎ
ｉｎｇ，
２０１１，

［
５９］ ＨＷＡＮＧ Ｙ，
ＴＯＮＧ Ａ，
ＣＨＯＩ Ｊ．
Ａｕｔ
ｏｍａ
ｔｉｃ Ｃｏｎｓ
ｔｒｕｃ
ｔｉｏｎ ｏ
ｆ ４（
２）：
１０７－１９４．
［
７７］ＺＩＮＫＥＶＩＣＨ Ｍ．
Ｏｎｌ
ｉｎｅＣｏｎｖｅｘ Ｐｒ
ｏｇｒ
ａｍｍｉ
ｎｇａｎｄ Ｇｅｎｅ
ｒａｌ
ｉｚｅｄ
Ｎｏｎｐａ
ｒａｍｅ
ｔｒｉ
ｃＲｅ
ｌａｔ
ｉｏｎａ
ｌＲｅｇ
ｒｅｓ
ｓｉｏｎ Ｍｏｄｅ
ｌｓｆ
ｏｒ Ｍｕ
ｌｔｉ
ｐｌｅＴｉｍｅ
Ｓｅ
ｒｉｓ［
ｅ Ｃ］∥Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ Ｃｏｎ
ｆｅ－ Ｉ
ｎｆｉ
ｎｉｔ
ｅｓｉｍａ
ｌＧｒ
ａｄｉ
ｅｎｔＡｓ
ｃ ｔ［
ｅｎ Ｃ］∥Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ Ｔｗｅｎ－

ｅｎｃ
ｒ ｅｏｎ Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ．
ＪＭＬＲ．
ｏｒｇ，
２０１６：
３０３０－３０３９． ｔ
ｉｅｔ
ｈＩｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｍａ
ｃｈｉ
ｎｅ Ｌｅ
ａｒｎ
ｉｎｇ （
ＩＣＭＬ）．
［
６０］ＫＵＲＥＭＯＴＯ Ｔ，
ＫＩＭＵＲＡ Ｓ，
ＫＯＢＡＹＡＳＨＩＫ，
ｅｔａ
ｌ．ＴｉｍｅＳｅ－ ２００３：
９２８－９３６．

ｒ
ｉｅｓＦｏ
ｒｅｃ
ａｓｔ
ｉｎｇ Ｕｓ
ｉｎｇａ Ｄｅ
ｅｐ Ｂｅ
ｌｉｅ
ｆ Ｎｅ
ｔｗｏ
ｒｋ ｗｉ
ｔｈ Ｒｅ
ｓｔｒ
ｉｃｔ
ｅｄ ［
７８］ ＨＡＺＡＮ Ｅ，ＡＧＡＲＷＡＬ Ａ，ＫＡＬＥ Ｓ．
Ｌｏｇａ
ｒｉｔ
ｈｍｉ
ｃｒｅｇ
ｒｅｔａ
ｌｇｏ－
Ｂｏ
ｌｔｚｍａｎ Ｍａ
ｃｈｉ
ｎｅｓ［
Ｊ］．Ｎｅｕｒ
ｏｃｏｍｐｕ
ｔｉｎｇ，
２０１４，
１３７（
１５）：
４７－ ｉ
ｒｔｈｍｓｆ
ｏｒｏｎ
ｌｉｎｅｃ
ｏｎｖｅｘ ｏｐ
ｔｉｍｉ
ｚａｔ
ｉｏｎ［
Ｊ］．Ｍａ
ｃｈｉ
ｎｅ Ｌｅ
ａｒｎ
ｉｎｇ，
５６． ２００７，
６９（
２－３）：
１６９－１９２．
［
６１］ＴＵＲＮＥＲＪＴ．
ＴｉｍｅＳｅ
ｒｉｅ
ｓＡｎａ
ｌｙｓ
ｉｓ Ｕｓ
ｉｎｇ Ｄｅ
ｅｐＦｅ
ｅｄＦｏ
ｒｗａ
ｒｄ