第 ４０ 卷 　 第 ４ 期 计 　　 算 　　 机 　　 学 　　 报 Ｖｏ

ｌ．４０ Ｎｏ．４
２０１７ 年 ４ 月 ＣＨＩＮＥＳＥ　
ＪＯＵＲＮＡＬ　 ＯＦ　ＣＯＭＰＵＴＥＲＳ Ａｐｒ．２０１７
　

文本蕴含关系识别与知识获取研究进展及展望
郭茂盛 　 张 宇　刘 挺
（哈尔滨工业大学计算机科学与技术学院社会计算与信息检索研究中心 　 哈尔滨 　１５０００１）

摘 　 要 　 文本蕴含关系是广泛分布于自然语言文本中的单向推理关系，文本蕴含相 关 研 究 是 自 然 语 言 处 理 领 域 的
一项基础性研究，它可以辅助其他自然语言处理任务的进行，并且具有丰富的应 用 场 景 ．文 中 首 先 界 定 了 文 本 蕴 含
研究的范畴 ．作为一种二元关系，文本蕴含有 ３ 个基本研究任务———关系识 别、知 识 获 取 和 蕴 含 对 生 成 ．其 中，关 系
识别有两个核心问题———语义表示与推理机制；知 识 获 取 也 有 两 个 核 心 问 题———知 识 表 示 与 知 识 来 源；蕴 含 对 生
成研究进展比较缓慢，文中细致地分析了其内因和外 因 ．文 中 围 绕 语 义 表 示 与 推 理 机 制 这 两 个 核 心 问 题 梳 理 了 关
系识别的研究进展，围绕知识表示与知识来源梳理了 知 识 获 取 的 研 究 进 展，并 指 出 了 各 类 方 法 的 可 取 之 处 与 不 足
之处 ．文本蕴含研究的进展离不开相关国际评测，文中也对这些国际评测和数据 集 进 行 了 归 纳 总 结 ．大 数 据 时 代 的
到来和深度学习理论的不断发展，为文本蕴含相关研 究 提 供 了 丰 富 的 知 识 来 源 和 有 力 的 研 究 工 具 ，同 时 也 带 来 了
许多崭新的研究课题 ．文中立足当前研究形势，展望了未来研究方向，并从理论上探讨了其可行性 ．

关键词 　 文本蕴含；知识获取；自然语言理解；自然语言处理；人工智能
中图法分类号 ＴＰ１８　　　ＤＯＩ号 １０．
１１８９７／ＳＰ．
Ｊ．１０１６．
２０１７．
００８８９

Ｒｅ
ｓｅａ
ｒｃｈ　
Ａｄｖａｎｃ
ｅｓａｎｄ　
　 Ｐｒｏｓｐｅ
ｃｔ　ｏ
ｆ　Ｒｅｃｏ
ｇｎｉｚｉｎｇ　
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ
ａｎｄ　Ｋｎｏｗｌｅｄｇｅ　
Ａｃｑｕｉｓ
ｉｔｉ
ｏｎ

ＧＵＯ　
Ｍａｏ－Ｓｈｅｎｇ　ＺＨＡＮＧ　
Ｙｕ　ＬＩＵ　
Ｔｉｎｇ
（
Ｒｅｓ
ｅａｒ
ｃｈ　
Ｃｅｎ
ｔｅｒ　
ｆｏ Ｓｏ
ｒ　 ｃ
ｉａｌ　
Ｃｏｍｐｕ
ｔｉｎｇ　
ａｎｄ　
Ｉｎｆｏ
ｒｍａ
ｔｉｏｎ　
Ｒｅｔ
ｒｉ ｌ，Ｓｃｈｏｏ
ｅｖａ ｌ　ｏｆ　
Ｃｏｍｐｕ
ｔｅｒ　
Ｓｃｉ
ｅｎｃ
ｅ　ａｎｄ　
Ｔｅｃｈｎｏ
ｌｏｇｙ，
Ｈａｒ
ｂｉｎ　
Ｉｎｓ
ｔｉｔ
ｕｔｅ　
ｏｆ　
Ｔｅｃｈｎｏ
ｌｏｇｙ，Ｈａｒ
ｂｉｎ　１５０００１）

Ａｂ
ｓｔｒ
ａｃｔ　 Ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ ｔ，ａ
ｌｍｅｎ ｓ　ａ　
ｄｉｒ
ｅｃｔ
ｉｏｎａ
ｌ　ｓ
ｅｍａｎ
ｔｉｃ
　ｒｅ
ａｓｏｎ
ｉｎｇ　
ｒｅｌ
ａｔｏｎ，ｉ
ｉ ｓ　ｗｉ
ｄｅｌ
ｙ　ｄ
ｉｓｔ
ｒｉｂｕ
ｔｅｄ
ｉ ｎａ
ｎ　 ｔｕｒａ
ｌ　ｌ
ａｎｇｕａｇｅ　ｔ
ｅｘｔｓ．Ｒｅｓ
ｅａｒ
ｃｈ　ｏｎ
　ｔｅｘ
ｔｕａ ｌ
　ｅｎｔ
ａｉｌｍｅｎｔ
　ｉｓａ
　　ｆｕｎｄａｍｅｎｔ
ａｌｓ
　ｔｕｄｙｉ
　ｎ　ｔｈｅ
　 ｆ
ｉｅｌ
ｄ　ｏｆ
ｎａｔｕｒ
ａｌｌ
　ａｎｇｕａｇｅ　ｐｒ
ｏｃｅｓ
ｓｉｎｇ．Ｗｉｔｈ　
ｖａｒ
ｉｏｕｓ　ａｐｐｌ
ｉｃａ
ｔｉｏｎｓ，ｉｔ
　ｉｓ　ｈｅｌ
ｐｆｕｌ
　ｔｏ　
ｏｔｈｅｒ　
ｎａｔｕｒ
ａｌ　ｌａｎｇｕａｇｅ
ｐｒｏｃ
ｅｓｓｉ
ｎｇ　ｔａ
ｓｋｓ．Ｔｈ ｉ
ｓ　ｐａｐｅｒ　ｃ
ｌａｒｉ
ｆｉｅｓ
　ｔｈｅ　ｓｃｏｐｅ　ｏｆ　ｔｅｘｔ
ｕａｌ　ｅｎｔａ
ｉｌｍｅｎｔ
　ａｔ
　ｆｉ
ｒｓｔ．Ａｓ 　ａ　ｂｉ
ｎａ ｒ
ｙ
ｒｅ
ｌａｔ
ｉｏｎｓｈｉ ，
ｐ ｔ ｅｘ
ｔｕａ
ｌ　ｅｎｔ
ａｉｌｍｅｎｔ　ｈａｓ　ｔｈｒ
ｅｅ　ｂａｓｉｃ　ｒ
ｅｓ ｅ
ａｒｃｈ　ｔ
ａ ，
ｓｋｓ ｔｈａｔ
　ｉ ，
ｓ ｒｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔｅｘｔｕａｌ
ｅｎｔａ
ｉｌｍｅｎｔ，ｋｎｏｗｌｅｄｇｅａ
　ｃｑｕｉ
ｓｉｔ
ｉｏｎ　ａｎｄ　ｇｅｎｅ
ｒａｔ
ｉ ｅｎ
ｎｇ　 ｔａ
ｉｌｍｅｎｔｐａ
　 ｉ
ｒｓ．Ｔｈｅ ｒｅａ
　ｒｅ
　ｔｗｏ　ｋｅｙ　ｐｒｏｂｌ
ｅｍｓ
ｉ ｒ
ｎ　ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔｅｘｔｕａ
ｌ　ｅｎｔ
ａｉｌｍｅｎｔ， ｔｈａ
ｔ　ｉｓ，ｓｅｍａｎｔ
ｉｃ ｒ
ｅ
　 ｐｒｅ
ｓｅｎｔａ
ｔｉｏｎ ａｎ
　 　ｄ ｒ
ｅａｓｏｎ
ｉｎｇ　ｍ ｅ
ｃ ｈａｎ
ｉｓｍ．
Ｔｈｅ
ｒｅａ
　ｒｅ
　ａｌ
ｓｏｔｗｏ　
　 ｋｅｙ　
ｐｒｏｂ
ｌｅｍｓ
　ｉｎ　
ｋｎｏｗｌ
ｅｄｇｅ
　ａｃｑｕ
ｉｓｉ
ｔｉｏｎ，ｔ
ｈａｔ
　ｉｓ，ｋｎｏｗｌ
ｅｄｇｅ
　ｒｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ　
ａｎｄ
ｋｎｏｗｌ
ｅｄｇｅ
　ｓｏｕ
ｒｃｅ．Ｔｈ
ｉｓ　
ｐａｐｅ
ｒ　ｍａｋｅ
ｓ　ａ　
ｄｅｔ
ａｉｌ
ｅｄ　
ａｎａ
ｌｙｓ
ｉｓ　
ｏｎｔ
　ｈｅ
　ｉｎ
ｔｅｒ
ｎａｌ
　ａｎｄ　
ｅｘｔ
ｅｒｎａ
ｌｆ
　ａｃ
ｔｏｒ
ｓ　ｌ
ｅａｄ
ｉｎｇ
　ｔｏ
ｔ
ｈｅｓ
　ｌｏｗ　ｐｒ
ｏｃｅ
ｓｓ　ｏ
ｆ　ｒ
ｅｓｅ
ａｒｃｈ　ｏｎ　ｇｅｎｅ
ｒａｔ
ｉｎｇ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｐａ
ｉｒｓ．Ｔｈ
ｉｓ　
ｐａｐｅ
ｒ　ｆ
ｏｃｕｓ
ｅｓ　ｏｎ
　ｔｈｅ
ｓｅ　ｋｅｙ
ｐｒ
ｏｂｌ
ｅｍｓ　
ｗｈｉ
ｌｅｅｘｐｏｕｎｄ
　 ｉｎｇ　
ｍｅｔ
ｈｏｄｓ
　ｏｆ
　ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ａｎｄ　
ｋｎｏｗｌ
ｅｄｇｅ
　ａｃｑｕ
ｉｓｉ
ｔｉｏｎ．
Ｔｈ
ｉｓ　
ｐａｐｅ
ｒ　ｐｏ
ｉｎｔ
ｓ　ｏｕ
ｔ　ｔ
ｈｅ　
ｐｒｏｓ
　ａｎｄ　
ｃｏｎｓ
　ｏｆ
　ｅａ
ｃｈ　
ｍｅｔ
ｈｏｄ
　ｔｈｅｎ．Ｔｈｅ　
ｄｅｖｅ
ｌｏｐｍｅｎ
ｔ　ｏ
ｆ　ｒ
ｅｓｅ
ａｒｃｈ　
ｏｎ
ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｉ
ｓ　ｉ
ｎｓｅｐａ
ｒａｂ
ｌｅ　
ｗｉｔ
ｈ　ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　ｅｖａ
ｌｕａ
ｔｉｏｎ　
ｅｘｅ
ｒｃｉ
ｓｅｓ．Ｔｈ
ｉｓ　
ｐａｐｅ
ｒ　ｓｕｍｍａ
ｒｉｚ
ｅｓ
ｔ
ｈｅ　
ｄａｔ
ａｓｅ
ｔｓｆ
　ｒｏｍ　
ｔｈｅ
ｓｅｅｖａ
　 ｌｕａ
ｔｉｏｎ　
ｅｘｅ
ｒｃｉ
ｓｅｓ．Ｔｈｅ
　ａｒ
ｒｉｖａ
ｌ　ｏ
ｆ　ｔ
ｈｅ　
ｂｉ ｄａ
ｇ　 ｔ
ａ　ｅ
ｒａａｎｄ
　 　ｔｈｅ　
ｄｅｖｅ
ｌｏｐｍｅｎ
ｔ

收稿日期：
２０１６－０４－２１；在线出版日期：
２０１６－１０－１１．本课题得到国家自 然 科 学 基 金（ ６１４７２１０７）、国 家“八 六 三”高 技 术 研 究 发 展
６１４７２１０５，
２０１５ＡＡ０１５４０７）资 助 ．郭 茂 盛，男，
计划项目 基 金 （ １９９１ 年 生，博 士 研 究 生，中 国 计 算 机 学 会 （
ＣＣＦ）会 员，主 要 研 究 方 向 为 文 本 蕴 含 ．
Ｅ－ｍａ
ｉｌ：ｍｓ
ｇｕｏ＠ｉ
ｒ．ｈ
ｉｔ． ｃｎ．张 　 宇，男，
ｅｄｕ． １９７２ 年生，博士，教授，硕士生导 师，中 国 计 算 机 学 会 （
ＣＣＦ）会 员，主 要 研 究 领 域 为 个 性 化 信
息检索、问答 ．刘 　 挺（通信作者），男， １９７２ 年生，博士，教授，博士生 导 师，中 国 计 算 机 学 会（
ＣＣＦ）会 员，主 要 研 究 领 域 为 社 会 计 算、信 息
检索、自然语言处理 ．
Ｅ－ｍａ
ｉｌ：ｔ
ｌｉｕ＠ｉ
ｒ．ｈ
ｉｔ．
ｅｄｕ．
ｃｎ．
 ８９０ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

ｏ
ｆ　ｄｅ
ｅｐｌ
　ｅａ
ｒｎｉ
ｎｇｔ
　ｈｅｏ
ｒ ｂｒ
ｙ　 ｉ
ｎｇ　
ａ　ｎｅｗ　
ｒｉｃｈ　
ｓｏｕｒ
ｃｅ　
ｏｆｋｎｏｗｌ
　 ｅｄｇｅ
　ａｎｄ　
ｐｏｗｅ
ｒｆｕ
ｌ　ｔ
ｏｏｓ，ａ
ｌ ｓ　ｗｅ
ｌｌａ
　ｓ　
ｎｏｖｅ
ｌ
ｒ
ｅｓｅ
ａｒｃｈ
　ｔｏｐ
ｉｃｓ．Ｔｈｅ
　ｆｕ
ｔｕｒ
ｅ　ｒ
ｅｓｅ
ａｒｃｈ　ｄ
ｉｒｅ
ｃｔｉ
ｏｎｓ
　ａｅ　ｐｏ
ｒ ｉｎｔ
ｅｄ　ｏｕ
ｔ　ａｎｄ
　ｔｈｅ
ｉｒ　ｆ
ｅａｓ
ｉｂｉ
ｌｉ
ｔｙ　ｉ
ｓ　ａ
ｌｓｏ
ｄ
ｉｓｃｕｓ
ｓｅｄ　
ｕｎｄｅ
ｒ　ｔ
ｈｅｃｕｒ
　 ｒｅｎ
ｔ　ｒ
ｅｓｅ
ａｒｃｈ　
ｓｉｔ
ｕａｔ
ｉｏｎ．

Ｋｅｙｗｏｒｄｓ　 ｔｅｘ
ｔｕａｌｅｎ
　 ｔａｉ
ｌｍｅｎ ｔ；ｋｎｏｗｌｅｄｇｅａ
　ｃｑｕ
ｉｓｉ
ｔｉｏｎ；ｎａ
ｔｕｒ
ａｌｌ
　ａｎｇｕａｇｅ　
ｕｎｄｅ
ｒｓｔ
ａｎｄ
ｉｎｇ；ｎａ
ｔｕｒ
ａｌ
ｌ
ａｎｇｕａｇｅ　ｐｒ
ｏｃｅｓｓｉ ；
ｎｇ ａ ｒ
ｔｉｆ
ｉｃｉ
ａｌ　ｉ
ｎｔｅ
ｌｌｉ
ｇｅｎｃｅ

在多 文 档 文 摘 任 务 中，候 选 文 摘 中 句 子 间 的 蕴
１　 引 　 言 含关系一 定 程 度 上 指 示 了 它 们 之 间 的 语 义 包 含 关
系，因此可以使用文本蕴含技术来辅助精简文本 ［７］．
１　 文本蕴含的研究背景
１． 在机 器 翻 译 评 价 领 域，文 本 蕴 含 技 术 也 有 一 席
随 着 自 然 语 言 处 理 （Ｎａ
ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ　Ｐｒ
ｏ－ 之地 ．在理想情况下，正确的机器译文应当和人工标
ｃ
ｅｓｓ
ｉ ＮＬＰ）领域研 究 的 不 断 深 入，如 何 让 机 器 能
ｎｇ， 注的标准答案具有 相 同 的 语 义，因 而 双 方 彼 此 可 由
够真正地理解自然 语 言，而 不 是 仅 仅 简 单 地 处 理 语 对方文本推理得出，所 以 可 以 利 用 机 器 译 文 和 标 准
句的表层信息，渐渐成为了许多学者面临的问题 ．实 译文的互相蕴含程度来对机器翻译系统的性能进行
现对文本深层次理 解，是 自 然 语 言 处 理 研 究 最 主 要 Ｐａｄó 等人 ８ 据此建立了基于文本蕴含 技 术 的
评估 ． ［］

也是最重要的目的 之 一 ．如 果 将 其 比 作 是 自 然 语 言 机器翻译自动评价系统 ．
处理研究领域的一 顶 皇 冠 的 话，那 么 基 于 自 然 语 言 类似地，在学生作业评分任务 ［９］中，学生的作答
的语义推理无疑是 这 顶 皇 冠 上 最 璀 璨 的 一 颗 明 珠 ． 与标准答案之间的蕴含关系也可以指示学生答案的
因为在获取了文本 的 语 义 后，一 旦 获 得 了 它 们 之 间 完善程度 ．Ｎｉ
ｅｌｅｎ 等 人 １０ 据 此 利 用 文 本 蕴 含 技 术
ｓ
［ ］

的推理关系，这些文本便不再互相孤立，而是彼此联 建立了一套学生作业评分系统 ．
系起来，构成一张语义推理网络，从而促使机器能够 在句法分析结果评价领域中文本蕴含技术也有
真正理解并应用文本的语义信息 ． 用武之地 ．由于错误 的 句 法 分 析 结 果 会 导 致 蕴 含 关
文本 间 的 推 理 关 系，又 称 为 文 本 蕴 含 关 系 ［
１］
系判定失败，因此可 以 使 用 基 于 句 法 特 征 的 文 本 蕴
（
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ ｔ，下 一 节 将 给 出 详 细 定 义 ），作
ｌｍｅｎ 含识别系统对其进行反向评价 ［１１］．
为一种基本的文本 间 语 义 联 系，广 泛 存 在 于 自 然 语 同时，在人们的日常生活中，近年来出现了不少
言文本中 ．很多自然 语 言 处 理 任 务 或 多 或 少 地 都 需 所谓的“个人 智 能 助 理”，例 如 Ａｐｐｌ
ｅ　ｎｃ．的 Ｓ
Ｉ ｉ
ｒｉ语
要面对包含蕴含关 系 的 文 本，如 果 有 一 种 技 术 能 够 音助手，Ｍｉ
ｃｒｏｓｏ
ｆｔ的小娜（ Ｃｏｒ
ｔａｎａ）个 人 助 理 等 ．她
识别其中的蕴含关 系，那 这 种 技 术 就 能 够 为 这 些 任 们能够聆听并“理解”用 户 的 一 些 简 单 命 令，帮 助 用
务提供助力 ．因此，文本蕴含相关研究是自然语言处 户处理一些日常生 活 的 简 单 任 务，从 而 提 高 了 用 户
理领域的一项基础性工作 ． 的工作效率，也 增 加 了 这 些 智 能 设 备 的 可 玩 性 ．但
例如，在 问 答 系 统 中，若 提 问 “谁 是 网 易 公 司 的 是，当前的个人智能 助 理 并 不 能 很 好 地 处 理 用 户 的
创始人？”，而语料 库 中 恰 恰 有 诸 如 “丁 磊 于 １９９７ 年 复杂需求，也不能在 回 答 用 户 问 题 时 有 效 地 举 一 反
５ 月创立了 网 易 公 司 ．”这 样 的 句 子，如 果 问 答 系 统 三 ．其技术瓶颈在于 当 前 技 术 不 能 有 效 地 理 解 用 户
能够由此 推 理 得 出 “丁 磊 是 网 易 公 司 的 创 始 人 ”的 的语义并进行推理，这 与 目 前 文 本 蕴 含 相 关 技 术 尚
话，就可以直接对 这 样 的 问 题 进 行 作 答 ．事 实 上，问 未达到成熟商用的水平有关 ．因此，研究文本蕴含相
题与候选答案、候选 答 案 与 支 持 文 档 之 间 一 般 都 存 关技术是日常生活应用的迫切需要 ．
在推理蕴含关系 ．有些问答系统 ［
便利用文本蕴含
２－５］
文本蕴含相关研究的终极目标就是提供一个一
技术来生成候选答 案，或 对 用 其 他 方 法 生 成 的 候 选 般意义上基于文本的推理引擎来支撑其他语义相关
答案进行筛选排序 ．实验 ［
５］
表明，应用文本蕴含技术 的自然语言处理任务以及日常应用 ．
能够把回答正确率提高 ２０％ 左右 ． ２　 文本蕴含的研究范畴
１．
在关 系 抽 取 领 域 中，
Ｒｏｍａｎｏ 等 人
［
使用文本
６］
１．
２．１　 文本蕴含关系的定义
蕴含技术扩展了抽 取 所 用 的 模 板，极 大 地 丰 富 了 目 文本蕴含的概 念 由 Ｄａｇａｎ 等 人 ［１］于 ２００４ 年 首
标关系的表现形式，从而提升了抽取的召回率 ． 次提出，其定义如下 ．
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ８９１

定义 １．　 文 本 蕴 含 定 义 为 一 对 文 本 之 间 的 有 似度量进行考察，两句的文本相似度也较高 ．但是它

向推理关系，其中蕴含前件记作 Ｔ（ ｔ），蕴含后件
Ｔｅｘ 们并不构成蕴含关系，因 为“斑 马”和 “野 马”并 不 构
记作 Ｈ（Ｈｙｐｏ
ｔｈｅ
ｓｉｓ）．如 果 人 们 依 据 自 己 的 常 识 认 语义上的包含关系，从而 Ｔ５ 的语义并不能由 Ｔ４ 推
为 Ｈ 的语义能够由 Ｔ 的语义推理得出的话，那么称 理得出 ．事实上，文本相似度常常用作识别蕴含关系
Ｔ 蕴含 Ｈ，记作 ＴＨ
［
１］
． 的重要 特 征 ［１３－１６］，但 是 相 似 的 文 本 未 必 构 成 蕴 含
关系 ．
Ｔ１：丁磊 １９９７ 年 ５ 月创立网易公司 ．
最后，文 本 蕴 含 关 系 并 不 是 严 格 数 学 意 义 上 的
Ｈ１：丁磊是网易公司的创办人 ．
逻辑推理（
Ｌｏｇ
ｉｃａ
ｌ　Ｉ
ｎｆｅ
ｒ ｅ）关系 ．从文本蕴含的定
ｅｎｃ
Ｔ２：丁磊 １９９７ 年 ５ 月创立网易公司 ．
义可以看出，判 别 Ｔ－Ｈ 间 是 否 构 成 文 本 蕴 含 关 系，
Ｈ２：丁磊不是网易公司的创办人 ．
关键在于一般人类读到 Ｔ 之后，能否以 Ｔ 所包含的
Ｔ３：丁磊 １９９７ 年 ５ 月创立网易公司 ．
语义命题为依据，结 合 自 身 知 识，判 断 Ｈ 的 语 义 命
Ｈ３：丁磊是个中国人 ．
题的真伪 ．尽管有 些 识 别 文 本 蕴 含 关 系 的 方 法 ［１７－２２］
举例 来 说，Ｔ１－Ｈ１ 符 合 前 述 文 本 蕴 含 的 定 义， 借鉴了逻辑推理的 基 本 思 想，但 文 本 蕴 含 关 系 并 不
它们 的 关 系 称 为 阳 性 蕴 含 关 系 （
Ｐｏｓ
ｉｔｉ
ｖｅ　Ｔｅｘ
ｔｕａ
ｌ 严格遵守数学逻辑 推 理 原 则，其 判 别 过 程 也 与 数 学
Ｅｎ
ｔａｉ ｔ）．在不 引 起 歧 义 的 情 况 下，可 以 将 阳 性
ｌｍｅｎ 逻辑推理过程不同 ．
蕴含关系 简 称 为 蕴 含 关 系；对 于 Ｔ２－Ｈ２，人 们 获 知 综上，学 者 站 在 不 同 的 角 度 去 考 察 文 本 的 相 关
Ｔ２ 的 语 义 之 后，可 以 推 理 得 出 Ｈ２ 这 个 命 题 为 假， 属性，就得出了不 同 的 文 本 间 关 系，它 们 既 有 区 别，
它们构成 了 矛 盾 关 系 （ Ｃｏｎｔ
ｒａｄｉ
ｃｔｏｎ），又 称 阴 性 蕴
ｉ 也互相联系，具体如表 １ 所示 ．
含 关 系 （Ｎｅｇａ
ｔｉｖｅ　Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ ｔ）；对 于 Ｔ３－
ｌｍｅｎ 表 １　 常见文本间关系对比
Ｈ３，人们在 获 知 Ｔ３ 的 语 义 后，并 不 能 以 此 为 据 判 文本间关系 特点 示例
定命题 Ｈ３ 的真假，因此，它们所构成的关系称为未 １）侧 重 于 文 本 语 义 间 的 包 含 或 推 丁 磊 １９９７ 年 创 办
（
理属性； 网易公司 ．
文本蕴含
知蕴含关系（ Ｕｎｋｎｏｗｎ　
Ｅｎｔ
ａｉ ｔ），又 称 中 性 关 系
ｌｍｅｎ ２）具有方向性；
（ 丁磊 是 网 易 公 司
３）以人类常识作为推理依据 ．
（ 的创办人 ．
（
Ｎｅｕ
ｔｒｌ）．
ａ １）侧重于 文 本 间 的 字 面、结 构 或 语
（
除非 特 别 说 明，本 文 中 所 提 到 的 两 个 文 本 构 成 义的相似属性； 斑马是食草动物 ．
文本相似
２）没有方向性；
（ 野马是食草动物 ．
蕴含关系，指的都是由 Ｔ 可以推理得出 Ｈ 的阳性蕴 ３）相似未必蕴含
（
１）侧 重 于 同 一 语 义 的 表 述 形 式 的 丁 磊 是 网 易 公 司
（
含关系 ． 丰富性； 的创办人 ．
文本复述
２）没有方向性；
（ 丁磊创办了网易
１．
２．２　 文本蕴含与其他文本间关系的区别与联系
３）严格的文本复述等价于双向蕴含． 公司 ．
（
首先，文 本 蕴 含 的 研 究 范 畴 要 和 复 述 （
Ｐａｒ
ａ－ １）侧重于推理过程的严谨性、完备
（
性和正确性； 同一 平 面 的 两 条
ｐｈｒ
ａｓｎｇ）进 行 区 分 ．复 述，通 常 用 来 表 示 两 个 文 本
ｉ 逻辑推理 ２）具有方向性；
（ 直没有交点 ．
３）以命题作为推理的基本单位； 这两条直线平行 ．
（
片段包含的相同的语义 ．所以严格来讲，复述可以认 ４）以数学定理或假设作为推理依据 ．
（
为是 一 种 语 义 上 的 对 等 （Ｔｅｘ
ｔｕａ
ｌ　Ｅｑｕ
ｉｖａ
ｌ ｅ）关
ｅｎｃ
系，或 者 叫 做 双 向 蕴 含 关 系 （ ３　 文本蕴含的基本问题
１．
Ｂｉ－ｄ
ｉｒｅ
ｃｔｉ
ｏｎａ
ｌ　Ｔｅｘ
ｔｕａ
ｌ
在自 然 语 言 处 理 领 域，有 ３ 类 围 绕 二 元 关 系 所
Ｅｎ
ｔａｉ
ｌｍｅｎｔ）．而文 本 蕴 含 关 系 是 单 向 推 理 关 系 ．如
展开的基本研究，分别是二元关系的识别、二元关系
上例中， Ｔ１ 可以推 理 得 出 Ｈ１，但 反 之 不 可 ．关 于 复
的抽取以及二元关系的生成 ．所谓“识别”，是指给出
述和蕴含 的 异 同，Ａｎｄ
ｒｏｕ
ｔｓｏｐｏｕ
ｌｏｓ 等 人 １２ 作 出 了
［ ］

一对可能构成某二 元 关 系 的 文 本 对，要 求 机 器 对 其
系统性的辨析 ．
关系是否成立给出判定；所谓“抽取”，就是要求机器
Ｔ４：斑马是食草动物 ． 能够自动地从大量自然语言文本中把构成该二元关
Ｔ５：野马是食草动物 ． 系的成对文本片段抽取出来；所谓“生成”，是指给出
另外，文 本 蕴 含 的 研 究 范 畴 要 和 文 本 相 似 一个文本片段，要求 机 器 能 够 生 成 与 之 构 成 该 二 元
（
Ｔｅｘ
ｔ　Ｓ
ｉｍｉ
ｌａｒ
ｉｔｙ）有关 研 究 进 行 区 分 ．文 本 相 似，指 关系的另外一方 ．由此可见，“识别”是研究二元关系
的是一对文本包含的相似的语义 ．比如， Ｔ４－Ｔ５ 这对 的第 １ 步，其目的是 为 了 “培 养”机 器 对 这 种 二 元 关
文本，其语义是相似的，都表示了某种动物对于更大 系的认知鉴别能力；“抽取”则是第 ２ 步，目的是利用
范畴的归属关系；同时，如果使用编辑距离或其他相 机器对该二元关系 的 鉴 别 能 力，从 自 然 语 言 文 本 中
 ８９２ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

获取大量的样本，积 累 知 识；“生 成”是 第 ３ 步，做 到 赖前面的分析结果，由于错误级联效应，导致语义建

这 １ 步就可以认为 机 器 已 经 掌 握 了 该 二 元 关 系，能 模的正确性不断降 低 ．而 即 使 应 用 严 谨 的 推 理 机 制
够举一反三，“灵活应用”了 ． 也不能保证基于错误的语义表示所得到的推理结果
由定 义 １ 可 知，文 本 蕴 含 关 系 也 是 一 种 二 元 关 的正确性 ．故而在识别文本蕴含关系的实际应用中，
系，因此，对应地也 有 这 ３ 个 基 本 问 题，即 文 本 蕴 含 需要有一个折 衷 取 舍 （
ｔｒａｄｅ－ｏ
ｆｆ）的 考 量 ．语 义 表 示
关系的识别、文本蕴 含 知 识 的 获 取 以 及 文 本 蕴 含 对 与推理机制这两个核 心 问 题 的 关 系 如 图 １ 所 示 （其
的生成 ． 中出现的推理机制将在 ２．
１ 节中详细介绍）．
１．
３．１　 文本蕴含关系识别
识别文本蕴含关系是全部文本蕴含研究的基
础 ．下面给出给出其定义 ．
定义 ２．　 给定一对文本 Ｔ－Ｈ，要求机器对其是
否构成蕴含关系做 出 判 定，这 样 的 问 题 称 为 识 别 文
本蕴含关系（
Ｒｅｃ
ｏｇｎ
ｉｚｉ
ｎｇ　
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ ｔ，
ｌｍｅｎ ＲＴＥ）．
识别文本蕴含关系形式上是一种文本对分类问
图 １　 文本蕴含关系识别的核心问题
题．
其中最基本的是二元分类，即分为蕴含关系与非蕴
此外，
含关系， 也可以把非蕴含关系进一步划分为矛盾 １．
３．２　 文本蕴含知识获取
形成多元分类 ．另外，有学者单独研
关系和中性关系， 由前 面 的 讨 论 可 知，对 文 本 中 蕴 含 现 象 的 识 别
究矛盾 关 系，提 出 了 矛 盾 检 测 问 题 （
Ｃｏｎ
ｔｒａｄ
ｉｃｔ
ｉｏｎ 能力是获取蕴含知识的基础 ．反过来，识别文本蕴含

Ｄｅ
ｔｅｃ
ｔｉ
［ ］
ｏｎ）２３ ． 关系也离不开相关 蕴 含 知 识 的 积 累，尤 其 是 基 于 逻
识别文本蕴含关系本质上是一种基于语义进行 辑演算或转换的方 法，其 性 能 直 接 依 赖 于 可 应 用 的
推 理 的 过 程 ．因 此，其 中 有 两 个 核 心 问 题 需 要 考 蕴含知识 ．
虑———语义表示和推 理 机 制 ．这 是 一 对 相 辅 相 成 而 广义 地 讲，所 谓 蕴 含 知 识 就 是 对 于 识 别 文 本 蕴
又互相矛盾的问题 ．一方面，在识别文本蕴含关系的 含关系 有 用 的 知 识 ．狭 义 地 讲，蕴 含 知 识 是 由 ＬＨＳ
过程中，语义的表示 形 式 是 为 方 便 推 理 机 制 的 执 行 （
Ｌｅｆ
ｔ－ｈａｎｄ　
Ｓｉｄｅ）和 ＲＨＳ（
Ｒｉｇｈ
ｔ－ｈａｎｄ　
Ｓｉｄｅ）两 部 分
而设计的，反过来，推理机制也能一定程度上弥补文 组成 的 蕴 含 规 则，即 “ＬＨＳＲＨＳ”．例 如，若 已 知
本对 Ｔ－Ｈ 的语义 表 示 上 的 鸿 沟，因 此，二 者 相 互 配 “苹果  水果”，就可 以 得 出 “他 吃 了 一 个 苹 果 ． 他
合，缺一不可；另一 方 面，语 义 建 模 的 鲁 棒 性 和 推 理 吃了一个水果 ．”；若已知“
Ｘ 购买了 ＹＸ 拥有 Ｙ”，
机制的严 谨 性 却 是 一 对 不 可 兼 得 的 矛 盾 ．自 然 语 言 就可以得出“我买了一台电脑 ． 我拥有一台电脑 ．”
处理技术中有一系列语言分析（ Ｌａｎｇｕａｇｅ　
Ａｎａｌ
ｙｓｓ）
ｉ 下面给出文本蕴含知识获取任务的定义：
工具，诸 如 分 词 （Ｗｏ
ｒｄ　Ｓｅｇｍｅｎｔａ
ｔｉｏｎ）、词 性 标 注 定义 ３．　 给定一个 文 本 集 合 Ｓ，要 求 机 器 对 其
（
ＰＯＳ　Ｔａｇｇｎｇ）、句法分析（
ｉ Ｐａ
ｒｓｎｇ）、语义角色标注
ｉ 中构成文本 蕴 含 关 系 的 文 本 片 段 以 “
ＬＨＳＲＨＳ”
（
Ｓｅｍａｎ
ｔｉｃ　
Ｒｏｌｅ　
Ｌａｂｅ
ｌｉｎｇ）、形式化逻辑表示（ Ｆｏ
ｒｍａ
ｌ 的形式 抽 取 出 来，该 任 务 称 为 文 本 蕴 含 知 识 获 取

Ｌｏｇ
ｉｃ　
Ｒｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ）等 ．在 这 个 序 列 中，自 前 至 后 （
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　Ｋｎｏｗｌ
ｅｄｇｅ　
Ａｃｑｕ
ｉｓｉ
ｔｉｏｎ）．
各个语言分析工具 对 文 本 语 义 的 刻 画 越 来 越 精 确： 文本蕴含知识获取研究中也有两个核心问题需
分词仅仅是把文本 按 单 词 进 行 切 割，词 性 标 注 在 此 要考虑———知识表示和知识来源 ．
基础上增加了词性信息……形式化逻辑表示已经把 知识 的 表 示 形 式 是 为 了 方 便 应 用 而 设 计 的，蕴
语义表示成为精确 的 数 学 逻 辑 了 ．越 严 谨 的 推 理 机 含知识根据是否含 有 变 量 可 以 划 分 为 两 类：单 词 及
制对语义表示的精确性要求就越高，例如，若能把文 短语 级 别 的 蕴 含 知 识 （不 含 有 变 量，如 “苹 果  水
本对 Ｔ－Ｈ 用形式逻辑表示成为两个命题，就可以借 果”）和模板级别的 蕴 含 知 识 （含 有 变 量，如 “
Ｘ 购买
用数学上严谨完备 的 机 器 证 明 工 具 进 行 推 理；但 如 了 ＹＸ 拥有 Ｙ”）．事实上，蕴含知识的应用场景往
果仅用单词或词性 来 对 语 义 建 模，就 只 能 应 用 单 词 往是特定的，很少有放之四海而皆准的蕴含知识 ．例
重叠度、相似度或其他简易的启发式方法进行“模糊 如，“
ａｃｑｕ
ｉｒｅ”作为及物动词既有“购买”的意思，也有
推理”了 ．事实上，在 上 述 序 列 中 自 前 至 后 语 言 分 析 “学习”的意思，蕴含知识“ Ｘ　
ａｃｑｕ
ｉｒｅ　
ＹＸ　
ｐｕｒ
ｃｈａ
ｓｅ
的难度在不断增加，同 时 靠 后 的 语 言 分 析 工 具 也 依 Ｙ”在 “ＡＴ＆Ｔ　
ａｃｑｕ
ｉｒｅ（收 购 ）Ｔ－Ｍｏｂ
ｉｌｅ ＡＴ＆Ｔ
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ８９３

ｐｕｒｃｈａｓ
ｅ　Ｔ－Ｍｏｂｉ
ｌｅ”的上下文中成立，但在“ Ｃｈｉ
ｌｄｒｅｎ ８４ ≈０．
０． ５ 就可以认为其正确性难以保 证 ．因
４＜０．
ａｃｑｕｉ
ｒｅ（习 得 ）
ｓｋｉ
ｌｌｓＣｈ
ｉｌｄ
ｒ ｐｕｒ
ｅｎ　 ｃｈａ
ｓｅｓｋ
　 ｉ
ｌｌｓ”的 此，在研究文本蕴含对生成问题时，在推理广度和深
场景下中并不成立，因 此 如 何 对 蕴 含 知 识 的 应 用 场 度上都要进行有效剪枝 ．
景进行建模是知识表示问题中需要考虑的地方 ． 外因：一方面，蕴含对的生成需要依赖蕴含识别
蕴含知识的潜在来源有很多，例如词典、百科、新 技术所提供的推理机制和知识获取技术所积累的知
闻语料、
普通互联网文本等等．按照是否有专家参与构 识库，但是当前关系 识 别 和 知 识 获 取 的 研 究 尚 不 够
建可以把知识源分为人工构建的资源和大规模语料两 成熟，推理机制不够鲁棒，知识库中的推理规则的完
类，
前者小而精，后者广而粗，针对不同的知识来源需 备性和实用性也有所欠缺 ．另一方面，由于推理的发
要设计不同的知识获取方法．图 ２ 展示了文本蕴含知 散性，文本蕴含对的生成技术缺少广泛的应用场景 ．
识获取的两个核心问题，
２．２节将从围绕这两个问题对 目前已有学者 ［２５］在对话系统领域进行了尝试 ．
当前蕴含知识获取研究取得的进展进行梳理． １．
３．４　 识别、获取与生成的关系
作为 文 本 蕴 含 研 究 领 域 的 ３ 个 基 本 问 题，文 本
蕴含的关系识别、知 识 获 取 与 蕴 含 对 生 成 ３ 项 研 究
彼此联系，相辅相 成，构 成 了 一 个 紧 密 结 合 的 整 体，
其关系如图 ３ 所示 ．

图 ２　 文本蕴含知识获取的核心问题
图 ３　 文本蕴含的基本问题及其关系
１．
３．３　 文本蕴含对的生成
文本蕴含关系识别研究是文本蕴含有关研究的
定义 ４．　 给 定 一 个 文 本 片 段 Ｔ 和 蕴 含 知 识 库
基石，培养了机器的对蕴含的识别能力，“输出”了推
Ｄ，要求机器根据 Ｄ 生成能够被 Ｔ 蕴含的文本 片 段
理机制；而文本蕴含 知 识 的 获 取 需 要 识 别 技 术 对 自
Ｈ，使 ＴＨ 成立，该任务称为文本蕴含对的生成 ．
然语言文本中的蕴 含 知 识 进 行 识 别，进 而 输 出 蕴 含
从定 义 ４ 可 以 看 出，文 本 蕴 含 对 的 生 成 任 务 实
知识库；同时，蕴含知识库对某些基于转换或演算的
Ｄ）对 给 定
际上是在模拟人类根据自身 掌 握 的 知 识（
识别研究提供了便 利；而 文 本 蕴 含 对 的 生 成 则 需 要
线索 （
Ｔ）进 行 推 理 的 过 程 ．目 前 文 本 蕴 含 领 域 的 研
推理机制和蕴含知识库共同为其提供动力 ．
究主要集中在文本蕴含的关系识别和知识获取两个
４　 章节安排
１．
任务上，对文本蕴含对的生成方面研究较少 ［２４－２６］．其
本节中的 １．
１ 节对文本蕴含的研究背景、应用场
原因大致有以下几个方面 ．
景、
研究目的进行了阐述；
１．２ 节给出文本蕴含的定义，
内因：一方 面，Ｈ 的 候 选 项 个 数 随 推 理 步 数 的
与其它文本间关系的区别与联系，界定其研究范畴；
增加呈指数级增长：假设蕴含知识库中的每个 ＬＨＳ
３节指出文本蕴含研究的 ３ 个基本问题———关系识
１．
平均对应 ３ 个 不 同 的 ＲＨＳ，那 么 经 过 一 步 推 理 可
别、
知识获取和蕴含对的生成：
１． １ 节指出关系识别
３．
能产生３ 个一级候选项（ ＲＨＳ１ ， ＲＨＳ３），由于
ＲＨＳ２ ，
的两个核心问题———语义表示与推理机制，并给出他
蕴 含 关 系 的 传 递 性，则 可 能 产 生 ９ 个 二 级 候 选
们的制约关系；１．
３．２ 节指出知识获取的两个核心问
（
ＲＨＳ１１ ， ＲＨＳ３３ ）……３Ｎ 个 Ｎ 级 候 选 项 ．
ＲＨＳ１２ ，…，
题———知识表示与知识来源； １．
３．３节指出目前蕴含对
另一方面，推理的可 靠 性 随 推 理 步 数 的 增 加 迅 速 降
生成相关研究进展缓慢的内因和外因；最后，
１． ４节
３．
低：假设知识库中的 每 个 推 理 规 则 的 平 均 可 靠 度 为
讨论识别、
获取与生成的关系．
８，当 可 靠 度 低 于 ０．
０． ５ 时 认 为 推 理 不 可 靠，那 么 由
第２ 节 对 文 本 蕴 含 的 研 究 进 展 进 行 归 纳 梳 理．
于 错 误 的 级 联 效 应，经 过 四 次 推 理，其 可 靠 度 为
 ８９４ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

首先，关系的识别研究是文本蕴含相关研究的基石； Ｍｅｈｄａｄ 等人 １４ 进 一 步 丰 富 了 编 辑 距 离 算 法，
［ ］

１ 节将围绕 推 理 机 制 对 其 研 究 脉 络 进 行 梳 理，详
２． 首先提出了基于句 法 树 的 相 似 度 计 算 模 型，其 编 辑
细介绍各种机制的 基 本 思 想、演 化 关 系 及 其 可 取 与 操作定义在 Ｔ 和 Ｈ 的句法树节点上，但其基本操作
不足之处；其次，文本蕴含关系的识别离不开对蕴含 较为简单 ．
Ｈｅｌｍａｎ 等 人 １３ 则 在 Ｍｅｈｄａｄ 等 人 的 基
ｉ
［ ］

知识的积累；
２．２节将围绕知识表示和知识来源这 础上定义了更加复 杂 的 句 法 树 编 辑 操 作，包 括 对 子
两个核心问题来讨 论 怎 样 挖 掘 蕴 含 知 识，并 指 出 不 节点、父 节 点、兄 弟 子 树 的 增 加、改 动、删 除 等 操 作，
同知识获取方法的优缺点；最后，文本蕴含相关研究 最终不仅提高了文 本 蕴 含 关 系 的 识 别 率、也 在 复 述
的蓬勃 发 展 离 不 开 近 年 来 频 繁 举 办 的 国 际 评 测； 和问答系 统 的 答 案 选 择 等 任 务 上 都 取 得 了 不 错 的
３ 节将简要介绍其中影响较大 的 几 个 国 际 评 测 和
２． 成绩 ．
一些常用的数据集，并 给 出 相 应 的 评 价 指 标 和 当 前 任函 等 人 ［３５］ 提 出 了 一 种 基 于 话 题 相 似 性 的
的最好成绩 ． ＲＴＥ 方法 ．该方法认为存在蕴含关系的文本应当具
经过 多 年 的 发 展，文 本 蕴 含 相 关 研 究 取 得 了 一 有 相 似 或 相 同 话 题 ．该 方 法 利 用 知 识 话 题 模 型
定的进展，但尚未完全达到成熟实用的水平 ．大数据 （
Ｋｎｏｗｌｅｄｇｅ－Ｂａ
ｓｅｄ　Ｔｏｐ
ｉｃ　 ｌ）来 计 算 语 义 相 似
Ｍｏｄｅ
时代的到来和近期深度学习理论与实践的发展为文 度，并以此为依据判定蕴含关系 ．
Ｓａｋｈ 等人 ３６ 首次
ｉ
［ ］

本蕴含研究领域同 时 带 来 了 机 遇 与 挑 战 ．第 ３ 节 将 将机器翻译中用于评价系统译文和标准译文近似程
立足当前研究现状，结 合 未 来 发 展 形 势 并 对 文 本 蕴 度的指标当作 Ｔ－Ｈ 对的相似度量 ．
含的发展前景进行展望 ． 这些 基 于 相 似 度 的 方 法 实 现 比 较 简 单，同 时 方
便设计各种相似度量，但是这种方法强行假设“相似
２　 研究现状分析 即蕴含”，导致大量语义相似但并非构成文本蕴含关
系的实例被错误识别，例如 Ｔ４－Ｔ５．
１　 蕴含关系的识别方法
２． 基于相似度的识别方法的一般形式化表示如下：
文本蕴含关系的识别研究是文本蕴含相关研究
烄１，若 ∑ｗｉｓ
ｉｍｉ（
Ｔ，Ｈ ）＞θ
的基石，本节将对其研究脉络进行梳理，介绍不同方 Ｆ（
Ｔ，Ｈ ）＝ 烅 ｉ ，
法的基本思想、演化关系及其可取与不足之处 ． 烆０， 否则
２．
１．１　 基于相似度的文本蕴含关系识别方法 其中：函 数 Ｆ （
Ｔ，Ｈ ）是 蕴 含 关 系 的 判 定 函 数，若
构成蕴含关系的 Ｔ－Ｈ 对往往比较相似，如前例 Ｆ（ Ｈ ）＝１，则 判 定 ＴＨ，若 Ｆ（
Ｔ， Ｔ，Ｈ ）＝０，则 判
中的 Ｔ１－Ｈ１．因此，有 人 提 出 可 以 利 用 Ｔ－Ｈ 对 的 相 定 Ｔ θ 为阈值，取值为正；
／ Ｈ； ｓｉｍｉ（
Ｔ，Ｈ ）是某种相
似程度来判断其是 否 构 成 蕴 含 关 系 ．这 就 是 基 于 相 ｗｉ为其权重 ．
似度量，
似度的文本蕴含关系识别方法的基本思想 ． ２．
１．２　 基于对齐的文本蕴含关系识别方法
这类 方 法 比 较 直 观，在 ＲＴＥ 研 究 领 域 的 早 期 在基 于 相 似 度 的 识 别 方 法 基 础 上，演 化 出 了 基
曾经一度是主流方法，但随着研究的不断深入，现在 于对齐的识别方法 ．这 类 方 法 并 不 是 直 接 使 用 相 似
多把相似度作为判别模型的一个特征 ［
２７－３０］
． 度来判断蕴含关系，而是先把 Ｔ 和 Ｈ 中相似的部分
Ｊ
ｉｊｋｏｕｎ 等人 首先提 出 了 基 于 词 袋 模 型 （
［
１６］
Ｂａｇ 找出来进行对齐，然 后 把 对 齐 的 方 式 和 程 度 作 为 判
ｏ
ｆ　Ｗｏｒｄｓ）的文本蕴含关系识别方法 ．他的具体做法 断是否构成蕴含的依据 ．
ｅ等人 ２３ 首次把对齐和判断蕴含 分
［ ］
是首先把句子分词，通过词频对单词进行赋权，然后 Ｄｅ　
Ｍａｒｎｅ
ｆｆ
计算 Ｌ
ｉｎ－ 相 似 度 ３１ 和 Ｗｏ
［ ］
ｔ３２ 相 似 度，并 以 此
ｒｄＮｅ
［ ］
成了两个步骤，并人工标注了部分对齐数据，然后应
为依据判断蕴含关系 ． 用机器学习方法学 习 对 齐 参 数，实 现 了 自 动 对 齐 辅
Ａｄａｍｓ
［
１５］
在Ｊ
ｉｊｋｏｕｎ 的 词 袋 模 型 基 础 上，创 造 助识别蕴含关系的方法 ．
ｅｎｅ３７ 提出了 非 监 督 的 自 动 化 映 射 方 法 ．他
［ ］
性 地 提 出 了 一 种 新 的 相 似 度 量 ．该 方 法 利 用 从 Ｉ
ｆｔ
ＷｏｒｄＮｅｔ３２ 中 抽 取 出 的 词 链 来 连 接 Ｔ 和 Ｈ，并 计
［ ］
首 先 使 用 ＤＩＲＴ［３８］、Ｗｏ
ｒｄＮｅ
［ ］
ｔ３２ 、Ｖｅ
ｒｂＯｃ
ｅ
［ ］
ａｎ３９ 、
算 两 者 之 间 的 编 辑 距 离 ，最 终 结 合 其 他 特 征 使 用 Ｗｉ
ｋｉｐｅｄ
ｉａ 等外部知识库把 Ｈ 中的单词向 Ｔ 中的对
决 策 树 识 别 蕴 含 关 系 ．类 似 地 ，张 鹏 等 人 ［
３３］
利用 应部分做映射，计算局 部 对 齐 程 度 （
Ｌｏｃ
ａｌ　
Ｆｉｔ
ｎｅｓ），
ｓ
Ｆｒ
ａｍｅＮｅ
ｔ
［
３４］
中连接 Ｔ－Ｈ 的框架路径以及框架元素 归一化后换算成为全 局 对 其 程 度 （
Ｇｌｏｂａ
ｌ　Ｆ
ｉｔｎｅ
ｓｓ）．
相似度来判断蕴含关系 ． 如果存在多种映射 方 式，优 先 选 择 全 局 对 齐 程 度 最
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ８９５

大的映射方式 ．最终 通 过 比 较 全 局 对 齐 程 度 是 否 超 Ｈｏｂｂｓ等人 ４４ 首 次 应 用 溯 因 推 理 （Ａｂｄｕｃ

［ ］
ｔｉｖｅ
过阈值来判定该 Ｔ－Ｈ 对是否构成蕴含关系 ．在前人 Ｒｅ
ａｓｏｎ
ｉｎｇ）的方法 进 行 文 本 推 理 ．溯 因 推 理 的 基 本
提出的基于单词 的 对 齐 方 法 的 基 础 上，Ｍａ
ｃＣａ
ｒｔｎｅｙ 思想是通过试图找到某个命题成立的原因的方式进
等人 ［
提出了短语级别 的 对 齐 方 法 ．
４０］
Ｂａａｋ 等 人
ｓ
［
４１］
行推理 ．他们构建了 相 当 数 量 的 常 识 和 领 域 事 实 集
提出基于句法树的对 齐 方 法 ．
Ｓｕｌ
ｔａｎ 等 人
［
提出了
４２］
合，对语义的逻辑化表示做了早期探索 ．
ｎａ等 人 １７ 利 用 句 法 依 存 关 系 将 Ｔ－Ｈ 对 分
［ ］
Ｎｏｈ 等人
基于混合特征的对齐方法 ． ［
提出了一 种
４３］
Ｒａ
ｉ
级联式多层次的对 齐 方 法，可 以 灵 活 组 合 多 种 对 齐 别表示成为两组子 命 题 的 和 取 形 式，其 中 子 命 题 由
模型综合判断蕴含关系 ． 句法依 存 树 的 节 点 转 化 而 成，应 用 溯 因 推 理 机 制
基于对齐的方法在基于相似的方法基础上引入 尝试由 Ｔ 推 出 Ｈ，并 计 算 推 理 的 代 价，从 而 据 此 对
了对齐操作，从而能够着重比较 Ｔ－Ｈ 对中不相同的 Ｔ－Ｈ 是否构成蕴含关系进行判别 ．
ｄｏｖａｎ 等 人 １８ 实 现 的 ＣＯＧＥＸ 系 统 把
［ ］
部分，这种方法优点在于其直观性，但是这些方法大 Ｍｏ
ｌ
ｔ３２ 释义以及 Ｔ－Ｈ 对表示成为逻辑命题，然
［ ］
多不能灵活处 理 Ｔ－Ｈ 对 中 单 词 之 间 的 复 杂 对 齐 方 Ｗｏ
ｒｄＮｅ
式，例如一对多，多对多，交叉对齐等 ． 后应用演绎法进行 推 理，最 终 应 用 到 问 答 系 统 的 答
基于对齐的识别方法的一般形式化表示如下： 案验 证（
Ａｎｓｗｅ
ｒ　Ｖａ
ｌｉｄａ
ｔｉｏｎ）中，对 其 性 能 提 升 了 约
Ｆ（ Ｔ，Ｈ ）＝Ｊ（
Ａｏｐｔ）， ３０％．演绎法是一种不断应用蕴含式（ Ｉｍｐ
ｌｉｃ
ａｔｏｎｓ，
ｉ
Ａｏｐｔ ＝ ａ
ｒｇ　ｍａｘＧ（｛（
Ｔｉ～Ｈｉ）｝）， 例如 ＬＨＳＲＨＳ）的逻辑推理方法 ．简要地说，首先
｛（
Ｔｉ～ Ｈｉ）｝∈Φ
把命题 Ｔ 作为初始状态，如 果 当 前 状 态 匹 配 了 某 个
Ｌ（｛
Ｔｉ～Ｈｉ｝）＋αＭ （｛
Ｔｉ～Ｈｉ｝）
Ｇ（｛
Ｔｉ～Ｈｉ｝）＝ ， 蕴含式的 前 件 （Ａｎ
ｔｅｃ ｔ，ＬＨＳ），那 么 就 可 以 应
ｅｄｅｎ
｛
＃ Ｔｉ～Ｈｉ ｝
用 这 个 蕴 含 式，把 当 前 状 态 推 导 为 蕴 含 式 后 件
Ｌ（｛
Ｔｉ～Ｈｉ｝）＝∑ｓ
ｉｍ （
Ｔｉ，
Ｈｉ），
ｉ （
Ｃｏｎｓ ｔ，
ｅｑｕｅｎ ＲＨＳ）的 形 式；如 果 经 过 一 系 列 的 推
其中：函数 Ｆ（
Ｔ，Ｈ）是蕴含关系的判定函数，若 Ｆ（
Ｔ， 导之后，最终得到了 命 题 Ｈ，那 么 判 定 该 Ｔ－Ｈ 对 构
Ｈ）＝１，则判定 ＴＨ，若 Ｆ（
Ｔ，Ｈ ）＝０，则 判 定 Ｔ／ 成蕴含关系，这一系列推导就是形式化证明的过程；
Ｈ；ＴｉＴ 是文本 Ｔ 的一部分，Ｈｉ Ｈ 是 文 本 Ｈ 的 如果 经 过 一 系 列 推 导，最 终 也 未 能 推 出 Ｈ，那 么 认
Ｔｉ～Ｈｉ表示 Ｔｉ与 Ｈｉ互相对齐；
一部分； ｛Ｔｉ～Ｈｉ｝为 为 Ｔ－Ｈ 不够成蕴含关系 ［４５］．另外，也可以利用反 证
Ｔ－Ｈ 间某种可行的对齐方式； Ａｏｐｔ 是 最 佳 对 齐 方 式； 法去推理，即由 Ｈ 的否命题去推导 Ｔ 的否命题 ．
Φ 是所有可能的对齐方 式 的 全 集； Ｊ（·）是 根 据 对 齐 Ａｋｈｍａ
ｔｏｖａ１９ 也做了类似 的 工 作，并 与 其 他 方
［ ］

方式判定蕴含关系的函数，当 ＴＨ 时值 １，否则值 法进行了对 比 ．他 们 实 现 了 两 个 ＲＴＥ（

Ｒｅｃｏｇｎ
ｉｚｉ
ｎｇ
为 ０； Ｔｉ～Ｈｉ｝）为 全 局 对 齐 程 度；
Ｇ（｛ Ｌ（｛
Ｔｉ ～ Ｈｉ｝） Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ ｔ）系 统，第 １ 个 系 统 只 使 用 简 单
ｌｍｅｎ
为局 部 对 齐 程 度；Ｍ （｛
Ｔｉ ～ Ｈｉ｝）为 全 局 对 齐 函 数， 的基于单词重叠率 的 特 征，第 ２ 个 使 用 了 一 阶 逻 辑
通常｛ Ｈｉ｝整体上对齐得越“规 整”，其 取 值 越 大；
Ｔｉ， 演算和其他复杂特 征，但 实 验 结 果 表 明 这 两 个 系 统
α 为平衡系 数，旨 在 平 衡 全 局 对 齐 函 数 和 局 部 对 齐 的准确率（ Ａｃｃｕｒ
ａｃｙ）相差无几 ．经过分析发现，尽管
程度；＃ ｛
Ｔｉ～Ｈｉ｝为该对齐方式中一一对齐部分的 有部分 Ｔ－Ｈ 对可以通过逻辑演算得出，但是这种方
个数，用于对全局对齐程度进行正则化；
ｓｉｍ（
Ｔｉ，
Ｈｉ） 法不能覆盖大部分 Ｔ－Ｈ 对，导致虽然系统识别的精
为 Ｔｉ与 Ｈｉ的相似度 ． 确率较高但召 回 率 较 低；同 时，在 能 够 由 Ｔ 推 导 得
２．
１．３　 基于逻辑演算的文本蕴含关系识别方法 出 Ｈ 的情况下，单 词 重 叠 率 也 很 高，最 终 导 致 该 方
蕴含 关 系 实 际 上 是 一 种 语 义 推 理 关 系，而 数 学 法性能未能领先基于单词重叠率的方法 ．
界对命题逻辑证明问题已经有了比较成熟的方法与 事实 上，目 前 所 积 累 的 背 景 知 识 的 覆 盖 范 围 是
工具 ．因此，把逻辑演算的思想迁移到文本蕴含的识 有限的，而且从自然 语 言 到 数 学 逻 辑 表 达 式 的 转 化
别上是非常自然的 想 法 ．基 于 逻 辑 演 算 的 方 法 一 般 过程中也难免引入错误，如果一个 ＲＴＥ 系 统 严 格 遵
首先把 Ｔ－Ｈ 对和 背 景 知 识 库 中 的 事 实 编 码 为 数 学 守逻辑证明原则，其召回率会非常低，例如 Ｂａｙｅ
ｒ等
逻辑的表 达 式，比 如 一 阶 逻 辑 表 达 式 （
Ｆｉｒ
ｓｔ　
Ｏｒｄｅ
ｒ 人 ［２０］的实现的 Ｓｙｓ
ｔ １．为 了 避 免 这 个 问 题，很 多
ｅｍ　
ｏｎ），构成事实集合，然后应用逻辑推 ＲＴＥ 系统都引入了一些松弛策 略 ．例 如 ＣＯＧＥＸ １８
［ ］
Ｌｏｇ
ｉｃ　
Ｅｘｐｒ
ｅｓｓ
ｉ
理规则来判断 Ｈ 的 表 达 式 是 否 可 以 由 Ｔ 的 表 达 式 系统允许忽略 Ｔ 或 Ｈ 中的一些子命题，而且在不影
和背景知识库所构成的事实集合所推出 ． 响最终置信度的前提下，也可以引入相对不可靠的推
 ８９６ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

理规则 ．而 Ｒａ
ｉｎａ等人 １７ 也引入了代价（
［ ］
ｔ）机制 ．
Ｃｏｓ 列作为特征，通过决策树来判定蕴含关系 ．
基于逻辑演算的方法把数学界机器证明领域成 Ｓ
ｔｅｒｎ 等人 ５１ 在 Ｂａ
［ ］
ｒ－Ｈａ ｉｍ 等 人 的 工 作 ４７ 基 础
［ ］

熟的思想迁移到文 本 蕴 含 识 别 领 域，具 有 一 定 的 理 上加入了与 Ｒａ ｎａ等 人 １７ 类 似 的 代 价 （

ｉ
［ ］
Ｃｏｓｔ）机 制，
论基础 ．但文字命题 到 逻 辑 表 达 形 式 的 转 化 不 够 鲁 而 这 些 代 价 也 是 从 训 练 集 上 学 习 而 得 到 的 ．Ｔｉ
ａｎ
棒，导致容错性较差；而背景知识的缺失往往使得推 等人 ［５２］沿 用 了 Ｂａ
ｒ－Ｈａｉｍ 等 人 的 思 想，以 ＤＣＳ 树
理链条中断，从而召回率偏低 ［１９，２１］． （
Ｄｅｐｅｎｄｅｎｃ Ｃｏｍｐｏｓ
ｙ　 ｉ
ｔｉｏｎａ
ｌ　Ｓｅｍａｎ
ｔｉｓ）的形式来进
ｃ
此外，由于基于逻辑演算的方法的数学严密性， 行推理 ．
可以用来处 理 一 些 其 他 方 法 很 难 解决的特殊文本 基于转换的方法保留了基于逻辑演算方法的合
蕴含问题 ．例如，数 量 蕴 含 （
Ｑｕａｎ
ｔｉｔ
ｙ　Ｅｎ
ｔａｉ
ｌｍｅｎ
［ ］
ｔ）２２ 理内核，同时由于不再要求把 Ｔ－Ｈ 转化为逻辑表达
问题，即需要对 Ｔ－Ｈ 对中所提到的数字进行运算才 式，进而避免了因转化而引入的噪声 ．但是该类方法
能判断其蕴含关系的特定蕴含问题，如 Ｔ６－Ｈ６．
Ｒｏｙ 性能严重依赖转换 规 则，不 完 善 的 规 则 导 致 识 别 召
等人 ［
通 过 数 学 演 算 的 方 法 解 决 了 该 问 题，并 为
２２］
回率降低，而错误的规则导致识别准确率降低 ．这些
此专 门 设 计 了 一 种 特 殊 的 ＱＶＲ （Ｑｕａｎ
ｔｉｔ
ｙ－Ｖａ
ｌｕｅ 转换规则作为蕴含 知 识，有 些 来 自 于 人 工 构 建 的 知
Ｒｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ）表达式 ． 识库，也有一些来自大规模语 料，
２．３节将对如何获
取蕴含知识进行介绍 ．
Ｔ６：桌面上放着两本书 ．
基于转换的识别方法的一般形式化表示如下：
Ｈ６：桌面上放着不到五本书 ．
Ｆ（
Ｔ，Ｈ）＝ＳＥＡＲＣＨ（
ＲＥＰ（
Ｔ），
ＲＥＰ（Ｄ），
ＲＥＰ（
Ｈ）），
基于逻辑演算的识别方法一般形式化表示如下： 其中：Ｄ 为蕴含知识库；函数 Ｆ（ Ｈ ）是蕴含关系的
Ｔ，
Ｆ（
Ｔ，Ｈ ）＝Ｐ（ ＦＯＬ（Ｔ）∩ＦＯＬ（ Ｄ），
ＦＯＬ（ Ｈ ））， 判定函数，若 Ｆ（ Ｔ，Ｈ ）＝１，则 判 定 Ｔ Ｈ，若 Ｆ（ Ｔ，
其中：Ｄ 为 蕴 含 知 识 库；函 数 Ｆ（
Ｔ，Ｈ ）是 蕴 含 关 系 Ｈ ）＝０，则判定 ＴＨ
／ ； ＲＥＰ（·）函 数 可 以 把 文 本 参
的判定 函 数，若 Ｆ （
Ｔ，Ｈ ）＝１，则 判 定 Ｔ Ｈ，若 数转换为内在语 义 表 示，如 句 法 树、语 义 图 等；函 数
Ｆ（
Ｔ，Ｈ ）＝０，则判定 Ｔ
／ Ｈ； ·）函 数 可 以 把 文
ＦＯＬ（ ＳＥＡＲＣＨ （
·， ·）是 搜 索 函 数，共 有 ３ 个 参 数，如
·，
本参数转换为 一 阶 逻 辑 表 达 式；函 数 Ｐ（
·，·）是 数 果可以利用第 ２ 个参数所代表的推理规则将第 １ 个
学证明函数，有两个参数，如果可以由第 １ 个参数证 参数改写成为第 ３ 个参数的形式，则 输 出 １，否 则 输
明第 ２ 个参数，则输出 １，否则输出 ０． 出 ０．
２．
１．４　 基于转换的文本蕴含关系识别方法 ２．
１．５　 基于混合模型的文本蕴含识别方法
针对 基 于 逻 辑 演 算 的 方 法 的 不 足，有 学 者 提 出 针对前面所介绍的各类文本蕴含识别方法的优
了基于转换的识别方法 ．这类方法采用了类似的“演 势与不足，有 学 者 ［５３］提 出 了 基 于 混 合 模 型 的 ＲＴＥ
算”思想，却抛弃了 严 格 的 数 学 逻 辑 表 达 式，转 而 利 方法 ．该类方法 把 诸 如 Ｔ－Ｈ 的 词 级 别 相 似 度 （如 单
用语言分析技术，例 如 句 法 分 析、语 义 角 色 标 注 等， 词重叠率、同义词、反 义 词 等）、句 法 树 相 似 度、句 法
将 Ｔ－Ｈ 对表示成为某种语言学表示形式，例如句法 树编辑距离、对齐程 度、由 Ｔ 转 换 为 Ｈ 的 代 价 等 等
树、依存图等，并把 背 景 知 识 表 示 成 为 推 理 规 则，然 混合在一 起 作 为 特 征，送 入 分 类 器 （如 支 持 向 量 机
后以这种表 示 形 式 进 行 推 理 ．具 体 地 讲，就 是 对 Ｔ 等）进行分类的方法 ．
和 Ｈ 的表示形式依据推理规则做转换改写，争取向 Ｚｈａｎｇ等人 ２７ 提 出 了 融 合 了 最 小 信 息 树 （Ｍｉ
［ ］
ｎｉ－
对方形式贴近，最后 采 用 诸 如 判 定 子 图 同 构 的 方 法 ｍｕｍ　
Ｉｎｆｏｒｍａ
ｔｉｏｎ　Ｔｒｅ）等 特 征 的 混 合 模 型 来 解 决
ｅ
来判断 Ｔ－Ｈ 是否构成蕴含关系 ． 中文文本蕴含识别问题 ．该方法将 Ｔ－Ｈ 中公共子序
例如，Ｂａ ｉｍ 等人
ｒ－Ｈａ
［
４６－４７］
把 Ｔ－Ｈ 都 表 示 成 为 列在各自的句法树 上 合 并 成 为 一 个 节 点，然 后 尝 试
句法树，然后 依 照 规 则 对 Ｔ 的 句 法 树 进 行 改 写，若 合并相似的子树来 简 化 句 法 树 的 结 构，最 终 形 成 最
最终能够改写成类似 Ｈ 的句法树形式，则判定蕴含 小信息树 ．基于最小 信 息 树 的 相 似 度 是 该 模 型 中 最
关系成立；若应用了所有可能的改写规则，仍然不能 有效的特征 ．最小信 息 树 的 优 势 在 于 它 一 定 程 度 上
在容许的范围内达成目标，则判定为非蕴含关系 ．类 避免了语言分析阶段 （如 中 文 分 词、句 法 分 析 等）所
似地，
Ｌｉｅｎ 等人
［
将 Ｔ－Ｈ 对表示成为语义图后进行
４８］
引入的错误，从而提高了方法的鲁棒性 ．除了最小信
改写 ．Ｍａ
ｃＣａ
ｒｔｎｅｙ 等 人
［
则 提 出 了 基 于 Ｎａ
４９－５０］
ｔｕｒ
ａｌ 息树这一句法 特 征，
Ｚｈａｎｇ 等 人 还 融 合 了 单 词 重 叠
Ｌｏｇ
ｉｃ的转换 推 理 方 法 ．该 方 法 把 所 应 用 规 则 的 序 率、句子余弦相似度、知网 ［５４］相 似 度、同 义 词 林 相 似
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ８９７

度 ［５５］、反义词、否定词等特征 ． 性进行判断，而 ＲＴＥ 任 务 需 要 对 一 个 文 本 对 Ｔ－Ｈ

有很多针对中文的文本蕴含识别方法也可以归 的蕴含关系进行识 别 ．递 归 神 经 网 络 在 这 些 领 域 的
入这一类 别 ．如 Ｈｕａｎｇ 等 人 ［３０］、李 妍 ［５６］、赵 红 燕 等 成功证明 了 其 对 自 然 语 言 文 本 的 语 义 具 有 建 模 的
人 ［２９］、盛 雅 琦 等 人 ［２８］、刘 茂 福 等 人 ［５７－５９］、任 函 等 能力 ．
人 ［６０］、
Ｚｈａｎｇ 等 人 ６１ 提 出 的 一 系 列 融 合 了 Ｔ－Ｈ 中
［ ］
随后，Ｂｏｗｍａｎ 等人 ［７０］首次使用递归神经网络
同义词、反 义 词、单 词 重 叠 率、词 性 （ ＰＯＳ）相 似 度、 来识别文本蕴含关系，并取得了不错的成绩 ．该方法
ｔ３４ 相似度、句 法 相 似 度、混 合 主 题 模 型 相
［ ］
Ｆｒ
ａｍｅＮｅ 使用递归神经网络对 Ｔ 和 Ｈ 分别进行建模，得到两
似度 ［２８］、事 件 语 义 相 似 度 ［５８］、Ｗｏ
ｒｄ　
Ｅｍｂｅｄｄ
ｉ
［ ］
ｎｇ６１ 个向量，然后再将两个向量送入隐含层进行比较，最
等特征的分类器方法 ． 终通过 Ｓｏ
ｆｔｍａｘ 分类 器 进 行 分 类 ．递 归 神 经 网 络 的
基于混合模型的识别方法的一般形式化表示 优势在于其可以充 分 利 用 句 法 信 息，但 其 性 能 也 比
如下： 较依赖句法分析结果 ．
Ｆ（
Ｔ， Ｈ ）＝ Ｃ（
Ｘ）， ３）基于卷积神经网络的 ＲＴＥ 方法
（
Ｔ，
Ｈ Ｔ，
Ｈ Ｔ，
Ｈ
Ｘ＝（ｘ１ ，ｘ２ ，…， ｘＮ ）， 卷积神经网络（Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　Ｎｅｕ
ｒａｌ　
Ｎｅｔｗｏ
ｒｋｓ，
其中：函数 Ｆ（
Ｔ，Ｈ）是蕴含关系的判定函数，若 Ｆ（
Ｔ， ＣＮＮ）是 一 类 基 于 空 间 上 卷 积 操 作 的 神 经 网 络 模
Ｈ ）＝１，则判定 ＴＨ，若 Ｆ（
Ｔ，Ｈ ）＝０，则判定 Ｔ／
 型．Ｋａ
ｌｃｈｂｒ
ｅｎｎｅｒ 等 人 ７１ 和 Ｋｉｍ ７２ 尝 试 将 其 用 于
［ ］ ［ ］

Ｎ
Ｈ；映射 Ｃ： → ｛
０，１｝是 分 类 器，分 类 为 ＴＨ 时 自然语言 处 理 领 域，对 句 子 进 行 建 模 ．Ｙｉ
ｎ 等 人 ７３
［ ］

输出 １，否则输出 ０，例 如 朴 素 贝 叶 斯、最 大 熵、支 持 提出了基于 Ａｔ

ｔｅｎ
ｔｉｏｎ 机 制 的 卷 积 神 经 网 络 来 处 理
向量机等； Ｘ 是 Ｎ 维实数向量；
ｘ
Ｔ，
ｉ
Ｈ
表 示 Ｔ－Ｈ 对 的 ＲＴＥ 问 题 ．由 于 识 别 蕴 含 关 系 需 要 考 虑 一 对 文 本
第ｉ 个特征 ． Ｔ－Ｈ，因此，可以在对其中一个文本（如 Ｔ）进行建模
２．
１．６　 基于深度神经网络的文本蕴含关系识别方法 时参照 另 一 个 文 本 （Ｈ ）的 信 息，这 种 参 照 机 制 就
随着深度学习理论研究的不断深入和实践的不 是 Ａｔ
ｔｅｎ
ｔｉｏｎ 机制 ．该 方 法 通 过 在 卷 积 操 作 中 加 入
断进展，近期有学者 提 出 了 一 些 基 于 深 度 神 经 网 络 Ａｔ
ｔｅｎ
ｔｉｏｎ　
Ｍａｔ
ｒｉｘ 的方法来实现这种参照 ．
的文本蕴含识别方法 ． 此外，普 通 的 卷 积 神 经 网 络 不 能 有 效 地 捕 获 句
１）基于受限玻尔兹曼机的 ＲＴＥ 方法
（ 法信息，而这些信息是判别文本蕴含关系重要特征 ．
Ｍｏｕ 等人 ７４－７５ 为 此 提 出 了 基 于 树 结 构 的 卷 积 神 经
［ ］
受限玻尔兹曼机（
Ｒｅｓ
ｔｒｉ
ｃｔｅ
ｄ　Ｂｏ
ｌｔｚｍａｎｎ　
Ｍａｃ
ｈｉｎ
ｅｓ，
ＲＢＭ）模型由 Ｓｍｏ
ｌｅｎｓｋｙ６２ 于 １９８６ 年首次提 出，它
［ ］
网络（ Ｔｒ
ｅｅ－Ｂａ ｓｅｄ　
Ｃｏｎｖｏｌｕｔ
ｉｏｎａｌ　
Ｎｅｕｒａｌ　
Ｎｅｔｗｏｒｋｓ，
是一种学习训练集概率分布的随机生成神经网络模 ＴＢＣＮＮ）．该网络将 依 存 句 法 子 树 作 为 卷 积 操 作 的
型．
Ｈｉｎ
ｔｏｎ 等人
［
在 ２００６ 年 使 用 ＲＢＭ 进 行 降 维，
６３］ 应用对象，构成子树特征提取器，它能够一次性提取
开启 了 深 度 学 习 时 代 ．
ＲＢＭ 在 特 征 学 习、协 同 过 滤 父节点和其所有子 节 点 间 的 依 存 关 系 信 息 ．该 方 法
以及主题建模等领域都有所应用 ．Ｌｙｕ 等人 将
［
６４］ ［
６５］ 分别 使 用 两 个 ＴＢＣＮＮ 来 对 Ｔ－Ｈ 建 模，使 用 拼 接、
ＲＢＭ 模型应用到了识别文本蕴含关系领域 ．他们首 求差、按维度相乘等 启 发 式 特 征 构 造 向 量 代 表 Ｔ－Ｈ
先建立 了 一 个 ＲＢＭ 模 型 来 学 习 Ｔ－Ｈ 对 的 联 合 表 对的 语 义 信 息，然 后 送 入 Ｓｏ
ｆｔｍａｘ 分 类 器 进 行 分
示，并 用 该 模 型 重 建 Ｔ－Ｈ 对，然 后 利 用 重 建 误 差 类 ．对比之前的 ＣＮＮ 类 句 子 模 型，该 方 法 额 外 利 用
（
Ｒｅｃｏｎｓ
ｔｒｕｃ
ｔｉｏｎ　
Ｅｒｒ
ｏｒ）作 为 特 征 对 该 Ｔ－Ｈ 对 是 否 了依存关系的类型信息，从而提高了识别准确率 ．
存在文本蕴含关系进行判定 ．作者认为，重建误差越 （４）基于 ＬＳＴＭ 类神经网络的 ＲＴＥ 方法
ｙ）神经网络
［
７６］
小，
Ｔ－Ｈ 对 的 共 同 语 义 越 多，从 而 越 有 可 能 存 在 蕴 ＬＳＴＭ（
Ｌｏｎｇ　Ｓｈｏ
ｒｔ－Ｔｅ
ｒｍ　
Ｍｅｍｏ
ｒ
含关系 ．除了 ＲＴＥ 领域，该 模 型 也 可 用 于 复 述 检 测 是一类由门（ Ｇａｔｅ）控 制 的 循 环 神 经 网 络 （
Ｒｅｃｕｒ
ｒｅｎ
ｔ
（
Ｐａｒ
ａｐｈｒａ
ｓｅ　
Ｄｅｔ
ｅｃｔ
ｉｏｎ）问题 ． Ｎｅｕｒ
ａ Ｎｅ
ｌ　 ｔｗｏｒｋｓ），它擅长对一维序列进行建模，并
（２）基于递归神经网络的 ＲＴＥ 方法 且通过门机制解决了一般循环神经网络中的梯度消
递归 神 经 网 络 （Ｒｅ
ｃｕｒ
ｓｉｖｅ　ｎｅｕｒ
ａｌ　ｎｅ ｒｋ）由
ｔｗｏ 失 （Ｖａｎ
ｉｓｈ
ｉｎｇ　
ｇｒａｄ
ｉ ｔ）问 题 ．
ｅｎ Ｓｕｎｄｅ ｒ 等 人 ７７
ｒｍｅｙｅ
［ ］

Ｇｏ
ｌｌｒ等人 ６６ 所 提 出 ．
ｅ
［ ］
ｒ 等 人 ６７ 首 先 将 递 归
Ｓｏｃｈｅ
［ ］
提出基于 ＬＳＴＭ 的 句 子 模 型 ．具 体 地，按 照 从 左 到
神经网 络 应 用 到 句 法 分 析 领 域 ．其 后，Ｓｏｃｈｅ ｒ等 右的顺序，依次将句子中的每个词送入 ＬＳＴＭ 神经
人 ［６８］与 Ｉ
ｒｓｏｙ 等 人 ６９ 又 将 递 归 神 经 网 络 用 于 情 感
［ ］
网络，输 入 完 毕 后，用 ＬＳＴＭ 的 最 终 状 态 输 出 来 表
分析领域 ．与 ＲＴＥ 任务 类 似，情 感 分 析 也 是 一 个 文 示这个句子 ．
Ｂｏｗｍａｎ 等人 ７８ 首次将 ＬＳＴＭ 句子模
［ ］

本分类的任务，只不过它只 对 一 个 文 本 Ｔ 的 情 感 极 型带入 ＲＴＥ 领域 ．

 ８９８ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

ｌ 等 人 ７９ 针 对 ＲＴＥ 任 务 改 进 了 照机制 ．类 似 Ｗａｎｇ 等 人 的 工 作 ［８１］，

Ｃｈｅｎｇ 等 人 在
［ ］
Ｒｏｃｋ
ｔｓｃｈｅ
ＬＳＴＭ 句子模型 ．他分别使用两个 ＬＳＴＭ 先后对 Ｔ Ｔ－Ｈ 两句的末尾分别加上了一个特殊单词（ ＥＯＳ）．
和 Ｈ 进 行 建 模，并 用 第 １ 个 ＬＳＴＭ 的 最 终 状 态 来 基 于 神 经 网 络 的 方 法 是 当 今 ＲＴＥ 最 前 沿
初始 化 第 ２ 个 ＬＳＴＭ．在 建 模 的 过 程 中 也 引 入 了 （
Ｓｔａ
ｔｅ－ｏ
ｆ－ｔ
ｈｅ－ａ
ｒｔ）方 法 ．该 类 方 法 具 有 识 别 准 确 率
Ａｔ
ｔｅｎ
ｔｉｏｎ 机制，即在第 ２ 个 ＬＳＴＭ 处理 Ｈ 时参照了 高、鲁棒性强、领域 移 植 性 好 等 优 点，但 神 经 网 络 收
Ｔ 的信息． 此外， Ｒｏｃｋ
ｔｓ ｌ等人还提出了 Ｗｏ
ｃｈｅ ｒｄ－ｂｙ－ 敛速度往往较慢，模型优化也需要一定的技巧，此外
ｗｏｒｄ　
Ａｔｔ
ｅｎｔ
ｉｏｎ 机制，即在第 ２ 个 ＬＳＴＭ 读取 Ｈ 中 模型的参数众多，导 致 需 要 大 量 的 训 练 语 料 才 能 充
每个词的时候，都引入第一个 ＬＳＴＭ 处理 Ｔ 所输出 分训练 ．
的信息，进一步提升了模型性能 ．通过分析 Ａｔ
ｔｅｎ
ｔｉｏｎ 基于深度神经网络的识别方法的一般形式化表
向量（在 Ｗｏ
ｒｄ－ｂｙ－ｗｏ
ｒｄ　
Ａｔｔ
ｅｎｔ
ｉｏｎ 机制中为矩阵）发 示如下：
现，该机制能较好地关注到 Ｔ－Ｈ 对中的语义 对 应 部 Ｆ（
Ｔ，Ｈ ）＝Ｓｏ
ｆｔｍａｘ（
ＮＮ （
ＳＭ （
Ｔ），
ＳＭ （
Ｈ ））），
分，并且实现了软对齐，对传统的基于对齐的 ＲＴＥ 方 其中，函数 Ｆ（Ｔ，Ｈ）是蕴含关系的判定函数，若 Ｆ（ Ｔ，
法［２３，３７，４９］进行了突破 ．类似的，
Ｌｉｕ 等人 ８０ 提 出 了 基
［ ］
Ｈ ）＝１，则判定 ＴＨ，若 Ｆ（ Ｔ， Ｈ ）＝０，则判定 Ｔ／

于带有 Ａｔ
ｔｅｎ
ｔｉｏｎ 机 制 的 双 向 ＬＳＴＭ （
ＢｉＬＳＴＭ）模 Ｈ； Ｓｏ
ｆ ·）是 Ｓｏ
ｔｍａｘ（ ｆｔｍａｘ 分 类 器，若 Ｔ Ｈ，输
型来识别文本蕴含关系 ． 出 １，否则 输 出 ０； ·）是 句 子 模 型 函 数，负 责 把
ＳＭ （
Ｗａｎｇ 等人 在 Ｒｏｃｋ ｌ等 人 工 作 的 基 础 文本 Ｔ 或 Ｈ 转换成为向量表示形式，可以是 ＣＮＮ、
［
８１］
ｔ
ｓｃｈｅ
上，提出了 ｍＬＳＴＭ ｍａ （ ｔｃｈ
ｉｎｇ－ＬＳＴＭ）模型，重点关 ＬＳＴＭ 等神经网络句子模型； ·）是用于拼接及
ＮＮ（
注 Ｔ－Ｈ 对 中 各 部 分 的 匹 配 情 况 ．该 方 法 把 对 Ｈ 建 比较向量的非线性神经网络函数 ．
模的 ＬＳＴＭ 模 型 的 输 出 与 对 Ｔ 建 模 的 ＬＳＴＭ 模 ２．
１．７　 各类文本蕴含关系识别方法对比
型产生 的 Ａｔ
ｔｅｎｔ
ｉｏｎ 向 量 进 行 拼 接，作 为 输 入 送 入 经过 十 余 年 的 发 展，学 界 涌 现 了 一 大 批 思 路 迥
ｍＬＳＴＭ，并 把 ｍＬＳＴＭ 的 最 终 输 出 送 入 Ｓｏｆｔｍａｘ 异但行之有效的蕴 含 关 系 识 别 方 法，前 文 对 这 些 方
分类器进行分 类 ．此 外，该 方 法 在 Ｔ 中 增 加 了 一 个 法的发展脉络进行 了 梳 理，表 ２ 将 对 各 类 方 法 的 可
特殊 单 词 ＮＵＬＬ，如 果 Ｈ 中 当 前 单 词 与 Ｔ 中 的 所 取之处与不足之处进行总结 ．
有正常 单 词 均 不 构 成 匹 配，ｍＬＳＴＭ 就 会 把 它 与
表 ２　 蕴含关系识别方法对比
ＮＵＬＬ 进行匹 配，相 当 于 增 加 了 悬 空 对 齐 方 式，完 推理机制 可取之处 不足之处
善了 对 齐 模 型 ．通 过 对 ｍＬＳＴＭ 的 忘 记 门 （
ｆｏｒｇｅ
ｔ １）方法直观，实现简单；
（ 强行假设“相似即蕴含”，存
相似度
ｇａ
ｔｅ）进 行 分 析 发 现，ｍＬＳＴＭ 倾 向 于 记 住 不 匹 配 ２）方便应用各种相似度量 ． 在大量被错误识别的负例 ．
（
在相似的基础上，引入对齐操
（
ｍｉｓｍａ
ｔ ｓ）信 息 而 忘 记 匹 配 信 息 ．如 果 最 后 没 有
ｃｈｅ 对齐 作，着重比较不同部分，思路
对齐 方 式 不 够 灵 活，不 能
处理一对多、多对多等 ．
记住不匹配信息，就认为 Ｔ－Ｈ 的语义是相匹配的，从 符合人类直觉 ．

而判定蕴含关系成立，否则将其判定为冲突或中性关 １）借用数学上成熟的“机器 （
（ １）由 于 文 本 到 逻 辑 命 题
证明”思想，具有一定的 的转换鲁棒性不 足，导
系 ．通过对 ｍＬＳＴＭ 的输入门 （
ｉｎｐｕ
ｔ　ｇａ
ｔｅ）的分析发 逻辑演算 理论基础； 致容错性较差；
２）能够解决诸如数量蕴含等 （
（ ２）背景知识缺乏导致推理
现，重要的实词（
ｃｏｎ
ｔｅｎ
ｔ　 ｒｄｓ）会被 ｍＬＳＴＭ 重视，
ｗｏ 其他方法难以判断的问题 ． 链条中断， 召回率低．
而停用 词 往 往 被 忽 视 ．ｍＬＳＴＭ 的 机 制 符 合 人 类 直 １）保留了基于逻辑演算方法
（ 方法性能严 重 依 赖 转 换 规
的合理内核； 则：不 完 善 的 规 则 导 致 召
觉，设计的比较巧妙 ． 转换
２）不要求转换为逻辑式，一
（ 回率 低，错 误 的 规 则 导 致
Ｃｈｅｎｇ 等人 从人类的阅读习惯中获得灵感，提
［
８２］
定程度上提高了鲁棒性 ． 识别准确率低 ．

出了ＬＳＴＭＮ（ Ｌｏｎｇ　
Ｓｈｏ
ｒｔ－Ｔｅ
ｒｍ　
Ｍｅｍｏ
ｒｙ－Ｎｅ
ｔｗｏ
ｒｋｓ） 混合模型
１）方法不够直观；
融合了多 种 推 理 机 制 的 特 征，（
综合性强，从而适用性较广 ２）需要较多的训练语料
（
模型 来 识 别 蕴 含 关 系 ．与 传 统 ＬＳＴＭ 模 型 相 比，
１）连 续 化 向 量 表 示，克 服 了
（
ＬＳＴＭＮ 使用记 忆 带 （ｍｅｍｏ ｒｙ　ａｐｅ）而 不 是 记 忆 槽
ｔ 特征稀疏问题；
深度 ２）神经网络能一定程度上模
（ １）模型参数众多；
（
（Ｍｅｍｏｒ Ｃｅ
ｙ　 ｌ）来 记 忆 以 往 的 状 态 （
ｌ ｓｔａ
ｔｅ）和 输 出
神经 拟了人脑的思维机制； ２）学习收敛速度慢；
（
（ｏｕ
ｔ ｔ），解决了之 前 ＬＳＴＭ 类 方 法 记 忆 压 缩 导 致
ｐｕ 网络 ３）识别准确率高；
（ ３）需要大量的训练语料 ．
（
２）鲁棒性强；
（
信息损失的问题 ．并且该模型在 ＬＳＴＭ 内部添加了
３）领域可移植性好 ．
（
一个 Ａｔ
ｔｅｎｔ
ｉｏｎ 层 来 实 现 序 列 内 部 的 参 照 ．实 验 表
明，内 部 Ａｔｔｅｎ
ｔｉｏｎ 层 能 够 捕 获 句 内 依 存 关 系 ． ２　 蕴含知识的获取方法
２．
对于双序 列 建 模 问 题， Ｃｈｅｎｇ 等 人 设 计 了 Ｓｈａ
ｌｌｏｗ 文本蕴含关系识别研究离不开相关蕴含知识的
Ａｔ
ｔｅｎ
ｔｉｏｎ　
Ｆｕｓ
ｉｏｎ 和 Ｄｅ
ｅｐ　
Ａｔｔ
ｅｎｔ
ｉｏｎ　
Ｆｕｓ
ｉｏｎ 两种参 积累 ．尤其是基于逻辑演算或转换的方法，其性能直
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ８９９

接依赖于可应用的蕴含知识 ．由 １．
３．２ 节可知，知识 有学者提出了从大规模语料中获取文本蕴含知识的
来源与知识表示是蕴含知识获取研究的两个核心问 方法 ．
题 ．其中，蕴含知识来源可以分为人工构建的资源和 １）单词及短语级别的蕴含知识获取
（
大规模语料两种；蕴 含 知 识 按 照 表 示 方 式 不 同 可 划 Ｈａｒ
ｒｉｓ９０ 提出了 “分布假设”的思想，即具有相
［ ］

分为两类———单词及短语级别的蕴含知识和模板级 似上下文的单词或 短 语 的 语 义 是 相 似 的 ．而 语 义 相
别的蕴含知识 ．下面 将 围 绕 这 两 个 核 心 问 题 对 蕴 含 似的单词或短语往往具有蕴含关系 ．
知识获取方法进行介绍 ． Ｌ
ｉｎ９１ 基于分 布 假 设 思 想 提 出 了 Ｌ
［ ］
ｉｎ－相 似 度，
２．
２．１　 从手工构建的资源中获取蕴含知识的方法 并用它在 大 规 模 语 料 中 获 取 单 词 及 短 语 级 蕴 含 知
（１）单词及短语级别的蕴含知识获取 识．
Ｌｉｎ－相 似 度 的 特 点 是，如 果 两 个 词 Ｗ－Ｖ 的 上 下
人工 构 建 的 资 源 主 要 有 词 典 和 百 科 两 类 ．词 典 文重 合 率 较 高，这 两 个 词 的 Ｌ
ｉｎ－相 似 度 也 会 比 较
中的词项一般由单 词 及 其 释 义 构 成 ．而 单 词 的 释 义 高 ．如果某 两 个 词 Ｗ－Ｖ 的 Ｌ
ｉｎ－相 似 度 超 过 某 个 阈
中，有可能含有该单词的同义词、上位词等蕴含知识 ． 值，就认为它们之间存在蕴含关系 ．该方法从语料中
Ｗｏ
ｒｄＮｅ
ｔ 释 义 精 炼、形 式 规 范，是 在 ＲＴＥ
［
３２］
获取了大量的单词 及 短 语 级 蕴 含 知 识，但 其 中 难 免
系统 中 广 泛 用 到 的 机 读 词 典 （Ｍａ
ｃｈｉ
ｎｅ　Ｒｅ
ａｄａｂ
ｌｅ 有一些噪声 ．一些上 下 文 相 似 却 不 具 备 蕴 含 关 系 的
ａｎ 等人 首先尝试将 Ｗｏ 反义 词，如 “
ｇｏｏｄ－ｂａｄ”，会 混 在 所 获 取 的 蕴 含 知 识
［
８３］
Ｄｉ
ｃｔｉ
ｏｎａ
ｒｙ）．Ｍｏ
ｌｄｏｖ ｒｄＮｅ
ｔ
中单 词 释 义 转 化 成 为 逻 辑 表 达 式 ．Ｋｏｕｙ
ｌｅｋｏｖ 等 中 ．此外，该方法没有给出两个词之间的蕴含方向 ．
人 ［
利 用 Ｗｏ
８４］
ｒｄＮｅ
ｔ
［
中 词 汇 的 同 义 词、上 下 位 词
３２］
对此，
Ｇｅｆ
ｆｅｔ等人 ９２ 提 出 了 一 种 确 定 单 词 间 蕴
［ ］

等关系获取 单 词 及 短 语 级 的 蕴 含 知 识 ．
Ｐａｚ
ｉ ａ等
ｅｎｚ 含 方 向 的 方 法 ．其 基 本 思 想 是，对 给 定 的 两 个 词
人 ［
利 用 Ｗｏ
８５］
ｔ 中 单 词 间 关 系、Ｖｅ
ｒｄＮｅ ｒｂＮｅ
ｔ
［
８６］
中 Ｗ－Ｖ，如果在所有 Ｖ 的上下文中都可以把 Ｖ 替换成
动词间框架关 系 以 及 Ｗｏ ｔ与 Ｖｅ
ｒｄＮｅ ｔ的 映 射
ｒｂＮｅ 为 Ｗ ，就 认 为 Ｗ 比 Ｖ 的 适 用 范 围 更 广，从 而 认 为
关系来获取蕴含知识 ． ＷＶ．此外， Ｚａｎｚ
ｏｔｏ 等 人 ９３ 提 出 了 基 于 “选 择 偏
ｔ
［ ］

维基百科等在线百科是的蕴含知识的另一大来 好（
ｓｅｌ
ｅｃｔ
ｉｏｎａ
ｌ　ｐｒｅ
ｆｅｒ ｅ）”的 动 词 间 蕴 含 方 向 判
ｅｎｃ
源．
Ｋｏｕｙ
ｌｅｋｏｖ 等 人 ８７ 用 基 于 ＬＳＡ 的 词 汇 相 似 度
［ ］
定方法 ．所谓选择偏好是指动词的语义角色类型，语
方法从维基百科中 获 取 单 词 及 短 语 级 蕴 含 知 识；此 义角色类型较多的 动 词 蕴 含 语 义 角 色 较 少 的 动 词 ．
外，百科数据的结构性较强，有些结构暗示了蕴含关 Ｋｏｔ
ｌｅｒｍａｎ 等 人 ９４ 进 而 提 出 了 有 方 向 的 相 似 度
［ ］

系，例如，在维基百科的标题中有很多用于解释的括 （Ｄｉ
ｒｅｃｔ
ｉｏｎａ
ｌ　Ｓ
ｉｍｉ
ｌ ａｒ
ｉｔ Ｍｅ
ｙ　 ａ ｅ）来确定蕴含方向 ．
ｓｕｒ
号结构“Ｗ（
Ｖ）”，这 种 结 构 其 实 暗 示 着 ＷＶ 这 一 ２）模板级别的蕴含知识获取
（
蕴含关系，如 由 “
Ｔｈｅ　
Ｓｉｅｎ（Ｍｕｓ
ｒ ｉｃｌ）”可 得 出 “
ａ Ｔｈｅ Ｌ
ｉｎ 等人 ３８ 沿用 分 布 假 设 思 想，又 提 出 了 一 种
［ ］

ｃｈ 等 人 ８８ 手 工 总 结 了 维 基 模板级蕴含 知 识 获 取 方 法 ＤＩＲＴ．对 于 一 个 模 板 来
［ ］
Ｓ
ｉｒｅｎ Ｍｕｓ
ｉｃｌ”．
ａ Ｓｈｎａ
ｒ
百科中类似的蕴含 模 式，然 后 通 过 模 式 匹 配 的 方 法 说，例如“
Ｘ　 Ｙ”，可以 把 它 的 上 下 文 定 义 为 所 有
ｂｕｙ　
获取单词及短语级蕴含知识 ． 可以填充槽 Ｘ 和 Ｙ 的单词集合 ．两模板的相似度可
２）模板级别的蕴含知识获取 以用槽 Ｘ 的 Ｌｎ－相似度 ９１ 与槽 Ｙ 的 Ｌｎ－ 相似度的
［ ］
（ ｉ ｉ
ｔ３４ 是一个按 照 语 义 框 架 进 行 组 织 的 几何平均值表示 ．和基于分布假设的单词及短语级蕴
［ ］
Ｆｒ
ａｍｅＮｅ
英语词典资源 ．其中的每个框架对应一种事件类型， 含知识获取方法类似， ＤＩＲＴ 获取的知识中经常包含
包括属于该框 架 的 谓 词、论 元 以 及 例 句 ．Ａｈａ
ｒｏｎ 等 构成 反 义 的 模 板 对，如 “Ｘ　ｓｏ
ｌ ｓ　Ｙ”－“Ｘ　ｗｏ
ｖｅ ｒｓｅｎｓ
人 ［８９］提出了一种利 用 Ｆｒ ｔ框 架 间 关 系 从 中 例
ａｍＮｅ Ｙ”．另外，该 方 法 没 有 给 出 蕴 含 方 向 ．但 实 际 上，该
句中获取蕴含模板（如 ｃｕｒ
ｅ　ＸＸ　
ｒｅ ｒ）的方法 ．
ｃｏｖｅ 方法所获取到的模板对 中，只 有 大 约 ２０％ ～２５％ 是
由于人工构建的知识库覆盖了比较重要的词汇 双向蕴含的复述模板对 ［９５］，而大量 其 它 模 板 对 只 存
关系，并且结构性较强，因此从其中获取到的蕴含知 在单向蕴含关系，如 果 在 应 用 模 板 时 不 加 以 区 分 会
识的准确率较高 ．但是知识库中词汇相对固定，导致 对系统带来不确定性 ．
该类方法所获取的蕴含知识规模比较受限 ． Ｓｚｐｅｋ
ｔｏｒ 等 人 ９６ 从 另 一 个 角 度 提 出 了 基 于
［ ］

２．
２．２　 从大规模语料中获取蕴含知识的方法 ｂｏｏ
ｔｓｔ
ｒａｐｐ
ｉｎｇ 的 ＴＥＡＳＥ 方 法 ．该 方 法 可 以 根 据 人
除了 词 典 等 人 工 构 建 的 资 源，大 规 模 新 闻 语 料 工提供的种子模板 迭 代 地 从 语 料 中 获 取 蕴 含 知 识 ．
或 Ｗｅｂ 检索结果中同样包含丰富的蕴含知识，因此 具体地，首先用种子 模 板 在 搜 索 引 擎 中 检 索 得 到 一
 ９００ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

个包含该模板的句 子 集 合，并 在 这 个 集 合 中 把 所 有 ３　 与文本蕴含有关的国际评测

２．
可填充该模板的单 词 提 取 出 来；然 后 用 所 提 取 到 的 近年 来，国 际 上 多 家 机 构 举 办 了 多 届 与 文 本 蕴
单词进行检索得到 新 的 句 子 集 合，并 从 中 把 所 有 这 含有关的国际评测，为 各 个 方 法 提 供 了 横 向 比 较 的
些单词能填充的模 板 抽 取 出 来；之 后 再 用 这 些 新 得 平台；同时每一届评测都会发布新的数据集，从而极
到的模板进行迭代检索…… 大地促进了文本蕴 含 相 关 研 究 的 进 展 ．本 章 节 将 简
经过过滤 ［
后的模板都可被认为与原始种子
９７］
要介绍其中影响较大的几个国际评测和一些常用的
模板具有蕴含关系 ．此外，也可以应用蕴含关系的传 数据集，并给出相应的评价指标和当前的最好成绩 ．
递性 来 丰 富 蕴 含 模 板 ［９８］．基 于 Ｂｏｏ
ｔｓｔ
ｒａｐｐ
ｉｎｇ 的 方 ２．
３．１　ＰＡＳＣＡＬ　ＲＴＥ 评测
法能够获得非常丰 富 的 蕴 含 模 板 资 源，但 该 方 法 需 （
ＲＴＥ Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ　
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ ｔ）评测是
ｌｍｅｎ
要较多的人工干预，也没有给出模板之间蕴含方向 ． 最早 举 办 的 面 向 文 本 蕴 含 的 国 际 评 测，自 ２００５ 年
ｔ等人 提出一种称为 ＬＥＤＩＲ（ 起由欧洲 的 ＰＡＳＣＡＬ　 ｒｋ 资 助 举 办，从 ２００８
［
９９］
Ｂｈａｇａ ＬＥａ
ｒｎｉ
ｎｇ Ｎｅｔｗｏ
Ｄｉ
ｒｅｃ
ｔｉｏｎａ
ｌｉｔ
ｙ　ｏ
ｆ　Ｉ
ｎｆｅ
ｒｅｎｃ
ｅ　Ｒｕ
ｌｅｓ）的 方 法 判 定 一 对 年的 ＲＴＥ－４ 开 始 变 为 ＮＩＳＴ（Ｎａ
ｔｉｏｎａ
ｌ　Ｉ
ｎｓｔ
ｉｔｕ
ｔｅ　
ｏｆ
模板 Ｗ－Ｖ 的蕴含 方 向 ．与 Ｚａｎｚ ｏ
ｔｔｏ 等 人 ９３ 提 出 的
［ ］
Ｓ
ｔａｎｄａ
ｒｄｓ
　ａｎｄ　
Ｔｅｃｈｎｏｏｇｙ，美国国家标准与技术研
ｌ
ＬＥＤＩＲ 方 法 利 用 Ｗ 和 Ｖ 的 填
选择偏好方法类 似， 究所）所组织的 ＴＡＣ（
Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　
Ｃｏｎ
ｆｅｒ ｅ）评
ｅｎｃ
充词的语义类别数量来判断蕴含关系 ． 测的一部 分，至 ２０１１ 年 共 连 续 举 办 了 ７ 届 ［１０３－１０９］，
另外，模板的使用情况也应当考虑上下文 ．例如， 在文本 蕴 含 关 系 识 别 的 研 究 初 期，按 年 度 举 办 的
“
Ｘ　ａ
ｃｑｕｉ
ｒｅ　ＹＸ　ｐｕ
ｒｃｈａ
ｓ Ｙ”在“
ｅ　 ＡＴ＆Ｔ　 ａ
ｃｑｕ
ｉｒｅ（收 ＲＴＥ 评测吸引了大量学者从事相关研究 ．
购）Ｔ－Ｍｏｂｉ
ｌｅＡＴ＆Ｔ　ｐｕｒｃ
ｈａｓ
ｅ　Ｔ－Ｍｏｂ
ｉｌｅ 的上下文
” ＲＴＥ 的评测语料库中的 Ｔ－Ｈ 对 主 要 来 自 需 要
中成立，但在“ Ｃｈ
ｉｌｄ
ｒｅｎ　
ａｃｑｕｉ
ｒｅ（习得） ｓｋｉ
ｌｌ
ｓＣｈ ｉ
ｌｄｒ
ｅｎ 处理文本 蕴 含 关 系 的 ４ 个 应 用 场 景———问 答 系 统
ｐｕｒ
ｃｈａ
ｓｅｓｋ
　 ｉ
ｌｌｓ”中 并 不 成 立 ．
Ｓéａｇｈｄｈａ
［
１００］
、 ｎｕ 等
Ｄｉ （Ｑｕｅｓ
ｔｉｏｎ　Ａｎｓｗｅ
ｒｉｎｇ）、关系抽取（ Ｒｅｌａｔ
ｉｏｎ　
Ｅｘｔ
ｒａｃ－
人 ［
和 Ｍｅ
１０１］
ｌａｍｕｄ等人
［
利用 ＬＤＡ（
１０２］
Ｌａｔ
ｅｎｔ　
Ｄｉｒ
ｉｃｈ
ｌｅｔ ｔ
ｉｏｎ）、信 息 检 索 （Ｉｎ
ｆｏｒｍａ
ｔｉｏｎ　Ｒｅ
ｔｒｉ
ｅｖａｌ）和 文 摘
Ａｌ
ｌｏｃ
ａｔｏｎ，一种主题 模 型 ）对 模 板 的 上 下 文 按 主 题
ｉ （
Ｓｕｍｍａ
ｒｉｚ
ａｔｏｎ），其 主 要 语 言 为 英 语 ．ＲＴＥ－１ 至
ｉ
聚类，通过在不同主题下分别计算相似度的方法，一 ＲＴＥ－５ 是经典 的 蕴 含 关 系 识 别 任 务，其 语 料 规 模、
定程度上解决了蕴含模板的上下文敏感问题 ． 平衡性，最佳成绩等详见表 ４．在前 ３ 届 中 只 考 察 蕴
与人 工 构 建 的 资 源 相 比，大 规 模 语 料 中 的 蕴 含 含和非蕴含两种关系，从 ＲＴＥ－４ 开始将非蕴含关系
知识表现形式更加 丰 富，但 这 些 语 料 往 往 缺 乏 良 好 进一步划分为矛盾和未知两种，并开始引入长文本，
的结构，导致从中获取的蕴含知识的准确率较低 ． 进而考察语篇（
Ｄｉｓ
ｃｏｕｒ
ｓｅ）间 的 蕴 含 关 系 ．
ＲＴＥ－６ 开
２．
２．３　 各类文本蕴含知识获取方法对比 始引入 搜 索 任 务，即 要 求 系 统 在 语 料 库 中 寻 找 能
表 ３ 对前面介绍的各类蕴含知识获取方法进行 够蕴含 Ｈ 的 文 本 Ｔ．此 后，ＲＴＥ－８ 评 测 与 Ｓｅｍｅｖａ
ｌ－
了总结对比 ． ２０１３ 的 ＳＲＡ （
Ｓｔｕｄｅｎ
ｔ　Ｒｅ
ｓｐｏｎｓ
ｅ　Ａｎａｌｙｓｉｓ）评 测
合并，其 形 式 与 前 ７ 届 ＲＴＥ 评 测 差 异 较 大，将 在
表 ３　 蕴含知识获取方法对比
方法 知识来源 可取之处 不足之处 ２．
３．５ 节单独介绍 ．
１）词 典 覆 盖 了 的 词 （ ）
（ 经典 ＲＴＥ 评测的主要指标是 Ｔ－Ｈ 对的分类准
从人 １ 语料构建成本高；
ＷｏｒｄＮｅｔ 汇上下位关系；
工构
Ｖｅｒ
ｂＮｅ ２）百科结构性较强；
ｔ （
２）词汇 相 对 固 定，导 致
（ 确度（
Ａｃｃｕｒａｃｙ），即分类正确的比率：
建资 该类 方 法 所 获 取 的
ＦｒａｍｅＮｅ ３）从 中 获 取 到 的 蕴
ｔ （ １
源中 蕴含 知 识 规 模 比 较
含知 识 的 准 确 率 Ａｃ
ｃｕｒａｃｙ  １［ ︵ｉ ＝ ｙｉ］，
ｓ∑
获取
Ｗｉｋｉｐｅｄ
ｉａ
受限 ． ｙ
较高 ． ＃ｐａｉ
ｒ ｉ

１）语料 结 构 性 差，获 取
（ 其中：＃ｐａｉ
ｒｓ 是 Ｔ－Ｈ 对 的 总 数； ︵ｉ 是 系 统 对 第ｉ 个
ｙ
的知识准确率低；
１）具 有 相 似 上 下 文 （
（ ２）新 闻 语 料 表 达 方 式 Ｔ－Ｈ 对的关系 判 定 标 签，ｙｉ 是 其 正 确 答 案； １［·］是
大规模
基于 的短语／模板往往 单一，获 取 的 知 识 覆 指示函数，当其参数为真时值为 １，否则为 ０．
新闻语料；
分布 具有蕴含关系； 盖度低；
Ｗｅｂ
假设
检索结果
２）方法简单；
（ ３）Ｗｅｂ 检 索 结 果 的 规
（ ＲＴＥ－１～ ＲＴＥ－３ 的 语 料 可 从 ＰＡＳＣＡＬ 的 网
３）语料易收集 ．
（ 范性和 一 致 性 差，导
致蕴 含 规 则 的 应 用 站 ① 上获取； ＲＴＥ－４～ＲＴＥ－７ 的语料可从 ＴＡＣ 的网
性能较低 ．
站 ② 上获取 ．经 过 历 届 的 ＲＴＥ 评 测，识 别 文 本 蕴 含
基于 大规模
大规模 语 料 库 中 表 述 需 要 较 多 的 人 工 干 预
Ｂｏｏｔ－ 语料库；
方式的 多 样 性 使 获 取 （需人 工 制 定 种 子 模 板、
ｓ
ｔｒａｐ－ Ｗｅｂ
的蕴含模板规模较大 过滤规则） ① ｈ
ｔｔｐ：
／／ｐａ
ｓｃａ
ｌｌｉ
ｎ．ｅｃ
ｓ．ｓｏｔｏｎ．ａ
ｃ．ｕｋ／
ｐｉｎｇ 检索结果
② ｈ
ｔｔｐ：
／／ｗｗｗ． ｎ
ｉｓ ｇｏｖ／
ｔ． ｔａ ／ｄａ
ｃ ｔ／
ａｉｎｄｅｘ．
ｈｔｍｌ
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ９０１

关系的研究从无到 有，诞 生 了 一 系 列 思 路 迥 异 的 识 识语料库，同 时 给 出 几 个 问 题 及 若 干 候 选 项，每 个

别方法 ． 问题的候选项中至 多 有 一 个 是 正 确 的 答 案，系 统 可
２．
３．２　ＣＬＥＦ　ＡＶＥ 评测 以从候选项中选择 一 项 作 为 答 案 或 选 择 不 作 答，这
ＣＬＥＦ（
Ｃｒｏ
ｓｓ　Ｌａｎｇｕ
ａｇｅ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
Ｆｏｕｍ，后 改
ｒ 样的任 务 称 为 机 器 阅 读 问 答 任 务，简 称 ＱＡ４ＭＲＥ
名为 Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ａｎｄ　
Ｌａｂ
ｓ　ｏ
ｆ　ｔ
ｈｅ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
Ｆｏｕｍ），
ｒ 任务 ．
是一个致 力 于 对 跨 语 言 信 息 处 理 系 统 进 行 评 测 的 要完成 ＱＡ４ＭＲＥ 任 务 一 般 需 要 两 个 步 骤：首
机构 ．该 机 构 曾 于 ２００６ 年 至 ２００８ 年 连 续 举 办 了 先要在文章或 语 料 库 中 找 到 每 个 候 选 答 案 Ａ 的 支
３ 届 ＡＶＥ（
Ａｎｓｗｅ
ｒ　Ｖａ
ｌｉｄａ
ｔｉｏｎ　
Ｅｘｅ
ｒｃｉ
ｓｅ，答 案 验 证） 持文本 ＳＴ，然后按照与 ＡＶＥ 任 务 类 似 的 方 法 对 候
评测 ［１１０－１１２］． ＳＴ〉进 行 验 证 ．其 中 第 １ 个 步
选答案三元组〈Ｑ，Ａ，
ＡＶＥ 评测的目标是开发一个评估系统，要求其 骤需要信息检索技 术，第 ２ 个 步 骤 需 要 答 案 验 证 技
能自动地判断给定问 答 系 统 的 作 答 是 否 正 确 ．
ＡＶＥ 术 ．因 此，ＱＡ４ＭＲＥ 评 测 也 是 一 种 对 ＲＴＥ 技 术 的
语料来自 ＣＬＥＦ　
ＱＡ 评测任务，由多种语言构成，包 间接评测 ［１１６－１１７］．
括巴斯 克 语、保 加 利 亚 语、德 语、英 语、西 班 牙 语、法 评测的指标是 ａｃ
ｃｕｒａｃｙ 和ｃ＠１，定义如下：
语、意大利语、荷兰语、葡萄牙语、罗马尼亚语和希腊 ｎＲ ＋ｎＵＲ ，
ａｃ
ｃｕｒａｃｙ＝
语等 ．下面给出答案验证（
ＡＶＥ）任务的定义 ． ｎ
定义 ５．　 给定三元组〈问题 Ｑ，答 案 Ａ，支 持 文 １ ｎＲ ，
本 ＳＴ〉，要求系统根据 ＳＴ 判断 Ａ 是否是 Ｑ 的正确
ｃ＠１＝
ｎ （
ｎＲ ＋ｎＵ
ｎ ）
其中：
ｎ 是 所 有 问 题 总 数；
ｎＲ 是 正 确 回 答 的 问 题 数；
答案，这 样 的 任 务 称 为 答 案 验 证 任 务，简 称 ＡＶＥ
任务 ． ｎＵ 是未回答 的 问 题 数；
ｎＵＲ 为 候 选 项 中 没 有 正 确 答
由定义 ５ 可知， 案，同时系统也选择不作答的问题数 ．
ＡＶＥ 任务也是一个文本分类问
题，其评价指标为 Ｆ－ｓ 通过 ＱＡ４ＭＲＥ 评测，证明了 ＲＴＥ 技术可以用
ｃｏｅ 等．
ｒ
于提升 问 答 系 统 的 性 能，同 时 也 促 进 了 ＲＴＥ 技 术
２×ｒｅ
ｃａｌｌ×ｐｒ
ｅｃｉ
ｓｉｏｎ
Ｆ－ｓ
ｃｏｒ
ｅ＝ ，
ｒ
ｅｃａｌ
ｌ＋ｐｒｅｃ
ｉｓｉ
ｏｎ 的 发 展 ．此 外 ，这 些 评 价 指 标 的 设 计 非 常 巧 妙 ，尤
是正确答案且判定正确的样本数 其 是 加 入 了 对 没 有 正 确 选 项 的 问 题 的 考 察 ，促使参
ｐｒ
ｅｃｉ
ｓｉｏｎ＝ ，
判定为正确答案的样本数 与评测的系统先尝试 去 真 正 “理 解”文 章，再 去 考 虑
是正确答案且判定正确的样本数 作答 ．
ｒ
ｅｃａ
ｌｌ＝ ．
是正确答案的样本数 ２．
３．４　ＮＴＣＩＲ　ＲＩＴＥ 评测
　　 有些参与评测的 系 统 使 用 了 ＲＴＥ 技 术
［
１１３－１１４］
． ＩＲ（
ＮＴＣ ＮＩ
Ｉ　Ｔｅｓｔ
ｂｅｄ
ｓ　ａｎｄ　
Ｃｏｍｍｕｎ
ｉｔｙ
　ｆｏ
ｒ　Ｉ
ｎｆｏ
ｒ－
这些 ＲＴＥ 系统 中 的 Ｈ 来 自 于 由 问 题 Ｑ 和 系 统 作 ｍａ
ｔｉｏｎ　
ａｃｃ
ｅｓｓ　
Ｒｅｓ
ｅａｃｈ）是 日 本 国 立 情 报 学 研 究 所
ｒ
答案 Ａ 合并得到的陈述句，
Ｔ 则来自对应的支持文 资助的一系列研讨 会，致 力 于 推 动 信 息 处 理 技 术 相
档 ＳＴ．一 般 情 况 下，如 果 系 统 作 答 正 确，
Ｔ－Ｈ 间 必 关研究的发展 ．
２０１１ 年的 ＮＴＣＩＲ－９ 开始举办 ＲＩＴＥ
然存在蕴含关系 ．这就是通过识别 Ｔ－Ｈ 间的蕴含关 （
Ｒｅｃｏｇｎ
ｉｚｉ
ｎｇＩ
　ｎｆ
ｅｒｅｎｃ
ｅ　ｉ
ｎ　 ｔ）评 测，参 评 系 统 需
Ｔｅｘ
系来对答案进 行 评 估 的 基 本 思 想 ．故 而，ＡＶＥ 评 测 要识别给定文本对的蕴含、复述或矛盾关系 ．数据集
可以看作 是 对 ＲＴＥ 技 术 的 间 接 评 测 ．参 与 评 测 的 语言 有 英 语、日 语、简 体 中 文 和 繁 体 中 文［３０］ 等 ．至
系统用到了 基 于 相 似 度、转 换、逻 辑 演 算 的 推 理 机 ２０１４ 年 ＮＴＣ ＲＩＴＥ 评测共举办了 ３ 届 １１８－１２０ ，
ＩＲ－１１，
［ ］

制，评测结 果 表 明 应 用 ＲＴＥ 技 术 能 够 有 效 地 提 升 数据集可从 ＮＴＣＩＲ 网站 ① 上获取 ．

问答系统的性能 ［
１１０］
． 每年的 评 测 任 务 略 有 调 整，但 基 本 任 务 形 式
２．
３．３　ＣＬＥＦ　 ＱＡ４ＭＲＥ 评测 如下：
ＣＬＥＦ 在 ２０１１ 年 ～２０１３ 年 连 续 举 办 了 ３ 次 二元分类任务（ Ｂ
ｉｎａ
ｒｙ－Ｃｌ
ａｓｓ），给定一个文本对
ＱＡ４ＭＲＥ（Ｑｕｅｓｔ
ｉｏｎ　
Ａｎｓｗｅｒ
ｉｎｇ
　ｆｏ
ｒ　Ｍａｃｈ
ｉｎｅ　Ｒｅ
ａｄｎｇ）
ｉ Ｔ－Ｈ，需要判断 Ｈ 是否可由 Ｔ 推理得出；
评测 ［１１５］．这个 评 测 的 任 务 形 式 类 似 于 高 考 阅 读 理 多 元 分 类 任 务 （Ｍｕ ｌｔ
ｉ－Ｃｌ
ａｓｓ），给 定 文 本 对
解题目，所涉及的 语 言 有 阿 拉 伯 语、保 加 利 亚 语、英 Ｔ－Ｈ，需要 把 它 们 的 关 系 分 为 四 类：Ｔ 单 向 蕴 含 Ｈ
语、西班牙语和罗马尼亚语等 ．其任务定义如下 ．
定义 ６．　 给 定 一 篇 文 章 和 与 之 相 关 的 背 景 知 ① ｈ
ｔｔｐ：
／／ｒ
ｅｓｅ
ａｒｃｈ．
ｎｉｉ．
ａｃ．
ｊｐ／ｎ
ｔｃｉ
ｒ／ｉ
ｎｄｅｘ－ｅｎ．
ｈｔｍｌ
 ９０２ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

（
Ｆｏｒｗａｒｄ　Ｅｎ
ｔａｉ
ｌｍｅｎｔ，简记为 Ｆ）、
Ｔ 与 Ｈ 双向蕴含 术评价句法分析结果 ． ｌ－２０１２、
ＳｅｍＥｖａ ＳｅｍＥｖａ
ｌ－２０１３
（
Ｂｉ－ｄ
ｉｒｅ
ｃｔｉ
ｏｎａｌ　
Ｅｎｔａ
ｉ ｔ，简记为 Ｂ）、
ｌｍｅｎ Ｔ 与 Ｈ 矛盾 举办了两届ＣＬＴＥ（ Ｃｒｏｓｓ－Ｌ
ｉｎｇｕ
ａｌ　Ｔ
ｅｘｔｕａ
ｌ　Ｅｎｔａ
ｉ ｔ）
ｌｍｅｎ
ｏｎ，简记为Ｃ）、
Ｔ与 Ｈ独立（ 评测 ，要求 识 别 来 自 不 同 语 言 的 文 本 对 Ｔ－Ｈ
［
１２１－１２２］
（
Ｃｏｎ
ｔｒａｄ
ｉｃｔ
ｉ Ｉｎｄｅ ｅ，
ｐｅｎｄｅｎｃ
简记为 Ｉ）． 是否构成蕴含关系 ．
ＣＬＴＥ 评测要求对 Ｔ－Ｈ 间关系
ＲＩＴＥ 任务的 评 价 指 标 是 Ａｃ
ｃｕｒａｃｙ，其 与 经 典 进行四 元 分 类：前 向 蕴 含、后 向 蕴 含、双 向 蕴 含、非
的 ＲＴＥ任务相同，详见２．
３．１节 ．表 ４中列举了 ＲＩＴＥ 蕴含 ． ｌ－２０１３ 增 设 ＳＲＡ （
ＳｅｍＥｖａ Ｓｔｕｄｅｎ
ｔ　Ｒｅ
ｓｐｏｎｓ
ｅ
任务中与中文相关 的 常 用 数 据 集，并 介 绍 了 其 语 料 Ａｎａ
ｌｙｓ
ｉｓ）评测 ９ ，
［］
ＳＲＡ 评测要求参测系统对学生的
规模、平衡性、最佳成绩等信息 ． 作业进行打分 ．由于学生的作业与标准答案之间的蕴
２．
３．５　ＳｅｍＥｖａｌ相关评测 含关系 可 以 指 示 学 生 答 案 的 完 善 程 度，因 此 这 届
ＳｅｍＥｖａ （
ｌ Ｓｅｍａｎ
ｔｉｃ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ）是 一 个 致 力 于 ＳＲＡ 评测又被 ＳｅｍＥｖ ｌ称为 ＲＴＥ－８ 评测 ．
ａ ＳｅｍＥｖａｌ－
促 进 各 类 语 义 分 析 方 法 发 展 的 研 讨 会 ．ＳｅｍＥｖａ
ｌ 的
２０１４ ｔａ
ｓｋ　
１
［
１２３］
所衍生的Ｓ （
ＩＣＫ Ｓｅｎ
ｔｅｎｃ
ｅｓＩ
　ｎｖｏ
ｌｖｉ
ｎｇ
的前 身 是 Ｓｅｎｓ ｌ（Ｗｏ
ｅｖａ ｒｄ　Ｓｅｎｓｅ　Ｄｉｓ
ａｍｂ ｉ
ｇｕａｔｉ
ｏｎ Ｃｏｍｐｏ
ｓｉｔ
ｉｏｎ
ａｌ　
Ｋｎｏｗｌ
ｅ ｅ）语料库 ① ，包含了约 １００００
ｄｇ
Ｅｖａ
ｌｕａ
ｔｉｏｎ），该评 测 前 期 主 要 关 注 词 义 消 歧 任 务， 个有三元蕴 含 标 注 （蕴 含、冲 突、中 性 ）的 英 语 Ｔ－Ｈ
后来逐渐 加 入 其 他 语 义 分 析 任 务 并 改 为 按 年 度 举 对，为近 期 识 别 文 本 蕴 含 研 究 提 供 了 标 准 评 测 语
办．
２０１０ 年起开 始 引 入 有 关 文 本 蕴 含 的 评 测 任 务 ． 料 ［１２４］，表４ 介绍了其语料规模、平衡性、最佳成绩等
ＳｅｍＥｖａ－２０１０ 举办了 ＰＥＴＥ（
ｌ Ｐａｒ
ｓｅｒ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
ｕｓｉ
ｎｇ 信息 ．
ＳＩＣＫ 语料库的评价指标是 Ａｃ
ｃｕｒａｃｙ，与 经 典
ｓ）评测 ，要求利用文本蕴含技 的 ＲＴＥ 任务相同，详见 ２． １节．
［１１］
Ｔｅｘｔ
ｕａｌ　Ｅｎｔａ
ｉｌｍｅｎ
ｔ ３．

表 ４　 常用数据集对比
数据集 发布 数据集规模（
Ｔ－Ｈ 对数量） 最好成绩
语言 Ｔ－Ｈ 对关系 类别分布
名称 时间 训练集／开发集 测试集 Ａｃ
ｃｕｒａｃｙ 推理机制
ＲＴＥ－１ 英语 ２００４　 ５６７　 ８００ 蕴含 ＋ 非蕴含 ５０％∶５０％ ５１９［１９　
０． ］
逻辑演算
ＲＴＥ－２ 英语 ２００５　 ８００　 ８００ 蕴含 ＋ 非蕴含 ５０％∶５０％ ６２６２［１５］
０． 相似度
ＲＴＥ－３ 英语 ２００６　 ８００　 ８００ 蕴含 ＋ 非蕴含 ５０％∶５０％ ６７０［１０７］
０． 相似度
ＲＴＥ－４ 英语 ２００８ 未发布 ［１０６］ １０００ 蕴含 ＋ 中性 ＋ 冲突 ５０％∶３５％∶１５％ ６１４［１２５］
０． 混合模型
ＲＴＥ－５ 英语 ２００９　 ６００　 ６００ 蕴含 ＋ 中性 ＋ 冲突 ５０％∶３５％∶１５％ ６８３３［１２６］
０． 对齐
ＲＩＴＥ－２－
汉语（简体） ２０１２　 ８１４　 ７８１ 蕴含 ＋ 非蕴含 ９５０∶６４５　 ０．
７４６５ ［
１２７］ 对齐
ＣＳ－ＢＣ
ＲＩＴＥ－２－
汉语（简体） ２０１２　 ８１４　 ７８１ Ｂ＋Ｆ＋Ｃ＋Ｉ
　 ３０４∶６４６∶２５２∶３９３　 ６１０８［１２７］
０． 对齐
ＣＳ－ＭＣ
ＲＩＴＥ－２－
汉语（繁体） ２０１２　 １３２１　 ８８１ 蕴含 ＋ 非蕴含 １１９５∶１００７　 ６７７６［１２８］
０． 混合模型
ＣＴ－ＢＣ
ＲＩＴＥ－２－
汉语（繁体） ２０１２　 １３２１　 ８８１ Ｂ＋Ｆ＋Ｃ＋Ｉ
　 ４１３∶８７２∶３６８∶５４９　 ５６６４［１２９］
０． 混合模型
ＣＴ－ＭＣ

Ｓ
ＩＣＫ 英语 ２０１４　 ４９３４　 ４９０６ 蕴含 ＋ 中性 ＋ 冲突 ２８２１∶５５９５∶１４２４　 ７６９［７０］
０． ＲＮＴＮ

ＳＮＬＩ 英语 ２０１５　 ５６０１５２　 １００００ 蕴含 ＋ 中性 ＋ 冲突 ８６３［８２］

１９０１１３∶１８９２１８∶１８９７０２　 ０． ＬＳＴＭＮ

表 ５　ＳＮＬＩ数据集上模型对比 料库规模远 超 之 前 所 有 语 料，具 有 约 ５７０　

０００ 个 具
模型 模型参数数量 Ａｃ
ｃｕｒａｃｙ 有三元蕴含标注的 英 语 Ｔ－Ｈ 句 对 ③ ，并 且 其 类 别 分
混合模型 ［７８］ — ０．
７８２ 布相对 均 衡 ．该 语 料 库 为 需 要 大 规 模 训 练 语 料 的
ＬＳＴＭ［１３０］ 约 ３００００００ 个 ０．
８０６
Ｔｒ
ｅｅ－ｂａ
ｓ ＣＮＮ［７４］
ｅｄ　 约 ３５０００００ 个 ０．
８２１ 神经网络类 ＲＴＥ 模型提供了数据保证 ［７４，７９，８１－８２］．由
ＬＳＴＭ＋ａ
ｔｔｅｎ
ｔｉｏｎ［７９］ 约 ２５２０００ 个 ０．
８３５ 于 该 语 料 库 的 以 上 特 点，渐 渐 在 较 新 的 研 究 工
ｉ－ＬＳＴＭ［８０］
Ｂ 约 ２００００００ 个 ０．
８３３
约 ２８０００００ 个
作 ［７４，７８－７９，８１－８２］中成为 标 准 评 测 集 ．表 ４ 将 其 与 以 往
Ｂ
ｉ－ＬＳＴＭ＋ａ
ｔｔｅｎ
ｔｉｏｎ［８０］ ０．
８５０
ｍＬＳＴＭ＋ａ
ｔｔｅｎ
ｔｉｏｎ［８１］ 约 １９０００００ 个 ０．
８６１ 的常用的经典 ＲＴＥ 语料进行了对比 ．表５ 对比了在
ＬＳＴＭＮ＋ａ
ｔｔｅｎ
ｔｉｏｎ［８２］ 约 ３４０００００ 个 ０．
８６３
ＳＮＬＩ语 料 上 训 练 的 最 新 识 别 模 型 ．
ＳＮＬＩ语 料 库 的

２．
３．６　ＳＮＬＩ语料 ① ＳＩＣＫ 语 料 库 获 取 地 址 ｈｔ
ｔｐ：
／／ｃ
ｌｉｃ．
ｃｉｍｅｃ．
ｕｎｉ
ｔｎ．ｉ／ｃ
ｔ ｏｍｐｏ－
［ ］ ｓｅ／ｓ
ｓ ｉｃｋ．
ｈｔｍｌ．
Ｉ（
ＳＮＬ Ｓ
ｔａｎ
ｆｏｒ
ｄ　Ｎａ
ｔｕｒ
ａｌ　
Ｌａｎｇｕａｇｅ
　Ｉｎ
ｆｅｒ ｅ）７８
ｅｎｃ ② ＳＮＬ Ｉ语料 库 获 取 地 址 ｈ ｔ
ｔｐ：
／／ｎｌ
ｐ．ｓｔａｎ
ｆｏｒ
ｄ．ｅｄｕ／ｐｒｏ
ｊｅｃ
ｔｓ／
是斯坦福 大 学 自 然 语 言 处 理 研 究 小 组 所 发 布 的 用 ｓｎｌ
ｉ／．
③ 除蕴含、 冲突、中性外， ＳＮＬＩ语料中还存在少量没有 标 签 的
于评测 识 别 文 本 蕴 含 关 系 方 法 的 语 料 库 ② ．该 语 样本 ．
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望
评价指标是 Ａｃ
ｃｕｒａｃｙ，与经典的 ＲＴＥ 任务相同，详
见 ２．
３．１节．
２．
３．７　 常用数据集对比与当前最好成绩
本节 通 过 表 格 的 形 式 在 数 据 集 规 模、类 别 分 布
等维度上对文本蕴含关系识别研究中常用的中英文
数据集进行了对比，并 且 给 出 了 在 每 个 数 据 集 上 取
得的 最 好 成 绩 和 对 应 的 推 理 机 制 ．其 中 ＳＮＬＩ数 据
集语料规模大、类别分布平衡，是目前最优标准测试
集，表 ５ 对其上展开的最新研究进展进行了总结 ．
关于 数 据 集 规 模，早 期 发 布 的 ＲＴＥ 系 列 英 文
语料 和 ＲＩＴＥ 系 列 中 文 语 料 中 Ｔ－Ｈ 对 的 数 量 一 般
都在 ２０００ 对 以 下，规 模 比 较 有 限；而 近 期 发 布 的
ＩＣＫ 和 ＳＮＬＩ 语 料，其 中 的 Ｔ－Ｈ 对 数 量 在 １０　
Ｓ ０００
对以上 ．
由表 ４ 可知，在小数据集上，人工构建特征的经
典方法，例如基于相似、对齐或逻辑演算的推理机制
所取得的效果比较 好；而 在 大 数 据 集 上 基 于 深 度 神
经网 络 的 识 别 方 法 取 得 的 成 绩 较 好 ．由 ２．
１．６节的
讨论可知，神经网络类方法能够自动学习 Ｔ 和 Ｈ 的
表示向量，不需要人工构建特征，但是对训练样本的
数量有比较高的要求，这里再次印证了这一点 ．
由表 ５ 可 知，神 经 网 络 类 模 型 需 要 学 习 的 参 数
量巨大，几乎都在 百 万 级，但 由 于 训 练 样 本 充 足，其
识别性能已经超过了经典的混合模型 ．
３　 未来研究展望
经过 众 多 学 者 多 年 来 的 不 断 耕 耘，在 文 本 蕴 含
关系的识别和蕴含知识的获取两个领域涌现了不少
思路迥异但行之有 效 的 方 法 ．大 数 据 时 代 的 到 来 以
及近期深度学习研 究 的 蓬 勃 发 展，为 文 本 蕴 含 研 究
带来了丰富的知识 来 源 和 有 力 的 科 研 工 具 ．可 以 预
见，如何有效地利用 这 些 便 利 促 进 文 本 蕴 含 研 究 将
成为未来的研究热点 ．本节立足当前研究形势，提出
了几个未 来 研 究 方 向 以 及 一 些 理 论 上 可 行 的 研 究
思路 ．
１　 大数据带来的机遇与挑战
３．
随着“大数据”时 代 的 到 来，人 们 所 积 累 的 自 然
语言文本越来越多，这 给 文 本 蕴 含 相 关 研 究 带 来 诸
多机遇与挑战 ．
３．
１．１　 丰富的知识来源和潜在训练语料
文本蕴含关系广泛存在于海量的自然语言文本
中，其表现形式的多 样 性 超 过 了 所 有 以 往 人 工 构 建
的知识库或语料 ．如 果 能 有 效 地 表 示 并 提 取 这 些 丰
９０３
富多样的文本蕴含 知 识，那 么 将 很 大 程 度 上 解 决 当
前基于逻辑演算或 转 换 的 ＲＴＥ 方 法 中 由 于 背 景 知
识缺乏而导致推理 链 条 中 断 的 问 题，进 而 提 高 这 类
方法的鲁棒性 ．此外，神 经 网 络 类 ＲＴＥ 方 法 模 型 复
杂、参数众多，导致 所 需 要 的 训 练 集 规 模 非 常 大，而
这些海量文本便成为了潜在的训练语料 ．因此，大数
据所带来的海量自然语言文本是能促进文本蕴含有
关研究的宝藏 ．
那么，如 何 利 用 大 数 据 来 获 取 更 多 的 蕴 含 知 识
以及潜在训练语料 将 是 １ 个 值 得 研 究 的 课 题 ．笔 者
认为至少可以从以下 ３ 个出发点着手：
１）文本自身的弱标注线索
（
除人 工 构 建 的 资 源 之 外，自 然 语 言 文 本 大 多 是
非结构化的，并且没 有 显 式 地 标 注 出 其 中 的 蕴 含 关
系，但是文本自身仍 然 存 在 一 些 指 示 蕴 含 关 系 的 线
索，例如：
关联词“那么”、“因 此”有 可 能 连 接 了 一 些 存 在
蕴含关系的文本；
文本 所 提 及 事 件 发 生 时 间 的 先 后，也 有 可 能 指
示了蕴含关系；
句式“Ｘ 是一种 Ｙ”或“
Ｘ，一种 Ｙ”，可能暗 示 Ｘ
蕴含 Ｙ……
以往 数 据 规 模 较 小，导 致 这 些 弱 标 注 线 索 分 布
比较稀疏，能匹配的蕴含现象非常有限，从而导致这
些线索价值较低 ．但 是 大 数 据 时 代 带 来 了 海 量 的 自
然语言文本，使得即 使 一 些 之 前 认 为 分 布 比 较 稀 疏
的弱标注线索仍然 会 对 应 大 量 的 实 例，因 此 可 以 通
过在海量自然语言文本中检索弱标注线索的方法获
取丰富多样的蕴含知识和潜在训练语料 ．
２）文本载体的弱结构信息
（
尽管 海 量 自 然 语 言 文 本 是 非 结 构 化 的，但 是 文
本的载体或多或少会具有一些结构性信息，例如：
新闻或电子邮件至少有标题和正文两部分组
成，而标题一般是正文的凝练概括，一般是可以由正
文推理得出的 ．这种 弱 结 构 信 息 就 指 示 了 两 个 文 本
片段———标题和正文———之间的蕴含关系；
Ｔｗｉ
ｔｔｒ中 的 Ｈａ
ｅ Ｔａｇ 一 般 会 按 照 话 题 事 件
ｓｈ　
进行组织，而 描 述 这 些 话 题 的 Ｔｗｅ
ｅｔｓ是 带 有 时 间
信息的，而 时 间 上 的 先 后 性 有 可 能 就 暗 示 了 两 个
Ｔｗｅ
ｅｔｓ之间的蕴含关系……
因此，可 以 利 用 文 本 载 体 的 弱 结 构 信 息 来 获 取
蕴含知识和潜在训练语料 ．
３）蕴含关系的传递性
（
若 ＯＰ，
ＰＱ，那 么 ＯＱ．这 就 是 蕴 含 关 系
 ９０４ 计 　　 算 　　 机 　　 学 　　 报
的传递性 ．抽象地讲，传递性是蕴含关系的固有属性
之一，如果给我们一个蕴含知识库，我们就可以利用
其中蕴含知识的传递性几乎不断地创造新的蕴含知
识 ．但是在实际应用中，蕴含知 识 ＯＰ 或 ＰＱ 也
有一定可能性不成立，由 于 错 误 的 级 联 效 应，
ＯＱ
成立的 可 能 性 比 ＯＰ 和 ＰＱ 都 要 低，而 多 次 应
用已有的蕴含知识所生成的新蕴含知识的正确性以
往是难以验证的 ．其 原 因 在 于 这 样 产 生 的 新 蕴 含 知
识在一般语料中很 难 出 现 ．但 是 大 数 据 时 代 的 到 来
为验证这些蕴含知识提供了可能 ．因此，通过大数据
来验证蕴含关系的传递性也是一种可行的知识获取
方式 ．
总之，大 数 据 的 规 模 效 应 是 一 根 非 常 有 用 的 杠
杆，可以把诸如弱标注信息、弱结构信息以及蕴含关
系的传递特性当作 支 点，来 撬 动 大 数 据 中 的 蕴 含 知
识宝藏 ．
３．
１．２　 海量知识获取过程中的矛盾检测与消除
事实上，由于噪声等诸多因素的影响，由不规则
的大数据得到的蕴 含 知 识 可 能 是 互 相 矛 盾 的，如 果
最终获得的蕴含 知 识 库 不 能 做 到 逻 辑 自 洽 （
Ｌｏｇ
ｉｃａ
ｌ
Ｃｏｎｓ
ｉｓｔ ｙ），那么将给 相 关 应 用 带 来 不 确 定 性 ．因
ｅｎｃ
此，海量知识获取过 程 中 的 矛 盾 检 测 与 消 除 也 是 一
个值得研究的课题 ．
对于 这 一 问 题，笔 者 认 为 可 以 从 知 识 表 示 和 知
识来源两个角度考虑：
１）细化知识表示
（
事实上，大多数蕴含知识都有自己的应用场景，
很少有能放之四海而皆准的蕴含知识；因此，很多表
面上看可能构成矛盾的蕴含知识可能只是由于其中
一 方 脱 离 了 自 身 的 应 用 场 景 ．目 前 蕴 含 知 识 的 表
示形式对应用场景的建模还不够精确 是 导 致 产 生
矛 盾 的 重 要 原 因 ．因 此 ，可 以 尝 试 细 化 蕴 含 知 识 的
应 用 场 景 或 上 下 文 来 对 其 进 行 区 分 ，从 而 尽 量 避
免矛盾．
２）对知识来源的置信度进行评估
（ 法 ［７８］．而具有蕴含关系的海量的自 然 语 言 文 本 是 未
尽 管 我 们 可 以 尽 量 细 化 蕴 含 知 识 的 应 用 场 景，
但是如果有些知识 来 源 本 身 就 含 有 事 实 性 错 误，那
么无论我们怎么增 强 对 场 景 的 精 确 建 模 能 力，也 不
能避免矛盾的发生 ．这时，就可以考虑对知识来源的
置信度进行评估，从 而 就 可 以 对 来 自 于 该 知 识 源 的
蕴含知识进行评分，当 要 使 用 的 蕴 含 知 识 发 生 矛 盾
时，就可以采用舍弃 评 分 较 低 的 蕴 含 知 识 的 方 法 来
保证逻辑自洽性 ．同时，这种方法一定程度上也能保
２０１７ 年
持应用的灵活性 ．
２　 深度神经网络带来的机遇与挑战
３．
３．
２．１　 基于深度学习的文本蕴含研究将成为热点
近年来，深 度 学 习 理 论 和 实 践 不 断 深 入 发 展，
在语 音 识 别 和 图 像 处 理 等 领 域 获 得 了 巨 大 的 成
功 ［１３１－１３２］．由于神 经 网 络 是 对 人 脑 思 考 推 理 过 程 在
抽象意义上的模拟，因 此 通 过 神 经 网 络 来 处 理 文 本
蕴含关系理论上是可行的 ．同时，神经网络方法通过
词向量（Ｗｏｒｄ　
Ｅｍｂｅｄｄ ｎｇ）的方式表示语义，解决了
ｉ
以往研究 中 语 义 表 示 稀 疏 所 带 来 的 问 题 ［１３３］．而 深
度学习方法解决了传统神经网络模型容易收敛到局
部最优值所导致的训练困难等问题 ．因此，利用深度
神经网络解决文本蕴含问题是水到渠成的 ．
目前 在 文 本 蕴 含 知 识 获 取 领 域 还 没 有 基 于 深
度 神 经 网 络 的 方 法 ，但 从 ２０１５ 年 起 开 始 陆 续 有 学
者把一些深度神经网络模型应用到文 本 蕴 含 关 系
识别 领 域，
２． ６节已经对这些方法分门别类地
１．
进行了 归 纳 总 结 ．在 撰 写 本 文 初 稿 的 过 程 中，又 有
３ 种 ８２ １３０ １３４ 新的基于深度神经网络的识别方法被提
［ ， ， ］
出，足 可 见 深 度 学 习 在 识 别 文 本 蕴 含 关 系 领 域 的 热
度 ．在不引入人工特征的情况下，这些模型基本都超
过了以 往 的 经 典 方 法 ．此 外，
２０１６ 年 ６ 月 开 始 有 学
者 ［２６］将深度神 经 网 络 用 于 文 本 蕴 含 对 的 生 成 任 务
上，该方法使用 ＳＮＬＩ数据集来训练带有 Ａｔ
ｔｅｎ
ｔｉｏｎ
机制的 ＬＳＴＭ 编 码 －解 码 网 络，并 直 接 使 用 该 网 络
生成蕴含对，从而突 破 了 生 成 任 务 必 须 要 由 知 识 库
驱动的限制 ．可以预见，基于深度神经网络模型的文
本蕴含研究将成为当前乃至未来的研究热点 ．
３．
２．２　 深度神经网络模型中值得研究的问题
基于深度神经网络的方法并非完美 ．首先，深度
神经网络的参数规模非常大，例如，用于识别文本蕴
含关系 的 Ｔｒ ＣＮＮ 模 型 ７４ 有 大 约 ３５０ 万
［ ］
ｅｅ－ｂａ
ｓｅｄ　
个参数需要学习 ．这 导 致 这 类 方 法 的 性 能 非 常 依 赖
训练集的规模，在训练语料不足的情况下，神经网络
模型的性 能 甚 至 低 于 使 用 人 工 定 义 特 征 的 经 典 方
经标注的，如何利用 未 标 注 的 海 量 文 本 来 弥 补 训 练
集的不足从而有效训练深度神经网络是一个值得研
究的课题 ．对此，
３． １ 节已经进行了讨论 ．
１．
此外，当 前 深 度 神 经 网 络 模 型 的 输 入 只 是 标 注
了蕴含关系的 Ｔ－Ｈ 对，与 人 类 的 推 理 过 程 相 比，这
类模型缺乏背景知 识，有 可 能 导 致 在 某 些 情 况 下 判
断失误 ．而学者在研究经典方法时，积累了大量的蕴
含知识 ［３８，９６，９９］．因此，如何把积累的蕴含知识导入深
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ９０５

度神经网络也是将来一个值得研究的课题 ．对此，笔 ３］ Ｂｈａ

［ ｓｋａ
ｒ　Ｐ，Ｂａｎｅ
ｒｊｅ
ｅ　Ｓ，Ｐａｋｒ Ｐ，ｅ
ａｙ　 ｔ　ａ
ｌ．Ａ　
ｈｙｂｒ
ｉｄ　
ｑｕｅ
ｓｔｉ
ｏｎ
ａｎｓｗｅ
ｒｉｎｇ　
ｓｙｓ
ｔｅｍ　ｆ
ｏｒ　Ｍｕ
ｌｔｉ
ｐｌｅ　Ｃｈｏ
ｉｃｅ　Ｑｕｅ
ｓｔｏｎ （ＭＣＱ）
ｉ ／／
者认为，结合已有的 蕴 含 知 识 利 用 蕴 含 对 生 成 技 术
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｑｕｅ
ｓｔｉ
ｏｎ　
Ａｎｓｗｅ
ｒｉｎｇ
　ｆｏ
ｒ　Ｍａ
ｃｈｉ
ｎｅ　
Ｒｅａｄ
ｉｎｇ
来生成新的训练语料是一种可行的办法 ．
Ｅｖ
ａｌｕａ
ｔｉｏｎ（
ＱＡ４ＭＲＥ）ａ
ｔ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ａ
ｎｄ　
Ｌａｂ
ｓ　ｏ
ｆ　ｔ
ｈｅ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ
Ｆｏ
ｒｕｍ．Ｖａ
ｌｅｎｃ
ｉａ，Ｓｐａ
ｉｎ，２０１３：１－１８

４　 结 　 论 ［
４］ Ｉ
ｆｔ Ａ，Ｇ
ｅｎｅ　 ｎｓａ　Ａ－Ｌ， Ｍｏ
ｃ ｒｕｚ　Ｍ　Ａ，ｅ
ｔ　ａ
ｌ．Ｅｎｈａｎｃ
ｉｎｇ　ａ
ｑｕｅ
ｓｔｏｎ　ａｎｓｗｅ
ｉ ｒｉｎｇ　ｓ
ｙｓｔ
ｅｍ　ｗｉ
ｔｈ ｅｘ
　ｔ ｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ ｏ
　ｆｒ
ｍａ
ｃｈｉ
ｎｅｒ
　ｅａｄ
ｉｎｇ　ｅｖａ
ｌｕａ
ｔｉｏｎ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ
文本蕴含关系是广泛分布于自然语言文本中的
ａｎｄ　
Ｌａｂｓ　
ｏｆｔ
　ｈｅ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
Ｆｏｕｍ （Ｏｎ
ｒ ｌｉｎｅ　
Ｗｏｒｋ
ｉｎｇ　
Ｎｏｔ
ｅｓ／
单向推理关系，文本 蕴 含 可 以 辅 助 其 他 自 然 语 言 处
／Ｗｏ
Ｌａｂｓ ｒｋｓｈｏｐ）．Ｒｏｍｅ，Ｉ
ｔａｙ，２０１２：１－１２
ｌ
理任务的进行，并且具有丰富的应用场景，因此文本 ［
５］ Ｈａ
ｒａｂａｇ
ｉ Ｓ，Ｈｉ
ｕ　 ｃｋｌ　
Ａ．Ｍｅ
ｔｈｏｄｓ
　ｆｏ
ｒ　ｕｓ
ｉｎｇ
　ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ
蕴含相关 研 究 是 自 然 语 言 处 理 领 域 的 一 项 基 础 性 ｉ
ｎ　ｏｐｅｎ－ｄｏｍａ
ｉｎ　
ｑｕｅ
ｓｔｉ ａｎｓｗｅ
ｏｎ　 ｒｉｎｇ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　２１ｓ
ｔ

研究 ． Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ
　ａｎｄ
ｔ
ｈｅ４４ｔ
　 ｈ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　
ｏｆｔ
　ｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ
本文 首 先 界 定 了 文 本 蕴 含 研 究 的 范 畴 ．作 为 一
Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ． Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ，
种二元关系，文 本 蕴 含 有 ３ 个 基 本 研 究 任 务———关
Ｓｙｄｎｅｙ，Ａｕｓ
ｔｒａ
ｌｉａ，２００６：９０５－９１２
系识别、知识获取 和 蕴 含 对 生 成 ．其 中，关 系 识 别 有 ［
６］ Ｒｏｍａｎｏ　
Ｌ，Ｋｏｕｙ
ｌ Ｍ，Ｓｚｐｅｋ
ｅｋｏｖ　 ｔｏｒ
　Ｉ，ｅ
ｔ　ａ
ｌ．Ｉ
ｎｖｅ
ｓｔｉ
ｇａｔ
ｉｎｇ　
ａ
两个核心问题，即语义表示与推理机制；知识获取也 ｇｅｎｅ
ｒｉ ｐａ
ｃ　 ｒ
ａｐｈｒ
ａｓｅ－ｂａ
ｓｅｄ　
ａｐｐ
ｒｏａ
ｃｈｆ
　ｏｒ
　ｒｅ
ｌａｔ
ｉｏｎ　
ｅｘｔ
ｒａｃ
ｔｉｏｎ／／

有两个核心问题，即知识表示与知识来源；蕴含对生 Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏ
ｆ　ｔ
ｈｅ　
Ｅｕｒ
ｏｐｅ
ａｎ　
Ｃｈａｐ
ｔｅｒ
　ｏｆ
　ｔｈｅ
Ａｓ
ｓｏｃ
ｉａｔ
ｉ 　ｆ
ｏｎ ｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｔｒ
ｅｎｏ，Ｉ
ｔ ｔａｙ，
ｌ
成研究进展缓慢有其内因和外因 ．
２００６：４０９－４１６
本文围绕语义表示与推理机制这两个核心问题
［
７］ Ｈａ
ｒａｂａｇ
ｉ Ｓ，Ｈｉ
ｕ　 ｃｋ Ａ，Ｌａ
ｌ　 ｃａｔ
ｕｓｕ　
Ｆ．Ｓａ
ｔｉｓ
ｆｙｉ
ｎｇｉ
　ｎｆ
ｏｒｍａ
ｔｉｏｎ
梳理了关系识别的 研 究 进 展，围 绕 知 识 表 示 与 知 识 ｎｅ
ｅｄ ｗｉ
ｓ　 ｔ
ｈ　ｍｕ
ｌｔｉ－ｄｏ
ｃｕｍｅｎ
ｔ　ｓ
ｕｍｍａ
ｒｉｅ
ｓ．Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ＆
来源梳理了知识获 取 的 研 究 进 展，并 指 出 了 各 类 方 ｔ，２００７，４３（
Ｍａｎａｇｅｍｅｎ ６）：１６１９－１６４２

法的可取之处与不 足 之 处 ．文 本 蕴 含 研 究 的 进 展 离 ［
８］ ＰａｄóＳ，Ｃｅ
ｒ　Ｄ，Ｇａ
ｌｌｅ
ｙ　Ｍ，
ｅｔａ
　ｌ．Ｍｅ
ａｓｕ
ｒｉｎｇ　
ｍａｃｈ
ｉｎｅ
　ｔｒ
ａｎｓ
ｌａｔ
ｉｏｎ
ｑｕａ
ｌｉ
ｔ ａ
ｙ　ｓｓ
　ｅｍａｎ
ｔｉｃ
　ｅｑｕ
ｉｖａ
ｌ ｅ：Ａ　
ｅｎｃ ｍｅｔ
ｒｉｃ　
ｂａｓ
ｅｄ　
ｏｎ　
ｅｎｔ
ａｉｌｍｅｎ
ｔ
不开相关国际评测，本 文 也 对 这 些 国 际 评 测 和 数 据
ｆ
ｅａｔ
ｕｒｅ
ｓ．Ｍａ
ｃｈｉ
ｎｅ　
Ｔｒａｎｓ
ｌａｔ
ｉｏｎ，２００９，２３（
２－３）：１８１－１９３
集进行了归纳总结 ．
［
９］ Ｄｚ
ｉｋｏｖ
ｓｋａ　
Ｍ　Ｏ，Ｎｉ
ｅｌｓ
ｅｎ　
Ｒ　Ｄ，Ｂｒ Ｃ，ｅ
ｅｗ　 ｔ　ａ
ｌ．ＳｅｍＥｖａ
ｌ－２０１３
大数据时代的到来和深度学习理论的不断发 ｔ
ａ ７：Ｔｈｅ
ｓｋ　 　ｊｏ
ｉｎｔ
　ｓｔ
ｕｄｅｎ
ｔ　ｒ
ｅｓｐｏｎｓ
ｅ　ａｎａ
ｌｙｓ
ｉｓａｎｄ　
　 ８ｔｈ　
ｒｅｃ
ｏｇｎ
ｉｚｉ
ｎｇ
展，为文本蕴含相关 研 究 提 供 了 丰 富 的 知 识 来 源 和 ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　１ｓ
ｔ　Ｊ
ｏｉｎ
ｔ

有力的研究工具，同 时 也 带 来 了 许 多 崭 新 的 研 究 课 Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｌｅｘ
ｉｃａ
ｌ　ａｎｄ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｓｅｍａｎ
ｔｉｃ
ｓ．Ａｔ
ｌａｎ
ｔａ，
ＵＳＡ，２０１３：２６３－２７４
题 ．本文立足当前 研 究 形 势，展 望 了 未 来 研 究 方 向，
［
１０］ Ｎｉ
ｅｌｓ
ｅｎ　
Ｒ　Ｄ，Ｗａ
ｒ Ｗ，Ｍａ
ｄ　 ｒｔｉ
ｎ　Ｊ　
Ｈ．Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ　
ｅｎｔ
ａｉｌｍｅｎ
ｔ　ｉ
ｎ
并从理论上探讨了其可行性 ．
ｉ
ｎｔｅ
ｌｌ
ｉｇｅｎ
ｔ　ｔ
ｕｔｏ
ｒｉｎｇ　
ｓｙｓ
ｔｅｍｓ．Ｎａ
ｔｕｒ
ａｌ　
Ｌａｎｇｕａｇｅ　
Ｅｎｇ
ｉｎｅ
ｅｒｎｇ，
ｉ
２００９，１５（
４）：４７９－５０１
致 　 谢 　 《计算机学报》编辑部和各位审稿老师提出 ［
１１］ Ｙｕｒ
ｅ Ｄ，Ｈａｎ　
ｔ　 Ａ，Ｔｕｒ
ｇｕｔ　
Ｚ．Ｓｅｍｅｖａ
ｌ－２０１０ｔ
ａ １２：Ｐａ
ｓｋ　 ｒｓｅ
ｒ

了宝贵意见，在此表示感谢！ ｅｖａ
ｌｕａ
ｔｉ ｕｓ
ｏｎ　 ｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔｓ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　５ｔ
ｈ
Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｗｏ
ｒｋｓｈｏｐ　ｏｎ　Ｓｅｍａｎ
ｔｉｃ　Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ｕｐｐｓ
ａｌａ，
Ｓｗｅｄｅｎ，２０１０：５１－５６
参 考 文 献
［
１２］ Ａｎｄ
ｒｏｕ
ｔｓｏｐｏｕ
ｌｏｓ
　Ｉ，Ｍａ
ｌａｋａ
ｓｉｏ
ｔｉｓ　
Ｐ．Ａ　
ｓｕｒ
ｖｅ ｏ
ｙ　ｆｐａ
　 ｒ
ａｐｈ
ｒａｓ
ｉｎｇ
ａｎｄ
　ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｍｅ
ｔｈｏｄｓ．Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ　
Ａｒｔ
ｉｆ
ｉｃｉ
ａｌＩ
　ｎｔ
ｅｌｌ
ｉ－
［
１］ Ｄａｇａｎ
　Ｉ， Ｇｌ
ｉｃｋｍａｎ　Ｏ． Ｐｒ
ｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ ｔ：
ｌｍｅｎ ｇｅｎｃ
ｅ　Ｒｅ
ｓｅａ
ｒｃｈ，２０１０，３８（
１）：１３５－１８７
Ｇｅｎｅ
ｒｉｃ
　ａｐｐ
ｌｉｅ
ｄ　ｍｏｄｅ
ｌｉｎｇ　
ｏｆｌ
　ａｎｇｕａｇｅ　
ｖａｒ
ｉａｂ
ｉｌ
ｉｔｙ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ ［
１３］ Ｈｅ
ｉ Ｍ，Ｓｍｉ
ｌｍａｎ　 ｔｈ　Ｎ　Ａ．Ｔｒ
ｅｅｅｄ
　 ｉ
ｔ　ｍｏｄｅ
ｌｓｆ
　ｏｒ
　ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ
ｏ
ｆ　ｔ
ｈｅ　ＰＡＳＣＡＬ　Ｗｏ
ｒｋｓｈｏｐ　ｏｎ　Ｌｅ
ａｒｎ
ｉｎｇ　Ｍｅ
ｔｈｏｄｓ
　ｆｏ
ｒ　Ｔｅｘ
ｔ ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔｓ，ｐａ
ｒａｐｈ
ｒａｓ
ｅｓ，ａｎｄ　
ａｎｓｗｅ
ｒｓｔ
　ｏ　
ｑｕｅ
ｓｔｉ ／／
ｏｎｓ
Ｕｎｄｅ
ｒｓｔ
ａｎｄ
ｉｎｇ　
ａｎｄ　
Ｍｉｎ
ｉｎｇ．Ｇｒ
ｅｎｏｂ
ｌｅ，Ｆｒ ｅ，２００４：２６－２９
ａｎｃ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　２０１０ Ａｎｎｕａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏ
ｆ　ｔ
ｈｅ　Ｎｏ
ｒｔｈ
［
２］ Ｗａｎｇ　 ｎｇ，Ｚｈｅｎｇ　Ｄｅ－Ｑｕａｎ， Ｗａｎｇ　Ｘｉ
Ｂａｏ－Ｘｉ ａｏ－Ｘｕｅ，ｅ
ｔ　ａ
ｌ． Ａｍｅ
ｒｉｃ
ａｎ　Ｃｈａｐ
ｔｅｒ
　ｏｆ
　ｔｈｅ　Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ
Ｍｕ
ｌｔｉ
ｐｌｅ－ｃｈｏ
ｉｃ ｑｕ
ｅ　 ｅ
ｓｔｉ
ｏｎ　
ａｎｓｗｅ
ｒｉｎｇ　
ｂａｓ
ｅｄ　
ｏｎｔ
　ｅｘ
ｔｕａ
ｌ　ｅ
ｎｔａ
ｉｌｍｅ
ｎｔ． Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ：Ｈｕｍａｎ　Ｌａｎｇｕａｇｅ　
Ｔｅｃｈｎｏ
ｌｏｇ
ｉｅｓ．Ｌｏ
ｓ　Ａｎｇｅ
ｌｅｓ，
Ａｃ
ｔａ　
Ｓｃｉ
ｅｎｔ
ｉａｒ
ｕｍ　
Ｎａｔ
ｕｒａ
ｌｉｕｍ　
Ｕｎｉ
ｖｅｒ
ｓｉｔ
ａｔｉ
ｓ　Ｐｅｋ
ｉｎｅｎｓ
ｉｓ，２０１６， ＵＳＡ，２０１０：１０１１－１０１９
５２（
１）：１３４－１４０（
ｉｎ　
Ｃｈｉ
ｎｅｅ）
ｓ ［
１４］ Ｍｅｈｄａｄ　
Ｍ，Ｍａ
ｔｔｅ
ｏ　Ｎ，
Ｅｌ Ｃ，
ｅｎａ　 ｅ
ｔ　ｌ．ＥＤＩＴＳ：Ａｎ　
ａ ｏｐｅｎ　
ｓｏｕ
ｒｃｅ
（王宝鑫，郑德权，王晓雪等 ．基于文本蕴含的选择类问题解 ｆ
ｒａｍｅｗｏ
ｒｋ　ｆ
ｏｒ　ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ
答技术研 究 ．北 京 大 学 学 报 （自 然 科 学 版 ），２０１６，５２（
１）： ｏ
ｆ　ｔ
ｈｅ　
Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒ ｇ，ＵＳＡ，２００９：
ｓｂｕｒ
１３４－１４０） １６９－１７８
 ９０６ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

［
１５］ Ａｄａｍｓ　
Ｒ．Ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｔ
ｈｒｏｕｇｈ　
ｅｘｔ
ｅｎｄｅ
ｄ　ｌ
ｅｘｉ
ｃａｌ
　ｏｖ
ｅｒｌ
ａｐ ［
２８］ Ｓｈｅｎｇ　
Ｙａ－Ｑｉ，Ｚｈａｎｇ　
Ｈａｎ，Ｌｖ　
Ｃｈｅｎ，Ｊ
ｉ　Ｄｏｎｇ－Ｈｏｎｇ．Ｔｅｘ
ｔｕａ
ｌ
／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　２ｎｄ　
ＰＡＳＣＡＬ　
Ｃｈａ
ｌｌｅｎｇｅ
ｓ　Ｗｏ
ｒｋｓｈｏｐ　
ｏｎ ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ　
ｂａｓ
ｅｄ　
ｏｎ　
ｍｉｘｅ
ｄ　ｔ
ｏｐｉ
ｃ　ｍｏｄｅ
ｌ．Ｃｏｍｐｕ
ｔｉｎｇ
Ｒｅ
ｃｏｇｎ
ｉｓｉ
ｎｇ　
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ．Ｖｅｎ
ｉｃｅ，Ｉ
ｔａｙ，２００６：１２８－
ｌ Ｅｎｇ
ｉｎｅ
ｅｒｎｇ，２０１５，４１（
ｉ ５）：１８０－１８４（
ｉｎ　
Ｃｈｉ
ｎｅｅ）
ｓ
１３３ （盛雅琦，张晗，吕晨，姬东鸿 ．基于混合主题模型的文 本 蕴
［
１６］ Ｊ
ｉｊ Ｖ，ｄｅ　
ｋｏｕｎ　 Ｒｉｋｅ　
ｊ Ｍ．Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｕｓ
ｉｎｇ 涵识别 ．计算机工程，２０１５，４１（
５）：１８０－１８４）
ｌ
ｅｘｉ
ｃａｌ
　ｓｉｍｉ
ｌａｒ
ｉｔｙ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　１ｓ
ｔ　ＰＡＳＣＡＬ　
Ｃｈａ
ｌｌｅｎｇｅ ［
２９］ Ｚｈａｏ　
Ｈｏｎｇ－Ｙａｎ，Ｌ
ｉ Ｐｅｎｇ，Ｌ
ｕ　 ｉ　Ｒｕ，Ｗａｎｇ　
Ｚｈｉ－Ｑｉ
ａｎｇ．Ｒｅ
ｃｏｇ－
Ｗｏ
ｒｋｓｈｏｐ．Ｓｏｕ
ｔｈａｍｐ
ｔｏｎ，ＵＫ，２００５：７３－７６ ｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｂａ
ｓｅｄ　
ｏｎ　
ｍｕｌ
ｔｉ－ｆ
ｅａｔ
ｕｒｅ
ｓ．Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ
［
１７］ Ｒａ
ｉ Ｒ，Ｎｇ　
ｎａ　 Ａ　Ｙ，Ｍａｎｎ
ｉｎｇ　
Ｃ　Ｄ．Ｒｏｂｕｓ
ｔ　ｔ
ｅｘｔ
ｕａｌ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ Ｃｈ
ｉｎｅ
ｓｅＩ
　ｎｆ
ｏｒｍａ
ｔｉｏｎ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ，２０１４，２８（
２）：１０９－１１５（
ｉｎ
ｖ
ｉａｌ
　ｅａ
ｒｎｉ
ｎｇ　
ａｎｄ　
ａｂｄｕ
ｃｔｉ
ｖｅｒ
　ｅａ
ｓｏｎ
ｉ ／／Ｐｒ
ｎｇ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｎａｔ
ｉｏｎ
ａｌ Ｃｈ
ｉｎｅ
ｓｅ）
Ｃｏｎ
ｆｅｒ ｅ　ｏｎ　Ａｒ
ｅｎｃ ｔｉｆ
ｉｃｉ
ａｌ　Ｉ
ｎｔｅ
ｌｌ
ｉ ｅ（ＡＡＡＩ）．Ｐ
ｇｅｎｃ ｉｔｔ ｇｈ，
ｓｂｕｒ （赵红燕，刘鹏，李茹，王 智 强 ．多 特 征 文 本 蕴 涵 识 别 研 究 ．
ＵＳＡ，２００５：１０９９－１１０５ 中文信息学报，２０１４，２８（
２）：１０９－１１５）
［
１８］ Ｍｏ
ｌ Ｄ，Ｃ
ｄｏｖａｎ　 ｌａ Ｃ，Ｈａ
ｒｋ　 ｒａｂａｇ
ｉ Ｓ，ｅ
ｕ　 ｔ　ｌ．Ｃｏｇｅｘ：Ａ　
ａ ｌｏｇ
ｉｃ ［
３０］ Ｈｕａｎｇ　Ｗ－Ｊ， Ｌ
ｉｕ　Ｃ－Ｌ．Ｅｘｐ
ｌｏｒ
ｉｎｇ
　ｌｅｘ
ｉｃｌ，ｓ
ａ ｙｎｔ
ａｃｔ
ｉｃ，ａｎｄ
ｒ
ｐｏｖｅ
ｒ　ｆ
ｏｒ　ｑｕｅ
ｓｔｉ
ｏｎ　ａｎｓｗｅ
ｒｉｎｇ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　２００３ ｓ
ｅｍａｎ
ｔｉｃ
　ｆｅ
ａｔｕｒ
ｅｓｆ
　ｏｒ　
Ｃｈｉ
ｎｅｓ
ｅ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｉ
ｎ　ＮＴＣＩＲ
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏ
ｆ　ｔ
ｈｅ　
Ｎｏｒ
ｔｈ　
Ａｍｅ
ｒｉｃ
ａｎ　
Ｃｈａｐ
ｔｅｒ
　ｏｆ
　ｔｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎ ＲＩＴＥ　
ｅｖａ
ｌｕａ
ｔｉｏｎ
　ｔａ
ｓｋｓ．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ　ａ ｖ：１５０４．
ｒＸｉ ０２１５０，
ｆ
ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ
ａｌ　
Ｌｉｎｇｕ
ｉｓｔ
ｉｃｓ　
ｏｎ　
Ｈｕｍａｎ　
Ｌａｎｇｕａｇｅ　
Ｔｅｃｈｎｏ
ｌｏｇｙ． ２０１５
Ｅｄｍｏｎ
ｔｏｎ，Ｃａｎａｄａ，２００３：８７－９３ ［
３１］ Ｌ
ｉｎ　
Ｄ．Ｅｘ
ｔｒａ
ｃｔｉ
ｎｇ　
ｃｏｌ
ｌｏｃ
ａｔｉ
ｏｎｓ
　ｆｒ
ｏｍ　
ｔｅｘ
ｔ　ｃ
ｏｒｐｏ
ｒａ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ
［
１９］ Ａｋｈｍａ
ｔｏｖａ　Ｅ． Ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｒ
ｅｓｏ
ｌｕｔ
ｉｏｎ　ｖ
ｉａ　ａ
ｔｏｍｉ
ｃ ｏ
ｆ　ｔ
ｈｅ１ｓ
　 ｔ　
Ｗｏｒ
ｋｓｈｏｐ　
ｏｎ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ
ａｌ　
Ｔｅｒｍｉ
ｎｏｌ
ｏｇｙ．Ｍｏｎ
ｔｒｅ
ａｌ，
ｒ
ｐｏｐｏ
ｓｉｔ
ｉ ／／Ｐｒ
ｏｎｓ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
ＰＡＳＣＡＬ　
Ｃｈａ
ｌｌｅ
ｎｇｅ
ｓ　Ｗｏ
ｒｋｓ
ｈｏｐ Ｃａｎａｄａ，１９９８：５７－６３
ｏｎ　Ｒｅ
ｃｏｇｎ
ｉｓｉ
ｎｇ　Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ．Ｓｏｕ
ｔｈａｍｐ
ｔｏｎ， ＵＫ， ［
３２］ Ｍｉ
ｌｌｅ
ｒ　Ｇ　Ａ． Ｗｏ
ｒ ｔ： Ａ　ｌ
ｄＮｅ ｅｘｉ
ｃａｌ
　ｄａ
ｔａｂａ
ｓｅ　ｆ
ｏｒ　Ｅｎｇ
ｌｉｓｈ．
２００５：６１－６４ Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎｓ　
ｏｆｔ
　 ＡＣＭ，１９９５，３８（
ｈｅ　 １１）：３９－４１
［
２０］ Ｂａｙｅ
ｒ　Ｓ，Ｂｕｒ
ｇｅｒ
　Ｊ，Ｆｅ
ｒｒ Ｌ，ｅ
ｏ　 ｔ　ｌ．ＭＩＴＲＥ’
ａ ｓ　ｓｕｂｍｉ
ｓｓｉ
ｏｎｓ
　ｔｏ ［
３３］ Ｚｈａｎｇ　
Ｐｅｎｇ，Ｌ
ｉ　Ｇｕｏ－Ｃｈｅｎ，Ｌ
ｉ　Ｒｕ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ｃｏｇｎ
ｉｚｅ
　ｔｅｘ
ｔ
ｔ ＥＵ　ｐａ
ｈｅ　 ｓｃａ
ｌ　ＲＴＥ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｐａ
ｔｔｅ
ｒｎ ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｂａ
ｓｅｄ　
ｏｎ　
ＦｒａｍｅＮｅ
ｔ　ｒ
ｅｌａ
ｔｉｏｎｓ．Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ　
Ｃｈｉ
ｎｅｓ
ｅ
Ａｎａ
ｌｙｓ
ｉｓ，Ｓ
ｔａｔ
ｉｓｔ
ｉｃａ
ｌ　Ｍｏｄｅ
ｌｌ
ｉｎｇ，ａｎｄ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌｅ
ａｒｎ
ｉｎｇ Ｉ
ｎｆｏ
ｒｍａ
ｔｉ Ｐｒ
ｏｎ　 ｏ
ｃｅｓ
ｓｉｎｇ，２０１２，２６（
２）：４６－５０（
ｉｎ　
Ｃｈｉ
ｎｓｓ）
ｅ
（
ＰＡＳＣＡＬ）Ｃｈａ
ｌｌｅｎｇｅ
ｓ　Ｗｏ
ｒｋｓｈｏｐ　ｏｎ　Ｒｅ
ｃｏｇｎ
ｉｓｉ
ｎｇ　Ｔｅｘ
ｔｕａ
ｌ （张鹏，李国臣，李茹等 ．基于 Ｆｒ ｔ框 架 关 系 的 文 本 蕴
ａｍｅＮｅ
Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ．Ｓｏｕ
ｔｈａｍｐ
ｔｏｎ，ＵＫ，２００５：４４ 含识别 ．中文信息学报，２０１２，２６（
２）：４６－５０）
［
２１］ Ｂｏ
ｓ　Ｊ．Ｉ
ｓ　ｔ
ｈｅｒ
ｅ　ｌ
ｐａｃ
ｅ　ｆ
ｏｒｌ
　ｏｇ
ｉｃｉ
　ｎ　
ｒｅｃ
ｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ ｔ？
ｌｍｅｎ ［
３４］ Ｂａｋｅ
ｒ　 Ｆ，Ｆ
Ｃ　 ｉｌｌｍｏ
ｒｅ　
Ｃ　Ｊ，Ｌｏｗｅ
　Ｊ　
Ｂ．Ｔｈｅ　
ｂｅｒｋｅ
ｌｅｙ　
ＦｒａｍｅＮｅ
ｔ
Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃＩ
　ｓｓｕｅ
ｓ　ｉ
ｎ　Ｌａｎｇｕａｇｅ　
Ｔｅｃｈｎｏ
ｌｏｇｙ，２０１３，９（
３）：１－１８ ｒ
ｐｏｅ
ｊｃ／／Ｐｒ
ｔ ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　３６
ｔｈ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　ｏ
ｆ　ｔ
ｈｅ
［
２２］ Ｒｏｙ　
Ｓ，Ｖｉ
ｅｉａ　Ｔ，Ｒｏ
ｒ ｔｈ　Ｄ．Ｒｅ
ａｓｏｎ
ｉｎｇ　ａｂｏｕ
ｔ　ｑｕａｎ
ｔｉｔ
ｉｅ　ｉ
ｓ ｎ Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ
　ａｎｄ　
１７ｔ
ｈ　Ｉ
ｎｔｅ
ｒｎａ－
ｎａ
ｔｕｒ
ａｌｌ
　ａｎｇｕａｇｅ．Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓ　
ｏｆｔ
　ｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ－ ｔ
ｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ－Ｖｏ
ｌｕｍｅ
　１．
ｔ
ａｔｉ
ｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ，２０１５，３：１－１３ Ｍｏｎ
ｔｒｅ
ａｌ，Ｃａｎａｄａ，１９９８：８６－９０
［
２３］ Ｄｅ　Ｍａ
ｒｎｅ
ｆｆｅ　Ｍ－Ｃ，Ｒａ
ｆｆｅ
ｒｔｙ　Ａ　Ｎ， Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ．Ｆ
ｉｎｄ
ｉｎｇ ［
３５］ Ｒｅｎ　
Ｈａｎ，Ｓｈｅｎｇ　
Ｙａ－Ｑｉ，Ｆｅｎｇ　
Ｗｅｎ－Ｈｅ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ
ｃ
ｏｎｔ
ｒａｄ
ｉｃｔ
ｉ 　ｉ
ｏｎｓ ｎ
　ｔｅｘ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ ｈｅ　ＡＣＬ： ＨＬＴ，
　ｔ ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｂａ
ｓｅｄ　
ｏｎ　
ｋｎｏｗｌ
ｅｄｇｅ
　ｔｏｐ
ｉｃ　
ｍｏｄｅ
ｌｓ．Ｊ
ｏｕｒ
ｎａｌ
Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｃｏ
ｌｕｍｂｕｓ，ＵＳＡ， ｏ
ｆ　Ｃｈ
ｉｎｅ
ｓｅＩ
　ｎｆ
ｏｒｍａ
ｔｉｏｎ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ，２０１５，２９（
６）：１１９－１２６（
ｉｎ
２００８：１０３９－１０４７ Ｃｈ
ｉｎｅ
ｓｅ）
［
２４］ Ｎｅｖě
ｉｌｏｖＺ．Ｐａ
ｒａｐｈｒ
ａｓｅ
　ａｎｄ
　ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｇｅｎｅ
ｒａｔ
ｉｏｎ／／ （任函，盛雅琦，冯文贺等 ．基于知识话题模型的文本蕴涵识

Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　Ｉｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　 ｔ，Ｓｐｅ
Ｔｅｘ ｅｃｈ， 别 ．中文信息学报，２０１５，２９（
６）：１１９－１２６）
ａｎｄ　
Ｄｉａ
ｌ ｎｏ，Ｃｚ
ｏｇｕｅ．Ｂｒ ｅｃｈ　
Ｒｅｐｕｂ
ｌｉｃ，２０１４：２９３－３００ ［
３６］ Ｓａ
ｉ Ｔ，Ｎａ
ｋｈ　 ｓｋａ
ｒ　 Ｋ，Ｇｉ
Ｓ　 ｒｉＣ，ｅ
　 ｔ　ａ
ｌ．Ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｕｓ
ｉｎｇ
［
２５］ Ｊ
ｉａ　 ｇｅｎｅ
Ｊ．Ｔｈｅ　 ｒａｔ
ｉｏｎ　
ｏｆｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｗｉ
ｔｈ　
ＮＬＭＬ
　ｉｎ　
ａｎ ｄ
ｉｆｆ
ｅｒｅｎ
ｔ　ｓ
ｉｍｉ
ｌａｒ
ｉｔ ｍｅ
ｙ　 ｔ
ｒｉｃ
ｓ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　Ｉｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌ
ｉ
ｎｔｅ
ｌｌ
ｉｇｅｎ
ｔ　ｄ
ｉａｌ
ｏｇｕｅ
　ｓｙｓ
ｔｅｍ　ｆ
ｏｒ　ｌ
ａｎｇｕａｇｅ
　ｌｅ
ａｒｎ
ｉ ＩＥＣ／／
ｎｇ　ＣＳ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ
　Ｉｎ
ｔｅｌ
ｌｉ
ｇｅｎ
ｔ　Ｔｅｘ
ｔ　Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ　
ａｎｄ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ．
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　ＩＥＥＥ　
Ｉｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｎａｔ
ｕｒａ
ｌ Ｃａ
ｒｉｏ，Ｅｇｙｐ
ｔ，２０１５：４９１－５０１
Ｐｒ
Ｌａｎｇｕａｇｅ　 ｏ
ｃｅｓ
ｓｉｎｇ　
ａｎｄ　
Ｋｎｏｗｌ
ｅｄｇｅ　
Ｅｎｇ
ｉｎｅ
ｅｒｉ
ｎｇ．
Ｐｉｓ
ｃａａｗａｙ，
ｔ ［
３７］ Ｉ
ｆｔｅｎｅ　
Ａ．ＵＡＩＣ　
Ｐａｒ
ｔｉｃ
ｉｐａ
ｔｉｏｎ　
ａ ＲＴＥ４／／Ｐｒ
ｔ　 ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
ＵＳＡ，２００８：１９４－２０１ １ｓ
ｔ　Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒ ｇ，ＵＳＡ，２００８：
ｓｂｕｒ
［
２６］ Ｋｏ
ｌｅ Ｖ，Ｒｏ
ｓｎｙｋ　 ｃｋｔ
ｓ ｌ　Ｔ，Ｒｉ
ｃｈｅ ｅｄｅ
ｌ　Ｓ．Ｇｅｎｅ
ｒａｔ
ｉｎｇ　ｎａ
ｔｕｒ
ａｌ １－１０
ｌ
ａｎｇｕａｇｅ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ　ｃｈａ
ｉｎｓ．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ　ａ ｖ：１６０６．
ｒＸｉ ０１４０４， ［
３８］ Ｌ
ｉ Ｄ，Ｐａｎ
ｎ　 ｔｅｌ
　Ｐ．ＤＩＲＴ＠ ＳＢＴ＠ ｄ
ｉｓｃ
ｏｖｅ
ｒ ｏ
ｙ　ｆｉ
　ｎｆ
ｅｒｅｎｃ
ｅ　ｒ
ｕｌｅ
ｓ
２０１６ ｆ
ｒ ｔ
ｏｍ　ｅｘ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　７
ｔｈ　ＡＣＭ　Ｓ
ＩＧＫＤＤ　Ｉ
ｎｔｅ
ｒｎａ－
［
２７］ Ｚｈａｎｇ　
Ｚ，Ｙａｏ　
Ｄ，Ｃｈｅｎ　
Ｓ，ｅ
ｔ　ａ
ｌ．Ｃｈ
ｉｎｅ
ｓｅｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ ｔ
ｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｋｎｏｗｌ
ｅｄｇｅ　
Ｄｉｓ
ｃｏｖｅ
ｒ ａｎｄ　
ｙ　 Ｄａｔ
ａ　Ｍｉ
ｎｉｎｇ．
ｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ　
ｂａｓ
ｅｄ　
ｏｎ　
ｓｙｎ
ｔａｃ
ｔｉｃ
　ｔｒ
ｅｅｃ
　ｌｉ
ｐｐｎｇ／／Ｐｒ
ｉ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆ Ｆｒ
Ｓａｎ　 ａｎｃ
ｉｓｏ，ＵＳＡ，２００１：３２３－３２８
ｃ
ｔ
ｈｅ　１３
ｔｈ　Ｃｈ
ｉｎａ　Ｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ ［
３９］ Ｃｈｋ
ｌｏｖ
ｓｋ Ｔ，Ｐａｎ
ｉ　 ｔｅｌ
　Ｐ．Ｖｅ
ｒｂＯｃ
ｅａｎ：Ｍｉ
ｎｉｎｇ
　ｔｈｅ　
Ｗｅｂ
　ｆｏ
ｒ　ｆ
ｉｎｅ－
Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ
　ａｎｄ
　ｔｈｅ
　２ｎｄ
　Ｉｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌ　Ｓｙｍｐｏ
ｓｉｕｍ　
ｏｎ　
Ｎａｔ
ｕｒａ
ｌ ｒ
ｇａｉ
ｎｅｄ　
ｓｅｍａｎ
ｔｉｃ　
ｖｅｒ
ｂ　ｒ
ｅｌａ
ｔｉ ／／Ｐｒ
ｏｎｓ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ
Ｌａｎｇｕａｇｅ　Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ　Ｂａ
ｓｅｄ　ｏｎ　Ｎａ
ｔｕｒ
ａｌｌ
ｙ　Ａｎｎｏ
ｔａｔ
ｅｄ　Ｂ
ｉｇ ｏｎ　Ｅｍｐ
ｉｒｉ
ｃａｌ　Ｍｅ
ｔｈｏｄｓ
　ｉｎ　Ｎａ
ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ　Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ．
Ｄａ
ｔａ．Ｗｕｈａｎ，Ｃｈ
ｉｎａ，２０１４：８３－９４ Ｂａ
ｒｃｅ
ｌｏｎａ，Ｓｐａ
ｉｎ，２００４：３３－４０
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ９０７

［
４０］ Ｍａ
ｃＣａ
ｒｔ Ｂ，Ｇａ
ｎｅｙ　 ｌｌｅｙ　Ｍ， Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ．Ａ　ｐｈｒ
ａｓｅ－ｂａ
ｓｅｄ ［
５４］ Ｄｏｎｇ　
Ｚｈｅｎ－Ｄｏｎｇ，Ｄｏｎｇ　
Ｑｉａｎｇ，Ｈａｏ　
Ｃｈａｎｇ－Ｌ
ｉｎｇ．Ｔｈｅ
ｏｒｅ
ｔｉｃ
ａｌ
ａ
ｌｉｇｎｍｅｎ
ｔ　ｍｏｄｅ
ｌ　ｆ
ｏｒ　
ｎａｔ
ｕｒａ
ｌ　ｌ
ａｎｇｕａｇｅ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ ｆ
ｉｎｄ
ｉｎｇ
ｓ　ｏ
ｆ　ＨｏｗＮｅ
ｔ．Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ　
Ｃｈｉ
ｎｅｓ
ｅ　Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ，
ｏ
ｆ　ｔ
ｈｅ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｅｍｐ
ｉｒｉ
ｃａｌ　
Ｍｅｔ
ｈｏｄｓ
　ｉｎ　
Ｎａｔ
ｕｒａ
ｌ　Ｌａｎｇｕａｇｅ ２００７，２１（
４）：３－９（
ｉｎ　
Ｃｈｉ
ｎｅｅ）
ｓ
Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ．Ｗａ
ｉｋｉ
ｋｉ，ＵＳＡ，２００８：８０２－８１１ （董振东，董强，郝长 伶 ．知 网 的 理 论 发 现 ．中 文 信 息 学 报，
［
４１］ Ｂａ
ｓ Ｒ，Ｋｕｍａ
ａｋ　 ｒ　Ｎａ ｒ　Ｓ，Ｐａｋｒ
ｓｋａ ａｙ　Ｐ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ ２００７，２１（
４）：３－９）
ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｂｙ　ｓ
ｏｆｔ
　ｄｅｐｅｎｄｅｎｃ
ｙ　ｔ
ｒｅｅ　ｍａ
ｔｃｈ
ｉｎｇ． ［
５５］ Ｊ
ｉ Ｔ，Ｗｅ
ｕ－Ｌｅ　 ｉ　Ｚ．Ｗｏ
ｒｄｓ
　ｓｉｍｉ
ｌａｒ
ｉｔ ａ
ｙ　ｌｇｏ
ｒｉｔ
ｈｍ　
ｂａｓ
ｅｄ　
ｏｎｔ
　ｏｎｇｙ
ｉｃｉ
Ｃｏｍｐｕ
ｔａｃ
ｉｏｎ　
Ｙ　Ｓ
ｉｓｔ ｓ，２０１５，１９（
ｅｍａ ４）：６２５７－６２５９ ｃ
ｉｌ
ｉｎ　ｉ
ｎ　ｓ
ｅｍａｎ
ｔｉｃ　ｗｅｂ　ａｄａｐ
ｔｉｖｅ
　ｌｅ
ａｒｎ
ｉｎｇ　ｓ
ｙｓｔ
ｅｍ．Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ
［
４２］ Ｓｕ
ｌｔａｎ　
Ｍ　Ａ，Ｂｅ
ｔｈａ
ｒ Ｓ，Ｓｕｍｎｅ
ｄ　 ｒ　Ｔ．Ｆｅ
ａｔｕｒ
ｅ－ｒ
ｉｃｈ
　ｔｗｏ－ｓ
ｔａｇｅ Ｊ
ｉｌ
ｉ Ｕｎ
ｎ　 ｉ
ｖｅｒ
ｓｉｙ（
ｔ Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
Ｓｃｉ
ｅｎｃ
ｅ　Ｅｄ
ｉｔｏｎ），２０１０，６（
ｉ １０）：
ｌ
ｏｇｉ
ｓｔｉ
ｃ　ｒ
ｅｇｒ
ｅｓｓ
ｉｏｎ
　ｆｏ
ｒ　ｍｏｎｏ
ｌｉｎｇｕａ
ｌ　ａ
ｌｉｇｎｍｅｎ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆ ６０２－６０８
ｔ Ｃｏｎ
ｈｅ　 ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｅｍｐ
ｉｒｉ
ｃａｌ　Ｍｅ
ｔｈｏｄｓ
　ｉｎ　Ｎａ
ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ ［
５６］ Ｌ
ｉ　Ｙａｎ．Ｍｕ
ｌｔｉ－Ｆｅ
ａｔｕ
ｒｅｓ　
Ｂａｓ
ｅｄ　
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　Ｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ
Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ．Ｌ
ｉｓｂｏｎ，Ｐｏ
ｒｔ ｌ，２０１５：９４９－９５９
ｕｇａ ｉ
ｎ　Ｃｈ
ｉｎｅ
ｓｅ ［Ｍ．
Ｓ．ｄ
ｉｓｓ
ｅｒｔ
ａｔｏｎ］．Ｗｕｈ
ｉ ａｎ　
Ｕｎｉ
ｖｅｒ
ｓｉｔ
ｙ　ｏ
ｆ　Ｓ
ｃｉｅ
ｎｃｅ
［
４３］ Ｎｏｈ　
Ｔ－Ｇ，ＰａｄóＳ，Ｓｈｗａ
ｒｔ Ｖ，ｅ
ｚ　 ｔ　ａ
ｌ．Ｍｕ
ｌｔｉ
－ｌｅｖｅ
ｌ　ａ
ｌｉｇｎｍｅｎ
ｔｓ Ｔｅ
ａｎｄ　 ｃｈｎｏ
ｌｏｇｙ，Ｗｕｈａｎ，２０１３（
ｉｎ　
Ｃｈｉ
ｎｅｅ）
ｓ
ａ
ｓ　ａｎ　ｅｘ
ｔｅｎｓ
ｉｂｌ
ｅ　ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ　
ｂａｓ
ｉｓｆ
　ｏｒ
　ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ （李妍 ．基于多特 征 的 中 文 文 本 蕴 涵 识 别 方 法 ［硕 士 学 位 论
ａ
ｌｇｏ
ｒｉｔ ／／Ｐｒ
ｈｍｓ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　Ｊｏ
ｉｎｔ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｌｅｘ
ｉｃａ
ｌ 文］．武汉科技大学，武汉，２０１３）
Ｃｏｍｐｕ
ａｎｄ　 ｔａｔ
ｉｏｎａ
ｌ　Ｓｅｍａｎ
ｔｉｃ ｒ，ＵＳＡ，２０１５：１９３
ｓ．Ｄｅｎｖｅ ［
５７］ Ｌ
ｉ Ｍ，Ｇｕｏ　
ｕ　 Ｙ，Ｎｉ
ｅ　Ｌ．Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ　
ｅｎｔ
ａｉｌｍｅｎ
ｔ　ｉ
ｎ　Ｃｈ
ｉｎｅ
ｓｅ
［
４４］ Ｈｏｂｂｓ
　 Ｒ，Ｓ
Ｊ　 ｔｉｃｋｅ
ｌ　Ｍ， Ｍａ
ｒｔｉ
ｎ　Ｐ，ｅ
ｔ　ａ
ｌ．Ｉ
ｎｔｅ
ｒｐｒ
ｅｔａ
ｔｉｏｎ　ａ
ｓ ｔ
ｅｘｓ　ｗｉ
ｔ ｔｈ　ｆ
ｅａｔ
ｕｒｅ
　ｃｏｍｂ
ｉｎａ
ｔｉｏｎ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　２０１５
ａｂｄｕｃ
ｔｉｏｎ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　２６
ｔｈ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　ｏｎ Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ａｓ
ｉａｎ　Ｌａｎｇｕａｇｅ　Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ
Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ． Ｓ
ｔｒ ｇ，
ｏｕｄｓｂｕｒ （
ＩＡＬＰ）．Ｓｕｚｈｏｕ，Ｃｈ
ｉｎａ，２０１５：８２－８５
ＵＳＡ，１９８８：９５－１０３ ［
５８］ Ｌ
ｉ Ｍａｏ－Ｆｕ，Ｌ
ｕ　 ｉ　Ｙａｎ，Ｊ
ｉ　Ｄｏｎｇ－Ｈｏｎｇ．Ｅｖｅｎ
ｔ　ｓ
ｅｍａｎ
ｔｉｃ
　ｆｅ
ａｔｕｒ
ｅ
［
４５］ Ｔｏ
ｌｅｄｏ　Ａ．Ｓｅｍａｎ
ｔｉｃ　ｍｏｄｅ
ｌｉｎｇ　ｏ
ｆ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ ｔ：Ｐｒ
ｌｍｅｎ ｏｏｆ－ ｂａ
ｓｅｄ　Ｃｈ
ｉｎｅ
ｓｅ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ．Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ
ｂａ
ｓｅｄ　
ａｎｎｏ
ｔａｔ
ｉｏｎ
　ｉｎ　
ａ　ｃ
ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌ　ｆ
ｒａｍｅｗｏ
ｒｋ．Ｎｅ
ｔｈｅ
ｒｌａｎｄｓ： Ｃｈ
ｉｎｅ
ｓｅＩ
　ｎｆ
ｏｒｍａ
ｔｉｏｎ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ，２０１３，２７（
５）：１２９－１３６（
ｉｎ
ＬＯＴ，２０１５ Ｃｈ
ｉｎｅ
ｓｅ）
［
４６］ Ｂａ
ｒ－Ｈａ Ｒ，Ｂｅ
ｉｍ　 ｒａｎ
ｔ　Ｊ，Ｄａｇａｎ
　Ｉ，ｅ
ｔ　ａ
ｌ．Ｅｆ
ｆｉｃ
ｉｅｎ
ｔ　ｓ
ｅｍａｎ
ｔｉｃ （刘茂福，李妍，姬东鸿 ．基于事件语义特征的中文文本蕴含
ｄｅ
ｄｕｃ
ｔｉｏｎ　
ａｎｄ　
ａｐｐ
ｒｏｘ
ｉｍａ
ｔｅ　
ｍａｔ
ｃｈｉ
ｎｇ　
ｏｖｅ
ｒ　ｃ
ｏｍｐａ
ｃｔｐａ
　 ｒ
ｓｅｆ
　ｏｒ
ｅｓｔ
ｓ 识别 ．中文信息学报，２０１３，２７（
５）：１２９－１３６）
／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒｓｂｕ
ｒｇ， ［
５９］ Ｌ
ｉ Ｍ，Ｚｈａｎｇ　
ｕ　 Ｌ，Ｈｕ　
Ｈ，ｅ
ｔ　ａ
ｌ．Ａ　
ｃｌａ
ｓｓｉ
ｆｉｃ
ａｔｉ
ｏｎ　
ｍｏｄｅ
ｌ　ｆ
ｏｒ
ＵＳＡ，２００８：
１－１０ ｓ
ｅｍａｎ
ｔｉ　ｅｎ
ｃ ｔａｉ
ｌｍｅｎ
ｔ　ｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ　ｗｉ
ｔｈ　ｆ
ｅａｔ
ｕｒｅ
　ｃｏｍｂ
ｉｎａ
ｔｉｏｎ．
［
４７］ Ｂａ
ｒ－Ｈａ Ｒ，Ｄａｇａｎ
ｉｍ　 　Ｉ，Ｇｒ
ｅｅｎ
ｔａｌ
　Ｉ，ｅ
ｔ　ａ
ｌ．Ｓｅｍａｎ
ｔｉｃ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ Ｎｅｕｒ
ｏｃｏｍｐｕ
ｔｉｎｇ，２０１６，２０８：１２７－１３５
ａ
ｔ　ｔ
ｈｅ　ｌ
ｅｘｉ
ｃａｌ－ｓ
ｙｎｔ
ａｃｔ
ｉｃ　ｌ
ｅｖｅ
ｌ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｎａ
ｔｉｏｎａ
ｌ ［
６０］ Ｒｅｎ　
Ｈａｎ， Ｗａｎ　Ｊ
ｉｎｇ， Ｗｕ　Ｈｏｎｇ－Ｍｉ
ａｏ，Ｆｅｎｇ　Ｗｅｎ－Ｈｅ．Ａ
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ａｒ
ｔｉｆ
ｉｃｉ
ａｌ　Ｉ
ｎｔｅ
ｌｌ
ｉｇｅｎｃ
ｅ．Ｖａｎｃ ｒ，Ｃａｎａｄａ，
ｏｕｖｅ ｃ
ｏ－ｔ
ｒａｉ
ｎｉｎｇ　
ｂａｓ
ｅｄ　
ａｐｐ
ｒｏａ
ｃｈｔ
　ｏｒ
　ｅｃ
ｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ．
２００７：８７１－８７６ Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ　Ｃｈ
ｉｎｅ
ｓｅ　Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　Ｐｒ
ｏｃｅ
ｓｓｎｇ，２０１４，２８（
ｉ ６）：
［
４８］ Ｌ
ｉ Ｅ，Ｋｏｕｙ
ｅｎ　 ｌｅｋｏｖ　
Ｍ．Ｓｅｍａｎ
ｔｉｃ　
ｐａｒ
ｓｉｎｇ
　ｆｏ
ｒ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ １１４－１１９（
ｉｎ　
Ｃｈｉ
ｎｅｅ）
ｓ
／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｐａ
ｒｓｉ
ｎｇ （任函，万菁，吴泓缈，冯文贺 ．基于协同训练的文本蕴 含 识
Ｔｅ
ｃｈｎｏ
ｌｏｇ
ｉｅｓ．Ｂ
ｉｌｂａｏ，Ｓｐａ
ｉｎ，２０１５：４０ 别 ．中文信息学报，２０１４，２８（
６）：１１４－１１９）
［
４９］ Ｍａ
ｃＣａ
ｒｔｎｅｙ　Ｂ， Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ．Ｎａ
ｔｕｒ
ａｌ　ｌ
ｏｇｉ
ｃ　ａｎｄ　ｎａ
ｔｕｒ
ａｌ ６１］ Ｚｈａｎｇ　
［ Ｚ，Ｙａｏ　
Ｄ，Ｐａｎｇ　
Ｙ，ｅ
ｔ　ａ
ｌ．Ｃｈ
ｉｎｅ
ｓｅｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ
ｌ
ａｎｇｕａｇｅ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｃｏｍｐｕ
ｔｉｎｇ　
Ｍｅａｎ
ｉｎｇ，２０１４，４：１２９－１４７ ｒ
ｅｃｏｇｎ
ｉｔｉ
ｏｎ　
ｅｎｈａｎｃ
ｅｄ　
ｗｉｔ
ｈ　ｗｏ
ｒｄ　
ｅｍｂｅｄｄ
ｉｎｇ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆ
［
５０］ Ｍａ
ｃＣａ
ｒｔｎｅｙ　Ｂ， Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ． Ｎａ
ｔｕｒ
ａｌ　ｌ
ｏｇｉ
ｃ　ｆ
ｏｒ　ｔ
ｅｘｔ
ｕａｌ ｔ
ｈｅ　１４
ｔｈ　Ｃｈ
ｉｎａ　Ｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ
ｉ
ｎｆｅ
ｒｅｎｃ
ｅ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
ＡＣＬ－ＰＡＳＣＡＬ　Ｗｏ
ｒｋｓｈｏｐ　ｏｎ Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃ ｚｈｏｕ，Ｃｈ
ｓ．Ｇｕａｎｇ ｉｎａ，２０１５：８９－１００
Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ａｎｄ　
Ｐａｒ
ａｐｈｒ
ａｓｉ
ｎｇ．Ｓ
ｔｒ ｇ，ＵＳＡ，
ｏｕｄｓｂｕｒ ［
６２］ Ｓｍｏ
ｌｅｎｓｋｙ　
Ｐ．Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ
　ｉｎ　
Ｄｙｎａｍｉ
ｃａｌ
　Ｓｙｓ
ｔｅｍｓ：
２００７：１９３－２００ Ｆｏｕｎｄａ
ｔｉｏｎｓ　
ｏｆ　Ｈａ
ｒｍｏｎｙ　Ｔｈｅｏ
ｒｙ．Ｃａｍｂｒ
ｉｄｇｅ，ＵＳＡ： ＭＩＴ
［
５１］ Ｓ
ｔｅｒ
ｎ　Ａ，
Ｄａａ
ｇｎＩ．Ａ　
　 ｃｏｎ
ｆｉｄ
ｅｎｃ
ｅ　ｍｏ
ｄｅｌ
　ｆｏ
ｒ　ｓ
ｙｎｔ
ａｃｔ
ｉｃａ
ｌｌｙ－ｍｏ
ｔｉｖａ
ｔｅｄ Ｐｒ
ｅｓｓ，１９８６：１９４－２８１
ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ ｒ
　ｐｏｏ
ｆｓ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ ｈｅ
　ｔ ｔ
　８ｈ ｎ
　Ｉｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ ［
６３］ Ｈｉ
ｎｔｏｎ　
Ｇ　Ｅ，Ｓａ
ｌａｋｈｕ
ｔｄｉ
ｎｏｖ　
Ｒ　Ｒ．Ｒｅ
ｄｕｃ
ｉｎｇ
　ｔｈｅ　
ｄｉｍｅｎｓ
ｉｏｎａ
ｌｉ
ｔｙ
Ｃｏｎ
ｆｅｒ ｅ　ｏｎ “Ｒｅ
ｅｎｃ ｃｅｎ
ｔ　Ａｄｖａｎｃ
ｅｓ ｎ　Ｎａ
　ｉ ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ ｏ
ｆ　ｄａ
ｔａ　ｗｉ
ｔｈ　
ｎｅｕｒ
ａｌｎｅ
　 ｔｗｏ
ｒｋｓ．Ｓｃ
ｉ ｅ，２００６，３１３（
ｅｎｃ ５７８６）：
Ｐｒ
ｏｃｅ
ｓｓｎｇ”．Ｈｉ
ｉ ｓｓｒ，Ｂｕ
ａ ｌｇａ
ｒｉａ，２０１１：４５５－４６２ ５０４－５０７
［
５２］ Ｔｉ Ｒ，Ｍｉ
ａｎ　 Ｙ，Ｔａｋｕｙａ　
ｙａｏ　 Ｍ．Ｌｏｇ
ｉｃａ
ｌｉ
　ｎｆ
ｅｒｅｎｃ
ｅ　ｏｎ　
ｄｅｐｅｎｄｅｎｃ
ｙ－ ［
６４］ Ｈｉ
ｎｔ Ｇ　Ｅ，Ｓａ
ｏｎ　 ｌａｋｈｕ
ｔｄｉ
ｎｏｖ　Ｒ　Ｒ．Ｒｅｐ
ｌｉｃ
ａｔｅｄ　ｓ
ｏｆｔｍａｘ：Ａｎ
ｂａ
ｓｅｄ　
ｃｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌ　ｓ
ｅｍａｎ
ｔｉｃ
ｓ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｕｎｄ
ｉｒｅ
ｃｔ 　ｔ
ｅｄ ｏｐ
ｉｃ　ｍｏｄｅ
ｌ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ
ｏ
ｆ　ｔ
ｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｂａ
ｌｔｉｍｏ
ｒｅ， Ｎｅｕ
ｒａｌ
　Ｉｎ
ｆｏｒｍａ
ｔｉｏｎ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ　
Ｓｙｓ
ｔｅｍｓ．Ｖａｎｃ
ｏｕｖ
ｅｒ，Ｃａｎａｄａ，
Ｍａ
ｒｙａｎｄ，２０１４：７９－８９
ｌ ２００９：１６０７－１６１４
［
５３］ Ｓｈａ Ｎ，Ｓｈａ
ｒｍａ　 ｒｍａ　Ｒ，Ｂ
ｉｓｗａ
ｓ　Ｋ　Ｋ．Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ　ｔ
ｅｘｔ
ｕａｌ ［
６５］ Ｌｙｕ　
Ｃ，Ｌｕ　
Ｙ，Ｊ
ｉ　Ｄ，ｅ
ｔ　ａ
ｌ．Ｄｅ
ｅｐｌ
　ｅａ
ｒｎｉ
ｎｇｆ
　ｏｒ
　ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ
ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｕｓ
ｉｎｇ　
ｄｅｐｅｎｄｅｎｃ
ｙ　ａｎａ
ｌｙｓ
ｉｓａｎｄ　
　 ｍａｃｈ
ｉｎｅ
　ｌｅ
ａｒｎ
ｉｎｇ／／ ｒ
ｅｃｏｇｎ
ｉｔｏｎ／／Ｐｒ
ｉ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　２０１５ＩＥＥＥ　
２７ｔ
ｈ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　ＮＡＡＣＬ－ＨＬＴ　２０１５ Ｓ
ｔｕｄｅｎ
ｔ　Ｒｅ
ｓｅａ
ｒｃｈ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｔｏｏ
ｌｓ　ｗｉ
ｔｈ　Ａｒ
ｔｉｆ
ｉｃｉ
ａｌ　Ｉ
ｎｔｅ
ｌｌ
ｉ ｅ（
ｇｅｎｃ ＩＣＴＡＩ）．
ｒｋｓｈｏｐ （
Ｗｏ ＳＲＷ）．Ｄｅｎｖｅ
ｒ，ＵＳＡ，２０１５：１４７ Ｖｉ
ｅｔｒ
ｉ　ｓｕ
ｌ　Ｍａ
ｒｅ，Ｉ
ｔａｙ，２０１５：１５４－１６１
ｌ
 ９０８ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

［
６６］ Ｇｏ
ｌｌｅ
ｒ　Ｃ，Ｋｕｃｈ
ｌｅｒ　Ａ．Ｌｅ
ａｒｎ
ｉｎｇ
　ｔａ
ｓｋ－ｄｅｐｅｎｄｅｎ
ｔ　ｄ
ｉｓｔ
ｒｉｂｕ
ｔｅｄ ［
８３］ Ｍｏ
ｌｄｏｖａｎ　
Ｄ　Ｉ，Ｒｕｓ　
Ｖ．Ｌｏｇ
ｉｃｆ
　ｏｒｍ　
ｔｒａｎｓ
ｆｏｒｍａ
ｔｉｏｎ　
ｏｆ　
Ｗｏｒ
ｄ－
ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ　ｂｙ　ｂａ
ｃｋｐ
ｒｏｐａｇａ
ｔｉｏｎ
　ｔｈｒ
ｏｕｇｈ　ｓ
ｔｒｕｃ
ｔｕｒ
ｅ／／ Ｎｅ
ｔ　ａｎｄ
　ｉｔ
ｓ　ａｐｐ
ｌｉｃ
ａｂｉ
ｌｉ
ｔｙｔ
　 ｑｕｅ
ｏ　 ｓｔｉ
ｏｎ　
ａｎｓｗｅ
ｒｉｎｇ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　ＩＥＥＥ　
Ｉｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｎｅｕｒ
ａｌ ｏ
ｆ　ｔ
ｈｅ３９
　 ｔ
ｈ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　
ｏｎ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ
Ｎｅ
ｔｗｏ
ｒｋｓ．Ｗａ
ｓｈｉ
ｎｇｏｎ，ＵＳＡ，１９９６：３４７－３５２
ｔ Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｔｏｕ
ｌ ｅ，Ｆｒ
ｏｕｓ ｅ，２００１：４０２－４０９
ａｎｃ
［
６７］ Ｓｏ
ｃｈｅ
ｒ　Ｒ，Ｌ
ｉｎ　
Ｃ　Ｃ，Ｍａｎｎ
ｉ Ｃ，ｅ
ｎｇ　 ｔ　ａ
ｌ．Ｐａ
ｒｓｉ
ｎｇ　
ｎａｔ
ｕｒａ
ｌ　ｓ
ｃｅｎｅ
ｓ ［
８４］ Ｋｏｕｙ
ｌ Ｍ，Ｍａｇｎ
ｅｋｏｖ　 ｉｎｉ
　Ｂ．Ｂｕ
ｉｌｄ
ｉｎｇ　
ａ　ｌ
ａｒｇｅ－ｓ
ｃａｌ
ｅ　ｒ
ｅｐｏ
ｓｉｔ
ｏｒｙ
ａｎｄ　ｎａ
ｔｕｒ
ａｌ ａｎｇｕａｇｅ　ｗｉ
　ｌ ｔｈ　ｒ
ｅｃｕｒ
ｓｉｖｅ　ｎｅｕｒ
ａｌ　ｎｅ
ｔｗｏ ／／
ｒｋｓ ｏ
ｆ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｒ
ｕｌｅ
ｓ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　５ｔ
ｈ　Ｉ
ｎｔｅ
ｒｎａ－
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　２８
ｔｈＩ
　ｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｍａｃｈ
ｉｎｅ ｔ
ｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｌａｎｇｕａｇｅ　Ｒｅ
ｓｏｕｒ
ｃｅｓ
　ａｎｄ　Ｅｖａ
ｌｕａ
ｔｉｏｎ．
Ｌｅ
ａｒｎ
ｉｎｇ （
ＩＣＭＬ－１１）．Ｂｅ
ｌｌｅｖｕｅ，ＵＳＡ，２０１１：１２９－１３６ Ｇｅｎｏａ，Ｉ
ｔａｙ，２００６：２３４７－２４４０
ｌ
［
６８］ Ｓｏ
ｃｈｅ
ｒ　Ｒ，Ｐｅ
ｒｅｌ
ｙｇｉ
ｎ　Ａ，Ｗｕ　
Ｊ　Ｙ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ｃｕｒ
ｓｉｖ
ｅ　ｄｅ
ｅｐ　
ｍｏｄｅ
ｌｓ ［
８５］ Ｐａ
ｚｉ ａ　Ｍ　Ｔ，Ｐｅｎｎａ
ｅｎｚ ｃｃｈ
ｉｏｔ
ｔｉ　Ｍ，Ｚａｎｚ
ｏｔｔ
ｏ　Ｆ　Ｍ． Ｍｉ
ｘｉｎｇ
ｆ
ｏｒｓ
　ｅｍａｎ
ｔｉｃ
　ｃｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌｉｔ
ｙ　ｏｖｅ
ｒ　ａ
　ｓｅｎ
ｔｉｍｅｎ
ｔ　ｔ
ｒｅｅｂａｎｋ／／ Ｗｏ
ｒ ｔ，Ｖｅ
ｄＮｅ ｒｂＮｅ
ｔ　ａｎｄ　
ｐｒｏｐｂａｎｋ
　ｆｏ
ｒ　ｓ
ｔｕｄｙ
ｉｎｇ　
ｖｅｒ
ｂ　ｒ
ｅｌａ
ｔｉｏｎｓ
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｅｍｐ
ｉｒｉ
ｃａｌ　Ｍｅ
ｔｈｏｄｓ
　ｉｎ ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ ｈｅ
　ｔ ｔ
　５ｈ ｎ
　Ｉｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ
Ｎａ
ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ　Ｐｒ
ｏｃｅ
ｓｓｎｇ （ＥＭＮＬＰ）．Ｓｅ
ｉ ａｔｔ
ｌｅ， ＵＳＡ， Ｒｅ
Ｌａｎｇｕａｇｅ　 ｓ
ｏｕｒ
ｃｅｓ
　ａｎｄ　Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ｇｅｎｏａ，Ｉ
ｔａｙ，２００６：
ｌ
２０１３：１６３１－１６４２ １３７２－１３７７
［
６９］ Ｉ
ｒｓｏｙ　Ｏ， Ｃａ
ｒｄｉ
ｅ　Ｃ． Ｄｅ
ｅｐ　ｒ
ｅｃｕｒ
ｓｉｖｅ　ｎｅｕｒ
ａｌ　ｎｅ
ｔｗｏ
ｒｋｓ
　ｆｏ
ｒ ［
８６］ Ｓｃｈｕ
ｌｅｒ　
Ｋ　Ｋ．Ｖｅ
ｒ ｔ：Ａ　
ｂＮｅ Ｂｒｏａｄ－Ｃｏｖｅ
ｒａｇｅ，Ｃｏｍｐ
ｒｅｈｅｎｓ
ｉｖｅ
ｃ
ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌｉ
ｔｙｉ
　ｎｌ
　ａｎｇｕａｇｅ．Ａｄｖ
ａｎｃ
ｅｓｉ
　ｎ　
Ｎｅｕ
ｒａｌ
　Ｉｎ
ｆｏｒｍａ
ｔｉｏｎ Ｖｅ
ｒｂ　
Ｌｅｘ
ｉｃｏｎ［
Ｐｈ．
Ｄ．ｄ
ｉｓｓ
ｅｒｔ
ａｔｏｎ］．Ｕｎ
ｉ ｉｖｅ
ｒｓｉ
ｔ ｏ
ｙ　ｆ　
Ｐｅｎｎ
ｓｙｌ
ｖａｎ
ｉａ，
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ　
Ｓｙｓ
ｔｅｍｓ，２０１４，３：２０９６－２１０４ Ｐｈ
ｉｌａｄｅ
ｌｐｈ
ｉａ，２００５
［
７０］ Ｂｏｗｍａｎ　Ｓ　Ｒ，Ｐｏｔｓ　Ｃ， Ｍａｎｎ
ｔ ｉｎｇ　Ｃ　Ｄ．Ｒｅ
ｃｕｒ
ｓｉｖｅ　ｎｅｕｒ
ａｌ ［
８７］ Ｋｏｕｙ
ｌ Ｍ，Ｍｅｈｄａｄ　
ｅｋｏｖ　 Ｙ，Ｎｅｇ
ｒｉ　
Ｍ．Ｍｉ
ｎｉｎｇ　
Ｗｉｋ
ｉｐｅｄ
ｉａｆ
　ｏｒ
ｎｅ
ｔｗｏ 　ｃ
ｒｋｓ ａｎ
　ｌｅ
ａｒｎ
　ｌｏｇ
ｉｃａ
ｌ　ｓ
ｅｍａｎ
ｔｉｃ
ｓ．ａ ｖ：１４０６．
ｒＸｉ １８２７， ｌ
ａｒｇｅ－ｓ
ｃａｌ
ｅ　ｒ
ｅｐｏ
ｓｉｔ
ｏｒｉ
ｅｓ　
ｏｆｃ
　ｏｎ
ｔｅｘ
ｔ－ｓ
ｅｎｓ
ｉｔｉ
ｖｅｅｎ
　 ｔ
ａｉｌｍｅｎ
ｔ　ｒ
ｕｌｅ
ｓ
２０１４ ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　Ｉｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｌａｎｇｕａｇｅ
［
７１］ Ｋａ
ｌｃｈｂ
ｒｅｎｎｅ
ｒ　Ｎ，Ｇｒ
ｅｆｅｎｓ
ｔｅｔ
ｔ Ｅ，Ｂ
ｅ　 ｌｕｎｓ
ｏｍ　
Ｐ．Ａ　
ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ Ｒｅ
ｓｏｕ
ｒｃｅ
ｓ　ａｎｄ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ｖａ
ｌｌｅ
ｔｔａ，Ｍａ
ｌｔａ，２０１０：３５５０－３５５３
ｎｅｕ
ｒａｌ
　ｎｅ
ｔｗｏ
ｒｋｆ
　ｏｒ　
ｍｏｄｅ
ｌｌ
ｉｎｇ　
ｓｅｎ
ｔｅｎｃ
ｅｓ．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ　ａ ｖ：
ｒＸｉ ［
８８］ Ｓｈｎａ
ｒ Ｅ，Ｂａ
ｃｈ　 ｒ Ｌ，Ｄａｇａｎ
ａｋ　 　Ｉ．Ｅｘ
ｔｒａ
ｃｔｉ
ｎｇｌ
　ｅｘ
ｉｃａ
ｌ　ｒ
ｅｆｅ
ｒｅｎｃ
ｅ
２１８８，２０１４
１４０４． ｒ
ｕｌｅ
ｓ　ｆ
ｒｏｍ　
Ｗｉｋ
ｉｐｅｄ
ｉａ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　Ｊｏ
ｉｎｔ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏ
ｆ
［
７２］ Ｋｉｍ　
Ｙ．Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｎｅｕｒ
ａｌｎｅ
　 ｔｗｏ
ｒｋｓ
　ｆｏ
ｒ　ｓ
ｅｎｔ
ｅｎｃ
ｅ　ｃ
ｌａｓ
ｓｉｆ
ｉ－ ｔ
ｈｅ４７ｔ
　 ｈ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　
ｏｆｔ
　ｈｅ　
ＡＣＬ　
ａｎｄ
　ｔｈｅ
　４ｔ
ｈ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ
ｃ
ａｔｉ
ｏｎ．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ　ａ ｖ：１４０８．
ｒＸｉ ５８８２，２０１４ Ｊ
ｏｉｔ　Ｃｏｎ
ｎ ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｎａ
ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ　Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ　ｏ
ｆ　ｔ
ｈｅ
［
７３］ Ｙｉ
ｎ　Ｗ，Ｓｃｈü
ｔｚｅ　Ｈ，Ｘｉ
ａｎｇ　Ｂ，ｅ
ｔ ｌ．ＡＢＣＮＮ：Ａｔ
　ａ ｔｅｎ
ｔｉｏｎ－ ＡＦＮＬＰ．Ｓ
ｔｒ ｇ，ＵＳＡ，２００９：４５０－４５８
ｏｕｄｓｂｕｒ
ｂａ
ｓｅｄ　ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｎｅｕｒ
ａｌ　ｎｅ
ｔｗｏ
ｒｋ　ｆ
ｏｒ　ｍｏｄｅ
ｌｉｎｇ　ｓ
ｅｎｔ
ｅｎｃ
ｅ ［
８９］ Ａｈａ
ｒ Ｒ　Ｂ，Ｓｚｐｅｋ
ｏｎ　 ｔｏ　Ｉ，Ｄａｇａｎ
ｒ 　Ｉ．Ｇｅｎｅ
ｒａｔ
ｉｎｇ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ
ｐａ
ｉｒｓ．ａ ｖ：１５１２．
ｒＸｉ ０５１９３，２０１５ ｒ
ｕｌｅ
ｓ　ｆ
ｒｏｍ　
ＦｒａｍｅＮｅ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　４８
ｔｈ　
Ａｎｎｕ
ａｌ　
Ｍｅｅ
ｔｉｎｇ
［
７４］ Ｍｏｕ　
Ｌ，Ｒｕ
ｉ　Ｍ，Ｌ
ｉ　Ｇ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ａｎｄ ｏ
ｆ　ｔ
ｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｕｐｐｓ
ａｌａ，
ｃ
ｏｎｔ
ｒａｄ
ｉｃｔ
ｉｏｎ　
ｂｙｔ
　ｒｅ
ｅ－ｂａ
ｓｅｄ　
ｃｏｎｖｏ
ｌｕｔ
ｉｏｎ．ａ ｖ：１５１２．
ｒＸｉ ０８４２２， Ｓｗｅｄｅｎ，２０１０：２４１－２４６
２０１５ ［
９０］ Ｈａ
ｒｒｉ
ｓ　Ｚ　
Ｓ．Ｄｉ
ｓｔｒ
ｉｂｕ
ｔｉｏｎａ
ｌ　ｓ
ｔｒｕｃ
ｔｕｒ
ｅ．Ｗｏ
ｒｄ，１９５４，１０（
２－３）：
［
７５］ Ｍｏｕ　
Ｌ，Ｍｅｎ　
Ｒ，Ｌ
ｉ　Ｇ，ｅ
ｔ　ａ
ｌ．Ｎａ
ｔｕｒ
ａｌｌ
　ａｎｇｕａｇｅ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ　ｂｙ １４６－１６２
ｔ
ｒｅｅｂａ
ｓｅｄ　
ｃｏｎｖｏ
ｌｕｔ
ｉｏｎ　
ａｎｄ　
ｈｅｕｒ
ｉｓｔ
ｉｃ　
ｍａｔ
ｃｈｎｇ／／Ｐｒ
ｉ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆ ［
９１］ Ｌ
ｉｎ　
Ｄ．Ａｕ
ｔｏｍａ
ｔｉｃ
　ｒｅ
ｔｒｉ
ｅｖａ
ｌ　ａｎｄ　
ｃｌｕｓ
ｔｅｒ
ｉｎｇ　
ｏｆｓ
　ｉｍｉ
ｌａｒ　
ｗｏｒ
ｄｓ／／

ｔ
ｈｅ５４ｔ
　 ｈ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　
ｏｆｔ
　ｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　３６
ｔｈ　
Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　
ｏｆｔ
　ｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎ
Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｂｅ
ｒｌｎ，Ｇｅ
ｉ ｒｍａｎｙ，２０１６：１３０－１３６ ｆ
ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ
ａｌ　
Ｌｉｎｇｕ
ｉｓｔ
ｉｃｓ
　ａｎｄ　
１７ｔ
ｈ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎ
ａｌ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ
［
７６］ Ｈｏ
ｃｈｒ
ｅｉｔ
ｅｒ　Ｓ，Ｓｃｈｍｉ
ｄｈｕｂｅ
ｒ　Ｊ．Ｌｏｎｇ　ｓｈｏ
ｒｔ－ｔ
ｅｒｍ　ｍｅｍｏ
ｒｙ． Ｃｏｍｐｕ
ｏｎ　 ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ－Ｖｏ
ｌｕｍｅ
　２．Ｍｏｎ
ｔｒｅ
ａｌ，Ｃａｎａｄａ，
Ｎｅｕｒ
ａｌ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ，１９９７，９（
８）：１７３５－１７８０ １９９８：７６８－７７４
［
７７］ Ｓｕｎｄｅ
ｒｍｅ
ｙｅ Ｍ，Ｓｃｈ
ｒ　 ｌüｔ
ｅ Ｒ，Ｎｅ
ｒ　 ｙ　Ｈ．ＬＳＴＭ　
ｎｅｕ
ｒａｌ
　ｎｅ
ｔｗｏ
ｒｋｓ ［
９２］ Ｇｅ
ｆｆｅ
ｔ　Ｍ，Ｄａｇａｎ
　Ｉ．Ｔｈｅ　
ｄｉｓ
ｔｒｉ
ｂｕｔ
ｉｏｎａ
ｌ　ｉ
ｎｃｌ
ｕｓｉ
ｏｎ　
ｈｙｐｏ
ｔｈｅ
ｓｅｓ
ｆ
ｏｒｌ
　ａｎｇｕａｇｅ　
ｍｏｄｅ
ｌｉｎｇ．Ｉ
ｎｔｅ
ｒｓｐｅ
ｅｃｈ，２０１２，３１：６０１－６０８ 　ｌ
ａｎｄ ｅｘ
ｉｃａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　４３ｒ
ｄ　Ａｎｎｕａ
ｌ
［
７８］ Ｂｏｗｍａｎ　
Ｓ　Ｒ，Ａｎｇｅ
ｌ Ｇ，Ｐｏ
ｉ　 ｔｔ Ｃ，ｅ
ｓ　 ｔ　ａ
ｌ．Ａ　
ｌａｒ
ｇｅａｎｎｏ
　 ｔａｔ
ｅｄ Ｍｅ
ｅｔｉ
ｎｇ　
ｏｎ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ａｎｎ
ｃ
ｏｒｐｕｓ
　ｆｏ
ｒ　ｌ
ｅａｒ
ｎｉｎｇ　
ｎａｔ
ｕｒａ
ｌ　ｌ
ａｎｇｕａｇｅ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ Ａｒ
ｂｏｒ，ＵＳＡ，２００５：１０７－１１４
ｏ
ｆ　ｔ
ｈｅ　２０１５ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｅｍｐ
ｉｒｉ
ｃａｌ　Ｍｅ
ｔｈｏｄｓ
　ｉｎ　Ｎａ
ｔｕｒ
ａｌ ［
９３］ Ｚａｎｚ
ｏｔｔ
ｏ　 Ｍ，Ｐｅｎｎａ
Ｆ　 ｃｃｈ
ｉｏｔ
ｔ Ｍ，Ｐａ
ｉ　 ｚｉｅｎｚ
ａ　Ｍ　
Ｔ．Ｄｉ
ｓｃｏｖｅ
ｒｉｎｇ
Ｌａｎｇｕａｇｅ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ．Ｌ
ｉｓｂｏｎ，Ｐｏ
ｒｔ ｌ，２０１５：６３２－６４２
ｕｇａ ａ
ｓｙｍｍｅ
ｔｒｉ
ｃ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｒ
ｅｌａ
ｔｉｏｎｓ　ｂｅ
ｔｗｅ
ｅｎ　ｖｅ
ｒｂｓ　ｕｓ
ｉｎｇ　ｓ
ｅｌｅ
ｃ－
［
７９］ Ｒｏ
ｃｋｔ
ｓｃ
ｈｅ Ｔ，Ｇｒ
ｌ　 ｅｆｅ
ｎｓｔ
ｅｔｔ
ｅ　Ｅ，Ｈｅ
ｒｍａ
ｎｎ　
Ｋ　Ｍ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ａｓｏｎ
ｉｎｇ ｔ
ｉｏｎａ
ｌ ｒ
　ｐｅｆ
ｅｒｅｎｃ
ｅｓ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　２１ｓ
ｔ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ
ａｂｏｕ
ｔ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｗｉ
ｔｈ　
Ｎｅｕ
ｒａｌ　
Ａｔｔ
ｅｎｔ
ｉｏｎ．ａ ｖ：１５０９．
ｒＸｉ ０６６６４， Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ
　ａｎｄ
　ｔｈｅ
　４４ｔ
ｈ　Ａｎｎｕａ
ｌ
２０１５ Ｍｅ
ｅｔｉ ｏ
ｎｇ　ｆ　ｔ
ｈｅ　Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．
［
８０］ Ｌ
ｉ Ｙ，Ｓｕｎ　Ｃ，Ｌ
ｕ　 ｉｎ　Ｌ，ｅ
ｔ　ａ
ｌ．Ｌｅ
ａｒｎ
ｉｎｇ　ｎａ
ｔｕｒ
ａｌ　ｌ
ａｎｇｕａｇｅ Ｓｙｄｎｅｙ，Ａｕｓ
ｔｒａ
ｌｉａ，２００６：８４９－８５６
ｉ
ｎｆｅ
ｒｅｎｃ
ｅ　ｕｓ
ｉｎｇ　
ｂｉｄ
ｉｒｅ
ｃｔｉ
ｏｎａ
ｌ　ＬＳＴＭ　
ｍｏｄｅ
ｌ　ａｎｄ
　ｉｎｎｅ
ｒ－ａ
ｔｔｅｎ
ｔｉｏｎ． ［
９４］ Ｋｏ
ｔｌｅ Ｌ，Ｄａｇａｎ
ｒｍａｎ　 　Ｉ，Ｓｚｐｅｋ
ｔｏｒ
　Ｉ，ｅ
ｔ　ａ
ｌ．Ｄｉ
ｒｅｃ
ｔｉｏｎａ
ｌ　ｄ
ｉｓｔ
ｒｉ－
ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ　ａ ｖ：１６０５．
ｒＸｉ ０９０９０，２０１６ ｂｕ
ｔｉｏｎａ
ｌ　ｓ
ｉｍｉ
ｌａｒ
ｉｔ　ｆ
ｙ ｏ
ｒ　ｌ
ｅｘｉ
ｃａｌ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｎａ
ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ
［
８１］ Ｗａｎｇ　
Ｓ，Ｊ
ｉａｎｇ　
Ｊ．Ｌｅ
ａｒｎ
ｉｎｇ　
ｎａｔ
ｕｒａ
ｌ　ｌ
ａｎｇｕａｇｅ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ　ｗｉ
ｔｈ Ｅｎｇ
ｉｎｅ
ｅｒｎｇ，２０１０，１６（
ｉ ４）：３５９－３８９
ＬＳＴＭ．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ　ａ ｖ：１５１２．
ｒＸｉ ０８８４９，２０１５ ［
９５］ Ｓｚｐｅｋ
ｔｏｒ
　Ｉ，Ｓｈｎａ
ｒ Ｅ，Ｄａｇａｎ
ｃｈ　 　Ｉ．Ｉ
ｎｓｔ
ａｎｃ
ｅ－ｂａ
ｓｅｄ　
ｅｖａ
ｌｕａ
ｔｉｏｎ
［
８２］ Ｃｈｅｎｇ　Ｊ，Ｄｏｎｇ　Ｌ，Ｌａｐａ
ｔａ　Ｍ．Ｌｏｎｇ　ｓｈｏ
ｒｔ－ｔ
ｅｒｍ　ｍｅｍｏ
ｒｙ－ ｏ
ｆ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｒ
ｕｌｅ
　ａｃ
ｑｕｉ
ｓｉｔ
ｉｏｎ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　４５ｔ
ｈ　Ａｎｎｕａ
ｌ
ｎ
ｅｔｗｏ
ｒｋｓ
　ｆｏ
ｒ　ｍａ
ｃｈｉ
ｎｅｒ
　ｅａ
ｄｉｎｇ．
ａｒＸ
ｉｖ　
ｐｒｅ
ｐｒｉ
ｎｔａ
　ｒＸ
ｉｖ： ０６７３３，
１６０１． Ｍｅ
ｅｔｉ
ｎｇ　
ｏｆ　ｔ
ｈｅ　Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．
２０１６ ａｇｕｅ，Ｃｚ
Ｐｒ ｅｃｈ　
Ｒｅｐｕｂ
ｌｉｃ，２００７：４５６－４６３
 ４期 郭茂盛等：文本蕴含关系识别与知识获取研究进展及展望 ９０９

［
９６］ Ｓｚｐｅｋ
ｔｏｒ
　Ｉ，Ｔａｎｅｖ　
Ｈ，Ｄａｇａｎ　
Ｄ，ｅ
ｔ　ａ
ｌ．Ｓｃ
ａｌｉ
ｎｇ　
ｗｅｂ－ｂａ
ｓｅｄ ［
１０９］ Ｄａｇａｎ
　Ｉ，Ｇｌ
ｉ Ｏ，Ｍａｇｎ
ｃｋｍａｎ　 ｉｎｉ
　Ｂ．Ｔｈｅ　
ＰＡＳＣＡＬ　
ｒｅｃ
ｏｇｎ
ｉｓｉ
ｎｇ
ａ
ｃｑｕ
ｉｓｉ
ｔｉｏｎ　ｏ
ｆ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ ｅ
　ｒｌａ
ｔｉ ／／Ｐｒ
ｏｎｓ ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ ｈｅ
　ｔ ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌｅｎｇｅ．Ｍａ
ｃｈｉ
ｎｅ　
Ｌｅａ
ｒｎｉ
ｎｇ　
Ｃｈａ
ｌｌ ｓ，
ｅｎｇｅ
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｅｍｐ
ｉｒｉ
ｃａｌ　Ｍｅ
ｔｈｏｄｓ
　ｉｎ　Ｎａ
ｔｕｒ
ａｌ　Ｌａｎｇｕａｇｅ ２００６，３９４４：１７７－１９０
Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ．Ｂａ
ｒｃｅ
ｌｏｎａ，Ｓｐａ
ｉｎ，２００４：４１－４８ ［
１１０］ Ｒｏｄ
ｒｉｇｏ，Ｐｅａ
ｓ　Ａ，Ｖｅ
ｒｄｅ
ｊｏ　
Ｆ．Ｏｖｅ
ｒｖｉ
ｅｗ　
ｏｆｔ
　ｈｅ
　ａｎｓｗｅ
ｒ
［
９７］ Ｒａｖ
ｉｃｈａｎｄ
ｒ Ｄ，Ｈｏｖｙ　Ｅ．Ｌｅ
ａｎ　 ａｒｎ
ｉｎｇ　ｓｕｒ
ｆａｃ
ｅ　ｔ
ｅｘ　ｐａ
ｔ ｔｔｅ
ｒｎｓ ｖ
ａｌｉ
ｄａｔ
ｉｏｎ　
ｅｘｅ
ｒｃｉ
ｓｅ２００８／／Ｐｒ
　 ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｗｏｒ
ｋｓｈｏｐ　
ｏｆｔ
　ｈｅ
ｆ
ｏｒａ　ｑｕｅ
　 ｓｔｉ
ｏｎ　ａｎｓｗｅ
ｒｉｎｇ　ｓ
ｙｓｅｍ／／Ｐｒ
ｔ ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　４０ｔ
ｈ Ｃｒ
ｏｓｓ－Ｌａｎｇｕａｇｅ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
Ｆｏｒ
ｕｍ　
ｆｏｒ　
Ｅｕｒ
ｏｐｅ
ａｎ　
Ｌａｎｇｕａｇｅ
ｓ．
Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　
ｏｎ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ． ｒｈｕｓ，Ｄｅｎｍａ
Ａａ ｒｋ，２００９：２９６－３１３
Ｓ
ｔｒ ｇ，ＵＳＡ，２００２：４１－４７
ｏｕｄｓｂｕｒ ［
１１１］ Ｐｅａ
ｓ　Ａ，Ｒｏｄ
ｒｉｇｏ ，Ｖｅ
ｒｄｅ
ｊｏ　
Ｆ．Ｏｖｅ
ｒｖｉ
ｅｗ　
ｏｆｔ
　ｈｅ
　ａｎｓｗｅ
ｒ
［
９８］ Ｋｌ
ｏｅｔ
ｚｅｒ
　Ｊ，Ｔｏ
ｒｉｓ Ｋ，Ｈａ
ａｗａ　 ｓｈｉｍｏ
ｔ Ｃ，ｅ
ｏ　 ｔ　ａ
ｌ．Ｌａ
ｒｇｅ－ｓ
ｃａｌ
ｅ ｖ
ａｌｉ
ｄａｔ
ｉｏｎ　
ｅｘｅ
ｒｃｉ
ｓｅ２００７／／Ｐｒ
　 ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｗｏｒ
ｋｓｈｏｐ　
ｏｆｔ
　ｈｅ
ａ
ｃｑｕ
ｉｓｉ
ｔｉ ｏ
ｏｎ　ｆｅｎ
　 ｔ
ａｉｌｍｅｎ
ｔ　ｐａ
ｔｔｅ
ｒｎ　
ｐａｉ
ｒ ｂｙ　
ｓ　 ｅｘｐ
ｌｏｉ
ｔｉｎｇ
　ｔｒ
ａｎｓ
ｉｔ
ｉｖｉ
ｔｙ Ｃｒ
ｏｓｓ－Ｌａｎｇｕａｇｅ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
Ｆｏｒ
ｕｍ　
ｆｏｒ　
Ｅｕｒ
ｏｐｅ
ａｎ　
Ｌａｎｇｕａｇｅ
ｓ．
／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　２０１５Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｅｍｐ
ｉｒｉ
ｃａｌ　
Ｍｅｔ
ｈｏｄｓ Ｂｕｄａｐｅ
ｓｔ，Ｈｕｎｇａ
ｒｙ，２００８：２３７－２４８
ｉ
ｎ　Ｎａ
ｔｕｒ
ａｌ　
Ｌａｎｇｕａｇｅ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ．Ｌ
ｉｓｂｏｎ，Ｐｏ
ｒｔ ｌ，２０１５：
ｕｇａ ［
１１２］ Ｐｅｎａ
ｓ　Ａ，Ｒｏｄ
ｒｉ Ａ，Ｓａｍａ　
ｇｏ　 Ｖ，ｅ
ｔ　ａ
ｌ．Ｏｖ
ｅｒｖ
ｉｅｗ　
ｏｆｔ
　ｈｅ
　ａｎｓｗｅ
ｒ
１６４９－１６５５ ｖａ
ｌｉｄａ
ｔｉｏｎ　
ｅｘｅ
ｒｃｉ
ｓｅ　２００６／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｗｏ
ｒｋｓｈｏｐ　ｏ
ｆ
［
９９］ Ｂｈａｇａ
ｔ　Ｒ，Ｐａｎ
ｔｅｌ
　Ｐ，Ｈｏｖｙ　
Ｅ　Ｈ，ｅ
ｔ　ｌ．ＬＥＤＩＲ：Ａｎ　
ａ ｕｎｓｕｐｅ
ｒ－ ｔ
ｈｅ　Ｃｒ
ｏｓｓ－Ｌａｎｇｕａｇｅ　Ｅｖａ
ｌｕａ
ｔｉｏｎ　Ｆｏ
ｒｕｍ．Ａｌ
ｉｃａｎ
ｔｅ，Ｓｐａ
ｉｎ，
ｖ
ｉｓｅｄ　
ａｌｇｏ
ｒｉｔ
ｈｍ　
ｆｏｒ
　ｌｅ
ａｒｎ
ｉｎｇ　
ｄｉｒ
ｅｃｔ
ｉｏｎａ
ｌｉｔ
ｙ　ｏ
ｆ　ｉ
ｎｆｅ
ｒｅｎｃ
ｅ　ｒ
ｕｌｅ
ｓ ２００７：２５７－２５７
／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　２００７ Ｊ
ｏｉｎ
ｔ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　Ｅｍｐ
ｉｒｉ
ｃａｌ ［
１１３］ Ｐａｋ
ｒ Ｐ，Ｇｅ
ａｙ　 ｌ Ａ，Ｂａｎｄｙｏｐａｄｈｙａｙ　
ｂｕｋｈ　 Ｓ．Ａｎｓｗｅ
ｒ　ｖ
ａｌｉ
ｄａｔ
ｉｏｎ
Ｍｅ
ｔｈｏｄ
ｓ　ｉ
ｎ　Ｎａ
ｔｕｒ
ａｌ　
Ｌａｎｇｕａｇｅ　
Ｐｒｏ
ｃｅｓ
ｓｉｎｇ　
ａｎｄ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ ｕｓ
ｉｎｇ
　ｔｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ
Ｎａ
ｔｕｒ
ａｌ　
Ｌａｎｇｕａｇｅ　
Ｌｅａ
ｒｎｉ ａｇｕｅ，Ｃｚ
ｎｇ．Ｐｒ ｅｃｈ　
Ｒｅｐｕｂ
ｌｉｃ，２００７： Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ
　ａｎｄ
　Ｉｎ
ｔｅｌ
ｌｉｇｅｎ
ｔ　Ｔｅｘ
ｔ　Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ．
１６１－１７０ Ｔｏｋｙｏ，Ｊ
ａｐａｎ，２０１１：３５３－３６４
［
１００］ Ｓé
ａｇｈｄｈａ　Ｄ　Ｏ． Ｌａ
ｔｅｎ
ｔ ａ
　ｖｒｉ
ａｂｌ
ｅ　ｍｏｄｅ
ｌｓ　ｏ
ｆ ｅ
　ｓｌｅ
ｃｔｉ
ｏｎａ
ｌ ［
１１４］ Ｗａｎｇ　Ｒ， Ｎｅｕｍａｎｎ　Ｇ．ＤＦＫＩ－ＬＴ　ａ
ｔ　ＡＶＥ　２００７： Ｕｓ
ｉｎｇ
ｒ
ｐｅｆ
ｅｒｅｎｃ
ｅ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　４８ｔ
ｈ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　ｏ
ｆ　ｔ
ｈｅ ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ ｏ
　ｆｒ　ａｎｓｗｅ
ｒ　ｖａ
ｌｉｄａ
ｔｉｏｎ／／
Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｕｐｐ
ｓａａ，Ｓｗｅ
ｌ ｄｅｎ， Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ ｈｅ　Ｗｏ
　ｔ ｒｋｓｈｏｐ　ｏ
ｆ ｈｅ　Ｃｒ
　ｔ ｏｓｓ－Ｌａｎｇｕａｇｅ
２０１０：４３５－４４４ Ｅｖａ
ｌｕａ
ｔｉｏｎ　Ｆｏ
ｒｕｍ　ｆ
ｏｒ　Ｅｕｒ
ｏｐｅ
ａｎ　Ｌａｎｇｕａｇｅ
ｓ． Ｂｕｄａｐｅ
ｓｔ，
［
１０１］ Ｄｉ Ｇ，Ｌａｐａ
ｎｕ　 ｔａ　
Ｍ．Ｔｏｐ
ｉｃ　
ｍｏｄｅ
ｌｓｆ
　ｏｒ　
ｍｅａｎ
ｉｎｇ　
ｓｉｍｉ
ｌａｒ
ｉｔｙ
　ｉｎ Ｈｕｎｇａ
ｒｙ，２００７：１－６
ｃ
ｏｎｔ
ｅｘ／／Ｐｒ
ｔ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆ　ｔ
ｈｅ　２３ｒ
ｄ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ［
１１５］ Ｐｅａ
ｓ　Ａ，Ｈｏｖｙ　
Ｅ，Ｆｏ
ｒｎｅ
ｒ　Ｐ，ｅ
ｔ　ａ ２０１１－２０１３：
ｌ．ＱＡ４ＭＲＥ　
ｏｎ　
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ：Ｐｏ
ｓｔｅ
ｒｓ．Ｓ
ｔｒ ｇ，ＵＳＡ，
ｏｕｄｓｂｕｒ Ｏｖ
ｅｒｖ
ｉｅｗ　
ｏｆｑｕｅ
　 ｓｔｉ
ｏｎ　
ａｎｓｗｅ
ｒｉｎｇ
　ｆｏ
ｒ　ｍａ
ｃｈｉ
ｎｅｒ
　ｅａｄ
ｉｎｇ　
ｅｖａ
ｌｕａ
ｔｉｏｎ
２０１０：２５０－２５８ ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆ　ｔ
ｈｅ　４
ｔｈ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏ
ｆ　ｔ
ｈｅ
［
１０２］ Ｍｅ
ｌ Ｏ，Ｂｅ
ａｍｕｄ　 ｒａｎ
ｔ　Ｊ，Ｄａｇａｎ
　Ｉ，ｅ
ｔ　ａ
ｌ．Ａ　
ｔｗｏ
　ｌｅｖｅ
ｌ　ｍｏｄｅ
ｌ　ｆ
ｏｒ ＣＬＥＦ　
Ｉｎｉ
ｔｉａ
ｔｉｖｅ．Ｖａ
ｌｅｎｃ
ｉａ，Ｓｐａ
ｉｎ，２０１３：３０３－３２０
ｃ
ｏｎｔ
ｅｘｔ
　ｓｅｎｓ
ｉｔｉ
ｖｅｉ
　ｎｆ
ｅｒｅｎｃ
ｅ　ｒ
ｕｌｅ
ｓ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ａｎｎｕａ
ｌ ［
１１６］ Ｃ
ｌａ Ｐ，Ｈａ
ｒｋ　 ｒｒｉ
ｓ Ｐ，Ｙａｏ　
ｏｎ　 Ｘ．Ａｎ　
ｅｎｔ
ａｉｌｍｅｎ
ｔ－ｂａ
ｓｅｄ　
ａｐｐ
ｒｏａ
ｃｈ
Ｍｅ
ｅｔｉ ｏ
ｎｇ　ｆｔ
　ｈｅ　
Ａｓｓ
ｏｃｉ
ａｔｉ
ｏｎｆ
　ｏｒ　Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ． ｔ
ｏ　ｔ
ｈｅ　
ＱＡ４ＭＲＥ　
ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ
Ｓｏ
ｆｉａ，Ｂｕ
ｌｇａ
ｒｉａ，２０１３：１３３１－１３４０ Ｌａｂｓ　
ａｎｄ　 ｏｆｔ
　ｈｅ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ｒｏｍｅ，Ｉ
ｔａｙ，２０１２：１－１５
ｌ
［
１０３］ Ｂｅｎ
ｔｉｖｏｇ
ｌｉＬ，Ｃ
　 ｌａ Ｐ，Ｄａｇａｎ
ｒｋ　 　Ｉ，ｅ
ｔ　ａ
ｌ．Ｔｈｅ
　ｓｅｖｅｎ
ｔｈ　
ｐａｓ
ｃａｌ ［
１１７］ Ｐａｋｒ Ｐ，Ｂｈａ
ａｙ　 ｓｋａ
ｒ　Ｐ，Ｂａｎｅ
ｒｊｅ
ｅ　Ｓ，ｅ
ｔ　ａ
ｌ．Ａ　
ｈｙｂｒ
ｉｄ　
ｑｕｅ
ｓｔｉ
ｏｎ
ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ ａｎｓｗｅ
ｒｉｎｇ　
ｓｙｓ
ｔｅｍ　
ｂａｓ
ｅｄ　
ｏｎｉ
　ｎｆ
ｏｒｍａ
ｔｉｏｎ　
ｒｅｔ
ｒｉｅｖａ
ｌ　ａｎｄ　
ａｎｓｗｅ
ｒ
Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒ ｇ，ＵＳＡ，２０１１：１－１６
ｓｂｕｒ ｖａ
ｌｉｄａ
ｔｉｏｎ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ａｎｄ　
Ｌａｂｓ　
ｏｆｔ
　ｈｅ
［
１０４］ Ｂｅｎ
ｔｉｖｏｇ
ｌｉＬ，Ｃ
　 ｌａ Ｐ，Ｄａｇａｎ
ｒｋ　 　Ｉ，ｅ
ｔ　ａ
ｌ．Ｔｈｅ
　ｓｉ
ｘｔｈ　
ＰＡＳＣＡＬ Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ａｍｓ
ｔｅｄａｍ，Ｎｅ
ｒ ｔｈｅ
ｒｌａｎｄｓ，２０１１：１－１６
ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ ［
１１８］ Ｓｈ Ｈ，Ｋａｎａｙａｍａ　
ｉｍａ　 Ｈ，Ｌｅ
ｅ　Ｃ－Ｗ，ｅ
ｔ　ａ
ｌ．Ｏｖ
ｅｒｖ
ｉｅｗ　
ｏｆｎ
　ｔｃ
ｉｒ－９
Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒ ｇ，ＵＳＡ，２０１０：１－１８
ｓｂｕｒ ｒ
ｉｔｅ：Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇｉ
　ｎｆ
ｅｒｅｎｃ
ｅ　ｉ
ｎ　ｔ
ｅｘ／／Ｐｒ
ｔ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　９ｔ
ｈ
［
１０５］ Ｂｅｎ
ｔｉｖｏｇ
ｌｉＬ，Ｄａｇａｎ
　 　Ｉ，Ｄａｎｇ　
Ｈ　Ｔ，ｅ
ｔ　ａ
ｌ．Ｔｈｅ
　ｆｉ
ｆｔｈ　
ＰＡＳＣＡＬ ＮＩ
Ｉ　Ｔｅ
ｓｔ　Ｃｏ
ｌｌｅ
ｃｔｉ
ｏｎ　ｆ
ｏｒ　Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　Ｒｅ
ｔｒｉ
ｅｖａ
ｌ　Ｗｏ
ｒｋｓｈｏｐ．
ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ Ｔｏｋｙｏ，Ｊ
ａｐａｎ，２０１１：２９１－３０１
Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒ ｇ，ＵＳＡ，２００９：１－１５
ｓｂｕｒ ［
１１９］ Ｗａ
ｔ Ｙ，Ｍｉ
ａｎａｂｅ　 Ｙ，Ｍｉ
ｙａｏ　 ｚｕｎｏ
　Ｊ，ｅ
ｔ　ａ
ｌ．Ｏｖｅ
ｒｖｉ
ｅｗ　
ｏｆｔ
　ｈｅ
［
１０６］ Ｇｉ
ａｍｐ
ｉｃｃ
ｏｌ Ｄ，Ｄａｎｇ　
ｏ　 Ｈ　Ｔ，Ｍａｇｎ
ｉｎｉ
　Ｂ，ｅ
ｔ　ａ
ｌ．Ｔｈｅ
　ｆｏｕｒ
ｔｈ ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｉ
ｎｆｅ
ｒｅｎｃ
ｅ　ｉ
ｎ　ｔ
ｅｘｔ （ＲＩＴＥ－２） ａ
ｔ　ＮＴＣＩＲ－１０／／
ｐａ
ｓｃａ
ｌ　ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　１０
ｔｈ　
ＮＩＩ　
Ｔｅｓ
ｔ　Ｃｏ
ｌｌｅ
ｃｔｉ
ｏｎｆ
　ｏｒ
　Ｉｎ
ｆｏｒｍａ
ｔｉｏｎ
ｏ
ｆ　ｔ
ｈｅ１ｓ
　 ｔ　
Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒ ｇ，ＵＳＡ，
ｓｂｕｒ Ｒｅ
ｔｒｉ
ｅｖａ
ｌ　 ｒｋｓｈｏｐ．Ｔｏｋｙｏ，Ｊ
Ｗｏ ａｐａｎ，２０１３：３８５－４０４
２００８：１－１１ ［
１２０］ Ｍａ
ｔｓｕｙｏ
ｓｈｉ
　Ｓ，Ｍｉ Ｙ，Ｓｈ
ｙａｏ　 ｉｂａ
ｔ Ｔ，ｅ
ａ　 ｔ　ａ
ｌ．Ｏｖｅ
ｒｖｉ
ｅｗ　
ｏｆｔ
　ｈｅ
［
１０７］ Ｇｉ
ａｍｐ
ｉｃｃ
ｏｌ Ｄ，Ｍａｇｎ
ｏ　 ｉｎｉ
　Ｂ，Ｄａｇａｎ
　Ｉ，ｅ
ｔ　ａ
ｌ．Ｔｈｅ
　ｔｈ
ｉｒ ｐａ
ｄ　 ｓ
ｃａｌ ＮＴＣＩＲ－１１ Ｒｅ
ｃｏｇｎ
ｉｚｉ
ｎｇ　Ｉ
ｎｆｅ
ｒｅｎｃ
ｅ　ｉ
ｎ　ＴＥｘ
ｔ　ａｎｄ　Ｖａ
ｌｉｄａ
ｔｉｏｎ
ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ （ＲＩＴＥ－ＶＡＬ）ｔ
ａｓｋ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　１０
ｔｈ　ＮＩ
Ｉ　Ｔｅ
ｓｔ
ｔ
ｈｅ　
ＡＣＬ－ＰＡＳＣＡＬ　Ｗｏ
ｒｋｓｈｏｐ　ｏｎ　Ｔｅｘ
ｔｕａ
ｌ　Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ａｎｄ Ｃｏ
ｌｌｅ
ｃｔｉ
ｏｎ　ｆ
ｏｒ　Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　Ｒｅ
ｔｒｉ
ｅｖａ ｒｋｓｈｏｐ． Ｔｏｋｙｏ，
ｌ　Ｗｏ
Ｐａ
ｒａｐｈｒ
ａｓｉ ａｇｕｅ，Ｃｚ
ｎｇ．Ｐｒ ｅｃｈ　
Ｒｅｐｕｂ
ｌｉｃ，２００７：１－９ ａｐａｎ，２０１４：２２３－２３２
Ｊ
［
１０８］ Ｂａ
ｒ－Ｈａ Ｒ，Ｄａｇａｎ
ｉｍ　 　Ｉ，Ｄｏ
ｌ Ｂ，ｅ
ａｎ　 ｔ　ａ
ｌ．Ｔｈｅ
　ｓｅ
ｃｏｎｄ　
ｐａｓ
ｃａｌ ［
１２１］ Ｎｅ
ｇｒ Ｍ，Ｍａ
ｉ　 ｒｃｈ
ｅｔｔ
ｉ　Ａ，Ｍｅ
ｈｄａ
ｄ　Ｙ，
ｅｔａ
　ｌ．
Ｓｅｍｅ
ｖａｌ－２０１３Ｔ
ａｓ ８：
ｋ　
ｒ
ｅｃｏｇｎ
ｉｓｉ
ｎｇｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｃｈａ
ｌｌ ／／Ｐｒ
ｅｎｇｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ Ｃｒ
ｏｓｓ－ｌ
ｉｎｇｕａ
ｌ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｆ
ｏｒｃ
　ｏｎ
ｔｅｎ
ｔ　ｓ
ｙｎｃｈ
ｒｏｎ
ｉｚａ
ｔｉｏｎ／／
ＰＡＳＣＡＬ　
２ｎｄ　 Ｃｈａ
ｌｌｅｎｇｅ
ｓ　Ｗｏ
ｒｋｓｈｏｐ　
ｏｎ　
Ｒｅｃ
ｏｇｎ
ｉｓｉ
ｎｇ　
Ｔｅｘ
ｔｕａ
ｌ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｗｏ
ｒｋｓｈｏｐ　ｏｎ　Ｓｅｍａｎ
ｔｉｃ
Ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ．Ｖｅｎ
ｉｃｅ，Ｉ
ｔａｙ，２００６：１－９
ｌ Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ａｔ
ｌａｎ
ｔａ，ＵＳＡ，２０１３：２５－３３
 ９１０ 计 　　 算 　　 机 　　 学 　　 报 ２０１７ 年

［
１２２］ Ｎｅ
ｇｒ Ｍ，Ｍａ
ｉ　 ｒｃｈ
ｅｔｔ
ｉ　Ａ，Ｍｅ
ｈｄａ
ｄ　Ｙ，
ｅｔａ
　ｌ．
Ｓｅｍｅ
ｖａｌ－２０１２ｔ
ａｓ ８：
ｋ　 Ａｃ
ｃｅｓ
ｓ　Ｔｅ
ｃｈｏ
ｌｏｇ
ｉｅｓ．Ｔｏｋｙｏ，Ｊ
ａｐａｎ，２０１３：４７４－４７８
Ｃｒ
ｏｓｓ－ｌ
ｉｎｇｕａ
ｌ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｆ
ｏｒｃ
　ｏｎ
ｔｅｎ
ｔ　ｓ
ｙｎｃｈｒ
ｏｎｉ
ｚａｔ
ｉｏｎ ［
１２８］ Ｓｈ
ｉ Ｃ－Ｗ，Ｌ
ｈ　 ｉ Ｃ，Ｌｅ
ｕ　 ｅ　Ｃ－Ｗ，ｅ
ｔ　ａ
ｌ．ＩＡＳＬ　
ＲＩＴＥ　
ｓｙｓ
ｔｅｍ　
ａｔ
／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ　
Ｆｉｒ
ｓｔＪ
　ｏｉ
ｎｔ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ　
Ｌｅｘ
ｉｃａ
ｌ　ａｎｄ ＮＴＣＩＲ－１０／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　１０
ｔｈ　
ＮＴＣＩＲ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
ｏｆ
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｓｅｍａｎ
ｔｉｃ
ｓ－Ｖｏ
ｌ 　１： Ｐｒ
ｕｍｅ ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　Ａｃ
ｃｅｓ
ｓ　Ｔｅ
ｃｈｏ
ｌｏｇ
ｉｅｓ． Ｔｏｋｙｏ， Ｊ
ａｐａｎ， ２０１３：
Ｍａ
ｉｎ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ａｎｄ
　ｔｈｅ　Ｓｈａ
ｒ ｓｋ，ａｎｄ　Ｖｏ
ｅｄ　Ｔａ ｌ 　２：
ｕｍｅ ４２５－４２９
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　６ｔ
ｈ　Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ　Ｗｏ
ｒｋｓｈｏｐ　
ｏｎ　
Ｓｅｍａｎ
ｔｉｃ ［
１２９］ Ｌ
ｉ Ｃ－Ｊ，Ｔｕ　
ｎ　 Ｙ－Ｃ．Ｔｈｅ　
ｄｅｓ
ｃｒｉ
ｐｔｉ
ｏｎ　
ｏｆｔ
　ｈｅ　
ＮＴＯＵ　
ＲＩＴＥ　
ｓｙｓ
ｔｅｍ
Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ｍｏｎ
ｔｒｅ
ａｌ，Ｃａｎａｄａ，２０１２：３９９－４０７ ｉ
ｎ　ＮＴＣＩＲ－１０／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　１０
ｔｈ　
ＮＴＣＩＲ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ
［
１２３］ Ｍａ
ｒｅｌ
ｌ Ｍ，Ｂｅｎ
ｉ　 ｔｉｖｏｇ
ｌｉ　Ｌ，Ｂａ
ｒ ｉ　Ｍ，ｅ
ｏｎ ｔ　ａ
ｌ．Ｓｅｍｅｖａ
ｌ－２０１４ ｏ
ｆ　Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　Ａｃ
ｃｅｓ
ｓ　Ｔｅ
ｃｈｏ
ｌｏｇ
ｉｅｓ．Ｔｏｋｙｏ，Ｊ
ａｐａｎ，２０１３：
ｔ
ａ １：Ｅｖａ
ｓｋ　 ｌｕａ
ｔｉｏｎ　
ｏｆｃ
　ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌ　ｄ
ｉｓｔ
ｒｉｂｕ
ｔｉｏｎａ
ｌ　ｓ
ｅｍａｎ
ｔｉｃ ４９５－４９８
ｍｏｄｅ
ｌｓ　
ｏｎｆ
　ｕｌ
ｌ　ｓ
ｅｎｔ
ｅｎｃ
ｅｓｔ
　ｈｒ
ｏｕｇｈ　
ｓｅｍａｎ
ｔｉｃ
　ｒｅ
ｌａｔ
ｅｄｎｅ
ｓｓａｎｄ
　 ［
１３０］ Ｂｏｗｍａｎ　
Ｓ　Ｒ，Ｇａｕ
ｔｈｉ
ｅｒＪ，Ｒａ
　 ｓｔｏｇ
ｉ　Ａ，ｅ
ｔ　ａ
ｌ．Ａ　
ｆａｓ
ｔ　ｕｎ
ｉｆｉ
ｅｄ
ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　Ｉｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌ　Ｗｏ
ｒｋ－ ｍｏｄｅ
ｌ　ｆ
ｏｒ　
ｐａｒ
ｓｉｎｇ　
ａｎｄ　
ｓｅｎ
ｔｅｎｃ
ｅ　ｕｎｄｅ
ｒｓｔ
ａｎｄ
ｉｎｇ．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ
ｓｈｏｐ　
ｏｎ　
Ｓｅｍａｎ
ｔｉｃ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ｄｕｂ
ｌｉｎ，Ａｉ
ｒｌａｎｄ，２０１４：１－８ ａ ｖ：１６０３．
ｒＸｉ ０６０２１，２０１６
［
１２４］ Ｍａ
ｒｅｌ
ｌ Ｍ，Ｍｅｎ
ｉ　 ｉｎｉ
　Ｓ，Ｂａ
ｒｏｎ
ｉ　Ｍ，ｅ
ｔ　ａ
ｌ．Ａ　
ＳＩＣＫ　
ｃｕｒ
ｅ　ｆ
ｏｒｔ
　ｈｅ ［
１３１］ Ｓ Ｋ，Ｚ
ｉｍｏｎｙａｎ　 ｉｓｓ
ｅｒｍａｎ　
Ａ．Ｖｅ
ｒ ｄｅ
ｙ　 ｅｐ　
ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｎｅ
ｔｗｏ
ｒｋｓ
ｅｖａ
ｌｕａ
ｔｉ ｏ
ｏｎ　ｆｃ
　ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌ　ｄ
ｉｓｔ
ｒｉｂｕ
ｔｉｏｎａ
ｌ　ｓ
ｅｍａｎ
ｔｉｃ　
ｍｏｄｅ
ｌｓ／／ ｆ
ｏｒ　ｌ
ａｒｇｅ－ｓ
ｃａｌ
ｅ　ｉｍａｇｅ
　ｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ．ａ
ｒＸｉ
ｖ　ｐ
ｒｅｐ
ｒｉｎ
ｔ　ａ ｖ：
ｒＸｉ
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ ｈｅ　Ｎｉ
　ｔ ｎｔｈ
　Ｉｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ　ｏｎ １５５６，２０１４
１４０９．
Ｌａｎｇｕａｇｅ　Ｒｅ
ｓｏｕｒ
ｃｅｓ
　ａｎｄ　Ｅｖａ
ｌｕａ
ｔｉｏｎ．Ｒｅｙｋ
ｊａｖ
ｉｋ，Ｉ
ｃｅａｎｄ，
ｌ ［
１３２］ Ｈｉ
ｎｔ Ｇ，Ｄｅｎｇ　
ｏｎ　 Ｌ，Ｙｕ　
Ｄ，ｅ
ｔ　ａ
ｌ．Ｄｅ
ｅｐ　
ｎｅｕｒ
ａｌｎｅ
　 ｔｗｏ
ｒｋｓ
　ｆｏ
ｒ
２０１４：２１６－２２３ ａ
ｃｏｕｓ
ｔｉｃ　
ｍｏｄｅ
ｌｉｎｇ
　ｉｎ　
ｓｐｅ
ｅｃｈ　
ｒｅｃ
ｏｇｎ
ｉｔｏｎ：Ｔｈｅ
ｉ 　ｓｈａ
ｒｅｄ　
ｖｉｅｗｓ　
ｏｆ
［
１２５］ Ｗａｎｇ　
Ｒ，Ｎｅｕｍａｎｎ　
Ｇ．Ａｎ　
ｄｉｖ
ｉｄｅ－ａｎｄ－ｃ
ｏｎｑｕｅ
ｒ　ｓ
ｔｒａ
ｔｅｇｙ
　ｆｏ
ｒ ｆ
ｏｕｒ
　ｒｅ
ｓｅａ
ｒｃｈ　ｇ
ｒｏｕｐｓ．ＩＥＥＥ　Ｓ
ｉｇｎａ
ｌ　Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ　Ｍａｇａ
ｚｉｎｅ，
ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ／／Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　ｏ
ｆ　ｔ
ｈｅ　Ｔｅｘ
ｔ ２０１２，２９（
６）：８２－９７
Ａｎａ
ｌｙｓ
ｉ Ｃｏｎ
ｓ　 ｆｅｒ
ｅｎｃ
ｅ．Ｇａ
ｉｔｈｅ
ｒ ｇ，ＵＳＡ，２００８：１－７
ｓｂｕｒ ［
１３３］ Ｂａ
ｌｋｉ
ｒ　Ｅ，Ｋａ
ｒｔｓ
ａｋｌ
ｉ Ｄ，Ｓａｄ
ｓ　 ｒｚａｄｅｈ　
Ｍ．Ｓｅｎ
ｔｅｎｃ
ｅ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ
［
１２６］ Ｉ
ｆｔｅ
ｎ Ａ，Ｍｏ
ｅ　 ｒｕｚ　
Ｍ－Ａ．Ｕａ
ｉｃ　
ｐａｒ
ｔｉｃ
ｉｐａ
ｔｉｏｎ　
ａ ＲＴＥ５／／Ｐｒ
ｔ　 ｏｃｅ
ｅｄｉ
ｎｇｓ ｉ
ｎ　ｃ
ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌ　ｄ
ｉｓｔ
ｒｉｂｕ
ｔｉｏｎａ
ｌ　ｓ
ｅｍａｎ
ｔｉｃ
ｓ．ａ
ｒＸｉ
ｖ　ｐ
ｒｅｐ
ｒｉｎ
ｔ
ｏ
ｆ　ｔ
ｈｅ　Ｔｅｘ
ｔ　Ａｎａ
ｌｙｓ
ｉｓ　Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ． Ｇａ
ｉｔｈｅ
ｒ ｇ， ＵＳＡ，
ｓｂｕｒ ａ ｖ：１５１２．
ｒＸｉ ０４４１９，２０１５
２００９：１－１０ ［
１３４］ Ｐａ
ｒｉｋｈ　
Ａ　Ｐ，Ｔ
ｃｋｓ
ｔｒ Ｏ，Ｄａ
ｍ　 ｓ　Ｄ，ｅ
ｔ　ａ
ｌ．Ａ　
ｄｅｃ
ｏｍｐｏ
ｓａｂ
ｌｅ
［
１２７］ Ｗａｎｇ　
Ｘ，Ｚｈａｏ　
Ｈ，Ｌｕ　
Ｂ－Ｌ．ＢＣＭＩ－ＮＬＰ
　ｌａｂｅ
ｌｅｄ－ａ
ｌｉｇｎｍｅｎ
ｔ－ ａ
ｔｔｅｎ
ｔｉ ｍｏｄｅ
ｏｎ　 ｌｆ
　ｏｒ　
ｎａｔ
ｕｒａ
ｌｌ
　ａｎｇｕａｇｅ
　ｉ
Ｉｎｆ
ｅｒｅｎｃ
ｅ．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ
ｂａ
ｓｅｄ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｓ
ｙｓｔ
ｅｍ　ｆ
ｏｒ　ＮＴＣＩＲ－１０ ＲＩＴＥ－２ ｔ
ａｓｋ／／ ａ ｖ：１６０６．
ｒＸｉ ０１９３３，２０１６
Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ　
ｏｆｔ
　ｈｅ
　１０
ｔｈ　
ＮＴＣＩＲ　
Ｅｖａ
ｌｕａ
ｔｉｏｎ　
ｏｆＩ
　ｎｆ
ｏｒｍａ
ｔｉｏｎ

ＧＵＯ　Ｍａ ｅｎｇ， ｂｏ
ｏ－Ｓｈ ｒｎ ｎ　１９９１，
　ｉ Ｙｕ，ｂｏ
ＺＨＡＮＧ　 ｒｎ　ｉ
ｎ　１９７２，Ｐｈ．
Ｄ．，ｐ
ｒｏｆ
ｅｓｓ
ｏｒ， Ｍ．
Ｓ．
Ｐｈ．
Ｄ．ｃ
ａｎｄ
ｉｄａ
ｔｅ．Ｈｉ
ｓ　ｒ
ｅｓｅ
ａｒｃｈ
　ｉｎ
ｔｅｒ
ｅｓｔ
ｓ ｓｕｐｅ
ｒｖｉ
ｓｏｒ．Ｈｉ
ｓ　ｒ
ｅｓｅ
ａｒｃｈ
　ｉｎ
ｔｅｒ
ｅｓｔ
ｓ　ｉ
ｎｃｌ ｑｕｅ
ｕｄｅ　 ｓｔｉ
ｏｎ　
ａｎｓｗｅ
ｒｉｎｇ
ｆ
ｏｃｕｓ　
ｏｎｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ． ａｎｄ　
ｐｅｒ
ｓｏｎａ
ｌｉｚ
ｅｄｉ
　ｎｆ
ｏｒｍａ
ｔｉｏｎ　
ｒｅｔ
ｒｉｅ
ｖａｌ．
ＬＩＵ　Ｔｎｇ，ｂｏ
ｉ ｒｎ
　ｉ ｎ　１９７２，Ｐｈ． Ｄ．，ｐ ｒ
ｏｆｅｓｓｏｒ，Ｐｈ．Ｄ．
ｓｕｐｅ
ｒｖｉｓｏ
ｒ．Ｈｉｓ
　ｒｅ
ｓｅａｒｃｈ　ｉ
ｎｔｅｒｅ
ｓｔｓ
　ｉｎｃ
ｌｕｄｅ
　ｓｏｃｉ
ａｌｃ
　ｏｍｐｕｔ
ｉｎｇ，
ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
ｒｅｔ
ｒｉｅ
ｖａｌ
　ａｎｄ　
ｎａｔ
ｕｒａ
ｌ　ｌ
ａｎｇｕａｇｅ　
ｐｒｏ
ｃｅｓ
ｓｉｎｇ．

Ｂａ
ｃｋｇ
ｒｏｕｎｄ
　　Ｒｅ
ｓｅａ
ｒｃｈ　
ｏｎｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ｉ
ｓ　ａ
　ｆｕｎｄａｍｅｎ
ｔａｌ
　ｓｔ
ｕｄｙ
　ｉｎ ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ａｎｄ　
ｋｎｏｗｌ
ｅｄｇｅ
　ａｃ
ｑｕｉ
ｓｉｔ
ｉｏｎ，ａ
ｃｃｏ
ｒｄｉ
ｎｇｔ
　ｏ　
ｐｒｅ
ｖｉｏｕｓ
ｔ
ｈｅｆ
　ｉｅ
ｌｄ　
ｏｆｎａ
　 ｔ
ｕｒａ
ｌ　ｌ
ａｎｇｕａｇｅ　
ｐｒｏ
ｃｅｓ
ｓｉｎｇ．Ｉ
ｔ　ｈａ
ｓ　ａ　
ｖａｒ
ｉｅｔ
ｙ　ｏ
ｆ ｈｅ
ｌｄｉ
　ｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌ　ｅ
ｖａｌ
ｕａｔ
ｉｏｎ　
ｗｏｒ
ｋｓｈｏｐｓ．Ｔｈｅ
　ｆｕ
ｔｕｒ
ｅ　ｒ
ｅｓｅ
ａｒｃｈ
ａｐｐ
ｌｉｃ
ａｔｏｎｓ，ｓｕｃｈ　
ｉ ａｓｒ
　ｅｌ
ａｔｉ
ｏｎ　
ｒｅｔ
ｒｉｅ
ｖａｌ，ｑｕｅ
ｓｔｉ
ｏｎ　
ａｎｓｗｅ
ｒｉｎｇ， ｄ
ｉｒｅ
ｃｔｉ
ｏｎｓ
　ａｎｄ　
ｎｅｗ　
ｃｈａ
ｌｌｅｎｇｅ
ｓ　ａ
ｒｅａ
　ｌｓ
ｏ　ｅ
ｌａｂｏ
ｒａｔ
ｅｄ　
ｕｎｄｅ
ｒ　ｔ
ｈｅ
ｍｕ
ｌｔｉ－ｄｏ
ｃｕｍｅｎ
ｔ　ｓｕｍｍａ
ｒｉｚ
ａｔｉ
ｏｎ　ａｎｄ　ｍａ
ｃｈｉ
ｎｅ ｒ
　ｔａｎｓ
ｌａｔ
ｉｏｎ． ｃｕ
ｒｒｅｎ
ｔ　ｒ
ｅｓｅ
ａｒｃｈ　
ｓｉｔ
ｕａｔ
ｉｏｎ．
Ｍａｎｙ
　ｔｈｅ
ｏｒｉ
ｅｓ，ｍｏｄｅ
ｌｓ　ａｎｄ　ｍｅ
ｔｈｏｄｓ　ｏ
ｆ　ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔ
ｅｘｔ
ｕａｌ Ｉ
ｎ　ｒ
ｅｃｅｎ
ｔ　ｙｅ
ａｒｓ，ｔ
ｈｅａｕ
　 ｔ
ｈｏｒ
ｓ＇ｇ
ｒｏｕｐ　
ｈａｓ
　ｆｏ
ｃｕｓ
ｅｄ　
ｏｎｔ
　ｈｅ
ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ　ａｎｄ　
ｋｎｏｗｌ
ｅｄｇｅ
　ａｃ
ｑｕｉ
ｓｉｔ
ｉｏｎ　
ｈａｖｅ　
ｂｅｅｎ　
ｐｒｏｐｏ
ｓｅｄ　
ａｎｄ ｒ
ｅｌａ
ｔｅｄ
　ｒｅ
ｓｅａ
ｒｃｈｅ
ｓ　ｗｉ
ｔｈｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ ｔ，ｓｕ
ｌｍｅｎ ｃｈ　
ａｓｒ
　ｅｃ
ｏｇｎ
ｉｚｉ
ｎｇ
ｅｘ
ｔｅｎｓ
ｉｖｅ
ｌ ｓ
ｙ　ｔｕｄ
ｉｅｄ．Ａｌ
ｔｈｏｕｇｈ　
ｍａｎｙ　
ａｃｈ
ｉｅｖｅｍｅｎ
ｔｓ　
ｈａｖｅ　
ｂｅｅｎ ｔ
ｅｘｔ
ｕａｌ
　ｅｎ
ｔａｉ
ｌｍｅ
ｎｔ，ａ
ｌｉｇｎｍｅ
ｎｔｆ
　ｏｒ
　ｔｅ
ｘｔｕ
ａｌｅ
　ｎｔ
ａｉｌｍｅ
ｎｔ，ｋｎｏｗｌ
ｅｄｇ
ｅ
ｍａｄｅ
　ｉｎ
　ｔｈｅ
ｓｅａ
　ｒｅ
ａｓ，ｎｅｗ　
ｐｒｏｂ
ｌｅｍｓ
　ａｒ
ｅ　ｃ
ｏｎｔ
ｉｎｕａ
ｌｌｙ　
ｐｒｏｐｏ
ｓｅｄ ａ
ｃｑｕ
ｉｓｉ
ｔｉｏｎ，ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
ｒｅｔ
ｒｉｅ
ｖａｌ
　ａｎｄ　
ｑｕｅ
ｓｔｉ
ｏｎ　
ａｎｓｗｅ
ｒｉｎｇ．
ａｎｄ　
ｎｅｗ　ｃｈａ
ｌｌｅｎｇｅ
ｓ　ｅｍｅ
ｒｇｅ．Ｅｓｐｅ
ｃｉａ
ｌｌｙ，ｔ
ｈｅ　ａ
ｒｒｉ
ｖａｌ
　ｏｆ
　ｂｉ
ｇ Ｔｈ
ｉｓ　
ｗｏｒ
ｋ　ｉ
ｓ　ｓｕｐｐｏ
ｒｔｅｄ　
ｂｙｔ
　ｈｅ　
Ｎａｔ
ｉｏｎａ
ｌ　Ｎａ
ｔｕｒ
ａｌＳｃ
　 ｉ
ｅｎｃ
ｅ
ｄａ
ｔａｅ
　ｒａ
　ａｎｄ
　ｔｈｅ　
ｄｅｖｅ
ｌｏｐｍｅｎ
ｔ　ｏ
ｆ　ｄｅ
ｅｐｌ
　ｅａ
ｒｎｉ
ｎｇｔ
　ｈｅ
ｏｒ ｂ
ｙ　ｒｉ
ｎｇ Ｆｏｕｎｄａ
ｔｉｏｎ　
ｏｆ　Ｃｈ
ｉｎａ （Ｎｏ
ｓ．６１４７２１０５，６１４７２１０７），ａｎｄ
　ｔｈｅ
ｎｅｗ　ｏｐｐｏ
ｒｔｕｎ
ｉｔｉ
ｅｓ　ａｎｄ　ｃｈａ
ｌｌｅｎｇｅ
ｓ　ｆ
ｏｒ　ｒ
ｅｓｅ
ａｒｃｈ　ｏｎ
　ｔｅｘ
ｔｕａ
ｌ Ｎａ
ｔｉｏｎａ
ｌ　Ｈｉ
ｇｈ　Ｔｅ
ｃｈｎｏ
ｌｏｇｙ　Ｒｅ
ｓｅａ
ｒｃｈ　ａｎｄ　Ｄｅ
ｖｅｌ
ｏｐｍｅｎ
ｔ
ｅｎ
ｔａｉ
ｌｍｅｎ
ｔ．Ｔｈ
ｉｓ　
ｐａｐｅ
ｒ　ｃ
ｌａｒ
ｉｆｉ
ｅｓｔ
　ｈｅ
　ｓｃ
ｏｐｅ　
ｏｆｔ
　ｅｘ
ｔｕａ
ｌ　ｅｎ
ｔａｉ
ｌ－ Ｐｒ
ｏｇａｍ （
ｒ ８６３Ｐｒ
ｏｇａｍ）ｏ
ｒ ｆ　Ｃｈ
ｉｎａ （ ２０１５ＡＡ０１５４０７）．
Ｎｏ．
ｔ，ｇ
ｍｅｎ ｉｖｅ
ｓ　ａ
　ｃｏｍｐ
ｒｅｈｅｎｓ
ｉｖｅ
　ｓｕ
ｒｖｅｙ　ｏｎ　ｒ
ｅｃｏｇｎ
ｉｚｉ
ｎｇ　ｔ
ｅｘｔ
ｕａｌ