知识抽取-事件抽取

接上一篇知识抽取-实体及关系抽取。

事件是 促使事情状态和关系改变的条件 [Dong etal, 2010]。目前已存在的知识资源（如维基百科等） 所描述实体及实体间的 关系大多是静态的 ，而事件能描述 粒度更大的、动态的、 结构化的知识 ，是现有知识资源的重要补充。

与[关系抽取]相比，事件抽取同样需要从文本中 抽取 predicate 和对应的 arguments ，但不同的是，关系抽取的问题是 binary 的，且两个 arguments 通常都会在同一个句子中出现，而事件抽取的难点在于，有 多个 arguments 和 modifiers ，可能会分布在多个句子中，且有些 arguments 不是必须的，这使得 bootstrapping/distant learning/coreference 都变得非常困难。

整体而言，事件抽取的任务可以分两大类：

本文的重点在于事件识别与抽取。首先看一下相关的核心概念：

直观上来看，可以把事件抽取的任务理解成从文本中 找到特定类别的事件 ，然后进行填表的过程。

严肃些看下事件识别和抽取的任务定义：

也就是说，事件抽取任务最基础的部分包括：

当然还有一些其他的子任务包括事件属性标注、事件共指消解等。

事件抽取大多是分阶段进行，通常由 trigger classifier 开始，如果有 trigger， 把 trigger 以及它的上下文作为特征进行分类 判断事件类型，再进行下一步的 argument classifier ，对句子中的 每个 entity mention 进行分类 ，判断是否是 argument，如果是， 判定它的角色 。

MUCs 最开始，事件抽取的系统都是 基于人工编写的规则，基于语法树或者正则表达式 ，如 CIRCUS (Lehnert 1991), RAPIER (Califf & Mooney 1997), SRV (Freitag 1998), AutoSlog (Riloff 1993), LIEP (Huffman 1995), PALKA (Kim & Moldovan 1995), CRYSTAL (Soderland et al 1995), HASTEN (Krupka 1995) 等等，后来，慢慢的有了监督学习的模型，在 ACE 的阶段，大多数系统都是基于监督学习了，但由于标注一致性的问题，系统的效果普遍较差，ACE 事件抽取只举行了一次，在 2005 年。

下面先来看一下基于模板的抽取方法，基本都是通过 句法（syntactic） 和 语义约束（semantic constraints） 来进行识别。

在早期，模板创建过程通常从一个大的标注集开始，模板的产生 完全基于人工标注语料 ，学习效果高度依赖于 人工标注质量 。

人工标注耗时耗力，且存在一致性问题，而弱监督方法不需要对语料进行完全标注，只需 人工对语料进行一定的预分类或者制定种子模板 ，由机器根据 预分类语料或种子模板自动进行模式学习 。

基于模式匹配的方法在 特定领域中性能较好 ，知识表示简洁，便于理解和后续应用，但对于语言、领域和文档形式都有不同程度的依赖， 覆盖度和可移植性较差 。

模式匹配的方法中， 模板准确性 是影响整个方法性能的重要因素。在实际应用中，模式匹配方法应用非常广泛，主要特点是 高准确率低召回率 ，要提高召回率，一是要建立更完整的模板库，二是可以用半监督的方法来建 trigger 字典。

建立在统计模型基础上，事件抽取方法可以分为 pipeline 和 joint model 两大类。

将事件抽取任务转化为 多阶段的分类问题 （管道抽取），需要顺序执行下面的分类器：

分类器可以用 MaxEnt, SVM。重点还是在于提取和集成有区分性的特征，包括 句子级信息 和 篇章级信息 。

句子级信息：与候选词相关的 词法特征、上下文特征、实体特征、句法特征、语言学特征 等，如：

篇章级特征：

跨文档利用全局信息。对于一个句子级的抽取结果不仅要考虑当前的置信度，还要考虑与待抽取文本相关的文本对它的影响，以及全局信息如事件与话题的关系，事件与事件的共现信息等，主要工作有：

早期大部分的研究都是基于 Pipeline 方法，然而它的问题也很明显：

又分为 Joint Inference 和 Joint Modeling 两种。

Joint Inference

使用集成学习的思路，将各模型通过 整体优化目标整合起来 ，可以通过 整数规划 等方法进行优化。

Joint Modeling (Structured)

又可以称为基于结构的方法，将事件结构看作依存树，抽取任务 相应转化为依存树结构预测问题 ，触发词识别和元素抽取可以 同时完成 ，共享隐层特征，使用搜索进行求解，避免了误差传播导致的性能下降，另外，全局特征也可以从整体的结构中学习得到，从而使用全局的信息来提升局部的预测。相关工作有：

尽管 Li 等人的联合系统优势明显，但在未见词和特征上缺乏泛化， 人工提取的特征集是离散表达 ，能力有限。

几种方法的 trigger 和 argument 抽取结果，可以看出，实体之间协同消歧对效果提升非常明显

上面的方法在特征提取过程中还是会依赖依存分析、句法分析、词性标注等传统的外部 NLP 工具，还是会造成误差积累，另外有些语言和领域并没有这类处理工具，加之特征也需要人工设定，2015 年起基于深度学习的事件抽取方法逐渐成为研究热点，相比于传统机器学习，深度学习方法优势明显：

Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks Yubo Chen et al, ACL 2015

自然语言处理中，传统 CNN 使用的最大池化对一个 feature map 只能得到一个最大值，这对事件抽取并不适用，因为事件抽取中一个句子中可能会包含多个事件，一个 argument candidate 在不同的 trigger 下也会扮演不同的角色，传统的最大池化只保留“最重要”的信息，而丢失的信息会导致 multiple-event sentence 下的事件漏分。DMCNN 使用 动态多池化卷积 能实现对 一个句子中不同部分的最大值获取 ，以保留更多有价值的信息，逻辑和 PCNN 相似。

DMCNN 作者把事件抽取看做两个阶段的多分类任务，第一步是 触发词分类（trigger classification） ，利用 DMCNN 对句子中每个词进行分类，判断是否是触发词，如果句子中存在触发词，执行第二步 论元分类（argument classification） ，同样使用 DMCNN，给 trigger 分配 arguments，同时匹配 arguments 到 role，以第二个任务为例介绍一下过程。

主要包括四个部分，以 argument classification 为例：

Trigger classification 阶段：

DMCNN的表现：

DMCNN 的效果是突破性的，但分两个阶段的预测 仍有误差传递的问题 ，也没有利用好 trigger 和 argument 之间的依赖关系 。

JRNN: Joint Event Extraction via Recurrent Neural Networks, ACL 2016

Nguyen etal, 2016 通过 RNN 用联合方法解决时间抽取的问题，继承了 Li (2013) 和 Chen (2015) 的优点，并克服了它们的一些缺陷。

有监督的方法需要大量的标注样本，人工标注耗时耗力，还存在一致性的问题，因此 弱监督方法也是事件抽取的一个重要分支 。

Chen 等提出利用部分高质量的标注语料训练分类器，然后利用初步训练好的分类器判断未标注的数据，选取 高置信度的分类样本作为训练样本 ，通过迭代自动扩充训练样本[Chen and Ji, 2009]。Liao 等在相关文档中使用自训练的（Self-Training）的半监督学习方法扩展标注语料，并利用全局推理的方法考虑样例的多样性进而完成事件抽取；进一步提出同时针对词汇和句子两个粒度训练最大熵分类器，并用协同训练（Co-training）的方法扩展标注数据，进而对分类器进行更充分的训练[Liao and Grishman, 2011a; 2011b]。

而目前，弱监督/训练数据生成方面比较流行的方向有 利用外部资源，通过远程监督，以及跨语料迁移的方法 。

外部资源

Leveraging FrameNet to Improve Automatic Event Detection, ACL2016

FrameNet 是语言学家定义及标注的语义框架资源，采用层级的组织结构，有1000+框架、1000+词法单元、150000+标注例句。在结构上，FrameNet 和事件抽取有着很高的相似性，一个框架由一个词法单元和若干框架元素组成，一个事件有触发词和若干事件角色组成。另外，FrameNet 中很多 frame 其实也能够表示某些事件，如

因此，Liu 等 利用 ACE 语料训练的分类器去判定 FrameNet 中句子的事件类别 ，再利用全局推断将 FrameNet 的语义框架和 ACE 中的事件类别进行映射 ，进而利用 FrameNet 中人工标注的事件样例扩展训练数据以提升事件检测性能 [Liu etal, 2016b]。

Automatically Labeled Data Generation for Large Scale Event Extraction, ACL2017

Yubo Chen 提出运用结构化的知识库来以及远程监督的方法来自动生成大规模事件语料。

当把关系抽取中常用的远程监督方法用到事件抽取中时，会发现有下面两个问题，一是 现有事件知识库（如 Freebase）中缺乏触发词信息 ，如上图，在关系抽取中，我们可以用两个论元 Barack Obama, Michelle Obama 进行回标，但是在事件抽取中，marriage 这一事件类型在 Freebase 中被表示为 m02nqglv，所以我们不能直接用事件类型和论元来进行回标，在用 DS 前， 必须先检测触发词 。

根据 DS 在 RE 中的应用，可以假设 如果一个句子中出现了所有的论元，那么这个句子就可以被作为是一个事件，句子中的动词就可以作为触发词 。然而 一个事件中的论元可能出现在多个句子中 ，如果用所有论元来进行句子的回标，那么能抽出的训练数据就非常少了，所以应该 对论元进行排序，选择有代表性的论元进行回标 。

整个流程如下，首先对 Freebase 中的核心论元进行检测，根据 角色显著性（role saliency） 、 事件相关性（ event relevance） 和 核心率（key rate） 对论元进行优先级排序，接着利用所有的核心论元去 Wikipeida 中回标，根据 触发率（trigger rate） 、 触发词频率（ trigger candidate frequency） 、 触发词事件频率（trigger event type frequency） 来进行触发词检测，这一阶段得到的触发词表中只有动词，缺少名词，也存在噪声，于是再利用 FrameNet 过滤动词性触发词中的噪声，同时扩展名词性触发词，最后利用 Soft Distant Supervision 来自动生成标注数据。

还有方法如 Karthik Narasimhan et al, EMNLP 2016 ，从网络获取同一事件的不同报道，再使用强化学习方法，做信息融合的决策（互补信息的融合、冗余信息的选择）。

跨语料迁移

由于目前中文事件抽取缺少公认语料，很多学者尝试利用现有大量的 高质量英文标注语料辅助中文事件抽取 。Chen 等首次提出该想法并利用跨语言协同训练的 Bootstrap 方法进行事件抽取[Chen and Ji, 2009]。Ji 提出基于中英文单语事件抽取系统和基于并行语料两种构建跨语言同义谓词集合的方法辅助进行中文事件抽取[Ji, 2009]，Zhu 等利用机器翻译同时扩大中文和英文训练语料，联合利用两种语料进行事件抽取[Zhu etal, 2014]。Hsi 等联合利用符号特征和分布式特征的方法，利用英文事件语料提升中文事件抽取的性能[Hsi etal, 2016]。

Event Detection via Gated Multilingual Attention Mechanism, AAAI2018

Motivation：

所以文章提出了两种 attention 机制， 一是利用多语言一致性 ，分别对每种语言进行单语语境的注意力计算，对每个候选触发词，对其上下文进行注意力机制，注意力权重表示句子中不同单词对预测事件类型的重要性，二是 利用互补信息 ，用 gated cross-lingual attention 来模拟其他语言的可信度，gate 来控制目标语言流向源语言的信息，集成多语言的信息。

目前事件抽取的相关研究大部分是面向英文文本，中文文本的工作才刚起步，一方面，中文的自身特点（需要分词、缺少时态和形态的变换）有一定挑战，另一方面，数据集上也缺乏统一、公认的语料资源和相关评测。尽管如此，近年来中文事件抽取在公开评测、领域扩展及上述的跨语料迁移方面也都取得了一些进展。

公开评测方面，除了在模型方面的创新[Chen and Ng, 2012;Li etal, 2012a;2013b]，在中文语言特性的利用方面，Li 等通过中文词语的形态结构、同义词等信息捕获更多的未知触发词，进而解决中文事件抽取面临的分词错误和训练数据稀疏等问题； 进一步细分中文事件触发词内部的组合语义（复合、附加和转化），进而提高系统的性能[Li etal, 2012b]。Ding 等利用聚类的方法自动生成新事件类型的语料， 在抽取过程中特别地考虑了待抽取文本的 HowNet 相似度[Ding etal, 2013]。

特定领域方面，国内很多机构均面向实际应用展开特定领域的事件抽取研究， 覆盖突发灾难、金融、军事、体育、音乐等多个领域。例如，Zhou 等针对金融领域事件中的收购、分红和贷款三个典型事件，提出自动构建抽取规则集的方法进行中文金融领域事件抽取 [Zhou, 2003]；Liang 等利用事件框架的归纳和继承特性实现对灾难事件的抽取[Liang and Wu, 2006]。

其他方向的一些 Paper:

特征表示：

– Argument Attention: Exploiting Argument Information to Improve Event Detection via Supervised Attention Mechanisms (ACL2017)多事件抽取：

– HBTNGMA: Collective Event Detection via a Hierarchical and Bias Tagging Networks with GatedMulti-level Attention (EMNLP-2018)

篇章级事件抽取：

– DCFEE: A Document-level Chinese Financial Event Extraction System based on Automatically LabeledTraining Data (ACL 2018)

事件关系抽取：

– ATT-ERNN: Attention-based Event Relevance Model for Stock Price Movement Prediction (CCKS-2017 Best Paper Award)

– MLNN: Event Coreference Resolution via Multi-loss Neural Network without Arguments （CCKS-2018）

主流方法包括基于相似度聚类和基于概率统计两类。在这不多做介绍。以后有时间再补充。

以下以语义特征为例：

机器学习基于语义特征的情感分析

基于语义特征的情感分析先人已有研究，可以通过情感词典匹配来做，但是应用机器学习在这方面会使精确度更高些。 

以本人参与的一个项目为主，总结下相关技术点。 

背景是：分析用户评论感情色彩是积极还是消极，即是褒还是贬。

具体步骤为： 

1有监督的人工给文本标注类标签。如有5000条评论数据，我们给其中的1000条标为积极的，再选1000条标为消极的，积极和消极就是所谓的类标签。 

2选择特征。从积极的评论数据中按词来选择积极的所有特征。同理，从消极的评论数据中按词来选择消极的所有特征。如“这款游戏非常好玩”->”这款”->“游戏”->”非常”->”好玩”，分为四个特征词，也可以采用双词搭配，“这个游戏”和“非常好玩”作为特征。 

3特征降维，减少特征的数量。如上“这个游戏非常好玩”中的“这个游戏”没有必要作为特征，因为“好玩”或“非常好玩”已经决定了评论是积极的。 

4将语料文本变成使用特征表示。 

5统计所有特征出现的次数，并按倒序排序。 

6从以上结果中选出排序最靠前的一些特征作为最终的评判特征。 

7使用训练数据根据特征训练分类算法，得到分类器。 

8用测试数据检测分类器的准确度。 

我们将数据分为两部分：开发集、测试集。用开发集的数据训练分类算法得到分类器；再用分类器对测试集里的数据进行分类，给出分类预测得到的标签；对比分类标签和人工标注得到的标签的差异，计算出准确度。

情感分类是与情绪情感有关问题的归类；情感分析是对情感情绪问题的见解与认识。

《计算机科学》 2010年07期

情感分析与认知 李维杰

摘要：分析了情感分析的3个主要步骤,包括文本情感获取与表达、文本情感分类与计算以及文本情感分析的应用。情感分析得到的结论主要是对相关观点的摘要、对相关事件态度的预测或者统计等,但这些结论都没有发挥文本情感在认知中的作用。为了将情感分析应用于认知科学,提出了情感由情感信号和情感实体组成的观点。情感信号主要是指情感的一些形式载体,比如心跳加速、脸红等这些人体内外的某些表现,表达情感的文字、、声音等这类媒体。情感实体主要是指人类对情感形成的一种共识,比如爱、恨、憎恶、高兴、羞愧、嫉妒、内疚、恐惧、焦虑等与人的意识相关联的部分。同时提出了在人工智能中利用情感信息的设想。这对于模拟情感对认知的影响具有一定的意义。

--------粘贴内容，其他未知，抱歉。

一例有关情感心理咨询的案例分析报告

内容摘要：这是一例有关情感心理咨询的案例分析，该求助者因与丈夫情感出现危机，内心产生矛盾和冲突，影响了她的工作和生活，特来咨询，以减轻心理压力，缓解心理冲突，恢复正常的社会功能，过上正常的生活。根据临床资料，该案例诊断为一般心理问题。该求助者的病程持续的时间不是很长，对该求助者的

社会功能影响不是很严重，且问题没有泛化，根据许又新的评分标准评为3分，所以诊断为一般心理问题。针对此案例的资料，咨询师采用治疗此问题的最有效方法：合理情绪疗法，经过治疗，求助者的负性情绪解除，心理矛盾和冲突基本解决，达到了一定的治疗效果。

关键字：情感危机；合理情绪疗法

一、一般人口学资料

单女士，女，45岁，已婚，丈夫系某机关工作人员，家庭条件良好，有一女儿，无既往病史。

二、咨询过程

1、 咨询师：你好，谢谢你的信任，来我们中心咨询，你可以把你的情况简单说一下吗？

求助者：我老公是政府机关的领导，酒场及在工作中有很多场合与年轻女人来往，我感觉他们之间有不正当关系，我接受不了。

2、 我想离婚，但又有顾虑：1）家庭不完整对女儿成长影响；2）离婚正好是让位，正合他意3）丈夫还是比较顾家的（工资上交；只是让我少管他；每周都回家吃几顿饭；每早买饭菜；想让我陪他出去锻炼）4）我感觉对这个家还有很多牵挂（经济上富足；老公一些时候还是比较好的；公婆与我关系很好；以前父母在是考虑父母颜面，现在怕孩子缺少家庭温暖；我也能理解丈夫有时是不得已；丈夫本质不坏，没有固定女人；老公不会拒绝人）

3、 老公对我是否有外遇也有怀疑

1） 和单位领导，我做事有分寸：去领导办公室开着门做事或汇报工作，与领导保持距离

2） 老公的同学：他同学对我夸奖，同学劝老公珍惜我，同学说离婚痛苦。

我避免单独在家接待老公同学；需要咨询时去医院。

咨询师：把握好度，做事有分寸。

4、 对老公同学的变化（由真诚到偶尔的怒骂）

认知：老公变坏与朋友有关；多是些酒肉朋友；他朋友劝离婚，送他女人。

5、 空椅子技术，体验老公内心的感受

6、 有时恨老公，想杀死他。

引导思考：女儿没有父爱，母爱感缺失，我的亲人为我而痛苦，家庭毁灭之灾

7、 离婚的得失分析

1） 得：摆脱与他的纠缠；心情会好

2） 失：经济情况会发生变化；女儿无完整的爱；交际圈小，容易形成自闭

（但是大的环境改变不了）

8、 对这个家庭，现在我能做什么

1）老公承担家庭责任，养老婆孩子；2）尽量回避谈论外面女人；3）发展自己的爱好，充实自己的生活；4）学习新知识，提高自己的素质，增强吸引力；5）家庭布置尽可能温馨，增加家的温馨感；6）关注老公的健康；7）交流时侧重说感受、体会，尽量不带情绪说话

9、婚姻死亡与否难判定

1）拥有不珍惜，失去知可贵2）复婚率提高3）再婚的婚姻不一定幸福4）再婚离婚率呈上升趋势5）陈一筠案例思考

10、一个人不可能去控制另一个人，只能通过自己的改变来影响别人

11、男女在朋友面前的心理差异

男：1）希望别人赞美自己的老婆2）不希望老婆打扰3）有异性时表现欲强4）某些信息有表达差异

女：1）别人赞美老公时有不安全感2）希望老公关心3）矜持。

咨询师经过一次三个小时的咨询，引导来访者分析夫妻关系的现状，本着中立的态度分析了离婚对她和她家庭的利与弊，让来访者自己决定离婚与否。——————转来的。

由于语料缺乏，前期若使用到情感分析，建议暂时使用SnowNLP（此模块主要使用淘宝评论语料）做情感挖掘，但不仅仅为单纯调用，需要优化，下面是一些实践思考：

可在此基础上优化，比如文本需要特别处理，除了平常的去停用词外，还可以需要对输入的文本结合词性等进行处理。

下面是一些常识：

一）无情感的词语(如去停用词，去掉语气词，无词性标签的词语）

二）对于文本过长，则可以考虑提取关键词或抽取文本摘要后再提取关键词

对于后者实践结果差异明显：

以"发布了头条文章： 《5分钟11亿！京东双11场景化产品消费增长明显》 5分钟11亿！京东双11场景化产品消费增长明显 "为例子， 显然该文本为“积极”文本。

1）s = SnowNLP（"发布了头条文章：《5分钟11亿！京东双11场景化产品消费增长明显》 5分钟11亿！京东双11场景化产品消费增长明显"）

得分为05，明显不符合

2）s = SnowNLP（“ ”join(jiebaanalysetextrank("发布了头条文章：《5分钟11亿！京东双11场景化产品消费增长明显》 5分钟11亿！京东双11场景化产品消费增长明显")))

而对于文本特别长的，则可以先抽取摘要，再对摘要提取关键词。

这主要由于此SnowNLP主要用贝叶斯机器学习方法进行训练文本，机器学习在语料覆盖上不够，特征上工程处理不当会减分，也没考虑语义等。

为何要考虑语义层面：

以“ 苏宁易购，是谁给你们下架OV的勇气” 中的“ 下架”其实才是中心词（为表达愤怒的文本），但“ 勇气 ”为下架的宾语（其为积极的文本），此句应该结果小于05，但实际为088，去掉“苏宁易购”则为06>

近年来,微博已经成为全球最受欢迎的网络应用之一,微博的快速发展使其显示出了巨大的社会价值和商业价值,人们逐渐习惯在以微博为代表的社交网络上获取、交流信息与表达情感。文本情感倾向性分析主要关注以文本方式存在的信息中的情感倾向,当庞大的数据量使得它无法手动对它们进行分析时,情感分析就开始发挥作用了。情感分析在英文世界一直是一个被广泛研究的领域,而中文情感分析的研究仍处于起步阶段,大部分工作已通过尝试被证明是适用于英文的。 首先,本文总结分析了文本倾向性分析的基本概念与算法模型,在此基础上,将心理学中的PAD情感模型引入,结合知网提供的语义相似度计算方法,提出了一种使用给定基础情感词汇与其对应PAD值计算词汇的PAD值的方法,并以此构建了一个基于PAD情感模型的情感词典。其次,本文将问题扩展到中文的文本倾向性分析研究中,提出了一种结合统计信息与语义信息的权重计算方法,通过该方法,在一定程度上消除特征歧义对于分类器的影响,使得特征的权重更贴合文本的语义,分类的效果更好。最后,本文综合中文微博文本分析研究现状,分析了现有的文本表示模型,结合机器学习中的支持向量机算法,提出了基于PAD情感语义特征的支持向量机分类方法。 实验结果表明,基于支持向量机的分类算法的效果好于k最近邻节点算法的效果。同时,本文提出的基于PAD情感语义特征的支持向量机分类方法都能够取得比较实用的效果,并对普通的支持向量机方法效果有着显著的改进。