知识图谱学习笔记
一. 通俗易懂解释知识图谱（ Graph） 1. 前言
从一开始的搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。
知识图谱（ Graph）的概念由谷歌2012年正式提出，旨在实现更智能的搜索引擎，并且于2013年以后开始在学术界和业界普及。目前，随着智能信息服务应用的不断发展，知识图谱已被广泛应用于智能搜索、智能问答、个性化推荐、情报分析、反欺诈等领域。另外，通过知识图谱能够将Web上的信息、数据以及链接关系聚集为知识，使信息资源更易于计算、理解以及评价，并且形成一套Web语义知识库。知识图谱以其强大的语义处理能力与开放互联能力，可为万维网上的知识互联奠定扎实的基础，使Web 3.0提出的“知识之网”愿景成为了可能。
2. 知识图谱定义
知识图谱：是结构化的语义知识库，用于迅速描述物理世界中的概念及其相互关系。
知识图谱通过对错综复杂的文档的数据进行有效的加工、处理、整合，转化为简单、清晰的“实体,关系,实体”的三元组，最后聚合大量知识，从而实现知识的快速响应和推理。
知识图谱有自顶向下和自底向上两种构建方式。所谓自顶向下构建是借助百科类网站等结构化数据源，从高质量数据中提取本体和模式信息，加入到知识库中；所谓自底向上构建，则是借助一定的技术手段，从公开采集的数据中提取出资源模式，选择其中置信度较高的新模式，经人工审核之后，加入到知识库中。
看一张简单的知识图谱：
如图所示，你可以看到，如果两个节点之间存在关系，他们就会被一条无向边连接在一起，那么这个节点，我们就称为实体（），它们之间的这条边，我们就称为关系（）。
知识图谱的基本单位，便是“实体（）-关系（）-实体（）”构成的三元组，这也是知识图谱的核心。
3. 数据类型和存储方式
知识图谱的原始数据类型一般来说有三类（也是互联网上的三类原始数据）：
如何存储上面这三类数据类型呢？一般有两种选择，一个是通过RDF（资源描述框架）这样的规范存储格式来进行存储，还有一种方法，就是使用图数据库来进行存储，常用的有Neo4j等。
RDF结构：
Neo4j结构：
在知识图谱方面，图数据库比关系数据库灵活的多。
在数据少的时候，关系数据库也没有问题，效率也不低。但是随着知识图谱变的复杂，图数据库的优势会明显增加。当涉及到2,3度的关联查询，基于图数据库的效率会比关系数据库的效率高出几千倍甚至几百万倍。
4. 知识图谱的架构
知识图谱在架构上分，可以分为逻辑架构和技术架构。
4.1 逻辑架构
知识图谱在逻辑上可分为模式层与数据层两个层次。
模式层：实体-关系-实体，实体-属性-性值
数据层：比尔盖茨-妻子-梅琳达·盖茨，比尔盖茨-总裁-微软
4.2 技术架构
知识图谱的整体架构如下图所示，其中虚线框内的部分为知识图谱的构建过程，同时也是知识图谱更新的过程。
我们来一步一步的分析下这张图。
虚线框的最左边是三种输入数据结构，结构化数据、半结构化数据、非结构化数据。这些数据可以来自任何地方，只要它对要构建的这个知识图谱有帮助。虚线框里面的是整个的知识图谱的构建过程。其中主要包含了3个阶段，信息抽取、知识融合、知识加工。最右边是生成的知识图谱，而且这个技术架构是循环往复，迭代更新的过程。知识图谱不是一次性生成，是慢慢积累的过程。
其实我们的构建知识图谱的过程，就是信息抽取、知识融合、知识加工三个过程，但是这三个过程都有各自的难点，下文通过从这三个模块出发，解析这三个模块说要解决的问题，会遇到的难点。
5. 信息抽取
信息抽取（ ）是知识图谱构建的第1步，其中的关键问题是：如何从异构数据源中自动抽取信息得到候选指示单元？
信息抽取是一种自动化地从半结构化和无结构数据中抽取实体、关系以及实体属性等结构化信息的技术。
涉及的关键技术包括：实体抽取、关系抽取和属性抽取。
5.1 实体抽取( )
实体抽取又称为命名实体识别（named ，NER），是指从文本数据集中自动识别出命名实体。实体抽取的质量（准确率和召回率）对后续的知识获取效率和质量影响极大，因此是信息抽取中最为基础和关键的部分。
2012年Ling等人归纳出112种实体类别，并基于条件随机场CRF进行实体边界识别，最后采用自适应感知机算法实现了对实体的自动分类，取得了不错的效果。
但是随着互联网中内容的动态变化，采用人工预定义实体分类体系的方式已经很难适应时代的需求，因此提出了面向开放域的实体识别和分类研究。
在面向开放域的实体识别和分类研究中，不需要（也不可能）为每个领域或者每个实体类别建立单独的语料库作为训练集。因此，该领域面临的主要挑战是如何从给定的少量实体实例中自动发现具有区分力的模型。
一种思路是根据已知的实体实例进行特征建模，利用该模型处理海量数据集得到新的命名实体列表，然后针对新实体建模，迭代地生成实体标注语料库。
另一种思路是利用搜索引擎的服务器日志，事先并不给出实体分类等信息，而是基于实体的语义特征从搜索日志中识别出命名实体，然后采用聚类算法对识别出的实体对象进行聚类。
5.2 关系抽取( )
文本语料经过实体抽取，得到的是一系列离散的命名实体，为了得到语义信息，还需要从相关的语料中提取出实体之间的关联关系，通过关联关系将实体（概念）联系起来，才能够形成网状的知识结构，研究关系抽取技术的目的，就是解决如何从文本语料中抽取实体间的关系这一基本问题。
人工构造语法和语义规则（模式匹配）统计机器学习方法基于特征向量或核函数的有监督学习方法研究重点转向半监督和无监督开始研究面向开放域的信息抽取方法将面向开放域的信息抽取方法和面向封闭领域的传统方法结合 5.3 属性抽取( )
属性抽取的目标是从不同信息源中采集特定实体的属性信息。例如针对某个公众人物，可以从网络公开信息中得到其昵称、生日、国籍、教育背景等信息。属性抽取技术能够从多种数据来源中汇集这些信息，实现对实体属性的完整勾画。
将实体的属性视作实体与属性值之间的一种名词性关系，将属性抽取任务转化为关系抽取任务。基于规则和启发式算法，抽取结构化数据基于百科类网站的半结构化数据，通过自动抽取生成训练语料，用于训练实体属性标注模型，然后将其应用于对非结构化数据的实体属性抽取。采用数据挖掘的方法直接从文本中挖掘实体属性和属性值之间的关系模式，据此实现对属性名和属性值在文本中的定位。 6. 知识融合
通过信息抽取，我们就从原始的非结构化和半结构化数据中获取到了实体、关系以及实体的属性信息。
如果我们将接下来的过程比喻成拼图的话，那么这些信息就是拼图碎片，散乱无章，甚至还有从其他拼图里跑来的碎片、本身就是用来干扰我们拼图的错误碎片。
拼图碎片（信息）之间的关系是扁平化的，缺乏层次性和逻辑性；
拼图（知识）中还存在大量冗杂和错误的拼图碎片（信息）
那么如何解决这一问题，就是在知识融合这一步里我们需要做的了。
知识融合包括2部分内容：实体链接，知识合并
6.1 实体链接
实体链接（ ）：是指对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。
其基本思想是首先根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过相似度计算将指称项链接到正确的实体对象。
研究历史：
仅关注如何将从文本中抽取到的实体链接到知识库中，忽视了位于同一文档的实体间存在的语义联系。开始关注利用实体的共现关系，同时将多个实体链接到知识库中。即集成实体链接（ ）
实体链接的流程：
从文本中通过实体抽取得到实体指称项。进行实体消歧和共指消解，判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义。在确认知识库中对应的正确实体对象之后，将该实体指称项链接到知识库中对应实体。 6.2 知识合并
在构建知识图谱时，可以从第三方知识库产品或已有结构化数据获取知识输入。
常见的知识合并需求有两个，一个是合并外部知识库，另一个是合并关系数据库。
将外部知识库融合到本地知识库需要处理两个层面的问题：
数据层的融合，包括实体的指称、属性、关系以及所属类别等，主要的问题是如何避免实例以及关系的冲突问题，造成不必要的冗余
通过模式层的融合，将新得到的本体融入已有的本体库中
然后是合并关系数据库，在知识图谱构建过程中，一个重要的高质量知识来源是企业或者机构自己的关系数据库。为了将这些结构化的历史数据融入到知识图谱中，可以采用资源描述框架（RDF）作为数据模型。业界和学术界将这一数据转换过程形象地称为，其实质就是将关系数据库的数据换成RDF的三元组数据。
7. 知识加工
在前面，我们已经通过信息抽取，从原始语料中提取出了实体、关系与属性等知识要素，并且经过知识融合，消除实体指称项与实体对象之间的歧义，得到一系列基本的事实表达。
然而事实本身并不等于知识。要想最终获得结构化，网络化的知识体系，还需要经历知识加工的过程。
知识加工主要包括3方面内容：本体构建、知识推理和质量评估。
7.1 本体构建
本体（）是指工人的概念集合、概念框架，如“人”、“事”、“物”等。
本体可以采用人工编辑的方式手动构建（借助本体编辑软件），也可以以数据驱动的自动化方式构建本体。因为人工方式工作量巨大，且很难找到符合要求的专家，因此当前主流的全局本体库产品，都是从一些面向特定领域的现有本体库出发，采用自动构建技术逐步扩展得到的。
自动化本体构建过程包含三个阶段：
实体并列关系相似度计算实体上下位关系抽取本体的生成
比如对下面这个例子，当知识图谱刚得到“阿里巴巴”、“腾讯”、“手机”这三个实体的时候，可能会认为它们三个之间并没有什么差别，但当它去计算三个实体之间的相似度后，就会发现，阿里巴巴和腾讯之间可能更相似，和手机差别更大一些。
这就是第一步的作用，但这样下来，知识图谱实际上还是没有一个上下层的概念，它还是不知道，阿里巴巴和手机，根本就不隶属于一个类型，无法比较。因此我们在实体上下位关系抽取这一步，就需要去完成这样的工作，从而生成第三步的本体。
当三步结束后，这个知识图谱可能就会明白，“阿里巴巴和腾讯，其实都是公司这样一个实体下的细分实体。它们和手机并不是一类。”
7.2 知识推理
在我们完成了本体构建这一步之后，一个知识图谱的雏形便已经搭建好了。但可能在这个时候，知识图谱之间大多数关系都是残缺的，缺失值非常严重，那么这个时候，我们就可以使用知识推理技术，去完成进一步的知识发现。
我们可以发现：如果A是B的配偶，B是C的主席，C坐落于D，那么我们就可以认为，A生活在D这个城市。
根据这一条规则，我们可以去挖掘一下在图里，是不是还有其他的path满足这个条件，那么我们就可以将AD两个关联起来。除此之外，我们还可以去思考，串联里有一环是B是C的主席，那么B是C的CEO、B是C的COO，是不是也可以作为这个推理策略的一环呢？
当然知识推理的对象也并不局限于实体间的关系，也可以是实体的属性值，本体的概念层次关系等。
推理属性值：已知某实体的生日属性，可以通过推理得到该实体的年龄属性；
推理概念：已知(老虎，科，猫科)和（猫科，目，食肉目）可以推出（老虎，目，食肉目）
这一块的算法主要可以分为3大类，基于逻辑的推理、基于图的推理和基于深度学习的推理。
7.3 质量评估
质量评估也是知识库构建技术的重要组成部分，这一部分存在的意义在于：可以对知识的可信度进行量化，通过舍弃置信度较低的知识来保障知识库的质量。
8. 知识更新
从逻辑上看，知识库的更新包括概念层的更新和数据层的更新。
概念层的更新是指新增数据后获得了新的概念，需要自动将新的概念添加到知识库的概念层中。
数据层的更新主要是新增或更新实体、关系、属性值，对数据层进行更新需要考虑数据源的可靠性、数据的一致性（是否存在矛盾或冗杂等问题）等可靠数据源，并选择在各数据源中出现频率高的事实和属性加入知识库。
知识图谱的内容更新有两种方式：
9. 总结
通过知识图谱，不仅可以将互联网的信息表达成更接近人类认知世界的形式，而且提供了一种更好的组织、管理和利用海量信息的方式。目前的知识图谱技术主要用于智能语义搜索、移动个人助理（Siri）以及深度问答系统（），支撑这些应用的核心技术正是知识图谱技术。
在智能语义搜索中，当用户发起查询时，搜索引擎会借助知识图谱的帮助对用户查询的关键词进行解析和推理，进而将其映射到知识图谱中的一个或一组概念之上，然后根据知识图谱的概念层次结构，向用户返回图形化的知识结构，这就是我们在谷歌和百度的搜索结果中看到的知识卡片。
在深度问答应用中，系统同样会首先在知识图谱的帮助下对用户使用自然语言提出的问题进行语义分析和语法分析，进而将其转化成结构化形式的查询语句，然后在知识图谱中查询答案。比如，如果用户提问：『如何判断是否感染了埃博拉病毒？』，则该查询有可能被等价变换为『埃博拉病毒的症状有哪些？』，然后再进行推理变换，最终形成等价的三元组查询语句，如（埃博拉，症状，？）和（埃博拉，征兆，？）等。如果由于知识库不完善而无法通过推理解答用户的问题，深度问答系统还可以利用搜索引擎向用户反馈搜索结果，同时根据搜索结果更新知识库，从而为回答后续的提问提前做出准备。
二. 知识图谱-命名实体识别（NER）详解 1. 前言
在解了知识图谱的全貌之后，我们现在慢慢的开始深入的学习知识图谱的每个步骤。今天介绍知识图谱里面的NER的环节。
命名实体识别（Named ，简称NER），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：（1）实体边界识别；（2） 确定实体类别（人名、地名、机构名或其他）。
2. NER形势
NER当前并不算是一个大热的研究课题，因为学术界部分学者认为这是一个已经解决的问题。当然也有学者认为这个问题还没有得到很好地解决，原因主要有：命名实体识别只是在有限的文本类型（主要是新闻语料中）和实体类别（主要是人名、地名、组织机构名）中取得了不错的效果；与其他信息检索领域相比，实体命名评测预料较小，容易产生过拟合；命名实体识别更侧重高召回率，但在信息检索领域，高准确率更重要；通用的识别多种类型的命名实体的系统性能很差。
2.1 中文NER问题
中文的命名实体识别与英文的相比，挑战更大，目前未解决的难题更多。英语中的命名实体具有比较明显的形式标志，即实体中的每个词的第一个字母要大写，所以实体边界识别相对容易，任务的重点是确定实体的类别。和英语相比，汉语命名实体识别任务更加复杂，而且相对于实体类别标注子任务，实体边界的识别更加困难。
汉语命名实体识别的难点主要存在于：
汉语文本没有类似英文文本中空格之类的显式标示词的边界标示符，命名实体识别的第一步就是确定词的边界，即分词。汉语分词和命名实体识别互相影响。除了英语中定义的实体，外国人名译名和地名译名是存在于汉语中的两类特殊实体类型。现代汉语文本，尤其是网络汉语文本，常出现中英文交替使用，这时汉语命名实体识别的任务还包括识别其中的英文命名实体。不同的命名实体具有不同的内部特征，不可能用一个统一的模型来刻画所有的实体内部特征。 3. NER方法
当前命名实体识别的主要技术方法分为：基于规则和词典的方法、基于统计的方法、二者混合的方法、神经网络的方法等。
3.1 基于规则和词典的方法
基于规则的方法多采用语言学专家手工构造规则模板,选用特征包括统计信息、标点符号、关键字、指示词和方向词、位置词(如尾字)、中心词等方法，以模式和字符串相匹配为主要手段，这类系统大多依赖于知识库和词典的建立。
这类系统大多依赖于知识库和词典的建立。系统可移植性不好，对于不同的系统需要语言学专家重新书写规则。代价太大，系统建设周期长。 3.2 基于统计的方法
基于统计机器学习的方法主要包括：隐马尔可夫模型(,HMM)、最大熵()、支持向量机( ,SVM)、条件随机场( )。
最大熵模型有较好的通用性，主要缺点是训练时间复杂性非常高。条件随机场特征灵活、全局最优的标注框架，但同时存在收敛速度慢、训练时间长的问题。隐马尔可夫模型在训练和识别时的速度要快一些，算法求解命名实体类别序列的效率较高。最大熵和支持向量机在正确率上要比隐马尔可夫模型高。基于统计的方法对语料库的依赖也比较大 3.3 混合方法
自然语言处理并不完全是一个随机过程,单独使用基于统计的方法使状态搜索空间非常庞大，必须借助规则知识提前进行过滤修剪处理。目前几乎没有单纯使用统计模型而不使用规则知识的命名实体识别系统，在很多情况下是使用混合方法，主要包括：
统计学习方法之间或内部层叠融合。规则、词典和机器学习方法之间的融合，其核心是融合方法技术。在基于统计的学习方法中引入部分规则，将机器学习和人工知识结合起来。将各类模型、算法结合起来，将前一级模型的结果作为下一级的训练数据，并用这些训练数据对模型进行训练，得到下一级模型。 3.4 基于神经网络的方法
近年来，随着硬件能力的发展以及词的分布式表示（word ）的出现，神经网络成为可以有效处理许多NLP任务的模型。主要的模型有NN/CNN-CRF、RNN-CRF、LSTM-CRF。
神经网络可以分为以下几个步骤。
对于序列标注任务（如CWS、POS、NER）的处理方式是类似的，将token从离散one-hot表示映射到低维空间中成为稠密的。将句子的序列输入到RNN中，用神经网络自动提取特征。来预测每个token的标签。 神经网络模型的训练成为一个端到端的整体过程，而非传统的。不依赖特征工程，是一种数据驱动的方法。 网络变种多、对参数设置依赖大。模型可解释性差。每个token打标签的过程中是独立的分类，不能直接利用上文已经预测的标签。 4. 总结
从语言分析的全过程来看,命名实体识别属于词法分析中未登录词识别的范畴。命名实体识别是未登录词中数量最多、识别难度最大、对分词效果影响最大的问题，同时它也是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。
三. 哈工大LTP解析 1. 前言
哈工大语言技术平台 （LTP）是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块(包括词法、句法、语义等6项中文处理核心技术)，以及基于动态链接库( Link , DLL)的应用程序接口，可视化工具，并且能够以网络服务(Web )的形式进行使用
2. 分词()
中文分词 (Word , WS) 指的是将汉字序列切分成词序列。 因为在汉语中，词是承载语义的最基本的单元。分词是信息检索、文本分类、情感分析等多项中文自然语言处理任务的基础。
3. 词性标注()
词性标注(Part-of- , POS)是给句子中每个词一个词性类别的任务。 这里的词性类别可能是名词、动词、形容词或其他。 下面的句子是一个词性标注的例子。 其中，v代表动词、n代表名词、c代表连词、d代表副词、wp代表标点符号。
e
美丽
和, 虽然
很
哎
阿, 伪
idiom
百花齐放
公检法
一, 第一
noun
苹果
nd
noun
右侧
nh
name
杜甫, 汤姆
ni
name
保险公司
nl
noun
城郊
ns
name
北京
nt
noun
近日, 明代
nz
other noun
诺贝尔奖
在, 把
个
的, 地
verb
跑, 学习
wp
，。
ws
words
CPU
4. 命名实体识别(NER)
命名实体识别 (Named , NER) 是在句子的词序列中定位并识别人名、地名、机构名等实体的任务。
5. 依存句法分析()
依存语法 ( , DP) 通过分析语言单位内成分之间的依存关系揭示其句法结构。 直观来讲，依存句法分析识别句子中的“主谓宾”、“定状补”这些语法成分，并分析各成分之间的关系。
关系类型e
主谓关系
SBV
-verb
我送她一束花 (我
动宾关系
VOB
直接宾语，verb-
我送她一束花 (送 –> 花)
间宾关系
IOB
间接宾语，-
我送她一束花 (送 –> 她)
前置宾语
FOB
前置宾语，-
他什么书都读 (书
兼语
DBL
他请我吃饭 (请 –> 我)
定中关系
ATT
红苹果 (红
状中结构
ADV
非常美丽 (非常
动补结构
CMP
做完了作业 (做 –> 完)
并列关系
COO
大山和大海 (大山 –> 大海)
介宾关系
POB
–
在贸易区内 (在 –> 内)
左附加关系
LAD
left
大山和大海 (和
右附加关系
RAD
right
孩子们 (孩子 –> 们)
独立结构
IS
两个单句在结构上彼此独立
核心关系
HED
head
指整个句子的核心
6. 语义角色标注()
语义角色标注 ( Role , SRL) 是一种浅层的语义分析技术，标注句子中某些短语为给定谓词的论元 (语义角色) ，如施事、受事、时间和地点等。其能够对问答系统、信息抽取和机器翻译等应用产生推动作用。
7. 总结
我们有了以上的一些基础工具之后，可以对无监督的文本进行一个三元组关系的抽取。三元组是组成知识图谱的最重要的单元。
