0
点赞
收藏
分享

微信扫一扫

读书笔记(在读)-《自然语言理解与行业知识图谱:概念、方法与工程落地》

yeamy 2022-04-25 阅读 26
深度学习

Ch2 自然语言理解逻辑

2.2 语言理解任务

2.2.2 语义类任务
4、知识融合
知识融合技术一般可分为本体匹配(Schema Matching)、实例匹配(InstanceMatching)和属性对齐等。
(1)本体匹配
本体匹配任务旨在发现异构数据源概念、实体、属性三个不同层面上的对应关系。
匹配主要利用概念、术语、背景知识的相似度计算,结合用户定义的权重策略完成匹配。基于贝叶斯决策风险最小化,在计算相似度时动态结合几种计算方法,能够带来更好的匹配结果。
(2)实例匹配
实例匹配方法通常都是基于实例的各种属性相似性定义,分别计算实例各属性的相似度。进一步根据实例的属性距离加权计算,判断实例匹配的程度,从而完成实例匹配任务。
(3)属性对齐
2.2.3 语用类任务
3、搜索推荐
(1)搜索任务
搜索任务涉及语言处理,还包括信息索引、意图识别、相关性计算、召回排序等一系列子任务。
信息索引:有时相关内容会存放在内存中,有时也会通过倒排索引和并发集群机制来提高搜索效率。
相关性计算:涉及文本匹配算法。搜索引擎会根据输入特征选择匹配计算模型,给出相似度计算结果。
召回排序:
对相关度计算结果召回,设计特定场景下的评分排序策略,对结果进行排序。
在这里插入图片描述
4、问答对话
(2)基于知识库的QA
基于知识库的问答又称为知识图谱问答,涉及的子任务包括实体识别与链接、问答选择以及结果评估。
在这里插入图片描述
5、摘要描述
重要性排序方案:
(1)启发式规则排序。该种方案考虑了句子包含词语权重、句子位置、句子与主题相似度等几个因素,加权作为句子的打分,来判定句子的重要性。这种方法综合了句子多种特征实现对句子重要性的分类、回归或排序。
(2)图排序。典型的算法是基于PageRank思想的TextRank算法。为文本构建句子图结构G=(V, E),句子作为顶点(Vertice, V),句子之间有关系则构建边(Edges, E)(图结构将在3.3.6节中进行详细介绍);基于图结构生成的顶点相似度矩阵,应用TextRank算法获得每个顶点的权重。

2.3 语言理解体系

1、自然语言处理基本框架
自然语言处理基本框架
2、自然语言理解的逻辑体系框架
自然语言理解的逻辑体系框架

举报

相关推荐

0 条评论