基于翻译的表示进修。其代表性工作 TransE 模型经由过程向量空间的向量翻沂攀来描述实体与关系之间的相干性[3]。该模型假定，若 < h,r,t > 成立则尾部实体 t 的嵌入表示应当接近头部实体 h 加上关系向量 r 的嵌入表示，即 h+r≈t。是以，TransE 采取

作为评分函数。当三元构成立时，得分较低，反之得分较高。TransE 在处劳Ｒ单的 1-1 关系（即关系两端连接的实体数比率为 1：1）时是异常有效的，但在处理 N-1、1-N 以及 N-N 的复杂关系时机能则明显降低。针对这些复杂关系，Wang 提出了 TransH 模型经由过程将实体投影到关系地点超平面,大年夜而习得实体在不合关系下的不合表示。Lin 提出了 TransR 模型经由过程投影矩阵将实体投影到关系子空间，大年夜而习得不合关系下的不合实体表示。

除了上述两类典范常识图谱表示进修模型之外，还有大年夜量的其他表示进修模型。比如，Sutskever 等人应用张量因式分化和贝叶斯聚类来进修关系构造。Ranzato 等人惹人了一个三路的限制玻尔兹曼机来进修常识图谱的向量化表示，并经由过程一个张量加以参数化。

对 student network 进行练习，包管 teacher network 的猜测结不雅和 student network 的猜测结不雅都尽量地好，优化函数如下： 

当前主流的常识图谱表示进修办法仍存在各类各样的问题，比如不克不及较好描述实体与关系之间的语义相干性、无法较好处理复杂关系的表示进修、模型因为惹人大年夜量参数导致过于复杂，以及枷⒚效力较低难以扩大到大年夜范围常识图谱上等等。为了更好地为机械进修或深度进修供给先验常识，常识图谱的表示进修仍是一项任重道远的研究课题。

常识图谱向量化表示的应用

应用 1 问答体系。天然说话问答是人机交互的重要情势。深度进修使得基于问答语料的生成式问答成为可能。然而今朝大年夜多半深度问答模型仍然难以应用大年夜量的常识实现精确答复。Yin 等人针对简单事实类问题，提出了一种基于 encoder-decoder 框架，可以或许充分应用常识图谱中常识的深度进修问答模型[4]。在深度神经收集中，一个问题的语义往往被表示为一个向量。具有类似向量的问题被认为是具有类似语义。这是联络主义的典范方法。另一方面，常识图谱的常识表示是离散的，即常识与常识之间并没有一个渐变的关系。这是符号主义的典范方法。经由过程将常识图谱向量化，可以将问题与三元组进行匹配（也即寂?驿向量类似度），大年夜而为某个特定问题找到来自常识库的最佳三元组匹配。匹配过程如图 1 所示。对于问题 Q：“How tallis Yao Ming?”，起首将问题中的单词表示为向量数组 HQ。进一步寻找能与之匹配的常识图谱中的候选三元组。最后为这些候选三元组，分别计算问题与不合属性的语义类似度。其由以下类似度公式决定：

个中，t 是练习轮次，l 是不合义务中的损掉函数（如在分类问题中，l 是交叉熵），σθ 是猜测函数，sn(t) 是 teacher network 的猜测结不雅。

图1 基于常识图谱的神经生盘考答模型

应用 2 推荐体系。个性化推荐体系是互联网各大年夜社交媒体和电商网站的重要智能办事之一。跟着常识图谱的应用日益广泛，大年夜量研究工作意识到常识图谱中的常识可以用来完美基于内容的推荐体系中对用户和项目标内容（特点）描述，大年夜而晋升推荐效不雅。另一方面，基于深度进修的推荐算法在推荐效不雅上日益优于基于协同过滤的传统推荐模型[5]。然则，将常识图谱集成到深度进修的框架中的个性化推荐的研究工作,还较为少见。Zhang 等人做出了如许的测验测验。作者充分应用了构造化常识(常识图谱)、文本常识和可视化常识（图片）[6]等三类典范常识。作者分别经由过程收集嵌入（network embedding缉获得构造化常识的向量化表示，然后分别用SDAE（Stacked Denoising Auto-Encoder）和层叠卷积自编码器（stackedconvolution-autoencoder）采取文本常识特点和图片常识特点；并最终将三类特点融合进协同集成进修框架，应用三类常识特点的┞符合来实现个性化推荐。作者针对片子和图书数据集进行实验，证清楚明了这种融合深度进修和常识图谱的推荐算法具有较好机能。

Hu 等人提出了一种将一阶谓词逻辑融合进深度神经收集的模型，并将其胜应用于解决情感分类和定名实体辨认等问题[7]。逻辑规矩是一种对高阶认知和构造化常识的灵活表示情势，也是一种典范的常识表示情势。将各类人们已积聚的逻辑规矩惹人到深度神经收集中，应用仁攀类意图和范畴常识对神经收集模型进行引导具有十分重要的意义。其他一些研究工作则测验测验将逻辑规矩惹人到概率图模型，这类工作的代表是马尔科夫逻辑收集[8]，然则鲜有工作能将逻辑规矩惹人到深度神经收集中。

Hu 等人所提出的筹划框架可以概括为“teacher-student network”，如图 2 所示，包含两个部分 teacher network q(y|x) 和 student network pθ(y|x)。个中 teacher network 负责将逻辑规矩所代表的常识建模，student network 应用反向传播办法加上teacher network的束缚，实现对逻辑规矩的进修。这个框架可以或许为大年夜部分以深度神经收集为模型的义务惹人逻辑规矩，包含情感分析、定名实体辨认等。经由过程惹人逻辑规矩，在深度神经收集模型的基本上实现效不雅晋升。

图2 将逻辑规矩惹人到深度神经收集的“teacher-student network”模型

 2/3   首页 上一页 1 2 3 下一页 尾页

　　推荐阅读

　　如何给非专业人士讲解什么是深度学习？

客岁开端，工作中须要做很多有关 AI 科普的工作。很长时光里一向在想，该若何给一个没有 CS 背景的人讲解什么是深度进修，以便让一个非技巧的投资人、企业治理者、行业专家、媒体记者甚至>>>详细阅读

本文标题：当知识图谱“遇见”深度学习

地址：http://www.17bianji.com/lsqh/35023.html

 1/2    1