作家
登录

卷积神经网络不能处理“图”结构数据?这篇文章告诉你答案

作者: 来源: 2017-07-05 16:33:02 阅读 我要评论

本文要介绍的┞封一篇paper是ICML2016上一篇关于 CNN 在图(graph)上的应用。ICML 是机械进修方面的顶级会议,这篇文┞仿--<< Learning CNNs for Graphs>>--所研究的内容也具有异常好的理论和实用的价值。如不雅您对于图的数据构造并不是很熟悉建议您先参考本文末的相干基本常识的介绍。

CNN已经在计算机视觉(CV)以及天然说话处理等范畴取得了state-of-art 的程度,个中的数据可以被称作是一种Euclidean Data,CNN正好可以或许高效的处理这种数据构造,摸索出个中所存在的特点表示。

欧氏(欧几里德)数据(Euclidean Data)举例

所谓的欧氏(欧几里德)数据指的是类似于grids, sequences… 如许的数据,例如图像就可以看作是2D的grid数据,语音旌旗灯号就可以看作是1D的grid数据。然则实际的处理问题傍边还存在大年夜量的 Non-Euclidean Data,如社交多媒体收集(Social Network)数据,化学成分(Chemical Compound)构造数据,生物基因蛋白(Protein)数据以及常识图谱(Knowledge Graphs)数据等等,这类的数据属于图构造的数据(Graph-structured Data)。CNN等神经收集构造则并不克不及有效的处理如许的数据。是以,这篇paper要解决的问题就是若何应用CNN高效的处理图构造的数据。

Graph 数据举例

本文所提出算法思惟很简单,将一个图构造的数据转化为CNN可以或许高效处理的构造。处理的过程重要分为两个步调:1.大年夜图构造傍边选出具有代表性的nodes序列;2.对于选出的每一个node求出一个卷积的邻域(neighborhood field)。接下来我们具体的介绍算法相干的细节。

本paper将图像(image)看作是一种特别的图(graph),即一种的grid graph,每一个像素就是graph傍边的一个node。那么我猜想文┞仿的motivation重要来自于想将CNN在图像上的应用generalize 到一般的graph膳绫擎。

那么我们起首来看一下CNN在Image傍边的应用。如图3所示,左图表示的是一张图像在一个神经收集层傍边的卷机操作过程。最底部的那一层是输入的特点图(或原图),经由过程一个卷积(这里表示的是一个3*3的卷积核,也就是文┞仿傍边的receptive filed=9)操作,输出一张卷积后的特点图。如图3 的卷积操作,底层的9个像素被加权映射到上层的一个像素;再看图3中的右图,表示大年夜graph的角度来看左图底层的输入数据。个中随便率性一?带卷积的区域都可以看作是一个中间点的node以及它的范畴的nodes集合,最终加权映射为一个值。是以,底部的输入特点图可以看作是:在一个方形的grid 图傍边肯定一些列的nodes来表示这个图像并且构建一个正则化的邻域图(而这个邻域图就是卷积核的区域,也就是感知野)。

图像的卷积操作

按照如许的方法来解释,那么如paper中Figure1所示,一张4*4大年夜小的图像,实际上可以表示为一个具有4个nodes(图中的1,2,3,4)的图(graph),个中每一个node还包含一个和卷积核一样大年夜小的邻域(neighborhood filed)。那么,由此获得对于这种图像(image)的卷积实际上就是对于这4个node构成的图(graph)的范畴的卷积。那么,对于一个一般性的graph数据,同样的只须要选出个中的nodes,并且求解获得其相干的固定大年夜小(和卷积核一样大年夜小)范畴便可以应用CNN卷积获得图的特点表示。

须要留意的是,图4(b)傍边表示的是(a)傍边的一个node的邻域,这个感知野按照空间地位大年夜左到右,大年夜上到下的次序映射为一个和卷积核一样大年夜小的vector,然后再进行卷积。然则在一般的图集傍边,不存在图像傍边空间地位信息。这也是处理图数据过程傍边要解决的一个问题。

文┞仿应用的是一个2层的卷积神经收集,将输入转化为一个向量vector之后便可以用来进行卷积操作了。具体的操作如图9所示。

基于以上的描述paper傍边重要做了三个工作:1. 选出合适的nodes;2. 为每一个node建立一个邻域;3. 建立graph表示到 vector表示的单一映射,包管具有类似的构造特点的node可以被映射到vector傍边邻近的地位。算法具体分为4个步调:

1. 图傍边顶点的选择Node Sequence Selection

起首对于输入的一个Graph,须要肯定一个宽度w(定义于Algorithm 1),它表示也就是要选择的nodes的个数。其实也就是感知野的个数(其拭魅这里也就是注解,每次卷积一个node的感知野,卷积的stride= kernel size的)。那么具体若何进行nodes的选择勒?

实际上,paper傍边说根据graph傍边的node的排序label进行选择,然则本文并没有对若何排序有更多的介绍。重要采取的办法是:centrality,也就是中间化的办法,小我的懂得为越处于中间肠位的点越重要。这里的中间肠位不是空间上的概念,应当是度量一个点的关系中的重要性的概念,简单的举例解释。如图5傍边的两个图实际上表示的是同一个图,对个中红色标明的两个不合的nodes我们来比较他们的中间肠位关系。比较的过程傍边,我们计算该node和其余所有nodes的距离关系。我们假设相邻的两个node之间的距离都是1。

图傍边的两个nodes

那么对于图5傍边的左图的红色node,和它直接相连的node有4个,是以距离+4;再稍微远一点的也就是和它相邻点相邻的有3个,距离+6;依次再相邻的有3个+9;最后还剩下一?最远的+4;是以我们知道该node的总的距离为23。同理我们获得右边的node的距离为3+8+6+8=25。那么很明显node的选择的时刻左边的node会被先选出来。


  推荐阅读

  智慧城市打造一站式平台 沪市民“刷脸”可享受一百项公共服务

今天上午举办的2017年上海市当局实事项目——面向市平易近的一站式“互联网+”公共办事平台扶植推动大年夜会泄漏,经上半年扶植,“市平易近云”一站式平台>>>详细阅读


本文标题:卷积神经网络不能处理“图”结构数据?这篇文章告诉你答案

地址:http://www.17bianji.com/lsqh/36053.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)