作家
登录

最全解析:大数据和机器学习有什么区别

作者: 来源: 2017-05-08 16:03:28 阅读 我要评论

在神经收集中,每个处理单位事实上就是一个逻辑回归模型,逻辑回归模型接收上层的输入,把模型的猜测结不雅作为输出传输到下一?层次。经由过程如许的过程,神经收集可以完成异常复杂的非线性分类。

右下方的方形中显示的是输入计算机的图像,方形上方的红色字样“answer”后面显示的是计算机的输出。左边的三条竖直的图像列显示的是神经收集中三个隐蔽层的输出,可以看出,跟着层次的赓续深刻,越深的层次处理的细节越低,例如层3根本处理的都已经是线的细节了。LeNet的创造人就是前文介绍过的机械进修的大年夜牛Yann LeCun(图1右者)。

进入90年代,神经收集的成长进入了一个瓶颈期。其重要原因是尽管有BP算法的加快,神经收集的练习过程仍然很艰苦。是以90年代后期支撑向量机(SVM)算法代替了神经收集的地位。

支撑向量机算法是出生于统计进修界,同时在机械进修界大年夜放光彩的经典算法。

支撑向量机算法大年夜某种意义上来说是逻辑回归算法的强化:通错误与逻辑回归算法更严格的优化前提,支撑向量机算法可以获得比逻辑回归更好的分类界线。然则如不雅没有某类函数技巧,则支撑向量机算法最多算是一种更好的线性分类技巧。

3、SVM(支撑向量机)

然则,经由过程跟高斯“核”的结合,支撑向量机可以表达出异常复杂的分类界线,大年夜而杀青很好的的分类效不雅。“核”事实上就是一种特别的函数,最典范的特点就是可以将低维的空间映射到高维的空间。

机械进修与大年夜数据的结合产生了巨大年夜的价值。基于机械进修技巧的成长,数据可以或许“猜测”。对仁攀类而言,积聚的经验越丰富,经历也广泛,对将来的断定越精确。例如常说的“经验丰富”的人比“初出茅庐”的小伙子更有工作上的优势,就在于经验丰富的人获得的规律比他人更精确。而在机械进修范畴,根据有名的一个实验,有效的证实了机械进修界一个理论:即机械进修模型的数据越多,机械进修的猜测的效力就越好。

我们如安在二维平面划搀扶一个圆形的分类界线?在二维平面可能会很艰苦,然则经由过程“核”可以将二维空间映射到三维空间,然后应用一个线性平面就可以杀青类似效不雅。也就是说,二维平面划搀扶的非线性分类界线可以等价于三维平面的线性分类界线。于是,我们可以经由过程在三维空间中进内行单的线性划分就可以达到在二维平面中的非线性划分效不雅。

支撑向量机是一种数学成分很浓的机械进修算法(相对的,神经统??有生物科学成分)。在算法的核心步调中,有一步证实,即将数据大年夜低维映射到高维不会带来最后计算复杂性的晋升。于是,经由过程支撑向量机算法,既可以保持枷⒚效力,又可以获得异常好的分类效不雅。是以支撑向量机在90年代后期一向占据着机械进修中最核心的地位,根本代替了神经收集算法。直到如今神经收集借着深度进修从新鼓起,两者之间才又产生了奥妙的均衡改变。

4、聚类算法

前面的算法中的一个明显特点就是我的练习数据中包含了标签,练习出的模许可以对其他未知数据猜测标签。鄙人面的算法中,练习数据都是不含标签的,而算法的目标则是经由过程练习,推想出这些数据的标签。这类算法有一个统称,即无监督算法(前面有标签的数据的算轨则是有监督算法)。无监督算法中最典范的代表就是聚类算法。

让我们照样拿一个二维的数据来说,某一个数据包含两个特点。我欲望经由过程聚类算法,给他们中不合的种类打上标签,我该怎么做呢?简单来说,聚类算法就是计算种群中的距离,根据距离的远近将数据划分为多个族群。

聚类算法中最典范的代表就是K-Means算法。

降维算法也是一种无监督进修算法,其重要特点是将数据大年夜高维降低到低维层次。在这里,维度其实表示的是数据的特点量的大年夜小,例如,房价包含房子的长、宽、面积与房间数量四个特点,也就是维度为4维的数据。可以看出来,长与宽事实上与面积表示的信息重叠了,例如面积=长 × 宽。经由过程降维算法我们就可以去除冗余信息,将特点削减为面积与房间数量两个特点,即大年夜4维的数据紧缩到2维。于是我们将数据大年夜高维降低到低维,不仅利于表示,同时在计算上也能带来加快。

刚才说的降维过程中削减的维度属于肉眼可视的层次,同时紧缩也不会带来信息的损掉(因为信息冗余了)。如不雅肉眼弗成视,或者没有冗余的特点,降维算法也能工作,不过如许会带来一些信息的损掉。然则,降维算法可以大年夜数学上证实,大年夜高维紧缩到的低维中最大年夜程度地保存了数据的信息。是以,应用降维算法仍然有很多的好处。

6、推荐算法

推荐算法是今朝业界异常火的一种算法,在电商界,如亚马逊,天猫,京东等获得了广泛的应用。推荐算法的重要特点就是可以主动向用户推荐他们最感兴趣的器械,大年夜而增长购买率,晋升效益。推荐算法有两个重要的类别:

一类是基于物品内容的推荐,是将与用户购买的内全军似的物品推荐给用户,如许的前提是每个物品都得有若干个标签,是以才可以找出与用户购买物品类似的物品,如许推荐的好处是接洽关系程度较大年夜,然则因为每个物品都须要贴标签,是以工作量较大年夜。

另一类是基于用户类似度的推荐,则是将与目标用户兴趣雷同的其他用户购买的器械推荐给目标用户,例如小A汗青上买了物品B和C,经由算法分析,发明另一个与小A近似的用户小D购买了物品E,于是将物品E推荐给小A。

除了以上算法之外,机械进修界还有其他的如高斯判别,朴实贝叶斯,决定计划树等等算法。然则膳绫擎列的10个算法是应用最多,影响最广,种类最全的典范。机械进修界的一个特点就是算法浩瀚,成长百花齐放。

两类推荐都有各自的优缺点,在一般的电商应用中,一般是两类混淆应用。推荐算法中最有名的算法就是协同过滤算法。

7、梯度降低法

梯度降低法 是一个最优化算法,平日也称为最速降低法。最速降低法是求解无束缚优化问题最简单和最古老的办法之一,固然如今已经不具有实用性,然则很多有效算法都是以它为基本进行改进和修改而获得的。最速降低法是用负梯度偏向为搜刮偏向的,最速降低法越接近目标值,步长越小,进步越慢。比如将函数比作一座山,我们站在某个山坡上,往四周看,大年夜哪个偏向向下走一小步,可以或许降低的最快;当然解决问题的办法有很多,梯度降低只是个一一个,还有一种办法叫Normal Equation


  推荐阅读

  一步一步搭建一个图片上传网站(后台服务器用nodejs)

前几天看了腾讯云社区的一个文件上传的文┞仿 <文件上传那些事儿> ,大年夜体上讲了以下h5中图片上传的几个核心道理,然则没有后端接收的办事器代码,没法做测试。也没有具体的一个实例都是一些根本的道理片段,并且>>>详细阅读


本文标题:最全解析:大数据和机器学习有什么区别

地址:http://www.17bianji.com/lsqh/35076.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)