媒介

刚好在暑假经由过程参加 kaggle 的 Zillow Prize 比赛来让我在数据发掘和机械进修中完成了菜逼到 Level 1 的改变，借知乎的平台总结一下比赛的经验，先声明本文毫不是只列出名词典文┞仿，每一点背后都邑有响应的文字讲解，各位客长可以安心吃用和评论辩论。

模型融合

其次要强调的是这篇文┞仿不承诺带你上 kaggle top1%，不承诺你看完后就懂数据发掘，就懂机械进修，此次的总结分享只针对下列有如下问题的人群。

• 网上其他的攻略文┞仿看得不少，为啥本身照样一波操作猛如虎，一看比分 0-5？

• 为啥深度进修近年成就斐然，然而一些问题上了深度进修后，比分却变成了 0-6？

这两个问题会跟着介绍全部流程而和大年夜家评论辩论，所以先来对一般的流程进行总结，流程无非是

• 数据预处理

• 特点工程

• 接下来我对每一个进行评论辩论。

  数据预处理

  这一点我不谈具体的技巧，因为这些技巧名词时老生常谈，什么归一化，标准化生怕数据发掘的第一课就是谈这些东东，这里只评论辩论两个问题，你知道什么时刻该用什么技巧手段进行预处理吗？你知道预处理的目标是什么吗？

  按我本身的懂得，数据本身决定了模型表示的上限，而模型和算法只是切近亲近这个上限，这和大年夜部分数据发掘教材中的 RIRO 原则是对应的，是以，对数据的预处收成和特点工程），要干的就是进步模许可切近亲近的上限，以及进步模型鲁棒性

  明白这两个目标，在预处理阶段你须要干什么就很轻易反推出来了。

  怎么进步模许可切近亲近上限？

  1. 提特点

  2. 特定范畴还须要滤波和去噪

  3. 把干扰模型拟合的离群点扔掉落

  ，在这里先感谢了，我包管看在推荐的份上不吃你。：P

  怎么进步模型的鲁棒性？

  • 数值型数据中的缺掉值可以花式处理，默认值，平均值，中位值，线性插值

  • 文本数据可以在字，词，句等粒度不合进行处理

  • 图像数据进模型之前把图像进行 90，180，270 等不合角度翻转也是常见的处理方法了

  模型练习与遴选（这里会评论辩论深度进修可能存在的局限性）

•  …… (3)

  总的来说，在这里就是须要在不合方面的进行数据的描述，将一份原始数据稍作扩大。

  特点工程

  特点工程应包含两部分特点采取和特点遴选，特点遴选的材料网上一搜一大年夜堆，是以这里只评论辩论特点采取，为什么？因为巧妇难为无米之炊啊，没有特点你遴选个宝宝吗？

  • 第一个办法叫做按营业常识采取。

  简单点来说，就是经由过程对你须要分类 / 猜测等范畴的先验常识来进行采取，比方说，要区分男生和女生，直接应用性特点肯定要比其他的身高体重这些数据的精确率要高。当然，推敲到每一小我都弗成能所有常识都精晓，当面对一个陌生的营业范畴时，建议优先提取 X1/X2 如许情势的特点（这里的 X1，X2 不必定是一个变量，也可能矢荷琐式子），因为传统的统计流派特别爱好经由过程 X1/X2 构成一个叫做 *** 率如许的指标，有时可能有奇效。

  • 其次的一个公认不合适的处所是，数据不具有局部相干特点。意思就是像图像 / 天然说话等范畴，数据之间具有局部相干性，比如说一个像素不克不及表达足够的信息，但一堆像素就能表示这是小狗照样小猫，说话中由单词构成句子，而一旦这些器械组合的次序被打乱，那么整体所表达的信息亦同时被打乱。这些具有局部相干特点的数据，可以经由过程必定的收集拓扑提取个中的局部相干特点，同时合营深度达到层次特点的提取，大年夜而达到较为优良的结不雅。比较三层 MLP 以及 CNN 在 minst 手写数字辨认上的效不雅差别，就能充分辩明这个不雅点。而对于不具有局部相干特点的数据，没法用特点的收集拓剖攀来捕获了他的信息，在深度进修中就只能用 MLP 来完成模型的练习，而 MLP 的效不雅，一般要弱于 GDBT，RandomForest 等传统模型。

    第二个办法叫做采取非线性特点。

  线性模型具有简单，快速等优势，但它的劣势也很明显，他只能表达线性关系，而一般实际问题那有这么简单的线性关系。是以，解决方檀卷是线性模型应用非线性特点。

  可能有些同窗有有点懵逼，什么叫线性模型搭配非线性特点？看完这个下面这个例子就清跋扈了：

  假设一个回归猜测的问题，求的 y=f(x)，那么竽暌剐如下两种情势的表达

  …… (1)

  ……(2)

  (1) 式是线性回归，只能表达线性关系，(2) 式是多项式回归，可以或许表达非线性关系。这时我们令:

   1/3    1 2 3 下一页 尾页
  
  

  　　推荐阅读

  　　Linux虚拟内存地址转化成物理内存地址

  CONFIG_STRICT_DEVMEM=n 背景现代手机这种SOC(system>#include <errno.h> #include <stdio.h> #include <sys/stat.h> #include <string.h> #include <fcntl.h> #include <stdlib.h> >>>详细阅读

  
  

  本文标题：聊聊数据挖掘竞赛中的套路与深度学习的局限

  地址：http://www.17bianji.com/lsqh/36401.html

   1/2    1