作家
登录

机器学习新手工程师常犯的6大错误

作者: 来源: 2017-10-17 16:13:37 阅读 我要评论

沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践!10.28不见不散!


机械进修新手工程师常犯的6大年夜缺点

理所当然地应用默认损掉函数

在刚入门的时刻,均方误差作为损掉函数是很好的默认选择。然则当须要处理实际问题的时刻,这种未经专门设计的损掉函数很少能给出最优解。

拿讹诈检测为例。为了与你真正的贸易目标一致,须要按照讹诈造成的损掉美元金额的比例处罚假负类。应用均方误差能给你一个还不错的结不雅,但不会是当缁ゎ佳的结不雅。

要点:如不雅你一向应用同一种算法,这可能意味着你的结不雅并不是最好的。

要点:每一次都自定义损掉函数,使之慎密匹配你的目标。

对所有问题都应用一种算法/办法

很多人一旦完成了入门教程之后,就开端在所有的案例中都应用同一种算法。这很常见,他们认为这种算法的效不雅和其它算法是一样的。这种假设是很糟糕的,最终会带来很差的结不雅。

解决办法是让数据为钠揭捉?择模型。当你把数据预处理之后,将其馈送到多个不合的模型中去,看看结不雅若何。你将会懂得哪些模型最实用,而哪些模型并不合适。

忽视异常值

异常值有时刻很重要,有时刻又可以忽视不计,视情况而定。以收入猜测为例,有时刻收入会忽然出现很大年夜的更改,不雅察这种现象并懂得其原因是很有赞助的。有时刻异常值由某种误差造成,那么这时可以宁神地忽视它们,并将其大年夜你的数据中删除。

大年夜模型的角度来看,有些模型对异常值加倍敏感。以 Adaboost 为例,它会将异常值当做重要的例子,并赐与异常值极大年夜的权重,而决定计划树可能只是简单的把异常值当做一个缺点分类(false classification)。

要点:每一次开端工作之前,先细心不雅察数据,决定异常值是否应当被忽视,如不雅无法决定,就更细心地不雅察。

一天 24 小时、一周七天、一年 12 个月,以及风向都是周期特点。很多机械进修新手工程师不知道把这些特点转换成表示可以或许保存信息,如 23 时和 0 时很接近。

以小时为例,最佳处理方法是计算它的 sin 和 cos,如许你可以将该周期特点表示为一个圆的 (x,y) 坐标。在以这种方法表示的时光中,23 时和 0 时就是在数值上紧挨着的两个数,仅此罢了。

要点:如不雅你在研究中碰到周期特点,但没有将其转换成表示,那你就是在给模型添加垃圾数据。

L1 和 L2 正则化处罚较大年夜的系数,是一种对线性或 logistic 回归进行正则化的常用方法。然则,很多机械进修工程师没有意识到应用正则化之前对特点进行标准化的重要性。

假设你有一个线性回归模型,个一一个特点是「交易金额」。如不雅交易金额的单位是美元,那么它的系数应当是单位为美分的系数的 100 倍。这可能会引起误差,使模型处罚实际较小的特点。为了避免该问题,须要将这些特点进行标准化,如许正则化对于所有特点都是平等的。

要点:正则化很好用,然则如不雅你不把特点标准化,会出现很让人头疼的问题。

未经标准化的 L1/L2 正则化

把线性回归或 logistic 回归的系数绝对值算作断定特点重要性的根据

很多现成的线性回归器为每个系数返回 p 值,一些机械进修新手工程师认为对于线性模型而言,系数的值袈浣大年夜,则该特点越重要。这并不精确,因为变量的大年夜小会改变系数的绝对值。如不雅特点是共线的,则系数可以年腋荷琐特点转换到另一个特点。数据集的特点越多,特点是共线的可能性就越大年夜,这种对特点重要性的简单解释的可托度就越低。

要点:懂得哪些特点对结不雅的影响力最大年夜异常重要,然则仅凭系数无法肯定。

做一些项目并且获得好的结不雅,感到厩ㄑ赢了一百万!你尽力工作,研究结不雅证实你做的不错,然则和任何行业一样,魔鬼老是隐蔽在细节中,周详的图表也可能隐蔽误差和误差。本文列出的缺点并不是全部,只是想刺激读者思虑你的解决筹划中可能隐蔽哪些细微问题。要想获取好的结不雅,按照流程工作很重要,并且细心检查确保造末路常见缺点。

未精确处理周期特点

【编辑推荐】

  1. 机械进修将是物联网成长弗成或缺的将来式
  2. 大年夜变量到封装:一文带你为机械进修打下坚实的Python基本
  3. 链家冯扬:数据与机械进修在房产行业中大年夜放异彩
  4. 机械进修算法实践-Platt SMO和遗传算法优化SVM
  5. 谷歌AutoML人工智能体系已可创建优于仁攀类的机械进修代码
【义务编辑:庞桂玉 TEL:(010)68476606】

  推荐阅读

  谷歌AutoML人工智能系统已可创建优于人类的机器学习代码

沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践!10.28不见不散! 谷歌 AutoML 体系最出色产了一系列机械进修代码,其效力甚至比研究人员自身还要高。显然,这是对“仁攀>>>详细阅读


本文标题:机器学习新手工程师常犯的6大错误

地址:http://www.17bianji.com/lsqh/38009.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)