你需了解的机器学习算法、如何开发机器学习模型？

构思

数据预备

本阶段的目标是收集原始数据，并将其作为原型模型的输入。你可能须要对原始数据进行复杂的转换才能使其成为输入数据。例如，假设你的某个特点是花费者对品牌的看法：你起首须要找到花费者谈论品牌的相干来源。如不雅品牌名称包含常用词(例如“苹不雅”)，则须要将品牌名称与一般情况下的含义(与水不雅有关)区分开来，然后再经由过程不雅点分析模型来运行，所有这些都要在构建原型之前完成。并非所有的特点构建起来都很复杂，但有些可能须要消费大年夜量的工作。

让我们来更具体地懂得一下这个阶段须要做什么：

以最快的速度收集数据。起首，肯定缺乏了哪些数据。在某些情况下，你可能须要对须要的输入分化到“构建块”级别，或者是到代劳级别，如许才能更便利地获取到数据。一旦肯定下来缺乏哪些数据，就要以最快捷、最简单的办法去获取。对于弗成扩大的办法，比如手工下载或购买数据样本，即使价值有点高但可能倒是孜实际的办法。在这个阶段采集太多的数据平日没有太大年夜的意义，因为你不懂得数据是否有效，哪种格局最好，等等。贸易人士应当介入到这个阶段中来，因为他们可以协助数据专家们大年夜大年夜量的渠道获取到本来不太轻易获取的数据。请留意，在监督进修算法中，你不仅须要用于模型特点的数据，你还须要为模型的目标函数供给数据点，以进行练习、验证以及测试模型。回到房价那个例子，为了建立一个猜测房价的模型，你须要一些包含房价的房屋信息!
数据清洗竽暌闺规范化。在这个阶段中，数据科学或工程团队将承担起重要的工作职责。他们将投入大年夜部分的精力把构思和原始数据转化为实际的模型。数据集须要进行检查和清洗，以避免应用不良数据以及不相干的异常值等等。同时，数据还可能会以不合的比例进行转换，以使其更轻易地与其他数据集一致，并能一路应用。特别是在处理文字和图像的时刻，平日须要对数据进行预处理，以提取相干的信息。例如，将太多太大年夜的图像插入模许可能会导致信息过量而无法处理，是以你可能须要降低图片的质量、应用图像的个一一部分或仅应用对象轮廓。对于文本，你可能须要检测与文本相关的实体，进行不雅点分析，查找常用的n-gram(经常用于表示必定命量单词典序列)或履行各类其他的转换。这些平日可由现成的库来实现，无需从新创造轮子。

原型与测试

产品化

当原型模许可以或许很好地解决营业问题，并能进入临盆的时刻，你就来到了这个阶段。请留意，如不雅尚未预备好进行周全的产品化，你须要起首肯定模型要扩大的比例。比如说，对于一个片子推荐对象：你可能是先对少数用户供给推荐办事，但要为每个用户供给完全的应用体验，在这种情况下，模型就要根据每个用户的相干性对数据库中的每个片子进行排序。与仅推荐动作片子比拟，这是另一个不合的扩大请求。

如今，我们来商量一下有关将模型临盆化的更多的技巧细节：

增长数据覆盖率。在很多情况下，你可以用比临盆中更少更有限的数据来构建原型。例如，你可以根据特定客户来构建原型，然后将其扩大到全部客户群。
扩大数据收集。一旦验证了哪些数据对模型有效，你须要构建一种可扩大的方法来收集和获取数据。在原型设计阶段，以手动方法来收集数据照样可以的，然则对于临盆，你应当尽可能地主动化。
刷新数据。创建一个随时光刷新数据的机制，以更新现有值或添加新信息。除非因为某种原因不克不及保存汗青数据，不然体系应当要以某种方法来持续积聚更多的数据。
扩大模型。这个包含了数据科学和工程学两个方面的内容。大年夜数据科学的角度来讲，如不雅你更改了基本数据，例如扩大年夜了客户群的数量，就须要从新练习和测试模型。在特定命据集上工作优胜的模型并不必定能实用于更广泛或其他不合的数据集。大年夜架构上来讲，模型须要可以或许在数据赓续增长的基本上及时扩大以进行更频繁地运行。在片子推荐示例中，可能会有更多的用户、更多的片辅音及有关每个用户爱好的更多信息。
检查特别值。固然模型也许在整体上可以很好地扩大，但在某些很小但很重要的情况下可能就无法正常工作了。例如，片子推荐的平均应用效不雅可能还不错，但对于家长来说，如不雅他们用本身的┞匪号为孩子选择了片子，那么推荐体系就会显示儿童片子。这是一个产品设计问题，你须要在产品中将父母本身的建议与为孩子的建议分开来，然则，这并不是模许可以告诉你的。

到今朝为止，我所描述的是一个概念性的流程。在实际中，界线一般比较模糊，你经常须要在不合阶段之间往返走动。你可能会对数据的供给不知足，大年夜而推敲重来，或者在模型产品化之后，你发明模型并不克不及很好的工作，你不得不退归去从新构建原型。

摘要：创建一个优良的机械进修模型跟创建其他产品是一样的：起首大年夜构思开端，把要解决的问题和一些潜在的解决筹划放在一路推敲。一旦有了明白的偏向，就可以对解决筹划进行原型化，然后对它进行测试以肯定是否知足需求，不妨看看本文是若何一步一步实现的。

【编辑推荐】

美丽结合营业进级下的机械进修应用
深度进修利器：TensorFlow与NLP模型
带着问题学Machine Learning：什么是机械进修
若何更好地浏览包含很多半学相干内容的机械进修论文？
分布式机械进修平台大年夜比拼：Spark、PMLS、TensorFlow、MXNet

【义务编辑：庞桂玉 TEL：（010）68476606】

2/2 首页上一页 1 2

　　推荐阅读

　　超过10亿人使用的Facebook改版了，新版的设计细节都在这儿！

【51CTO晃荡】8.26 带你与清华大年夜学、搜狗、京东大年夜咖们一路商量基于算法的IT运维实践 Tony（作者）：Facebook比来在他们官方博客宣布了他们改版的界面，并且官方已抛出此次改版的>>>详细阅读

本文标题：你需了解的机器学习算法、如何开发机器学习模型？

地址：http://www.17bianji.com/lsqh/36940.html

1/2 1