Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践

众所周知，数据科学是这几年才火起来的概念，而应运而生的数据科学家(data scientist)明显缺乏清楚的登科标准和工作内容。即使在2017年，数据科学家这个岗亭的依然显得“既性感又暧昧”。

我顺手搜刮了几家国内国外不合范畴的数据科学家雇用告白(国内：阿里巴巴，百度 | 杭窃睾 IBM，道明银行，Manulife保险)，经由过程简单的归纳总结，我们不难发明其实岗亭请求有很大年夜的重叠部分:

• 学历请求:硕士以上学历，博士优先。统计学、计算机科学、数学等相干专业。
• 工作经历: 3年以上相干工作经验。
• 专业技能: 闇练控制Hive\SQL\Hadoop，熟悉大年夜范围数据发掘、机械进修、天然说话处理(NLP)
• 分析说话: R, Python, SAS, JAVA
• 额外请求: 对数据敏感，具备优胜的逻辑思维才能、沟通技能、组织沟通才能、团队精力以及优良的问题解决才能

有趣的是，这个告白实用于来大年夜部分的数据科学家雇用，甚至不分行业不分地区。可能独一的不合是，金融范畴更强调善于反讹诈和风控，而电商范畴强调熟悉推荐体系，侧重点不合罢了。其拭魅这个现象的本质就是：数据科学家是一个不限行业，拥有广泛就业需求，高度"类似"却竽暌怪"不合"的职位。是以结合我本身的经验，以及与国内国外这一行同事/同伙的交换心得，我鲜攀来谈谈我对数据科学家这个岗亭的懂得。

在小我懂得的前提下，我想谈谈：1. 数据科学家为什么是“科学家”?2. 数据科学家的工作内容有什么? 3. 一些对于数据分析的感悟 4. 若何成为一个合格的数据科学家?

1. 什么是数据科学家?“科学家”是否言过其实?

数据科学家成为了一个跨学科职位。我将数据科学家定义为: 可以或许自力处理数据，进行复杂建模，大年夜中攫取贸易价值，并拥有优胜沟传递告请示才能的人。

关于数据科学家这个岗亭怎么来的，说法不一。我本身的懂得是跟着机械进修和更多猜测模型的成长，数据分析变得"大年夜有可为"。为了区分拥有建模才能的高端人才和通俗贸易分析师/数据分析师(data analyst)，数据科学家这个职位天然就产生了。经由过程这个新岗亭，行业可以与时俱进的接收高端人才。在机械进修没有大年夜行其道，也没有大年夜数据支撑之前，这个岗亭更切近统计科学家(statistician)，和研究科学家(research scientist)也有一点点类似。

对于科学家，我们的一般的定义是在特定范畴有深刻研究的人，是以潜台词一般是“拥有博士学位的人”。而数据科学家的根本请求是硕士以上学历，甚至有时刻本科学历也会被接收，并且似乎数据科学家的工作并不会在特定范畴有深度。那么数据科学家是否言过其实了?

3.1. 不要陷溺于本身的“职位”

我的看法是：不，数据科学家的“广度"就是其"深度"。大年夜别的一个角度来看，数据科学家的优势在于其优良的跨范畴技能，既可以抓取数据，也可以分析，进行建模，还能将有效的信息用抓人的眼球供给给决定计划层。能拥有如许解决问题才能的人，似乎并不愧对一声“科学家”。

而正因为数据分析更请求的广度而不是深度，所有如今只有纽约大年夜学供给科学博士，而如今大年夜部分大年夜业的博士都是统计学/计算机/数学/物理背景。恰是这个原因，这个行业对于数据科学家的请求是硕士及以上，而计算机或者统计的人更合适的原因是其在机械进修/统计进修方面的积聚，其他所需技能可以以很低的价值赶上。相对应的，如不雅一个心理学博士想要大年夜事这一行就会发明须要弥补的技能太多，而是以不克不及适应这个岗亭。

2. 数据科学家的日常工作内容包含什么?

我比来在和同伙闲聊时，惊奇的发来岁夜家的工作内容都很类似。重要包含：

此处的工作特指根据客户需求，大年夜数据中攫取贸易价值，而这个过程一一般都邑涉及统计模型(statistical learning)和机械进修模型(machine learning)。如不雅在数据没有处理的情况下，我们的工作有时也涉及清理数据。有时刻我们反而欲望数据是未经由处理的，因为很多重要信息都在被处理中遗掉了。一般的项目遵守以下几个流程:

肯定贸易痛点 - 明白要解决的问题是什么?

获得数据并进行清理，常见的数据预处理包含: a. 缺掉值处理 b.特点变量转化 c.特点选择和维度变更(升维或者降维) d. 标准化/归一化/稀少化。涉及文字的时刻可能还要应用一些天然说话处理的手段，更多的相干办法可以看我比来的答复[1]。

模型选择与评估。这个过程经常是比较粗暴的，往往须要做多个模型进行评估比较。

提取贸易价值，编写申报或看法书，并向相干负责人报告请示。

2.2. 与团队其他成员的沟通

与纯粹的机械科学工程师不合，数据科学家的重要工作内容是交换沟通。如不雅无法懂得清跋扈客户的需求是什么，可能白忙活一场。如不雅无法懂得数据工程师在采集数据时的手段，我们应用的原始数据可能有统计学成见。如不雅不克不及讲清跋假使何才能有效的评估模型，负责在云端运行模型的工程师可能给掉足误的谜底。是以，数据科学家除了建模必须亲手来做以外，其他的环节可以“外包”给别人。在数据量特别大年夜的时刻，这个需求变得更为明显。

2.3. 开会/报告请示/写申报

优胜的沟通才能不仅仅是指和团队成员的沟通，向老板和客户的报告请示也很考察数据科学家的才能。作为一个数据科学家，我们一般有几个原则:

• 报告请示时避免“黑话”，避免给不合背景的老板和客户造成困惑。
• 直击重点而不炫技。尽量简明扼要，不要过分介绍模型的内部构造，重心是获得的结论。
• 量力而行不夸大年夜模型才能。很多机械进修模型其实都已经不合程度过拟合，不克意避开交叉验证而选择“看似表示优胜的”过拟合模型。
   1/3    1 2 3 下一页 尾页
  
  

  　　推荐阅读

  　　云服务选型必看，十余家IaaS供应商优劣势对比

  当然Google更为出名的是其搜刮引擎和告白投放。而如今他们正在被Google高端的产品所代替，包含Google计算引擎(GCE)、图形处理单位(GPU)与现场可编程门阵列加快、闪存以及人工智能与机械进修。 Tech Neo技>>>详细阅读

  
  

  本文标题：数据科学工作者(Data Scientist) 的日常工作内容包括什么？

  地址：http://www.17bianji.com/lsqh/39229.html

   1/2    1