如何成为一名数据分析师：数据的初步认知

开辟者大年夜赛路演 | 12月16日，技巧立异，北京不见不散

对所有大年夜事数据相干工作的人而言，都有一个老生常谈的问题：数据认知 !毕竟在真正开端分析、BI 报表开辟或者建模前，对数据进行必定的审查和认知是必须的。今天，就在此和大年夜家一同商量下数据的初步认知。在本文的讲解中，会将数据的初步认知划分为三大年夜步调：数据质量检查、数据类型认知、指标值统计。

若何成为一名数据分析师：数据的初步认知

一、数据质量检查

1) 存眷不合数据源在统计质量上的差别

不合的数据来源，因统计、管控、可共享程度等原因在数据粒度和数据质量的保障上都有天地之别。根据数据来源的渠道重要可将它划分为：内部数据和外部数据，下面逐个介绍它们之间的特点和差别。

1. 内部数据源

营业数据：重要指后端研发主动存储的营业数据，一般是对公私运营异常核心的数据，如订单数据、用户信息等。这类数据的精确性一般是最高的，因为它往往关系到公司产品可否正常运转，统计的┞俘确性也就至关重要;
埋点数据：经由过程埋点技巧采集的用户拜访数据，不论是自建埋点照样采取第三方埋点对象，因为埋点实施、统计上传机制等，都邑造成埋点数据的精确性远不如营业数据;
数据仓库的数据：数据仓库数据它是由临盆库数据经由一轮或者多轮次的数据转换，中心可能产生的异常情况比临盆库的数据更多。诸如：无人保护、转换逻辑与懂得不一致等。

对于营业数据、埋点数据、数据仓库数据三种类型的数据源我们检查的侧重点有所不合：

2. 外部数据源

外部数据源的数据粒度一般较粗拙，数据质量上也比较难以包管，须要做更多的不雅察和验证。我们可实施的检查办法也相对较少，只能在应用保持更高的当心性，慎之又慎才能更多地规避缺点。

2) 存眷取数过程，检查取数代码

3) 存眷处理数据集的空值和异常值

在对数据集是否精确的检查中，最轻易发明须要被处理的情况就是空值和异常值。空值涌如今数据集中往往一眼便能辨认;异常值袈潋须要必定经验性地断定，例如：数值特别夸大、文本特别长、不匹配的数据类型。在后续步调的数据认知中，对指标进行统计汇总、分布不雅察等也能赞助辨认异常值。

1. 空值处理

空值，如不雅在日常平凡的汇总统计中可忽视则忽视，如不雅弗成忽视则可采取以下办法来处理：

2. 异常值处理

初步不雅察寻找异常值：

二、数据类型认知

数据类型的认知重要可大年夜类型、数据单位、数据量纲三个角度去不雅察、去认知数据。这一过程后，我们一般对数据整体有一个比较粗线条的熟悉，知道各列的统计单位、各列的数据类型、量纲或者说数量级等。

类型：同一列数据的数据类型必须保持一致!如：时光序列不得与数值型数据混淆、数值型数据不得与文本数据混淆;

数据单位：同一列数据的单位必须保持一致!不然量级将完全不一致，不具备任何可比性。如：成交金额，不克不及既有以分为单位也有以元为单位的混淆;

数据量纲：不合数据列的量纲有时会有明显差别，重要指整数型数据和百分比数据。如：活泼用户数与平台用户活泼率。当须要进行作图比较不雅察时刻，我们须要对量纲进行处理，这涉及到标准化/归一化，常见的归一化办法有：

标准差标准化：

进行了简单的描述统计，我们想对数据的分布进内行单的不雅察，获得一个加倍直不雅的感触感染，可以制造频率分布图、箱线图来进行不雅察。

若何成为一名数据分析师：数据的初步认知

离差标准化：

　　推荐阅读

　　iOS 11的Bug这么多，库克怎么看？（附Bug解决办法）

开辟者大年夜赛路演 | 12月16日，技巧立异，北京不见不散为了适配 iPhone X 和 iPad Pro，iOS 迎来了自 iOS 7 之后最大年夜跨度的进级——瞧瞧苹不雅官网是怎么说的：凡是「里程>>>详细阅读

地址：http://www.17bianji.com/lsqh/39672.html