作家
登录

数据分析中会常犯哪些错误,如何解决?

作者: 来源: 2017-04-07 10:06:04 阅读 我要评论

错把相干性当成因不雅性 correlation vs. causation

经典的冰淇凌销量和泅水溺水人数成正比的数据,这并不克不及解释冰淇凌销量的增长会导致更多的人溺水,而只能解释二者相干,比如因为天热所以二者数量都增长了。这个例子比脚绫趋显,说起来可能会有人认为怎么会有人犯如许的缺点,然而在实际生活、进修、工作中,时不时的就会有人犯如许的缺点。

举个栗子

根据这组数据,为了赢球,科比应当少出手?并不必定如斯。有可能科比出手少的时刻是因为队友状况好,并不须要他出手太多。也有可能是因为球队早早领先,垃圾时光太多。而出手太多的比赛是因为比赛艰苦或者队友状况不好,须要他挺身而出。当然,以上也执偾可能之一,具体是什么情况光靠这组数据并不克不及得出任何结论。

幸存者误差 survivorship bias

数据分析中看到的样本是“幸存了某些经历”才被不雅察到的,进而导致结论不精确。

比如比尔盖茨、乔布斯、扎克伯格都没有念完大年夜学,所以大年夜家都应当退学去创业。这一结论的最大年夜问题在于那些退学而又没有成功的例子,很多时刻我们是看不到的。另一方面,他们是因为牛逼才退学,而不是退学才牛逼的,看,相干性/因不雅性真是限魂不散。

再比如 Uber 发明新用户有10块钱优惠券,然则平均评价却只有3星。相反,第二次再用的时刻没有优惠券了,评价却高达4星半。这解释,不给优惠券用户评价会更高,不雅然用户固然爱用优惠券,但心坎照样认为便宜没好器械的?很明显,幸存者误差在这个例子里表如今那些打一星二星评价的用户,之后可能就没有第二次了。更明显的,这个例子是我瞎扯的。

样本跟整体存在着本质的不合

以知乎为例,会有种错觉人人年薪百万,985/211起,各类GFSBFM,天朝收入程度直逼湾区码工。然而一方面这是幸存者误差,知乎大年夜V们的发声更轻易被看到(看,幸存者误差也是阴魂不散)。另一方面,不要小瞧知乎跟天朝网平易近的差别,以及天朝网平易近跟天朝老庶平易近的差别–样本跟整体的差别。

类似的例子有水木的工作版块、步行街的收入懈弛人网站的贫苦线。

过于追逐统计上的米锒裨 statistical significance

统计101告诉我们,要比较两组数是否不合,最根本的一点可以看它们的差别是不是统计膳绫趋显。比如 Linkedin 又要改版了(我为什么要说又呢),有两个版本 A 和 B. 灰度测试发明,跟现有版本比起来,A 的日活比现有版本高20%,然则统计不明显。而 B 的日活跟现有版本固然只高了3%,然则统计明显。于是 PM 拿出统计101翻到第二页说,来,咱们把统计明显的版本 B 上线吧。苦逼的数据科学家 DS 说,等一下!并不是所有时刻都选统计明显的那一个,咱们再看看版本 A 的数据吧(具体分析略过一万字)。

很显然,这个例子也是我瞎扯的。

不做数据可视化,以及更恐怖的:做掉足误或者带误导性的数据可视化

在趋势图中,为了解释增长趋势多明显,把Y查询拜访不大年夜0开端。如许差距会看起来很大年夜,增长很大年夜,然则如不雅把Y轴大年夜0开端看的话,会显得根本没有差距。

(一下步就是要编排一个 twitter 的例子了23333,因为数据分析注解,有 twitter 公司如许的例子读起来会更有趣)

数据显示,当科比出手10-19次时,湖人的胜率是71.5%;当科比出手20-29次时,湖人的胜率骤降到60.8%;而当科比出手30次或者更多时,湖人的胜率只有41.7%。

数据分析供给的结不雅和建议不具有可行性

twitter经由过程分析文本数据发明。。。

算了,我编不出来,由此可见,不具有可行性的结不雅固然是“理论精确‘的分析结不雅,然并卵。。。

不做数据分析

别笑,据以前的校内后来的人人如今不知道叫什么的 PM 说,这是真的。(开个打趣,人人的同仁如果介怀的话我删掉落)

最后的大年夜招:若何解释 p-value

具体我就不匠了棘 掉言了我明天还怎么面对老板和同事啊。

【编辑推荐】

  1. 解读Wikibon 2017年大年夜数据分析猜测申报

      推荐阅读

      机器学习从用户社交媒体资料中窥得的五种秘密

    【51CTO.com快译】今朝,大年夜型数据企颐魅正在积极应用机械进修技巧断定仁攀类社会中的各种行动趋势。他们应用社交媒体中的小我材料揣摸人格特质,并将结不雅交付至第三方厂商以进行告白>>>详细阅读


    本文标题:数据分析中会常犯哪些错误,如何解决?

    地址:http://www.17bianji.com/lsqh/34628.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)