数据分析师的神奇脑洞

2016-04-14作者:编辑:谢爽

数据分析团队大都承担监控产品流量或收入波动的例行任务,如果重要指标出现较大幅度的波动,需要追查原因、给出合理解释。但大多数定位的原因都是一些业务运营所产生的例外现象,虽然使大家对业务的理解更加深刻,但并不能产生可提升业绩的改进思路。另外,数据本身存在自然波动,通常呈现出正态分布。这意味着自然出现的大幅波动会小概率发生,在这种情况下很难给出合理解释。由于上述两点,“追查产品指标的突增突降”成为数据分析团队的梦魇。



经过与这项工作的长期战斗,发现一个可以解释产品流量波动的法宝:“天气”。举例如下:


(1) 在一个冬日晚上,产品流量出现下跌,经过“一番”分析,给出原因:天气太冷,网民因为手冷而不愿意上网,提前上床睡觉,所以流量下跌。


(2) 在一个冬日晚上,产品流量出现上涨,经过“一番”分析,给出原因:天气太冷,网民不愿意出门,只好在家窝着上网,所以流量上涨。


当然,这两个晚上一定不能相邻,且“一番分析”要显得正式一点,否则容易露馅。



真是可笑的“法宝”。该案例背后的信息是:一个结果可能有多个原因可以解释,“大忽悠”往往引导人们只去相信其中的一个。整个的推理过程没有对应的细节数据辅助,全靠“大忽悠”的“脑补”。如在赵本山著名小品《卖拐》中的赵本山忽悠范伟的情节:“你使劲跺脚几次,看看腿麻不麻?腿麻了吧,这是脑袋里有病啊!”腿麻的原因很多,比如腿有疾病,脊柱有问题,使劲跺脚次数太多,等等。脑中有病只是可能之一,确诊需要更细致的检查。同样,基于冬日晚间的流量波动推测网民行为,也需要有更多的调研数据支持,比如网民平均睡觉时间、出门和在家的比例,等等。不能只根据一个总体流量数据,做出这么丰富的想象。



有些传记小说中,也经常会出现一些不严谨的修辞写法,混淆事情的前因后果。如巴菲特的传记《滚雪球》中的隐喻。“1939年的冬天,9 岁的巴菲特在院子里玩雪。他把少量的积雪铲到一块,形成一个雪球,然后把它放在地上慢慢滚动,雪球越滚越大……从此,巴菲特再也没有停下脚步,目标投向白雪皑皑的整个世界……”。虽然内容没有明确说明,但它的确诱导读者认为孩童时代的巴菲特在滚雪球时就放眼世界,为后来的成功打下基础。估计看完这段,投身金融界的朋友都十分后悔,为何自己小时候没有多滚滚雪球。



在数据分析工作中,要尽量避免“过度脑补”的错误,该错误的典型表现是“用一个精细的故事解释高层的统计指标”。以往阅读分析报告,我经常对很多同学从简单、概要的数据指标中,推测出一个曲折、复杂、细节的故事而感叹不已。例如针对电商促销活动的数据分析,数据显示不少用户延迟了很多天后(与发放时间相比)才接受了优惠返券,某份分析报告绘声绘色的推测了各种用户心态:“用户1 非常有钱,所以不在意优惠券;用户2 从来不查看账户信息,所以没注意到优惠”。这些推测使人怀疑,莫非分析师是用户肚子里的蛔虫?如果下这些结论,需要抽样部分用户进行电话调研、加以账户数据的辅助才可以确信。如“用户1 非常有钱”的结论,需要查看他的历史购物记录,消费商品是否都属于较贵重的?是否非常在意品牌和品质?是否关注过或购买过折扣商品?等等。



精细的故事,往往需要细致的数据来支撑。这个原理在机器学习中也有体现,复杂的模型需要更多的数据样本才能防止“过拟合”(注释:模型更多学习到训练集的误差波动,而不是本质规律)。在科学研究中,只基于目前观察,做出“最简”结论,被称为“奥卡姆剃刀原则(Occam's Razor)”,即“简单有效原理”。科学史上多次出现这样的案例,过于复杂的理论大都是人类没有掌握真正的本质规律。例如几百年前,虽然“地心说”统治了当时天文学界,但科学家不断观测到不符合理论的例外现象,所以不断的对地心说理论进行修正,最后导致天体运行的计算体系复杂到难以使用。最终,人们发现“日心说”才是正确的,新的计算体系一下子变得简单极了。


内容来源:书问

作者毕然 著
出版电子工业出版社
定价45元
书籍比价

分享到

扫描二维码 ×

电子纸书

系统分析师历年试题分析与解答(2010年最新版)

全国计算机专业技术资格考试办公
清华大学出版社[2010] ¥21

系统分析师教程

张友生、陈志风、邓子云、王勇等
清华大学出版社[2010] ¥36

系统分析师考前辅导——系统分析与设计

张友生、王勇
清华大学出版社[2009] ¥13

系统分析师技术指南

张友生、王勇
清华大学出版社[2009] ¥20

系统分析师考试全程指导

张友生、王勇
清华大学出版社[2009] ¥25

系统分析师考试大纲与培训指南(2009版)

全国计算机专业技术资格考试办公
清华大学出版社[2009] ¥4

人生不过18洞

袁 昆
清华大学出版社[2014] ¥32

从奇点到虫洞:广义相对论专题选讲

卢昌海
清华大学出版社[2013] ¥17

装在口袋里的爸爸. 神奇的乌鸦嘴

杨鹏著
春风文艺出版社[2012] ¥5

出版业领先的TMT平台

使用社交账号直接登陆

Copyright © 2019 BookAsk 书问   |   京ICP证160134号


注册书问

一键登录

Copyright © 2019 BookAsk 书问   |   京ICP证160134号