波波夫如果说下水道是一个城市的良心,那么厕所就是一座城市的门脸。很多年前,人们就发现一个有意思的现象:一个城市的文明程度可以从其厕所的卫生程度反映出来,厕所越干净、城市越发达。但直到今天,大数据无法解释这背后的原因:究竟是城市发达了厕所自然就干净,还是厕所干净了也会促进城市的发展。对于这样「先有鸡还是先有蛋的问题」,还需要大数据加传统民调和小数据的结合才有可能找到答案。1.谷歌为何只猜对了一次?感谢维克托·迈尔·舍恩伯格、马云们孜孜不倦地布道,大数据现在几乎成了全球先进生产力的标志,而且几乎被赋予万能的希望。在《大数据时代》一书中,舍恩伯格的确总结了相对传统小数据的三大特点:非随机样本,而是全体数据;非精确性,而是混杂性;非因果关系,而是相关关系。最先证实大数据强大能力的乃是谷歌。年在H1N1爆发几周前,谷歌公司的工程师们在Nature上发表了一篇论文介绍GFT,成功预测了H1N1在全美范围的传播,甚至具体到特定的地区和州,而且判断非常及时,令公共卫生官员们和计算机科学家们倍感震惊。但是,在随后的几年当中,谷歌这一预测却屡屡失灵,以至于在年美国著名的《科学》期刊刊登的一篇题为《谷歌流感的寓言:大数据分析的陷阱》的文章称:很大一部分与疾控中心流感发生率数据相关的搜索词,并非是得流感的人引起的,而是由影响搜索模式和流感传播的第三个因素(季节)产生的。谷歌流感趋势的开发人员发现那些特定的搜索词是随时间而发生变化的,但这些搜索显然与病毒无关。比如,有的人可能仅仅是因为看了一部电影或者文章而去搜索流感。调查撰写这篇文章的哈佛大学、美国东北大学的几位学者认为,大数据的分析是很复杂的,但由于大数据的收集过程,很难保证像传统小数据那样缜密,难免会出现失准的情况。最核心的问题是,大数据分析侧重相关性,导致在推导因果关系时容易出现误差。他们建议,应该把大数据与小数据相结合,以「全数据」思维取代「大数据」思维。2.了不起的盖洛普前不久,清华附小六年级学生一篇题为《大数据帮你进一步认识苏轼》的小论文,被冠以大数据之名,这里的大数据其实是不折不扣的小数据,更确切地说只是用量化方式呈现了一个「数据化」的苏东坡。这只是「炒作大数据」的一个缩影。事实上,全球拥有真正意义上大数据的公司并不多,而拥有分析大数据能力的公司更是凤毛麟角。斯坦福大学统计学教授TrevorHastie曾比喻分析大数据的过程,就好比在一大堆干草垛中发现有意义的「针」,而困难之处恰恰在于很多干草看起来也像针。大数据的不易得和分析的高难度,注定了其进入门槛的高耸。但是,传统民意调查所形成的小数据有着显著的优势:样本的充分代表性、可操作、快速采集分析。上世纪三十年代,美国数学家乔治·盖洛普通过建立与美国全体选民结构一致的个调查样本,成功地预测了罗斯福将赢得年总统选举。这位宣称「我能用统计的方法证明上帝的存在」的盖洛普先生开启了现代民意测验的商业化道路。在大数据鱼龙混杂的浊流中,传统民意调查无疑是一个更靠谱的预测方式。二胎政策出台后,如果想了解人们真实的生育目的,按照大数据全样本的标准几乎无法操作,但是通过传统民调却能够快速了解情况。南京航空航天大学教授张杰,在年初针对10万人的问卷调查显示,近四成人没有生育二胎的打算,已有女孩的家庭生育欲望更强,时间精力、经济状况不佳是国人不敢生二胎的主要原因。此次二胎意愿调查之所以能回收高达10万份问卷,一则说明受访者对这个问题