指引大数据未来发展方向的九大真理.doc

指引大数据未来发展方向的九大真理

笔者总会时不时沉浸在对大数据原则的思索当中，这里讨论的并不是Hadoop与关系数据库或者Mahout与Weka的对抗，而是更具根源性的智慧——将数据作为“新时代货币”的思维方式。不过也许将数据描述成“新时代的石油”更加贴近，或者，我们还需要一种新的比喻更全面地诠释数据的价值与内涵。
比喻本身既非事实也难以证明，但它们确实能够创造出指引我们找到真理的话题。比喻让复杂的概念变得更易理解，正如本文中所引用的经典语录——它们有助于解释大数据的各项基本原则。本文将列举八条与大数据密切相关的真理——大家对此也许有所耳闻、至少略有耳闻——并按时间进行排序。最后，笔者将做出自己的推测，与各位朋友分享“未来的真理”。
1. “相关性并非因果关系”
这样的说法我们已经听过不止一次。在大学的哲学课堂上，我了解到这样一个关于基础谬论的表述版本，叫作post hoc ergo propter hoc，翻译过来就是“后发者因之而发”。听起来实在有些隐晦，更直白点解释，就是说“B事发生于A事之后，因此B事由A事而起”。
大家可以读读O’Reilly Radar的博客。在其中一篇名为《猜测的隐性成本》的文章中，Alistair Croll指出：“最明显的相关性表现在大数据的专长方面……并行计算、算法的改进以及摩尔定律的准确特性已经大大降低了对数据集进行分析的成本，”由此衍生出一个“由数据驱动的社会，既聪明又愚蠢。”最终结论?保持聪明的特性，尊重相关性与因果关系之间的差别。模式只是表现、并非结论。
2. “所有模型都是错误的，但其中一些确实管用”
意外事件统计学家George E.P.Box在他1987年编撰的教科书《实证模型构建与响应面》当中写下了这样的结论。在从教的整个职业生涯当中，Box一直努力将自己的思路转化成模型，而这种习惯对于大数据分析技术而言非常适用。1976年12月，《美国统计协会》杂志曾经发表过一篇题为《科学与统计》的文章，其中具体论证了模型的前世今生与现实意义。
3. 大数据(几乎)洞悉一切
如果大家还无法认同这一结论，请尽快强迫自己接受。这句话源自Scott McNealy在1999年发表的一份声明，他表示“大家将彻底告别隐私……请学会适应这一点。”值得一提的是，McNealy正是Sun Microsystems公司的联合创始人兼CEO。如今大数据侵入个人生活的例子比比皆是：分析师有能力根据社交言论推断发言者的性别，或者通过购买习惯判断其家中是否存在孕妇;Acxiom等从事大量商业信息存储的企业迎来辉煌的业务飞跃;预测及防灾信息整合正全面崛起;美国国安局的“棱镜门”事件也已经大白于天下。
4. “与业务相关的信息当中，有八成源自非结构化形式，主要是文字(但也包括视频、图像以及音频)”
在2008年的一篇文章中有这样的结论——虽然正如当时所说，由于很难精确量化，可能早在上世纪九十年代初非结构化数据已经扮演起重要角色，只是我们当时体会不到。总而言之，八成以上的说法只是种模糊的概念而不能过分较真，因为据我所知，没有任何一种评估机制针对这个问题进行过系统性衡量。尽管如此，相信每一位与Box秉持相同理念的统计学者都会认为“八成非结构化”这一论断颇具指导意义——即使其并不正确。无论具体数量如何，文本与内容分析都应该成为大家工具包中的常驻成员。
5. “这不是信息超载，而是过滤器故障”
Clay Shirky在2008年9月于纽约举办的Web 2.0博览会上提出了这一论断。Shirky对于过滤器本身的评价显得有些保守，例如“数据量的增加并不意味着就能带来更好的结论”，但这正好与我的观点不谋而合。但前提是事情别做过头;大家千万别像Eli Pariser那样认为“过滤器概念纯粹是泡沫”，他的眼界最多也只能达到自动化的层面、无法再望向更为广阔的未来。
6. “相同的含义可以通过多种不同方式进行表达，相同的表达当中可以涵盖多种不同含义”
在2009年3月IEEE智能系统大会上，谷歌公司员工Alon Halevy、Peter Norvig以及Fernando Pereira在一篇题为《数据的非合理化有效性》一文中陈述了以上观点。数据的非合理化有效性是如何显露出来的?他们给出的答案是，“不精确且模棱两可的自然语言的语义解释就是最好的实例。此外，通过机器学习进行关系推断、从而实现对大规模聚合内容的解释也能证明这一点。。
7. “大数据的核心不是数据!大数据的价值在于分析”
哈佛大学教授Gary King在与第六条中的几位谷歌员工一同出席IEEE会议时表达了这一观点。不过我并不完全赞同King的这种说法。在核实数据需求并制定理想方案以收集并整理数据结构的执行过程当然也存在价值。分析能够帮助我们发现这些价值，因此我站在King的肩膀上总结出这样一种更准确些的表述：大数据的价值通过分析来实现。
不过这只是我的想法，未必能得到King本人的认同。对这个话题感兴趣的朋友可以点击此处查看由Steve LaValle、Eric Lesser、Rebecca Shockley、Michael S. Hopkins以及Nina Kruschwitz于2010年12月在《麻省理工大学-斯隆管理评论》期刊上发表的文章《大数据、分析以及由观点到价值的路径》。
8. “直觉的重要性并未受到影响”
这句话来自Phil Simon，也就是今年早些时候发表的《大到不容忽视：大数据商业案例》一文的作者。(我为该文的撰写提供了关于文本及情感分析的一些材料。)
Simon解释称，“大数据并没有，至少目前还没有，取代直觉;后者仅仅作为前者的补充存在。二者之间的关系是连贯统一的，而绝不是非黑即白。”Tim Leberecht在今年六月由CNN刊发的《为什么大数据永远无法替代商业直觉》一文中也做出了类似的表述。
最后，这八大指引未来的真理还需要最后一点补充才够完整——不过这一点尚未得到广泛理解：
9. 大数据的未来在于综合与背景
大部分解决方案当中所欠缺的元素在于整合不同来源信息的能力，这种能力会以适当方式考量与内容相关的产生环境，从而得出准确的结论。这里我打算引用设计策略师Jon Kolko在一份启发性论文中所涉及的论证过程(当然，多少会有些断章取义)。首先，Kolko援引了认知心理学家——他们尝试研究直觉与解决方案之间的联系——的结论作为例子。当事者会“根据实际背景理解人物、地点以及事件之间的关联，弄清事件发生的具体时间，从而对未来可能发生的情况做出判断并采取相应的行动。”
Kolko将设计综合性视为关键性要素，是一种“将数据的操作过程、组织、调整以及过滤过程与背景相结合的方式，旨在将数据转化为信息与知识。”这能带来怎样的结果?IBM公司研究员Jeff Jonas认为，“通用目的”型背景系统将有助于在同一数据空间内对不同数据加以定位。此类方案能够使我们对不断变化的观察空间进行可规模化扩展、实时且前所未见的探索。
这不正是我们为大数据制定的发展目标吗?从模式检测向可操作结论迈进。我希望自己总结的这九大真理能够帮助各位了解大数据的这一发展路径。