大数据的机会与挑战.doc

大数据的机会与挑战 我们活在大数据的世界，数据的数量与多样化的程度，每日都以前所未有的规模扑向人类。无论你是不是在相关产业工作，都不可能逃离被大数据围攻的现实。自哈佛大学电脑科学系毕业、Cambridge Semantics 共同创办人 Lee Feigenbaum 撰写的Turnning Big Data into Smart Data一文，告诉我们横亘企业眼前的大数据挑战。让我们先来看看，大数据到底有多大？ 每天全球每一个人聚沙成塔，累积的新数据达到艾位元组（exabytes）（甚至达到皆位元组（zettabytes），端赖统计的来源）。 至今一半以上（有些报告甚至指出高达 90%）的数据资料是在过去 12 个月产生的。 人们创造数据的速度每一个月都以双倍速度成长。 除了吓人以外，光有这些大数据，其实没有什么意义，唯有人类能够从中发掘价值，大数据才产生意义。所幸，已有很多应用实例，让大数据发出应有的光芒，也让我们看到各行各业有无穷尽的机会，等待数据科学家的探勘。 在大数据还没变成人人琅琅上口的流行词汇之前，小说改变而成的电影魔球描述美国大联盟运动家队点石成金在缺乏明星球员的状况下杀出血路的真实故事，早已让人津津乐道，而它正是数据分析的绝佳体现。 医疗与制药产业纷纷投入大笔经费，研发客制化的个人医学，透过分析病人的特徵与基因组成，给予个别病人量身定做的诊断与疗法，实验室与临床都需要大量且多样化的数据整合。 智能手机、运动手环甚至後来的智慧型手表，我们分分秒秒都在量化自我，健身的程度、摄取的营养、身心状况、行为趋向全部都被巨细靡遗的记录下来。 大型银行与隶属政府的金融部门对资料长（chief data officer，CDO）与数据科学家需求若渴，他们要能全盘考量组织职能，针对数据的蒐集、分析与应用做出策略性的思维。 无论地方政府或中央政府，都正流行资料透明化，如英美政府皆建立网站揭示公开资料。人们自发性要求政府公布更多资料的行动也如火如荼，例如美国的 DATA Act。 大数据在美国总统大选中扮演了很关键的角色，帮助候选人清晰的辨识出摇摆不定的选民。 Target、Walmart 等零售商巨擘已经透彻分析顾客的资料好几年，早就能够在家人与朋友察觉之前，抢先一步知道某个消费者怀孕的消息。 智能恒温器 Nest Thermostat、智能监控 Quirky、利用使用者 GPS 群众外包塞车情况的 Waze，都是基於数据蒐集与预测成就物联网生活的新创公司，他们都已获得 GE、Google 等大企业投入钜资甚至并购，企盼能从大数据中挖掘巨量价值。 尽管有这么多成功的案例，对很多企业来说，大数据仍像一座无法翻越的山岭，难以将数据完美的融入决策过程。通常公司在运用大数据时，会遇到下列五个挑战： 挑战 1：我们不知道答案，甚至连问题是什么都很模糊 大数据时代的其中一个关键特徵是，我们很难知道我们需要的答案，有时甚至连想要解决的问题都很模糊。有一部分原因是，大数据的价值在於模式（pattern）与相关性（relationship），但这些过去隐藏在大量资料中的模式与相关性，经常都是意外发现的。我们不能期待专家为每一行资料都特制 MapReduce（Google 提出的软体架构，用於大规模数据的并行运算），其他大数据分析框架也一样有很高的进入壁垒，阻碍简单的资料探索与分析。 拥有深度分析、数学、统计与程式技能的数据科学家，无疑是现阶段最炙手可热的人才，不过人才养成的速度远远不及市场需求。 挑战 2：非结构化的数据难以采集 就现实面来说，大数据其实就等於非结构化的数据，也就是从文本分析到未经梳理的文字、声音与影片导出的数据。这些文本分析景观，有着几乎堆积成山的问题，让我们难以利用非结构化的数据帮助日常的企业营运决策。这些问题包括： 不同的内容需要运用不同的工具：客户回响与产业分析各有不同的语言分析工具，如果使用一般的分析软体，可能就会牺牲精准度。 不同的时机需要运用不同的文本分析技术：自文本中萃取企业内部资讯，跟分析社群媒体情绪波动是完全不同的挑战。 文本分析的结果不可预测：挖掘大量网页、电子信箱中的信件、以及其他文件，通常能够显示过去未知的关联性。只是，即使大数据的贮存，让我们能够更便利的捕捉难以控制的数据，不过後续的分析，光有大数据的存在是没有多少帮助的。 挑战 3：大数据难以重复利用 一般而言，数据的搜集、贮存、使用，都是针对单一目的，像是投资银行搜集 10-K 文件（美国上市公司年度报表），协助买方从事权益分析，生技公司在资料库中储存临床实验的结果，向 FDA（美国食品药品监督管理局）提交报告，电商从制造商撷取库存滋料库，与他们自己的网站内容管理系统整合在一起。这些数据既然只为特定目的服务，自然很难再被利用到其他使用情境上。因此，风险管理人员无法从 10-K 文件的分析获取与自己职务相关的资讯，生技公司的资深科学家没办法自临床数据滋料库预测早期药物的成功机率，电商从业者也没办法重复利用库存资料库，辨识不同商品的战略性差距。 挑战 4：大数据只是故事的一小部分 从前几项挑战看下来，想要促成一家真正由数据驱动、且由数据决策的公司，光有大数据是远远不足的。大数据得跟传统的企业资料来源（如交易与营运资料库或 ERP 储存系统），或者云端 SaaS 应用（如 Salesforce 的 CRM 资料）、无数的影子 IT（shadow IT）数据来源（包括试算表、简报、文件、SharePoint），整合的工作极端昂贵而且旷日费时，但是如果不做，那也甭想利用大数据解决企业的问题了。 挑战 5：大数据的准备阶段成本极高 大数据时代的普遍心态与工具，总是鼓舞着我们蒐集愈多数据愈好。不过数据要有价值，在准备的阶段就需考量整合、散布与利用。大数据的准备可能代表三种情况： 发现：在大量的数据储存中辨识正确的数据记录 去芜存菁：评估与改善数据的品质、可靠度与精确度 组合（alignment）：将数据概要与个人记录以常态的模式联系起来，以利整合与分析。 普遍来说，数据的准备，几乎完全是纯手工作业，因此非常冗长乏味，消耗很多时间，而且还很容易出错。 要克服这些挑战的方法，就是把大数据变聪明。Lee Feigenbaum 把未经处理的数据称为哑数据，他也提供了让数据说话的五个方法，我们将会在下个礼拜分享给大家。摘自：中国大数据