大数据的发展背景和研究意义.docx

大数据的发展背景和研究意义
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规 模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数 百PB规模的行业/企业大数据己远远超出了现有传统的计算技术和信息系统的处理 能力，因此，寻求有效的大数据处理技术、方法和手段己经成为现实世界的迫切需 求。百度目前的总数据量己超过1000PB,每天需要处理的网页数据达到10PB〜 100PB;淘宝累计的交易数据量高达100PB;Twitter每天发布超过2亿条消息，新浪 微博每天发帖量达到8000万条;中国移动一个省的电话通联记录数据每月可达 0. 5PB〜1PB; 一个省会城市公安局道路车辆监控数据三年可达200亿条、总量 120TBo据世界权威IT信息咨询分析公司TDC研究报告预测：全世界数据量未来10 年将从 2009 年的 0. 8ZB 增长到 2020 年的 35ZB(lZB=1000EB=1000000PB), 10 年将增 长44倍，年均增长40%o
早儿年人们把大规模数据称为“海量数据”，但实际上，大数据(Big Data)这 个概念早在2008年就己被提出。2008年，在Google成立10周年之际，著名的《自 然》杂志出版了一期专刊，专门讨论未来的大数据处理相关的一系列技术问题和挑 战，其中就提出了 “Big Data"的概念。
随着大数据概念的普及，人们常常会问，多大的数据才叫大数据?其实，关于大 数据，难以有一个非常定量的定义。维基百科给出了一个定性的描述：大数据是指 无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据 集。进一步，当今“大数据” 一词的重点其实己经不仅在于数据规模的定义，它更 代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算 技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方 法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
由于大数据处理需求的迫切性和重要性，近年来大数据技术已经在全球学术 界、工业界和各国政府得到高度关注和重视，全球掀起了一个可与20世纪90年代 的信息高速公路相提并论的研究热潮。美国和欧洲一些发达国家政府都从国家科技 战略层面提出了一系列的大数据技术研发计划，以推动政府机构、重大行业、学术 界和工业界对大数据技术的探索研究和应用。
早在2010年12月，美国总统办公室下属的科学技术顾问委员会(PCAST)和信息 技术顾问委员会(PITAC)向奥巴马和国会提交了一份《规划数字化未来》的战略报 告，把大数据收集和使用的工作提升到体现国家意志的战略高度。报告列举了5个 贯穿各个科技领域的共同挑战，而第一个最重大的挑战就是“数据”问题。报告指 出：“如何收集、保存、管理、分析、共享正在呈指数增长的数据是我们必须面对 的一个重要挑战”。报告建议：“联邦政府的每一个机构和部门，都需要制定一个’ 大数据’的战略”。2012年3月，美国总统奥巴马签署并发布了一个“大数据研究 发展创新计划” (Big Data R & D Initiative),由美国国家自然基金会(NSF)、卫 生健康总署(NIH)、能源部(DOE)、国防部(DOD)等6大部门联合，投资2亿美元启动 大数据技术研发，这是美国政府继1993年宣布“信息高速公路”计划后的又一次重 大科技发展部署。美国白宫科技政策办公室还专门支持建立了一个大数据技术论 坛，鼓励企业和组织机构间的大数据技术交流与合作。
2012年7月，联合国在纽约发布了一•本关于大数据政务的白皮书《大数据促发 展：挑战与机遇》，全球大数据的研究和发展进入了前所未有的高潮。这本白皮书 总结了各国政府如何利用大数据响应社会需求，指导经济运行，更好地为人民服 务，并建议成员国建立“脉搏实验室”(Pulse Labs),挖掘大数据的潜在价值。
由于大数据技术的特点和重要性，目前国内外己经出现了 “数据科学”的概 念，即数据处理技术将成为一个与计算科学并列的新的科学领域。己故著名图灵奖 获得者Jim Gray在2007年的一次演讲中提出，“数据密集型科学发现"(Data- Intensive Scientific Discovery)将成为科学研究的第四范式，科学研究将从实验 科学、理论科学、计算科学，发展到目前兴起的数据科学。
为了紧跟全球大数据技术发展的浪潮，我国政府、学术界和工业界对大数据也 予以了高度的关注。央视著名“对话”节目2013年4月14日和21日邀请了《大数 据时代一一生活、工作与思维的大变革》作者维克托-迈尔-舍恩伯格，以及美国大 数据存储技术公司LSI总裁阿比分别做客“对话”节目，做了两期大数据专题谈话 节目“谁在引爆大数据”、“谁在掘金大数据”，国家央视媒体对大数据的关注和 宣传体现了大数据技术已经成为国家和社会普遍关注的焦点。
而国内的学术界和工业界也都迅速行动，广泛开展大数据技术的研究和开发。 2013年以来，国家自然科学基金、973计划、核高基、863等重大研究计划都己经把 大数据研究列为重大的研究课题。为了推动我国大数据技术的研究发展，2012年中 国计算机学会(CCF)发起组织了 CCF大数据专家委员会，CCF专家委员会还特别成立 了一个“大数据技术发展战略报告"撰写组，并己撰写发布了《2013年中国大数据 技术与产业发展白皮书》。
大数据在带来巨大技术挑战的同时，也带来巨大的技术创新与商业机遇。不断 积累的大数据包含着很多在小数据量时不具备的深度知识和价值，大数据分析挖掘 将能为行业/企业带来巨大的商业价值，实现各种高附加值的增值服务，进一步提升 行业/企业的经济效益和社会效益。由于大数据隐含着巨大的深度价值，美国政府认 为大数据是“未来的新石油”，对未来的科技与经济发展将带来深远影响。因此， 在未来，一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部 分，对数据的占有、控制和运用也将成为国家间和企业间新的争夺焦点。
大数据的研究和分析应用具有十分重大的意义和价值。被誉为“大数据时代预 言家”的维克托•迈尔-舍恩伯格在其《大数据时代》一书中列举了大量详实的大数 据应用案例，并分析预测了大数据的发展现状和未来趋势，提出了很多重要的观点 和发展思路。他认为：“大数据开启了一次重大的时代转型”，指出大数据将带来 巨大的变革，改变我们的生活、工作和思维方式，改变我们的商业模式，影响我们 的经济、政治、科技和社会等各个层面。
由于大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使 用大数据并行计算技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的 应用领域。不仅如此，以大数据处理为中心的计算技术将对传统计算技术产生革命 性的影响，广泛影响计算机体系结构、操作系统、数据库、编译技术、程序设计技 术和方法、软件工程技术、多媒体信息处理技术、人工智能以及其他计算机应用技 术，并与传统计算技术相互结合产生很多新的研究热点和课题。
大数据给传统的计算技术带来了很多新的挑战。大数据使得很多在小数据集上 有效的传统的串行化算法在面对大数据处理时难以在可接受的时间内完成计算；同时 大数据含有较多噪音、样本稀疏、样本不平衡等特点使得现有的很多机器学习算法 有效性降低。因此，微软全球副总裁陆奇博士在2012年全国第一届“中国云/移动 互联网创新大奖赛”颁奖大会主题报告中指出：“大数据使得绝大多数现有的串行 化机器学习算法都需要重写”。
大数据技术的发展将给我们研究计算机技术的专业人员带来新的挑战和机遇。 目前，国内外IT企业对大数据技术人才的需求正快速增长，未来5〜10年内业界将 需要大量的掌握大数据处理技术的人才。IDC研究报告指出，“下一个10年里，世 界范围的服务器数量将增长10倍，而企业数据中心管理的数据信息将增K 50倍， 企业数据中心需要处理的数据文件数量将至少增长75倍，而世界范围内TT专业技 术人才的数量仅能增长1.5倍。”因此，未来十年里大数据处理和应用需求与能提 供的技术人才数量之间将存在一个巨大的差距。目前，由于国内外高校开展大数据 技术人才培养的时间不长，技术市场上掌握大数据处理和应用开发技术的人才十分 短缺，因而这方面的技术人才十分抢手，供不应求。国内几乎所有著名的IT企业， 如百度、腾讯、阿里巴巴和淘宝、奇虎360等，都大量需要大数据技术人才。