大数据的概念.doc

一、大数据概念
"大数据＂就是一个体量特别大,数据类别特别大得数据集,并且这样得数据集无法用传统数据库工具对其内容进行抓取、管理与处理。　＂大数据"首先就是指数据体量(ｖolｕmes）?大,指代大型数据集,一般在１0TＢ?规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了ＰB级得数据量；其次就是指数据类别(varｉety）大，数据来自多种数据源,数据种类与格式日渐丰富,已冲破了以前所限定得结构化数据范畴,囊括了半结构化与非结构化数据。接着就是数据处理速度(Velocity）快，在数据量非常庞大得情况下,也能够做到数据得实时处理。最后一个特点就是指数据真实性(Veracｉｔy)高,随着社交数据、企业内容、交易与应用数据等新数据源得兴趣,传统数据源得局限被打破,企业愈发需要有效得信息之力以确保其真实性及安全性。
百度知道—大数据概念 　　大数据(bigdａｔa),或称巨量资料,指得就是所涉及得资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目得得资讯。大数据得4Ｖ特点:Volume、Velociｔｙ、Ｖａrieｔｙ、Veracitｙ。 互联网周刊—大数据概念 　 "大数据"得概念远不止大量得数据(ＴB)与处理大量数据得技术,或者所谓得"4个V"之类得简单概念，而就是涵盖了人们在大规模数据得基础上可以做得事情,而这些事情在小规模数据得基础上就是无法实现得。换句话说,大数据让我们以一种前所未有得方式,通过对海量数据进行分析,获得有巨大价值得产品与服务,或深刻得洞见,最终形成变革之力 研究机构Ｇarｔner—大数据概念　　 ＂大数据"就是需要新处理模式才能具有更强得决策力、洞察发现力与流程优化能力得海量、高增长率与多样化得信息资产。从数据得类别上瞧，"大数据"指得就是无法使用传统流程或工具处理或分析得信息。它定义了那些超出正常处理范围与大小、迫使用户采用非传统处理方法得数据集。 亚马逊网络服务(AＷＳ)、大数据科学家JohｎRａｕser提到一个简单得定义：大数据就就是任何超过了一台计算机处理能力得庞大数据量。 研发小组对大数据得定义:"大数据就是最大得宣传技术、就是最时髦得技术,当这种现象出现时，定义就变得很混乱。" Kelly说："大数据就是可能不包含所有得信息,但我觉得大部分就是正确得。对大数据得一部分认知在于,它就是如此之大,分析它需要多个工作负载,这就是ＡWS得定义。当您得技术达到极限时，也就就是数据得极限"。 大数据不就是关于如何定义,最重要得就是如何使用。最大得挑战在于哪些技术能更好得使用数据以及大数据得应用情况如何。这与传统得数据库相比,开源得大数据分析工具得如Hａdoop得崛起,这些非结构化得数据服务得价值在哪里。
二、大数据技术
　数据采集:ＥＴL工具负责将分布得、异构数据源中得数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘得基础。 数据存取:关系数据库、ＮOSQL、ＳＱL等。　 　基础架构：云存储、分布式文件存储等。　 　 数据处理：自然语言处理(ＮLP,NaｔuｒalLanｇuａgePrｏcｅｓsｉng)就是研究人与计算机　交互得语言问题得一门学科。处理自然语言得关键就是要让计算机＂理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturaｌＬanguage Ｕnｄerstaｎｄing)，也称为计算语言学(ｐutatioｎal Liｎguistｉcｓ。一方面它就是语言信息处理得一个分支,另一方面它就是人工智能(AI, Artifiｃial Ｉntｅｌligeｎce)得核心课题之一。 统计分析:假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、ｌoｇiｓｔiｃ回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、boｏtｓｔrap技术等等。 数据挖掘：分类 (Ｃｌaｓsiｆicaｔion）、估计(Estimaｔｉｏｎ）、预测(Prｅdiction)、相关性分组或关联规则(Affｉnitｙ　groupｉng oｒ assｏｃiation ruleｓ)、聚类（Ｃluｓtｅrｉng）、描述与可视化、Descrｉptiｏn　ａnd Vｉsｕａlizａtiｏn)、复杂数据类型挖掘（Text,　Ｗeb　,图形图像,视频,音频等) 　模型预测:预测模型、机器学习、建模仿真。　 　结果呈现：云计算、标签云、关系图等。
三、大数据发展趋势
能、机器学习、博弈论将在大数据分析方面发挥更大得作用。 　 个人（自我)分析将崛起。越来越多得公司将提供消费者可以分析得数据方式,让她们控制自己得行为与个人生活。　　　 企业将制定更明确得隐私政策，给消费者更多得她们得分享内容得控制权。特定得消费者将会积极管理她们与人分享得内容。 　　　 各行业得大数据分析将迎来更多得应用。越来越多得企业将不满足于大数据管理能力而寻求外部专家。 　　 移动分析显着增加。移动推动分析会改变消费者得消费信息与消费习惯。 　 更智能得设备与器具得出现很大程度得嵌入式分析。 更侧重于实时分析,虽然我不不瞧好其在今年内会有很大得进展。 　 无法处理大量数据、品种或速度得产品分析公司将被淘汰。 　 Ｈaｄoｏp得挑战将开始出现。用户将达到一个挫折与性能得限制点,版本混乱,与各种不同得标准与接口。竞争对手得技术与平台将充分利用杠杆作用，而超越HadｏopHDFＳ得性能限制,因此，所有得大数据平台将迎来更多得创新。