企业实施大数据的路径.docx

重磅，企业实施大数据路径

　　企业实施大数据主要有四个方面内容：

　　第一，企业要建立数据文化，企业作决议应该用数据来说话。

　　第二，企业要建立数据战略。

　　第三，企业在数据战略之下组织数据管理团体能力。

　　第四，企业实施大数据技术能力。

　　企业实施大数据详细建设路径有两个方面，首先是自下而上，另首先是自上而下。

　　自上而下

　　自上而下路径，首先是有序地在管理层建立数据决议文化，在企业文化层面建设起数据使用意识，然后建立对应组织架构、对应部门和团体，确定需要招聘什么样人进来、需要多少人、详细职责怎么划分，最终建立起对应技术平台。

　　自下而上

　　自下而上第一是让员工学习和掌握相关技术技能，能够经过内部培训，也能够经过外部招聘。第二，要有规划地设计，以后系统怎么走、怎么做，要有一个长久规划。第三，要有明确绩效考评指标，数据管理、质量管控、效益怎么确保。第四，在思维上要保持一个开放态度，互联网时代大数据还在发展早期，通常认为大数据在企业应用还处于幼稚园阶段，这个时候还有很多东西要学习，必须保持一个开放心态，不停地学习，才能真正把事情做好。

　　(一) 建立企业数据文化

　　文化是企业对待事物价值观和执行行动衡量标准。建立数据文化就是要在整个企业层面建立一个以客观数据为决议依据和衡量标准价值观和制度体系，为企业能够真正利用大数据产生价值提供基础。没有这个基础，企业即使拥有再好技术和资源，也无法利用好它们来为企业服务。

　　什么叫企业数据文化?它包含六个方面内容。

　　第一，数据文化主要表现在数据驱动决议，决议主要经过数据来说话。

　　第二，企业运行效率分析。首先，经过对数据进行深度分析，能够像望远镜一样了解企业各方面运行情况，另首先，数据能够像显微镜一样去观察企业运行细节，找到以优化地方。

　　第三，经过数据来分析营销规划得失。通常企业做促销活动，销售量提升了就以为是成功了，不过促销是有成本，销量提升了，是不是真就带来效益了呢?

　　第四，在以人为本时代，企业对员工人身安全和健康责任越发重大了。假如能经过客观可衡量数据，关注员工工作环境和舒适性，对保障良好健康工作环境、提升员工满意度将起到非常主要作用。

　　第五，员工绩效，必须要有一个数量化指标。

　　第六，价值链中数据管理。在纵向供给链中经过数据分享和交换，能够愈加好地让供给链上下游企业了解整个供给链上需求、库存和供给，从而能够优化链条上库存，主动发起供给准备，更加快地应对市场改变。在横向生态链中，经过分享和交换数据，能够在全方位生活场景中对用户进行分析，从而打造出满足用户更广泛需求一站式服务，不但能够挖掘出更多商业机会，而且增强了用户粘性。

　　(二) 建立企业数据战略

　　建立企业数据战略，需要建设三个方面内容，以下列图

　　第一个方面是建立完整数据模型。数据模型目标是正确地定义数据，对数据进行分类和确定数据交互之间标准。将对企业业务管理了解，转化为数据要求，从而了解到底什么样数据需要管理。不一样系统产生不一样数据，各系统之间数据和数据之间相互交互内容是什么。企业内部有不一样系统，ERP系统、供给链系统、CRP系统等，用户信息放在哪，供给商信息、物联网信息、财务信息分别放在哪，他们之间怎么协调，怎么沟通?这些都是需要考虑问题。

　　数据服务

　　第二个方面是建立数据服务体系，包含选取什么样技术平台、采取什么样数据技术，不一样系统怎样使用这些不一样技术，包含传统数据库、数据仓库、商业智能、新型Hadoop等。基于业务架构设计，来设计数据应用架构，然后经过数据交互接口来交换数据，从而防止出现数据孤岛，同时建立统一数据规划，确保数据源统一和一致性，为后期数据分析提供支持。

　　第三个方面是建立数据治理体系。数据治理包含数据管理制度和整体生命周期管理。数据正在成为一个资产，与此相对应，资产需要体系化管理。数据资产权利管理，包含确定数据全部权、确定每个数据全部者、谁是这个数据管理者、谁来负责这个数据准确性、谁来保障数据质量，等等。数据高质量是进行数据分析基础，数据假如是错误，怎么分析都不会有正确结果。同时，数据合规和安全管理也是关键步骤，比如谁能够操作数据、谁负责数据安全、备份和服务等，一个严格数据合规和安全管控制度是必不可少。

　　数据生命周期管理，包含怎样和何时建立数据、什么时候能够修改、谁同意修改、数据怎样消除等。国内企业这方面做得比较欠缺，不只是数据，还包含设备、电脑等，电脑报废了不能用了，就直接丢弃。在这方面，国外企业做得不错，国外信息安全企业，通常会花钱请第三方企业来进行专业数据销毁处理，甚至每台电脑花费几百块钱来进行环境保护型销毁。比如在一些数据消除案例中，数据要用各种方法来确保被彻底擦除，比如有些企业要求对数据进行格式化七遍，以防止可能数据恢复。

　　(三) 建立企业数据组织能力

　　建立数据组织能力，包含设置适宜组织角色定位、招聘到适宜人员、设置适宜组织结构以及设计适宜责权利，等等。

　　第一，数据组织能力，提议有条件企业能够建立首席数据官(ChiefData Officer)岗位，这个岗位主要是设计整个数据战略，领导数据战略落地，以及经过数据和业务管理层进行沟通、对话，传递数据价值。

　　第二，数据科学家作用非常主要，数据科学家研究是怎样用最好、最科学算法得出最好结果。一样一堆数据在那儿，十个不一样人在看，十个人看结果都不一样。那么为何科学家算得准呢?因为他知识够深入，他了解哪个原因最主要，那么多原因里面他应该选哪部分来分析。数据科学家现在是整个市场上最欠缺人才，因为同时兼具数据算法专业知识和业务知识人才是极其难得。数据科学家能够分为三种类型，第一个是技术型数据科学家，他们是计算算法方面行家，对各种统计分析技术非常在行;第二种是应用数据科学家，他们对数据架构非常熟悉，熟悉数据在各个系统中分布，能够很好地把各种数据进行集成管理;第三种是业务数据科学家，这些人对行业知识和企业业务非常熟悉，同时兼具一部分对数据处理技术了解，能很好地把业务需要和特征转换成数据处理要求，同时能够很好地将数据处理结果转换成业务视角和言语，来传递给业务管理者。

　　第三，对于一定规模企业，我们通常提议，企业要建立一个集中式数据管理运行中心。云计算服务就是集中化管理方式，成本最低、灵活性最高、扩展性最强。

　　第四，整个数据组织架构标准不是以技术、产品来交付，而是以商业价值交付为衡量标准。考量数据分析产出能力，不是数据分析速度有多快，也不是数据量有多大，而是数据分析结果对业务到底有没有帮助、是不是有指导意义。这也是全部数据分析关键价值，也是对大数据中“大”含义最关键衡量标准——“大”到产生业务价值。这个衡量标准对技术组织来说，执行起来有些困难，所以必须建立一个明确绩效评定标准和价值评定标准，让技术人员能够更多地从业务角度来考虑所做工作价值，而不陷入技术优先论境地。

　　第五，提升一线人员业务决议权和数据决议权，建立一个扁平化管理组织。经过系统化培训来不停培养员工数据分析能力。由专业数据分析人员和算法人员设计数据分析处理方案或者产品，必须以简单易用方式提供给一线员工，同时更为主要是，加强相关处理方案或者数据产品系统化培训，让更多员工意识到这些处理方案或者产品价值，并乐于在日常工作中使用。我们提议数据建模/数据产品研发费用和针对一线员工使用培训投入应该是对半分。为了愈加好地推进培训，企业还能够考虑成立兴趣驱动数据协会，让更多员工加入到该协会中，定时举行培训课程、研讨沙龙以及聘请外部教授做相关分享以开拓视野。

　　建立了企业数据组织能力后，企业使用数据过程以下阐述。

　　图2 数据使用过程

　　首先搜集数据，从不一样地方把数据找到，找到以后选择算法。其次进行业务关联分析，确定哪些指标、哪些维度是有意义，这就是数据科学干事。业务科学家和数据科学家能够分离，也能够整合，大部分企业是一套人马来做，展示成一个业务能够接收、能够了解方法，假如单纯是数据展示，可能管理层、业务部门看不懂，这就需要转换成业务管理者能够了解语言和信息。最终，提交给管理层或者是对应部门作商业决议。这就完成了一个完整价值交付。

　　在上述数据处理过程中，数据团体中有不一样岗位来执行对应工作。在数据采集和清理步骤，主要是数据管理员，包含企业内部数据抓取，外部微博、淘宝、第三方电信等数据采集，数据很多，需要做清理，把一些没有用数据处理掉，留下来有效数据，这主要是数据管理员要做事情。接下来是数据科学家，选择正确算法，同时能够依照业务维度制作各种不一样模型，来得出一个分析结果。再接下来，还有一个团体是业务分析师，依照这些分析结果，将其转换成业务人员能够了解语言和展示方法，交给CDO和关键管理层、决议层做沟通，帮助他们作决议。作为整个技术平台提供者，还有一个技术团体做详细平台搭建，能够自行开发基于Hadoop开源大数据平台，或者购置第三方系统做管理维护，也能够直接使用大数据SaaS服务平台来快速建立大数据技术能力。

　　(四) 选择技术平台

　　企业以往使用传统数据进行复杂分析时，多使用数据仓库和商务智能系统，也就是所谓OLAP系统，对传统数据比如财务数据、用户数据进行抓取、挖掘和分析，然后经过页面展示出来，这是非实时分析系统。在互联网+时代，要将第三方社交数据和电商数据，比如微博、电商数据等放进来分析是极难，因为传统架构是基于结构化数据基础上，而现在更大量数据是非结构化数据，传统方式极难支持。这么我们分析数据就碰到一些困难，大数据应运而生，Hadoop是其中最主要一个平台。

　　Hadoop是一个生态系统，它里面包含了一些计算系统、数据存放系统、数据分析系统，它是阿帕奇组织在正式开展一个项目。Hadoop是一个非常主要革命性应用因为它是无偿公布，让很多人都有机会使用，现在很多企业都是以Hadoop开源平台为基础，再由内部技术人员做一些优化来使用。

　　传统数据和大数据关系是一个发展和结合关系。传统数据还是能够分析出对业务有价值信息，也还是用以前仓库方式分析，新型数据用大数据方式分析，两个系统最终进行整合，形成一个后端处理方案;现在也出现了一个完全集成式方案，这是最近一两年出现新大数据平台，能够同时兼容新大数据和传统数据，这种集成式应用将会越来越多。市场上很多企业商业套件和Hadoop开源方案有什么区分呢?它们主要区分是商业套件在性能上做了优化、提升，在安全上做了增强，它加入了针对对应行业业务了解，帮助企业预置了建模方法和工具，但问题是价格比较贵。所以，各种方案选择是基于企业实际情况，包含预算和团体能力等原因综合考虑。

　　(五) 数据开放和共享

　　对于数据起源，企业内部通常不具备大数据分析所需要全部数据。，我国大数据市场规模84个亿，预计达成166个亿，增加40%。相信伴随大数据交易平台建设，增加还会更多。依照中国信息通讯研究院研究汇报，企业对大数据认同度，认为“比较主要”达成97%，这说明企业对大数据主要性是有认识，问题是怎么来落地。企业对待大数据往往关注是安全性和稳定性。这说明即使企业已经意识到大数据主要性，但还是比较保守，对安全顾虑影响了对数据商业价值挖掘。伴随安全技术发展以及对商业价值认识提升，企业应用大数据、获取和交换数据将会越来越多。安全和商业价值永远是一对需要衡量关系，它就像速度和成本、速度和质量一样是相辅相成、相互平衡关系，要同时追求两方面是有困难，不一样时期要有不一样策略。

　　企业对政府公开数据需求非常强烈。市场上有很多针对政府数据创业企业，比如一家企业叫法海风控，他是从法律层面分析企业信用状态，经过分析企业相关法律文书，比如这家企业过去多年有没有相关法律官司、胜诉还是败诉，也包含相关联企业包括到法律行为，从这些角度提供风控判断，这是一个很好应用案例，这取决于政府数据公开程度。政府拥有海量数据，如交通数据、社保数据等，一旦这些数据能够公开将会带来大量创业机会，也会给企业带来更多考虑问题维度，所以企业都希望政府能够尽快地公开数据。

　　(六) 找好切入点，小步快走

　　关于实施路径，企业或多或少已经有一些数据、有一些系统，这个时候是推倒重来，还是有一些别方法?数据能够在哪些领域实现业绩大幅提升?数据能在哪些领域实现企业运行效率提升?这些问题很主要，一开始就必须提出来。每个主要业务部门和职能部门都需要考虑这个问题，并展开相关研讨。企业高管实施大数据战略时候，需要高度重视这一步，但在国内很多企业往往忽略这首先，投入大数据往往不是以提升业绩为导向，而是以学术为导向，使得很多企业实施大数据战略后，看不到数据对企业绩效提升，从而使得大数据战略流产。

　　(七) 放眼未来，永远在路上

　　大数据是不是万能?是不是永远有效?大数据使用有限制吗?正确地认识这些问题，有利于企业愈加好地利用大数据，更客观地对待大数据。

　　第一，大数据不是万能，大数据使用是有限制。大数据使用，首先是在讨论相关性时候，而在判断、处理一个详细问题时候，大数据不是最好方法。

　　第二，大数据即使大，也不能囊括全部数据，大数据终究有成本问题，准确性还不会达成百分之百。即使它足够能够做预测，不过不是绝对正确东西。

　　第三，我们不能过于相信数据，因为有时候数据会解读得不对，所以还要尝试做一个验证，假如这显著和常识相反，你要验证一下你分析方法否正确。

　　还有一个问题是数据安全，数据这么主要，能不能保护好数据，数据使用过程中有一些问题和潜在风险。

　　最终寄语：大数据是文化和技术结合，最终目标是产生业务价值。

　　第一，大数据技术是IT驱动业务变革一个机会，不论从IT部门本身定位、IT对企业产生作用来说，还是企业能够增强关键竞争力角度来说，大数据都是一个非常主要推进力。

　　第二，应用大数据技术前提是要有一个数据驱动决议企业文化，假如用大数据形成了一个报表，企业管理者作决议时根本不看，这就没有意义了。只有当企业建立了数据驱动决议文化，并真实地执行后，数据价值才能够充分实现。所以大数据使用主要前提是企业有数据驱动决议文化。

　　第三，数据本身只是一些信息，大数据价值不在于数据本身，而在于怎样经过数据做分析整理，最终产生分析和预测，传递业务价值，这才是使用大数据目标和关键。