物流与大数据.ppt

大数据定义大数据（bigdata），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产引言：一场生活，工作与思维的大变革大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发.数据化意味着我们要从一切太阳底下的事物中汲取信息，甚至包括很多我们以前认为和“信息”根本搭不上边的事情。大数据时代的思维变革大数据时代的思维变革 0101更多：不是随机样本，而是全体数据更多：不是随机样本，而是全体数据 当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马车时代骑马 一样。一样。一切都变了，我们需要的是所有的数据一切都变了，我们需要的是所有的数据“样本样本=总体总体”0202更杂：不是精确性，而是混杂性更杂：不是精确性，而是混杂性 执迷于精确性是信息缺乏时代和模拟时代的产物。只有执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%5%的数据是结构化且能适用于的数据是结构化且能适用于传统数据库的。如果接受混乱，剩下传统数据库的。如果接受混乱，剩下95%95%的非结构化数据都无法被利用，只有接收不的非结构化数据都无法被利用，只有接收不精确性；我们才能打开一扇从未涉足的世界的窗户。精确性；我们才能打开一扇从未涉足的世界的窗户。0303更好：不是更好：不是 因果关系，而是相关关系因果关系，而是相关关系 知道知道“是什么是什么”就够了，没必要知道就够了，没必要知道“为什么为什么”。在大数据时代，我们不必非得知道。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己现象背后的原因，而是要让数据自己“发声发声”推动大数据发展的两个重要因素人类测量，记录和分析世界的渴望以传感技术、互联网、移动智能终端为代表的一系列新的信息技术，使得信息的获取、利用、集聚在数量上发生了突飞猛进的变化。中国的大数据早期发展阶段1 1、数据的丰富和开放程度不够、数据的丰富和开放程度不够 丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的低于美欧，每年新增数据量仅为美国的7%7%，欧洲的，欧洲的12%12%，其中政府和制造业，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多系统之间缺乏统一的标准，形成了众多“信息孤岛信息孤岛”，而且受行政垄断和商业利，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。碍。原因：原因：政策法规不完善大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用，政策法规不完善大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。的制度不完善抑制了开放的积极性。2 2、数据挖掘与分析工具有待完善、数据挖掘与分析工具有待完善 要以低成本和可扩展的方式处理大数据，这就需要对整个要以低成本和可扩展的方式处理大数据，这就需要对整个ITIT架构进行架构进行重构，开发先进的软件平台和算法。重构，开发先进的软件平台和算法。而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。如果把大数据比作石油，那数据分析工具就是勘大规模应用的需求。如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。我国必须掌握大数据关键技术，才能探、钻井、提炼、加工的技术。我国必须掌握大数据关键技术，才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好的基础。很好的基础。3 3、模式创新和业务拓展尚显不足、模式创新和业务拓展尚显不足 虽然虽然20152015年大数据应用已延伸至各个领域，但应用模式多有雷同，应年大数据应用已延伸至各个领域，但应用模式多有雷同，应用模式创新还有待进一步加强。企业应用大数据的目的鲜有拓展新业用模式创新还有待进一步加强。企业应用大数据的目的鲜有拓展新业务、开发新产品和创新增值服务，多是在改善现有业务、推销已有产务、开发新产品和创新增值服务，多是在改善现有业务、推销已有产品或控制成本等。尽管品或控制成本等。尽管20142014年部分大数据应用尝试使用非结构化数年部分大数据应用尝试使用非结构化数据，但依然是将非结构化数据进行结构化处理后，再按照常规方法使据，但依然是将非结构化数据进行结构化处理后，再按照常规方法使用用2016年大数据行业增长将成为常态，行年大数据行业增长将成为常态，行业关注领域将发生变化业关注领域将发生变化 云计算模式将颠覆软件行业，一切皆服务云计算模式将颠覆软件行业，一切皆服务 云计算正在逐步渗透产业互联网各个垂直领域，软件公司在云端云计算正在逐步渗透产业互联网各个垂直领域，软件公司在云端“重生重生”，具备低成本高速扩张能力。，具备低成本高速扩张能力。未来未来5 5年，大数据与云融合依托云提供大数据服务的公司将大量涌现，年，大数据与云融合依托云提供大数据服务的公司将大量涌现，未来的产业图景中，共享经济将从个人扩展到企业，企业将以其最擅未来的产业图景中，共享经济将从个人扩展到企业，企业将以其最擅长的能力模块和最稀缺的资源模块参与长的能力模块和最稀缺的资源模块参与APIAPI经济，从而使经济，从而使APIAPI价值最大价值最大化化IDCIDC最近发布的报告显示，全球大数据技术及服务市场复合年增长率最近发布的报告显示，全球大数据技术及服务市场复合年增长率(CAGR)(CAGR)将达将达31.7%31.7%，20162016年收入将达年收入将达238238亿美元；中国大数据市场规模将从亿美元；中国大数据市场规模将从20112011年年的的77607760万美元增加到万美元增加到20162016年的年的6.176.17亿美元，未来亿美元，未来5 5年的复合增长率达年的复合增长率达51.4%51.4%，市场规模将增长近，市场规模将增长近7 7倍。倍。另外，随着国内政策的变化，通信、制造、物流行业政府支持热度有所下降，另外，随着国内政策的变化，通信、制造、物流行业政府支持热度有所下降，通信行业的政策热度降幅较大；政府与金融行业的政策热度将持续高涨。通信行业的政策热度降幅较大；政府与金融行业的政策热度将持续高涨。物流定义：物流从供应地向接受地的实体流动中，根据实际需要，将运输，储存，装卸，搬运，包装，流通加工，配送，信息处理等功能有机结合起来实现客户要求的过程。物流的发展历史 2020世纪世纪7070年代末，流通企业开始组建储运公司，从商品经营机构分离年代末，流通企业开始组建储运公司，从商品经营机构分离出来。这个时期我们称为储运时代。出来。这个时期我们称为储运时代。19791979年我国才开始使用物流一词。年我国才开始使用物流一词。我国物资工作者代表团赴日本参加我国物资工作者代表团赴日本参加第三届国际物流会议，回国后在考察报告中第一次引用和使用物流这第三届国际物流会议，回国后在考察报告中第一次引用和使用物流这一述语，并介绍了日本物流的发展情况。一述语，并介绍了日本物流的发展情况。9090年代中期，现代物流才在中国真正的崛起。年代中期，现代物流才在中国真正的崛起。19941994年广州宝供的出现，年广州宝供的出现，标志着中国本土第一个第三方物流企业的诞生，拉开了现代物流组织标志着中国本土第一个第三方物流企业的诞生，拉开了现代物流组织的序幕。的序幕。20012001年中国物流与采购联合会的成立，可以说是中国物流业历史发展年中国物流与采购联合会的成立，可以说是中国物流业历史发展的一次飞跃。的一次飞跃。20062006年的年的“十一五十一五”规划，在中国历史上第一次把现代物流业写进我们规划，在中国历史上第一次把现代物流业写进我们的五年计划，这么一段文字明确了中国物流在国民经济中的产业地位。的五年计划，这么一段文字明确了中国物流在国民经济中的产业地位。大数据智慧物流物流大数据的收集和分析1.物流大数据的收集互联网，物联网，车联网，传感器，移动设备等无一不是物流大数据的重要来源。因此，首先通过多渠道获得数据，然后通过数据的实时分析，掌握和利用有用的信息。2.物流大数据的分析A深度学习提高精度，在对大数据分析应对社交网络，电子商务等产生的大量数据进行有效的分析，表达，解释和学习。B知识计算挖掘深度：在物流配送服务过程中，对配送路线的路况及最优路线网络进行分析与计算，可以使得物流成本减少。C社会计算促进认知：对社交网络的分析可以从中得出社会新媒体数据的特征：a信息碎片化严重且内容信息相关性小b虚拟互联网逐渐转化为现实中人的联网所以当今我们要深度挖掘人的联网，从而能使物流数据变得更加可视化。大数据智慧物流物流大数据的可视化转化大数据智慧物流物流大数据可视化信息系统在物流配送中的应用。大数据对物流的影响(1)(1)信息对接，掌握企业运作信息信息对接，掌握企业运作信息过去传统数据收集、分析处理方式已经不能满足物流企业过去传统数据收集、分析处理方式已经不能满足物流企业对每一个节点的信息需求，这就需要通过大数据把信息对对每一个节点的信息需求，这就需要通过大数据把信息对接起来，将每个节点的数据收集并且整合，通过数据中心接起来，将每个节点的数据收集并且整合，通过数据中心分析、处理转化为有价值的信息，从而掌握物流企业的整分析、处理转化为有价值的信息，从而掌握物流企业的整体运作情况。体运作情况。(2)(2)提供依据，帮助物流企业做出正确的决策提供依据，帮助物流企业做出正确的决策传统的根据市场调研和个人经验来进行决策已经不能适应传统的根据市场调研和个人经验来进行决策已经不能适应这个数据化的时代，只有真实的海量的数据才能真正反这个数据化的时代，只有真实的、海量的数据才能真正反映市场的需求变化。映市场的需求变化。(3)(3)培养客户粘性，避免客户流失培养客户粘性，避免客户流失需要物流企业以数据中心为支撑，通过对数据挖掘和分析，需要物流企业以数据中心为支撑，通过对数据挖掘和分析，合理地运用这些分析成果，进一步巩固和客户之间的关系，合理地运用这些分析成果，进一步巩固和客户之间的关系，增加客户的信赖，培养客户的粘性，避免客户流失。增加客户的信赖，培养客户的粘性，避免客户流失。(4)(4)数据数据“加工加工”从而实现数据从而实现数据“增值增值”只有一小部分结构化数据是可以直接分析利用的，绝大部只有一小部分结构化数据是可以直接分析利用的，绝大部分非结构化数据必须要转化为结构化数据才能储存分析。分非结构化数据必须要转化为结构化数据才能储存分析。这就造成了并不是所有的数据都是准确的、有效的，很大这就造成了并不是所有的数据都是准确的、有效的，很大一部分数据都是延迟、无效、甚至是错误的一部分数据都是延迟、无效、甚至是错误的大数椐在物流企业中的应用(1)(1)市场预测市场预测在过去，我们总是习惯于通过采用调查问卷和以往经验来在过去，我们总是习惯于通过采用调查问卷和以往经验来寻找客户的来源。而当调查结果总结出来时，结果往往已寻找客户的来源。而当调查结果总结出来时，结果往往已经是过时的了，延迟、错误的调查结果只会让管理者对市经是过时的了，延迟、错误的调查结果只会让管理者对市场需求做出错误的信计。而大数据能够帮助企业完全勾勒场需求做出错误的信计。而大数据能够帮助企业完全勾勒出其客户的行为和需求信息，通过真实而有效的数据反映出其客户的行为和需求信息，通过真实而有效的数据反映市场的需求变化，从而对产品进入市场后的各个阶段作出市场的需求变化，从而对产品进入市场后的各个阶段作出预测，进而合理的控制物流企业库存和安排运输方案。预测，进而合理的控制物流企业库存和安排运输方案。(2)(2)物流中心的选址物流中心的选址物流中心选址问题要求物流企业在充分考虑到自身的经营物流中心选址问题要求物流企业在充分考虑到自身的经营特点、商品特点和交通状况等因素的基础上，使配送成本特点、商品特点和交通状况等因素的基础上，使配送成本和匿定成本等之和达到最小。针对这一问题，可以利用大和匿定成本等之和达到最小。针对这一问题，可以利用大数据中分类树方法来解决。数据中分类树方法来解决。(3)(3)优化配送线路优化配送线路物流企业运用大数据来分析商品的特性和规格、客户的不同需物流企业运用大数据来分析商品的特性和规格、客户的不同需求（时间和金钱）等问题，从而用最快的速度对这些影响配送求（时间和金钱）等问题，从而用最快的速度对这些影响配送计划的因素做出反映（比如选择哪种运输方案、哪种运输线路计划的因素做出反映（比如选择哪种运输方案、哪种运输线路等），制定最合理的配送线路。而且企业还可以通过配送过程等），制定最合理的配送线路。而且企业还可以通过配送过程中实时产生的数据，快速地分析出配送路线的交通状况，对事中实时产生的数据，快速地分析出配送路线的交通状况，对事故多发路段的做出提前预警。精确分析配送整个过程的信息，故多发路段的做出提前预警。精确分析配送整个过程的信息，使物流的配送管理智能化，提使物流的配送管理智能化，提高了物流企业的信息化水平高了物流企业的信息化水平和可预见性。和可预见性。(4)(4)仓库储位优化仓库储位优化合理的安排商品储存位置对于仓库利用率和搬运分拣的效率有合理的安排商品储存位置对于仓库利用率和搬运分拣的效率有着极为重要的意义。对于商品数量多、出货频率快的物流中心，着极为重要的意义。对于商品数量多、出货频率快的物流中心，储位优化就意味着工作效率和效益。哪些货物放在一起可以提储位优化就意味着工作效率和效益。哪些货物放在一起可以提高分拣率，哪些货物储存的时间较短，都可以通过大数据的关高分拣率，哪些货物储存的时间较短，都可以通过大数据的关联模式法分析出商品数据间的相互关系来合理的安排仓库位置。联模式法分析出商品数据间的相互关系来合理的安排仓库位置。大数据对物流行业发展的意义（1 1）降低物流成本，提高配送效率）降低物流成本，提高配送效率 大数据涵盖了许多高新技术，主要包括大数据存储、管理和大数据大数据涵盖了许多高新技术，主要包括大数据存储、管理和大数据检索使用（包括数据挖掘和智能分析）等技术。这些技术对物流行检索使用（包括数据挖掘和智能分析）等技术。这些技术对物流行业发展的各个环节都有着重要的影响。业发展的各个环节都有着重要的影响。通过在这些环节中对大数据的充分利用，物流企业可以有效的管理通过在这些环节中对大数据的充分利用，物流企业可以有效的管理公司员工，快速制定出高效合理的物流配送方案，确定物流配送的公司员工，快速制定出高效合理的物流配送方案，确定物流配送的交通工具、最佳线路，进行实时监控，很大程度上降低物流配送的交通工具、最佳线路，进行实时监控，很大程度上降低物流配送的成本，大大提高物流配送的效率，给客户提供高效便捷是服务，实成本，大大提高物流配送的效率，给客户提供高效便捷是服务，实现与用户之间的双赢。现与用户之间的双赢。（2 2）从价格竞争转向价值竞争）从价格竞争转向价值竞争 目前我国物流快递行业竞争越来越激烈。要想在竞争中占据大的市目前我国物流快递行业竞争越来越激烈。要想在竞争中占据大的市场，获得更大的利益，各大企业必须要从价格竞争转向价值竞争，场，获得更大的利益，各大企业必须要从价格竞争转向价值竞争，提升自己的服务质量。因而物流快递业应该加快引进大数据云计算提升自己的服务质量。因而物流快递业应该加快引进大数据云计算等技术等技术。（3 3）推动）推动“大物流大物流”体系的形成体系的形成菜鸟网络菜鸟网络 大数据时代的到来，有效推动大数据时代的到来，有效推动“大物流大物流”体系的形成，实现物流行业的巨大变革。体系的形成，实现物流行业的巨大变革。所谓所谓“大物流大物流”是指企业的自有物流（人员、车队、仓库等）和第三方物流企业是指企业的自有物流（人员、车队、仓库等）和第三方物流企业的配送信息与资源共享，以实现更大限度的利用各方面的资源，降低物流成的配送信息与资源共享，以实现更大限度的利用各方面的资源，降低物流成本。社会本。社会“大物流大物流”形成之后，企业可以和第三方物流公司合作，物流企业直接形成之后，企业可以和第三方物流公司合作，物流企业直接面对市场，它根据市场的需要来组织调控若干生产企业的大管家，既负责面对市场，它根据市场的需要来组织调控若干生产企业的大管家，既负责“后后”勤，有负责勤，有负责“前前”勤。这样物流企业才会充分合理有效地组织利用资源，既保证勤。这样物流企业才会充分合理有效地组织利用资源，既保证自己的经济效益，又保证生产企业的经济效益，从而避免各种问题的产生。自己的经济效益，又保证生产企业的经济效益，从而避免各种问题的产生。以菜鸟网络以菜鸟网络阿里巴巴与多家快递公司成立新公司阿里巴巴与多家快递公司成立新公司“中国智能骨干网中国智能骨干网”为例。为例。菜鸟网络专注打造中国智菜鸟网络专注打造中国智能物流骨干网将利用先进的物联网技术、云计算等各项互联网技术，建立开能物流骨干网将利用先进的物联网技术、云计算等各项互联网技术，建立开放、透明、共享的数据应用平放、透明、共享的数据应用平台，从而为物流公司、电商企业、仓储企业、第三方物流服务商、供应链服台，从而为物流公司、电商企业、仓储企业、第三方物流服务商、供应链服务商等各类企业提供优质服务商等各类企业提供优质服务，支持物流行业向高附加值领域进一步发展和升级务，支持物流行业向高附加值领域进一步发展和升级。大数据发展-物流方面的应用例子 多效地理定位与多效地理定位与upsups的最佳行车路径的最佳行车路径 UpsUps快递多效地利用了地理定位数据。为了使总部能在车辆出现晚点快递多效地利用了地理定位数据。为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器，的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器，无线适配器和无线适配器和GPSGPS。同时，这些设备也方便了公司监督管理员工并优。同时，这些设备也方便了公司监督管理员工并优化行车线路。就像莫里的图表是基于过去的航海经验一样，化行车线路。就像莫里的图表是基于过去的航海经验一样，upsups为货为货车定制的最佳行车路径一定程度上也是根据过去的行车经验总结而来车定制的最佳行车路径一定程度上也是根据过去的行车经验总结而来的。的。20112011年，年，upsups的驾驶员们少跑了近的驾驶员们少跑了近48284828万公里的路程，节省了万公里的路程，节省了300300万万加仑的燃料并且减少了加仑的燃料并且减少了3 3万公吨的二氧化碳排放量。系统也设计了尽万公吨的二氧化碳排放量。系统也设计了尽量少左转的路线，因为左转要求货车在交叉路口穿过去，所以更容易量少左转的路线，因为左转要求货车在交叉路口穿过去，所以更容易出事故。而且货车往往需要等待一会儿才能左转，也会更耗油。因此，出事故。而且货车往往需要等待一会儿才能左转，也会更耗油。因此，减少左转使得行车的安全性和效率都得到了大幅度的提升减少左转使得行车的安全性和效率都得到了大幅度的提升