电商零售大数据分析云上实战.pdf

2021,Amazon Web Services,Inc.or its Affiliates.李建伟 大数据技术专家电商零售大数据分析云上实战 2021,Amazon Web Services,Inc.or its Affiliates.议程电商行业现状数据驱动的电商业务场景非结构化数据搜索架构解析亚马逊电商案例 2021,Amazon Web Services,Inc.or its Affiliates.电商用户旅程个性化定制化首页产品推荐相关产品评分交叉销售客服我的订单修改订单问题客服搜索网页搜索图片搜索语音搜索移动搜索优化页面加载导航虚拟现实评分方式市场媒体语音移动设备渠道邮件广告地理位置手机推送物流线上下单，店面提货线上下单，店面发货全球仓库派送预约派送第三方退货退货流程优化用户转化 售中用户触达 售前用户服务 售后兴趣/搜索 吸引/评估甄别/购买期待/追踪咨询/退货 忠诚/推荐 2021,Amazon Web Services,Inc.or its Affiliates.电商业务重点来源:eCommerce Leaders 2021 调查报告顾客终生价值(CLV)转化率优化(CRO)获客成本(CAC)新流量获取客单价(AOV)电商企业KPI电商企业投资重点网站/App性能优化个性化重构平台/无头电商全渠道优化产品发现和产品搜索70%52%51%51%47%2021,Amazon Web Services,Inc.or its Affiliates.AmazonEMR商品搜索运营分析用户画像个性化推荐IT运维分析高阶应用的前置条件依赖于完善的数据湖建设和高效的数据处理无缝集成机器学习来构建用户画像数据驱动电商业务电商行业典型应用场景q 数据服务的深度和广度广泛的ML和AI服务AmazonRedshiftAmazon AthenaAWS GlueAmazon Elasticsearch ServiceAWS的价值主张q 五大场景，围绕用户旅程全链路典型机器学习范畴，是大数据分析的高级应用依赖于完善的数据湖进行数据预处理更加精准地触达客户、提高最终成单率依赖于商品检索引擎架构及对应模块为分布式商品标识明确时，快速定位到目标对象为电商运营提供决定依据依赖于用户行为数据与RDS数据的多维度指标转化分析业务链条各环节数据电商客户的基本需求了解IT系统的整体运行状况，有效排查系统故障Amazon S3功能全面的存储层综合计算层高速可扩展的网络层99.999999999%水平的可靠性数据生命周期管理深度集成AWS Lake Formation 2021,Amazon Web Services,Inc.or its Affiliates.场景1:商品搜索 2021,Amazon Web Services,Inc.or its Affiliates.业务场景场景描述 目标商品明确，可通过文字、语音、扫码等方式快速搜索到 商品搜索引擎架构具备分布式、可扩展的特性 数据在线下流程和线上流程均起到比较核心的作用数据特点 输入数据：通常，原始数据（结构化信息，文本、图像信息，动态信息等）来自前端数据库，数据源多个 搜索引擎：在数据采集方面更侧重于各种数据源的数据更新，其效果需要兼顾买家与卖家 输出数据：支持各种维度的排序，对数据的实时性要求非常高（主要体现在价格和库存两方面）业务实现 商品搜索引擎为功能实现的核心支撑，具备分布式、可扩展的特性，在架构中需要考虑对索引模块、查询模块和排序干预模块的解耦和分离，以方便对各个模块进行单独的优化和扩展 2021,Amazon Web Services,Inc.or its Affiliates.参考架构接口层服务层搜索意图商业规则个性化排序Amazon API GatewayAmazon DynamoDBAmazon AuroraAmazon MemoryDB for RedisAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon SageMakerAWS LambdaElastic Load BalancingAmazon Elastic Kubernetes Service(Amazon EKS)2021,Amazon Web Services,Inc.or its Affiliates.案例研究:Nike 耐克-商品检索痛 点Amazon ES的自动部署及管理工具大大简化了耐克的开发周期，加快了新搜索体验的上市时间。获 得 益 处解 决 方 案直接面向消费者业务的快速增长和扩张，迫切需要强大的商业搜索解决方案Amazon OpenSearch Service 服务作为耐克的核心搜索引擎“guys bred”意图：男士篮球鞋红黑色 2021,Amazon Web Services,Inc.or its Affiliates.全世界最大电商亚马逊的基石 A在AWS上面运行，使用Amazon OpenSearch Service扫描、读取和分析亚马逊市场数据，并且根据数据分析结果为买家和卖家提供服务一种完全托管的搜索引擎服务 为突增的并发访问量提供搜索引擎的稳定性和弹性按需付费和弹性预留以节省成本 Amazon OpenSearch Service允许电商客户在单个集群中存储多达3 PB的数据，并且可以根据需求变化轻松扩展或缩减容积；支持在三个可用区部署，使电商客户能够跨多个可用区部署实例AWS的优势和价值Amazon Elasticsearch Service高可用支持业务连续性 只需要按实际用量付费 与按需实例相比，预留实例可保留一或三年，大量节省使用成本内置开箱即用的KNN算法 适用于Amazon OpenSearch Service 2021,Amazon Web Services,Inc.or its Affiliates.非结构化数据搜索架构解析 2021,Amazon Web Services,Inc.or its Affiliates.产品搜索基于文本产品搜索基于图片产品搜索“男士背包”输入：输入：2021,Amazon Web Services,Inc.or its Affiliates.Amazon Sagemaker 和OpenSearch构建图像检索构建图像检索Amazon Sagemaker图像分类模型训练部署特征提取模型Amazon OpenSearchKNN邻近算法做邻近搜索高可用，安全的托管服务 2021,Amazon Web Services,Inc.or its Affiliates.图像检索原理查询图像预处理特征向量图像数据库图像特征库相似性比较索引+检索重排预处理检索结果 2021,Amazon Web Services,Inc.or its Affiliates.基于深度学习的图像特征提取Pretrained 模型去除最后做分类全连接层，留最后池化层做特征向量2048/4096维图像特征向量+7x7 ConvBatch Norm3x3 Max Pooling3x ResNet blocksGlobal Average Pool 2021,Amazon Web Services,Inc.or its Affiliates.图像图像检索架构检索架构1.通过SageMaker训练ResNet模型，将所有产品图片向量化2.将向量化的数据注入到OpenSearch索引中，其中图片数据用向量类型存储3.客户提交的图片调用SageMaker的推理服务，将单张图片转成向量数据4.调用OpenSearch KNN检索匹配最相似的K张图片5.记录用户的点击，购买等行为，训练Learning to Rank模型，优化排序结果 2021,Amazon Web Services,Inc.or its Affiliates.K-NN search基于矢量的搜索算法使用特征提取或其他来创建特征向量使用矢量进行查询以检索几何上最接近的点几何相似或余弦相似 2021,Amazon Web Services,Inc.or its Affiliates.Learn to rank plugin机器学习的模型输入搜索结果的排名使用新近、受欢迎程度和偏好等功能将模型提供给Elasticsearch中的LTR插件LTR插件应用该模型，对搜索结果进行重新排序在循环中使用，反馈搜索结果并单击数据以改进模型DomainLTR PluginModelJudgment listTraining dataSearch resultsML SystemFeature setXGBoost,RankLibQueriesRe-rankedResults 2021,Amazon Web Services,Inc.or its Affiliates.Zalora产品搜索https:/ want to give our customers joy in shopping by just taking a photo of any fashion objects that grab their attention”Karthik Subramanian,CTO,Zalora GroupZALORA利用图片搜索提升用户体验，方便用户从大量的产品列表查找到自己喜欢的产品 2021,Amazon Web Services,Inc.or its Affiliates.场景2:运营分析 2021,Amazon Web Services,Inc.or its Affiliates.业务场景场景描述 围绕电商运营核心关注的三要素“用户、商品、平台”，根据不同业务目的进行数据分析 重视优化以及精细化运营，电商的商品品类种类繁多、用户覆盖面非常广泛客观上加大运营难度 关注流量、用户增长、销售额、留存与复购指标数据特点 输入数据：主要有两个来源，客户端的用户行为数据、运营中的RDS数据 输出数据：八个维度的分析指标业务实现 步骤：数据搜集、ETL、数仓分析、最终BI展示等 点击流数据：主要来源于客户端和服务器端打点工具，格式以JSON为主，大部分转换为结构化数据存入数仓。交易数据、用户信息数据等来源于RDS，通过全量或者增量CDC的方式拷贝到S3进行后续发分析处理 运营数据：查询与分析通常在数仓内进行，数仓可以使用Redshift或Hive 大型客户主要基于开源软件自主开发BI报表，中小型客户会考虑使用商业BI报表应用举例 离线运营数据分析：销售归因以及转化漏斗分析 实时信息分析：推送实时广告和获取数字营销解决方案 2021,Amazon Web Services,Inc.or its Affiliates.运营分析指标 总体运营指标 网站流量指标 销售转化率指标 商品品类指标 客户价值指标 活动营销指标 风险控制指标 竞争分析指标 2021,Amazon Web Services,Inc.or its Affiliates.建议架构推荐系统商品管理营销投放CRM系统采购仓配血缘分析数据字段权限管理数据建模BI报表算法分析Amazon QuickSight 2021,Amazon Web Services,Inc.or its Affiliates.Anker 历经10年基于 AWS 打磨的数智舱 2021,Amazon Web Services,Inc.or its Affiliates.丰富的数据采集工具支持处理多种据类型AWS的优势和价值 多种数据管道摄入数据 中心存储有效打破数据孤岛AWS GlueAWSDMSKinesisData FirehoseAmazon MSKAmazon S3 提供灵活支持结构化、半结构化、非结构化数据Amazon S3AmazonEMRAmazonRedshiftAmazon Athena计算存储分离 存储和计算解耦，按应用负载来构建专用集群 EMR优势：弹性、Spot降低成本、S3数据低成本与持久性，相当于AWS对Hadoop的发行版，支持客户、减轻运维压力Amazon S3AmazonEMR运用广泛、受欢迎的云商数据库Redshift 可查询PB级到EB级别的结构化和半结构化数据；使用开放格式轻松地将查询结果保存回S3数据湖；借助Redshift Spectrum能分析规模至EB级别的数据 配合S3，AWS的解决方案可以做到冷热数据分级AmazonRedshiftAmazon S3 2021,Amazon Web Services,Inc.or its Affiliates.场景3:用户画像 2021,Amazon Web Services,Inc.or its Affiliates.业务场景场景描述 指以优化客户体验、增强客户粘性和减少运营成本为目的，对用户特征和分类的研究 是电商企业应用大数据的根基，也是许多高阶数据分析场景的前置条件 常见的下游支持场景有个性推荐/展示、广告精准营销、BI中的用户聚类分析和搜索优化等数据特点 输入数据：用户的社会属性，通常来自用户注册时主动提供的数据和从一些第三方机构购买的数据用户在电商平台上的用户行为，通常来自于网页/应用的线上交易数据库和日志埋点数据 输出数据：形式一般为客户维度的具体标签，标签的形式取决于下游支持的具体应用要求业务实现 两类实现方式：基于统计值的专家规则系统生成人工标签基于历史数据的机器学习模型经训练生成自动标签应用举例 提取用户的网购兴趣和消费行为等指标，用于广告精准营销 2021,Amazon Web Services,Inc.or its Affiliates.参考架构-使用基于统计规则的标签系统 2021,Amazon Web Services,Inc.or its Affiliates.参考架构-使用基于机器学习的标签系统 2021,Amazon Web Services,Inc.or its Affiliates.Club Factory 电商平台https:/ 2021,Amazon Web Services,Inc.or its Affiliates.AWS的优势和价值多种数据源协同分析 多种数据管道摄入数据支持处理多种数据类型 提供灵活支持结构化、半结构化、非结构化数据计算存储分离 存储和计算解耦，按应用负载来构建专用集群一站式机器学习平台 一站式机器学习平台辅以多种开箱即用AI SaaSAWS GlueAWSDMSKinesisData FirehoseAmazon S3AmazonEMRAmazonRedshiftAmazon AthenaAmazon S3AmazonEMRAmazon SageMaker 2021,Amazon Web Services,Inc.or its Affiliates.场景4:个性化推荐 2021,Amazon Web Services,Inc.or its Affiliates.业务场景场景描述 是电商平台在了解客户的前提下创造出的需求，运营逐步精准化时将扮演越来越重要的角色 三方面实现持续稳定增长：帮助消费者在众多商品中更快地找到感兴趣的商品，提升购买决策效率帮助商家更快地找到潜在消费者，提升长尾商品的动销 利用流量分发策略集中管控平台，使电商平台能提供更优质的服务体验数据特点 输入数据：来源复杂，需要经过复杂处理，整理至用户或商品的维度数据，作为训练数据集输入算法 输出数据：基于当前用户行为产生的具体推荐产品列表（一般具有权重）业务实现 依赖机器学习解决，分成线下模型训练和线上实时推荐，可采用简单至复杂等不同难度的算法，但是构建思路一致：模型训练需要客户具有功能完备的端到端数据处理系统，线上实时推荐则需要客户拥有模型生产化和部署运维的能力应用举例 产品形态多种多样，包括基础商品推荐位、混排个性化推荐位、首焦个性化、核心频道个性化、活动频道个性化、类目个性化、营销个性化、权益个性化等 2021,Amazon Web Services,Inc.or its Affiliates.参考架构 2021,Amazon Web Services,Inc.or its Affiliates.LOTTE MART 电商平台“对比之前带来每月收入增长的大数据分析解决方案，通过使用 Amazon Personalize，我们推荐商品数量增长了 5 倍。特别值得一提的是，Amazon Personalize 促进客户下单从未购买过的商品数量增加了 40%。”Jaehyun Shin，大数据团队负责人Lotte Marthttps:/ Web Services,Inc.or its Affiliates.丰富且多样的分析服务 能满足各种不同场景和需求下的分析服务，涵盖数据处理端到端的所有处理场景，方便客户快速建立模型训练数据预处理Pipeline，完成模型训练前训练数据集指标体系建立开箱即用的机器学习服务 AWS封装好的亚马逊电商实战中的有效算法，电商客户可以基于自己的数据来训练一个定制化的推荐模型并部署上线经验丰富的实施人员 依托亚马逊电商平台经验，提供专业Professional Service团队Amazon S3AmazonEMRAmazonRedshiftAmazon AthenaAmazon PersonalizeAWS的优势和价值AWS GlueAWSDMSKinesisData FirehoseAWS Lake FormationAWS IAMAWS Cloudtrail 2021,Amazon Web Services,Inc.or its Affiliates.亚马逊电商案例 2021,Amazon Web Services,Inc.or its Affiliates.亚马逊电商 云原生之路199519971998-991999-20002002-0320042006200920112018+在线书城品类扩张支持第三方卖家尝试核心服务 SOA 拆分电商平台现代化改造Amazon S3微服务化及相关工具支撑单体到微服务化改造单体架构全球多站点云原生Amazon CloudFrontAWSWAFAmazonRoute 53AWS ShieldAmazon EC2AWS LambdaAmazon ECSAmazon AuroraAmazon DynamoDBAmazon RedshiftAmazon S3AWSGlue搜索引擎 A9Kindle 2021,Amazon Web Services,Inc.or its Affiliates.大型电商数仓云转型之旅挑战50PB数据，7万5千表，每天60万个分析任务Oracle数仓处理超过1亿行的数据，经常报错运维的复杂度和License成本的增加，不堪重负了解详情，请访问：https:/amazonaws- 是全球领先的电商；亚马逊遵循四项原则：客户至上而不是对标竞争对手、对创新的追求、对卓越运营的承诺以及长期思维。客户评论、一键下单、个性化推荐、Prime 会员、亚马逊物流、AWS、Kindle电子书、Fire 平板电脑、Fire 电视、亚马逊 Echo和 Alexa 是亚马逊首创的部分产品和服务。公司简介新的S3数据湖数据量达到200PB，是原先的4倍S3强大的性能，支持超过3000个Redshift/EMR集群的访问SCT迁移工具，节约1000个人月的人工S3 提供几乎无限的数据存储容量，且性能强大DMS 服务的SCT工具，实现SQL查询语句自动转换AWS 提供完整的大数据解决方案AWS DMSAmazonS3Amazon RedshiftAmazon EMR 2021,Amazon Web Services,Inc.or its Affiliates.采用AWS产品及方案的电商零售客户更多案例：https:/ Web Services,Inc.or its Affiliates.AWS 是电商客户最坚实的技术平台和服务合作伙伴 2021,Amazon Web Services,Inc.or its Affiliates.Q&A