淘宝大数据量产品技术架构.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,淘宝大数据量产品技术架构,张轩丞（朋春）,淘宝网,-,数据平台与产品部,淘宝大数据量产品技术架构,第1页,关于,张轩丞（朋春）,淘宝数据平台与产品部（杭州）,vi,党，脚本语言兴趣者,关注,NodeJS,，,cnode,小区组织者之一,pengchun,：我是,aleafs,淘宝大数据量产品技术架构,第2页,数据平台与产品,淘宝网,淘宝卖家,供给商,消费者,搜索、浏览、收藏、交易、评价,.,淘宝大数据量产品技术架构,第3页,一些数字,淘宝主站：,30,亿店铺、宝贝浏览,10,亿计在线宝贝数,千万量级交易笔数,数据产品：,50G,统计汇总结果,千万量级数据查询请求,平均,20.8ms,响应时间（,6,月,1,日）,淘宝大数据量产品技术架构,第4页,海量数据带来挑战,计算,计算速度,处理吞吐量,存放,存放是为了更方便地查询,硬盘、内存成本,查询,“大海捞针”,全“表”扫描,淘宝大数据量产品技术架构,第5页,架构总览,主站备库,RAC,主站日志,数据源,MyFOX,Prom,存放,层,数据中间层,/glider,查询,层,数据魔方,淘宝指数,开放,API,产品,Hadoop,集群,/,云梯,计算层,实时流数据,DataX/DbSync/TimeTunnel,1500,节点，每日,40000 JOB,，处理数据,1.5PB,，凌晨,2,点结束，结果,20T,淘宝大数据量产品技术架构,第6页,今天话题,关系型数据库依然是王道,NoSQL,是,SQL,有益补充,用中间层隔离前后端,缓存是系统化工程,淘宝大数据量产品技术架构,第7页,关系型数据库依然是王道,淘宝大数据量产品技术架构,第8页,关系型数据库,有成熟稳定开源产品,SQL,有较强表示能力,只存放中间状态数据,查询时过滤、计算、排序,数据产品本质,拉关系,做计算,SELECT,IF(INSTR(f.keyword,)0,UPPER(TRIM(f.keyword),CONCAT(b.brand_name,UPPER(TRIM(f.keyword),AS,f0,SUM(f.search_num),AS,f1,ROUND(SUM(f.search_num)/SUM(f.uv),2),AS,f3,ROUND(AVG(f.uv),2),AS,f4,FROM,dm_fact_keyword_brand_d f,INNER JOIN,dim_brand b,ON,f.keyword_brand_id=b.brand_id,WHERE,f.keyword_type_id=1,AND,f.keyword!=,AND,keyword_cat_id IN(50002535),AND,thedate,=-07-07,GROUP BY,f0,ORDER BY,SUM(f.search_num),DESC LIMIT,0,100,淘宝大数据量产品技术架构,第9页,存放在,DB,中数据,淘宝大数据量产品技术架构,第10页,分布式,MySQL,集群,字段,+,条目数分片,MyISAM,引擎,离线批量装载,跨机房互备,云梯,APP,MySQL,集群,数据装载,数据查询,MyFOX,淘宝大数据量产品技术架构,第11页,透明集群中间层,MyFOX,透明查询,基于,NodeJS,，,1200QPS,数据装载,路由计算,数据装入,一致性校验,集群管理,配置信息维护,监控报警,淘宝大数据量产品技术架构,第12页,MyFOX-,数据查询,取分片数据,（异步并发）,取分片,结果合并,（表示式求值）,合并计算,缓存,路由,SQL,解析,语义了解,查询路由,字段改写,分片,SQL,计算规则,APC,缓存,X,淘宝大数据量产品技术架构,第13页,MyFOX-,节点结构,MyFOX,热节点（,MySQL,）,15k SAS,盘，,300G*12,，,raid10,内存,:24G,成本,:4.5W/T,冷节点（,MySQL,）,7.2k SATA,盘，,1T*12,，,raid10,内存,:24G,成本,:1.6W/T,路由表,30,天无访问冷数据,新增热数据,淘宝大数据量产品技术架构,第14页,小结,依据业务特点分库分表,冷热数据分离,降低成本，好钢用在刀刃上,更有效地使用内存,淘宝大数据量产品技术架构,第15页,SQL,虽牛，不过,假如继续用,MySQL,来存放数据，你怎么建索引？,淘宝大数据量产品技术架构,第16页,NoSQL,是,SQL,有益补充,淘宝大数据量产品技术架构,第17页,全属性交叉运算,不一样类目标商品有不一样属性,同一商品属性对有很多,用户查询所选择属性对不确定,Prom,etheus,定制化存放,实时计算,淘宝大数据量产品技术架构,第18页,Prom,数据装载,Prom,Hbase,Hbase,Hbase,索引：交易,id,列表,属性对,交易,1,（二进制，定长）,交易,2,淘宝大数据量产品技术架构,第19页,Prom,数据查询,求,SUM(alipay),属性,属性值,笔记本尺寸,13,寸,笔记本定位,商务定位,节点,1,1,2,3,4,5,6,7,8,9,节点,2,1,2,3,4,5,6,7,查索引,求交集,节点,2,1,2,4,6,7,当地SUM运算（Hbase扩展）,汇总计算,写入缓存,淘宝大数据量产品技术架构,第20页,Prom,数据冗余,明细数据大量冗余,牺牲磁盘容量，以得到：,防止明细数据网络传输,变大量随机读为次序读,淘宝大数据量产品技术架构,第21页,小结,NoSQL,是,SQL,有益补充,“预算”与“现算”权衡,“当地”与“集中”协同,淘宝大数据量产品技术架构,第22页,其它数据起源,Prom,其它应用（淘词、指数等）,从,isearch,获取实时店铺、商品描述,从主站搜索获取实时商品数,异构数据源怎样整合统一？,淘宝大数据量产品技术架构,第23页,用中间层隔离前后端,淘宝大数据量产品技术架构,第24页,pengchun$tail/logs/glider-rt2.log,127.0.0.1 14/Jun/:14:54:29+0800 GET/glider/db/brand/brandinfo_d/,get_hot_brand_top,/where HTTP/1.1 200 17 0.065,淘宝大数据量产品技术架构,第25页,数据中间层,Glider,多数据源整合,UNION,JOIN,输出格式化,PERCENT/RANK OVER,JSON,输出,淘宝大数据量产品技术架构,第26页,Glider,架构,Dispatcher,Controller,配置解析,请求解析,一级缓存,action,MyFOX,Prom,二级缓存,datasource,JOIN,UNION,filter,淘宝大数据量产品技术架构,第27页,缓存是系统化工程,淘宝大数据量产品技术架构,第28页,glider,缓存系统,前端产品,一级缓存,data,二级缓存,URL,请求，,nocache?,nocache?,nocache?,Min(ttl),ttl,http header,etag,http header,淘宝大数据量产品技术架构,第29页,小结,用中间层隔离前后端,底层架构对前端透明,水平可扩展性,缓存是把双刃剑,降低后端存放压力,数据一致性问题,缓存穿透与失效,淘宝大数据量产品技术架构,第30页,回顾,关系型数据库依然是王道,分库分表、冷热分离,NoSQL,是,SQL,有益补充,用冗余防止网络传输和随机读,用中间层隔离前后端,异构数据源整合,缓存是系统化工程,数据一致性、穿透与雪崩,淘宝大数据量产品技术架构,第31页,矛盾之美,SQL,NoSQL,计算时机,“预算”,Hadoop/,实时计算引擎,“现算”,MySQL+,中间层,Hbase+,中间层,计算场所,当地,MySQL,单机,Hbase,Region Server,集中,MyFOX,中间层,Prom,中间层,数据存放,冷,7200 SATA,盘,HDFS,热,15000 SAS,盘,+,缓存,HDFS+,缓存,淘宝大数据量产品技术架构,第32页,谢谢,淘宝大数据量产品技术架构,第33页,