大数据数据分析方法数据处理作业流程实战案例.doc

数据分析办法、数据解决流程实战案例大数据时代，咱们人人都逐渐开始用数据眼光来看待每一种事情、事物。的确，数据直观明了传达出来信息让人一下子就能领略且毫无疑点，但是前提是数据自身真实性和精确度要有保证。今天就来和人们分享一下关于数据分析办法、数据解决流程实战案例，让人们对于数据分析师这个岗位工作内容有更多理解和结识，让可以趁机理解理解咱们平时看似轻松便捷数据可视化背后都是有多专业流程在支撑着。一、大数据思维在、大数据概念火了之后，可以说这几年许多老式公司也好，互联网公司也好，都把自己业务给大数据靠一靠，并且提比较多大数据思维。那么大数据思维是怎么回事？咱们来看两个例子：案例1：输入法一方面，咱们来看一下输入法例子。我上大学，那时用输入法比较多是智能ABC，尚有微软拼音，尚有五笔。那时候输入法比当前来说要慢诸多，许多时候输一种词都要选好几次，去选词还是调节才干把这个字打出来，效率是非常低。到了，出了一种新输出法紫光拼音，感觉真不久，键盘没有按下去字就已经跳出来了。但是，日后不久发现紫光拼音输入法也有它问题，例如当时互联网发展已经比较快了，会经常浮现某些新词汇，这些词汇在它词库里没有话，就很难敲出来这个词。在左右，搜狗输入法浮现了。搜狗输入法基于搜狗自身是一种搜索，它积累了某些顾客输入检索词这些数据，顾客用输入法时候产生这些词信息，将它们进行记录分析，把某些新词汇逐渐添加到词库里去，通过云方式进行管理。例如，去年流行一种词叫“然并卵”，这样一种词如果用老式方式，由于它是一种重新构造词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来。然而，在大数据思维下那就不同样了，换句话说，咱们先不懂得有这样一种词汇，但是咱们发既有许多人在输入了这个词汇，于是，咱们可以通过记录发现近来新浮现一种高频词汇，把它加到司库里面并更新给所有人，人们在使用时候可以直接找到这个词了。案例2：地图再来看一种地图案例，在这种电脑地图、手机地图浮现之前，咱们都是用纸质地图。这种地图差不多就是一年要换一版，由于许多地址也许变了，并且在纸质地图上必定是看不出来，从一种地方到此外一种地方怎么走是最佳？中间是不是堵车？这些都是有需要有经验各种司机才干判断出来。在有了百度地图这样产品就要好诸多，例如：它能告诉你这条路当前是不是堵？或者说能告诉你半个小时之后它是不是堵？它是不是可以预测路况状况？此外，你去一种地方它可以给你规划另一条路线，这些就是由于它采集到许多数据。例如：人们在用百度地图时候，有GPS地位信息，基于你这个位置移动信息，就可以懂得路拥堵状况。此外，她可以收集到诸多顾客使用状况，可以跟交管局或者其她部门来采集某些其她摄像头、地面传感器采集车辆数量数据，就可以做这样判断了。这里，咱们来看一看纸质地图跟新手机地图之间，智能ABC输入法跟搜狗输入法均有什么区别？这里面最大差别就是有无用上新数据。这里就引来了一种概念数据驱动。有了这些数据，基于数据上记录也好，做其她挖掘也好，把一种产品做更加智能，变得更好，这个跟它相应就是之前也许没有数据状况，也许是拍脑袋方式，或者说咱们用过去，咱们想清晰为什么然后再去做这个事情。这些相比之下数据驱动这种方式效率就要高诸多，并且有许多此前解决不了问题它就能解决非常好。二、数据驱动对于数据驱动这一点，也许有人从没有看数习惯到了看数习惯那是一大进步，是不是能看几种数这就叫数据驱动了呢？这还远远不够，这里来说一下什么是数据驱动？或者既有创业公司在进行数据驱动这件事情上存在某些问题。一种状况人们在公司里面有一种数据工程师，她工作职责就是跑数据。不论是市场也好，产品也好，运营也好，老板也好，人们都会有各种各样数据需求，但都会提给她。然而，这个资源也是有限，她工作时间也是有限，只能一种一种需求去解决，她自身工作很忙，人们提需求之后也许并不会立即就解决，也许需要等待一段时间。虽然解决了这个需求，一方面她也许数据准备不全，她需要去采集某些数据，或做某些升级，她要把数据拿过来。拿过来之后又在这个数据上进行某些分析，这个过程自身也许两三天时间就过去了，如果加上等待时间更长。对于有人来说，这个等待周期太长，整个时机也许就错过了。例如，你重要就是考察一种节日或者一种开学这样一种时间点，然后想搞某些运营有关事情，这个时机也许就错过去了，许多人等不到了，有些同窗也许就干脆还是拍脑袋，就不等待这个数据了。这个过程其实就是说效率是非常低，并不是说拿不到这个数据，而是说效率低状况下咱们错过了诸多机会。对于尚有某些公司来说，之前也许连个数都没有，当前有了一种仪表盘，有了仪表盘可以看到公司上个季度、昨天总体这些数据，还是很不错。对老板来说必定还是比较高兴，但是，对于市场、运营这些同窗来说也许就还不够。例如，咱们发现某一天顾客量跌了20%，这个时候必定不能放着不论，需要查一查这个问题出在哪。这个时候，只看一种宏观数那是远远不够，咱们普通要对这个数据进行切分，按地区、按渠道，按不同方式去追查，看究竟是哪少了，是整体少了，还是某一种特殊渠道独特地方它这个数据少了，这个时候单单靠一种仪表盘是不够。抱负状态数据驱动应当是怎么样？就是一种自助式数据分析，让业务人员每一种人都能自己去进行数据分析，掌握这个数据。前面我讲到一种模式，咱们源头是一堆杂乱数据，中间有一种工程师用来跑这个数据，然后右边是接各种业务同窗提了需求，然后排队等待被解决，这种方式效率是非常低。抱负状态来说，咱们现象大数据源自身整好，整全整细了，中间提供强大分析工具，让每一种业务员都能直接进行操作，人们并发去做某些业务上数据需求，这个效率就要高非常多。三、数据解决流程大数据分析这件事用一种非技术角度来看话，就可以提成金字塔，自底向上是三个某些，第一种某些是数据采集，第二个某些是数据建模，第三个某些是数据分析，咱们来分别看一下。数据采集一方面来说一下数据采集，我在百度干了有七年是数据有关事情。我最大心得数据这个事情如果想要更好，最重要就是数据源，数据源这个整好了之后，背面事情都很轻松。用一种好查询引擎、一种慢查询引擎无非是时间上也许消耗不大同样，但是数据源如果是差话，背面用再复杂算法也许都解决不了这个问题，也许都是很难得到对的结论。我觉得好数据解决流程有两个基本原则，一种是全，一种是细。全：就是说咱们要拿各种数据源，不能说只拿一种客户端数据源，服务端数据源没有拿，数据库数据源没有拿，做分析时候没有这些数据你也许是搞歪了。此外，大数据里面讲是全量，而不是抽样。不能说只抽了某些省数据，然后就开始说全国是怎么样。也许有些省非常特殊，例如新疆、西藏这些地方客户端跟内地也许有很大差别。细：其实就是强调多维度，在采集数据时候尽量把每一种维度、属性、字段都给它采集过来。例如：像where、who、how这些东西给它替补下来，背面分析时候就跳不出这些可以所选这个维度，而不是说开始时候也围着需求。依照这个需求拟定了产生某些数据，到了背面真正有一种新需求来时候，又要采集新数据，这个时候整个迭代周期就会慢诸多，效率就会差诸多，尽量从源头抓数据去做好采集。数据建模有了数据之后，就要对数据进行加工，不能把原始数据直接报告给上面业务分析人员，它也许自身是杂乱，没有通过较好逻辑。这里就牵扯到数据建框，一方面，提一种概念就是数据模型。许多人也许对数据模型这个词产生一种畏惧感，觉得模型这个东西是什么高深东西，很复杂，但其实这个事情非常简朴。我春节期间在家干过一件事情，我自己家里面家谱在文革时候被烧了，日后家里长辈说一定要把家谱这些东西给存档一下，由于我会电脑，就帮着用电脑去理了一下这些家族数据这些关系，整个族谱这个信息。咱们现实是一种个人，家谱里面人，通过一种树型构造，尚有它们之间数据关系，就能把现实实体东西用几种简朴图给表达出来，这里就是一种数据模型。数据模型就是对现实世界一种抽象化数据表达。咱们这些创业公司经常是这样一种状况，咱们当前这种业务，普通前端做一种祈求，然后对祈求通过解决，再更新到数据库里面去，数据库里面建了一系列数据表，数据表之间都是诸多依赖关系。例如，就像我图片里面展示这样，这些表一种业务项发展差不多一年以上它也许就牵扯到几十张甚至上百张数据表，然后把这个表直接提供应业务分析人员去使用，理解起来难度是非常大。这个数据模型是用于满足你正常业务运转，为产品正常运营而建一种数据模型。但是，它并不是一种针对分析人员使用模型。如果，非要把它用于数据分析那就带来了诸多问题。例如：它理解起来非常麻烦。此外，数据分析很依赖表之间这种格子，例如：某一天咱们为了提高性能，对某一表进行了拆分，或者加了字段、删了某个字短，这个调节都会影响到你分析逻辑。这里，最佳要针对分析需求对数据重新进行解码，它内容也许是一致，但是咱们组织方式变化了一下。就拿顾客行为这块数据来说，就可以对它进行一种抽象，然后重新把它作为一种判断表。顾客在产品上进行一系列操作，例如浏览一种商品，然后谁浏览，什么时间浏览，她用什么操作系统，用什么浏览器版本，尚有她这个操作看了什么商品，这个商品某些属性是什么，这个东西都给它进行了一种较好抽象。这种抽样很大好处很容易理解，看过去一眼就懂得这表是什么，对分析来说也更加以便。在数据分析方，特别是针对顾客行为分析方面，当前比较有效一种模型就是多维数据模型，在线分析解决这个模型，它里面有这个核心概念，一种是维度，一种是指标。维度例如都市，然后北京、上海这些一种维度，维度西面某些属性，然后操作系统，尚有IOS、安卓这些就是某些维度，然后维度里面属性。通过维度交叉，就可以看某些指标问题，例如顾客量、销售额，这些就是指标。例如，通过这个模型就可以看来自北京，使用IOS，她们整体销售额是怎么样。这里只是举了两个维度，也许尚有诸各种维度。总之，通过维度组合就可以看某些指标数，人们可以回忆一下，人们惯用这些业务数据分析需求是不是许多都能通过这种简朴模式给抽样出来。四、数据分析办法接下来看一下互联网产品采用数据分析办法。对于互联网产品惯用顾客消费分析来说，有四种： 第一种是多维事件分析，分析维度之间组合、关系。 第二种是漏斗分析，对于电商、订单有关这种行为产品来说非常重要，要看不同渠道转化这些东西。 第三种留存分析，顾客来了之后咱们但愿她不断来，不断进行购买，这就是留存。 第四种回访，回访是留存一种特别形式，可以看她一段时间内访问频次，或者访问时间段状况办法1：多维事件分析法一方面来看多维事件分析，这块常用运营、产品改进这种效果分析。其实，大某些状况都是能用多维事件分析，然后对它进行一种数据上记录。1. 三个核心概念这里面其实就是由三个核心概念，一种就是事件，一种是维度，一种是指标构成。 事件就是说任何一种互联网产品，都可以把它抽象成一系列事件，例如针对电商产品来说，可抽象到提交、订单、注册、收到商品一系列事件顾客行为。 每一种事件里面都涉及一系列属性。例如，她用操作系统版本与否连wifi；例如，订单有关运费，订单总价这些东西，或者顾客某些职能属性，这些就是一系列维度。 基于这些维度看某些指标状况。例如，对于提交订单来说，也许是她总提交订单次数做成一种指标，提交订单人数是一种指标，平均人均次数这也是一种指标；订单总和、总价这些也是一种指标，运费这也是一种指标，记录一种数后就能把它抽样成一种指标。2. 多维分析价值来看一种例子，看看多维分析它价值。例如，对于订单支付这个事件来说，针对整个总成交额这条曲线，按照时间曲线会发现它一路在下跌。但下跌时候，不能眼睁睁看着它，一定要分析因素。怎么分析这个因素呢？惯用方式就是对维度进行一种拆解，可以按照某些维度进行拆分，例如咱们按照地区，或者按照渠道，或者按照其她某些方式去拆开，按照年龄段、按照性别去拆开，看这些数据究竟是不是整体在下跌，还是说某一类数据在下跌。这是一种假想例子按照支付方式进行拆开之后，支付方式有三种，有用支付宝、阿里PAY，或者用微信支付，或者用银行看内支付这三种方式。通过数据可以看到支付宝、银行支付基本上是一种沉稳一种状态。但是，如果看微信支付，会发现从最开始最多，一路下跌到非常少，通过这个分析就懂得微信这种支付方式，必定存在某些问题。例如：是不是升级了这个接口或者微信自身出了什么问题，导致了它量下降下去了？办法2：漏斗分析漏斗分析会看，由于数据，一种顾客从做第一步操作到背面每一步操作，也许是一种杂过程。例如，一批顾客先浏览了你首页，浏览首页之后也许一某些人就直接跑了，尚有一某些人也许去点击到一种商品里面去，点击到商品也许又有诸多人跑了，接下来也许有一某些人就真购买了，这其实就是一种漏斗。通过这个漏斗，就能分析一步步转化状况，然后每一步均有流失，可以分析不同渠道其转化状况如何。例如，打广告时候发现来自百度顾客漏斗转化效果好，就也许在广告投放上就在百度上多投某些。办法3：留存分析例如，搞一种地推活动，然日后了一批注册顾客，接下来看它核心行为上面操作特性，例如当天它有操作，第二天有多少人会核心操作，第N天有多少操作，这就是看它留下来这个状况。办法4：回访分析回访就是看进行某个行为某些中度特性，如对于购买黄金这个行为来说，在一周之内至少有一天购买黄金人有多少人，至少有两天有多少人，至少有7天有多少人，或者说购买多少次数这样一种分布，就是回访回购这方面分析。上面说四种分析结合起来去使用，对一种产品数据支撑、数据驱动这种深度就要比只是看一种宏观访问量或者活跃顾客数就要进一步诸多。五、运营分析实践下面结合个人在运营和分析方面实践，给人们分享一下。案例1：UGC产品一方面，来看UGC产品数据分析例子。也许会分析它访问量是多少，新增顾客数是多少，获得顾客数多少，发帖量、减少量。诸如贴吧、百度懂得，尚有知乎都属于这一类产品。对于这样一种产品，会有诸多数据指标，可以从某一种角度去观测这个产品状况。那么，问题就来了这样多指标，究竟要关注什么？不同阶段应当关注什么指标？这里，就牵扯到一种自身指标解决，尚有核心指标问题。案例2：百度懂得我加入百度懂得之后，开始刚进去就写东西了。作为RB，我每天也收到一系列报表邮件，这些报表里面有诸多记录某些数据。例如，百度懂得访问量、减少量、IP数、申请数、提问量、回答量，设立追加答案，答案数量，这一系列指标。当时，看其实感觉很反感。我在思考：这样多指标，不能说这也提高，那也提高吧？每个阶段必定要思考哪个事最核心，重点要提高哪些指标。开始时候其实是没有任何区别，不懂得什么是重要、什么是不重要。日后，慢慢有某些感触和结识，就发现其实对于访问量、减少量这些有关。由于百度懂得需要流量都是来自于大搜索，把它呈现做一下调节或者引导，对量影响非常大。虽然，跟百度懂得自身做好坏也有直接关系，但是它很受渠道影响大搜索这个渠道影响。提问量开始时候，我以为非常重要，怎么提高提问量，那么整个百度懂得平台这个问题就多了。提高回答量，让这些问题得到回答，高质量内容就非常多了，又提高提问量，而后再提高回答量其实等于是两类人了。而怎么把它做上去，我当时有某些困惑，有某些矛盾，究竟什么东西是最核心。有一次产品会，每一种季度均有一种产品会。那个时候，整个部门产品负责人是孙云丰，也许在百度待过或者说对百度产品体系有理解都会懂得这样一种人，非常厉害一种产品经理。我当时就问了她这个问题，我对提问量、回答量都要提高这个困惑。她就说了一点，其实提问量不是一种核心问题，为什么？咱们可以通过大搜索去找，如果一种顾客在大搜索里面进行搜索，发现这个搜索没有一种好答案，那就可以引导她进行一种提问，这样其实这个提问量就可以迅速提高上去。我一听一下就解决了这个困惑，最核心就是一种回答量，我所做事情其实怎么去提高回答量就可以了。这里面把百度懂得这个产品抽样成了最核心一种提高那就是如何提高回答量，在这个问题上当时做了一种事情就是进行问题推荐。百度懂得有一批活跃顾客，这些顾客就喜欢回答问题。于是，咱们思考：能不能把某些她们可以回答问题推荐给她们，让她们回答各种各样问题这个怎么去做呢？这个思路也很简朴，当前个性化推荐都是比较正常，人们默认懂得这样一回事。但是，做推荐这个事情其实还是比较领先，从我理解状况来看，国内是个性化推荐引擎这块技术火了，但日后有些公司做这方面日后都倒掉了。实现方略是非常简朴，咱们就看一种顾客历史回答记录，看她回答这些问题开头是什么、内容是什么。由于百度很擅长做自然语言解决，基于这些，通过这里面抽取顾客兴趣词，感兴趣话题，然后把待解问题，与该问题有关话题有关顾客进行一种匹配，匹配上了就把这个问题推荐给这个顾客。当时，咱们做一种事情就是：把推荐几种月有过回答量比较高顾客进行一种抽取，对她们训练一种模式就是对每个顾客有一系列话题兴趣点，然后每个点均有一种限度，这就是一种顾客模型项量，就是一种兴趣项量，当时抽了35万个顾客。这个效果是这样，当前我已经找了咱们当年做图片，整个样式其实这是我前一段时间截图，大体类似。例如，我对数据分析有关问题回答了不少，它就会给我推荐数据分析有关问题。咱们这个功能差不多做了有三个月，把它推上线咱们其实是满怀期待，成果效果如何呢？上线之后很悲剧，咱们发现总回答量没有变化。于是，咱们又进一步分析了一下因素。当时，最开始这些核心顾客在回答问题时候都是找分类页。例如：电脑这个分类，然后看电脑有关问题，有兴趣就回答。日后，咱们做了一种体验：在个人中心里面加了一种猜她喜欢那个问题，然后推给她，成果顾客从分类页回答这个问题转到了个人中心。但是，平均一种人回答量并没有变化，当时做这些记录，这些核心顾客就回答六个问题，超过六个她就没动力回答了。咱们事后分析因素，有一种因素她也许自身回答量就是这样一条线，谁能每天在哪里源源不断回答问题。尚有一种同事就分析当时让她一种痛苦地方，由于咱们是源源不断地推荐，然后她就发现回答几种之后尚有几种，回答了几次就感觉要崩溃了，就不想再这样回答下去了。其实，年前时知乎在问题推荐上也做了不少功夫，做了许多测试。年前有一段时间，它每天给我推某些新问题，然后我去回答。日后，发现推太多了，就没回答动力了。针对这些核心顾客会发现从她们上面榨取不了新价值了。于是，咱们调转了矛头，从另一种角度能不能去广撒网，吸引更多顾客来回答问题，这个做就是一种库里推荐。访问百度时候，百度不论顾客与否登录，会在顾客库里面去设立一种顾客标记。通过这个标记可以对这个顾客进行一种跟踪，虽然不懂得顾客是谁，但是，起码能把同一种顾客这个行为给它检起来。这样，就可以基于她历史检索，各种搜索词，尚有她流量各种页面记录，然后去提取某些证据，然后给这些库题建一种模型。这样有一种好处，可以覆盖顾客量非常大，前面讲核心顾客推荐只覆盖了只有35万核心顾客，但是通过这种方式可以覆盖几亿百度顾客，每一次顾客登录之后或者访问百度懂得之后咱们就基于她自身兴趣然后走一次检索，在解决问题里面检索一下跟她匹配就给她推荐出来。例如前一段，我自己在没有登录时候，其实我是会看马尔克斯。我比较喜欢马尔克斯作品，我当时搜了马尔克斯某些有关内容。它就抽取出来我对马尔克斯什么感兴趣，就给我推荐了马尔克斯有关问题，也许我懂得我不也许就会点进去回答。这个功能上了之后效果还是很不错，让整体回答量提高了7.5%。要懂得，百度懂得产品从开始做，做到、时间这个产品已经很成熟了。在某些核心指标进行大提高还是非常有挑战，这种状况下咱们通过这种方式提高了7.5%回答量，感觉还是比较有成就感，我当时也由于这个事情得了季度之星。案例3：流失顾客召回这种形式也许对其她产品就很有效，但是对咱们这个产品来说，由于咱们这是一种相对来说目的比较明确并且比较小众一点差别，因此这个投放效果也许就没那么明显。在今年元旦时候，由于之前申请试用咱们那个产品已有诸多人，但是这里面有一万人咱们给她发了帐号她也并没有回来，咱们过年给人们拜拜年，然后去报告一下进展看能不能把她们捞过来一某些。这是元旦时候咱们产品整体顾客状况，到了元旦为止，9月25号发布差不多两三个月时间，那个时候差不多有1490个人申请试用了咱们这个产品。但是，真正试用有724个，差不多有一半，此外一半就跑了，就流失了。咱们就想把这某些人抽出来给她们进行一种招回活动，这里面流失顾客咱们就可以把列表导出来，这是咱们自己产品就有这样功能。有人也许疑惑咱们怎么拿到顾客这些信息呢？这些不至于添加，由于咱们申请试用时候就让她填一下姓名、联系方式，尚有她公司这些信息。对于填邮箱咱们就给发邮件，对于发手机号咱们就给她发短信，咱们分析这两种渠道带来效果。先说总体，总体咱们发了716个人，这里面比前面少了一点，我把某些不靠谱这些信息人工给它干掉了。接下来，看看真正有35个人去体验了这个产品，然后35个人里面有4个人申请接入数据。由于咱们在产品上面做了一种小改进，在测试环境上面，对于那些测试环境自身是某些数据她玩一玩，玩了也许感兴趣之后就会试一下自己真实数据。这个时候，咱们上来有一种链接引导她们去申请接入自己数据，走到这一步之后就更也许转化成咱们正式客户。这两种方式转化效果咱们其实也很关怀，招回效果怎么样，咱们看下面用红框表达出来，邮件发了394封。最后有32个人真正过来试用了，电话手机号322封，跟邮件差不多，但只有3个过来，也就是说两种效果差了8倍。这其实也提示人们，短信这种方式也许许多人看短信比较少。固然，另一方面跟咱们自己产品特性关于系，咱们这个产品是一种PC上用起来更以便一种产品。许多人也许在手机上看到这个链接也不以便点开，点开之后输入帐号也麻烦一点。因此，导致这个效果比较差。