1、本科毕业实训报告实训题目:大数据营销实训指导教师:系 另IJ:专业班级:学号:学生姓名:实训期:产品架构图企业数据应用层云应用开发平台ApplicationDevelopmentPlatform大数据开发工具TDS数据科学平台Sophon Base画知识图遵平台Sophon KG售智能决策平台FIDEDevOps平台微服务引擎低代码平台应用上架开发OiD DIO4X搜索引掌分布式文件美东型分析分布式闪存更表数据寄图数据廊Scope来赋WHyperbaseStellarDBTDFSInceptorArgoDB近X分布式在线实时设计#件存存J交易收据座引掌EventKunDBSlipstreamS
2、tore时空败搪朦 Spacture应用市场软件ApplicationMarket开源软件托管第三方软件托管企业应用托管Windows 应用数据云管理平台 Transwarp Cloud Management Platform多租户I用户I认证与权限I多集群I镜像仓库I应用生命周期管理I应用市场I服务目录I计量计费I工单I运维中心I平安中心I联邦云管理云原生操作系统 Transwarp Cloud Operating System云原生编抻I云原生调度I云原生网络I云原生存储I容器引擎I容器平安I虚拟机管理TDC自有模块TR八 ZSW八 RPDATA CTDH、TDS、Sophon 产品模块企
3、业基础设施层X86/ARM CPUGPULinux/Windows/国产操作系统私有云/公有云/混合云信创云TDC能够满足企业不同角色需求SaaSPaaSlaaS业务层接口层开发服务数据服务资源服务业务 业务 业务 业务 业务开发测试门户业务分析门户运维门户数据存储分析型数据库NoSQL数据库实时计算交易型数据库对象存储Object Storage分布式文件系统TDFS关系型分析引擎Inceptor闪存数据库ArgoDB宽表数据库I 搜索引擎 Hyperbase I Scope图数据隹内存KVStellarDB I KV Storage实时流计算引擎Slipstream事件存储库Event S
4、tore分布式在线交易数据库KunDB高可用数据库TxSQL平安/监控/管理/运维大数据平台TDC主要功能1、大数据云产品TDC在服务应用层提供了与大数据和人工智能相关的七种产品,这些云产品由星环大数据生态中的基础组件构成,产品内部组件之间自动建立逻辑依赖从而实现完整的产品功 能,可以覆盖数据处理与分析的常见场景。数据仓库构建一站式数据仓库月防,提供数据整合、力DI、分析等全套数仓构 建服务,帮助打造雌核心.ETL、批处理、数据湖、数据仓库名称数据集市适用于面向部级的数据分析业务,提供包括交互式分析、OLAPCube弓摩、报表工具和调度工具,支持自动化的报表应用构建.自助交互式报表业务、经营仪
5、表盘、高并发数据分 析、多维度分析查询实时计算平台云上的流处理分析平台,对流放据进行实时采集和处理,构建实时数实时数据分析、在线反欺诈、传感器网络分析、智腕后映时聊,颜淘激轴介值.能设备检测器故障预测分布式搜索引擎PB级别高速全文检索服务,提供高并发支持,冷热数据隔离,以及字 段精确、模耦检索和快速统计功能.行业搜索引擎、知识共享平台、信息检索服务分布式图辘库面向属性图(Property Graph)的综合性分布式图雌库,能终支 撑超大规模图,为业务人员提供存储、查询和分析图的能力.公安、金融、社交网络分布式在线交易数据库用于管理MySQL数据库集群,兼具事务和分析能力,并且可以横向 扩展来满
6、足业务的弹性变化需求.电子商务系统、银行、证券等深度学习支持超过10喇机器学习和深度学习的分布式算法.通过自动建博口 内置的行业模板,业务分析断口数据分删阿快速构建、部署及分AI 模型;研发工程师可将AI模块嵌入现有应用,以提升业务价值.图像与视频识数据挖掘与建模、图形化建模与 特征工程2、多租户管控TDC管理平台围绕工程、租户、用户等概念,实现权限和资源的合理划分与管理,由统 一管理平台对多租户提供服务。租户管理员具有租户最高管理权限,负责权限的管理。租户 内部以工程为单位管理产品实例,实现清晰合理的权限管理划分粒度。3、精确计费TDC采用精准的计费架构,保证计费数据的准确性、平安性。同时该
7、架构具有高可用、 可扩展的性质,能够做到近实时的数据计算。TDC平台为用户制定了合理透明的计费标准, 分为对大数占用据硬件资源及软件授权进行计费。同时灵活支持多种计费单位,实现公平的 计费模式。另外,TDC为平台经营者提供了丰富的费用管理功能,包括明确的租户账单明 细,统一的经营分析报表,补账、销账、对账功能,租户配额设置,收费工程、价格设置, 指定计费规那么,以及费用折扣定制等,确保运营者自主控制与了解资金情况。4、跨租户共享组件TDC平台支持跨租户共享组件,租户用户可将租户内实例共享给本租户用户,也可以 提供给其他租户用户使用。这方便租户之间共享数据和服务,更好地进行业务合作。同时, 星环
8、TDC只对共享组件进行软件计费,这大大节约了引用该共享组件的租户的使用本钱。5、独占节点TDC独占节点功能分为租户独占节点和租户内服务独占节点。租户独占节点意味着只 允许本租户的服务使用特定节点。当用户所在的租户被设置为独占型租户后,该租户所有的 服务都会部署在这些独占型节点上。租户内服务独占节点功能支持租户用户将特定服务部署 在特定节点上。独占节点有利于租户用户针对性地设计调度策略,为高计算量服务选择特定 节点。6、统一图形化运维监控分布式大数据平台组件繁多、业务指标复杂、对各类资源敏感的特点使得传统的运维方 式很难保证应用服务的正常运行,如何能够及时发现问题、如何第一时间收集相关的运维数
9、据,以及如何快速定位故障并进行分析,一直是企业运维团队关注的重点和难点。2.2 TDC大数据平台适合本公司大数据业务的原因1、TDC覆盖了分析云、数据云、应用云三方面功能,创造多平台融合。TDC打 通了各云平台建设,在一个平台满足企业对于三类云平台的建设要求,打通应用与数据, 底层通过统一 laaS层实现资源互借,进行统一的账号管理,防止了企业各部门垂直建设 云平台,使企业系统可以生态式互通。易游直播需要记录大量的用户行为数据、产品运营 数据、用户反应数据等,这些数据对易游的开展起着重大的作用,用户行为数据的分析,使 易游更快更好的发现用户的需求,可以帮助易游开展一系列营销活动,TDC云平台功
10、能齐 全,能有效对数据进行储存和分析。2、实现统一平台,提供一致的网络、平安、运维管理,防止跨平台带来的各种通 信障碍,且无需因不同的开发工作在各平台间切换。对于游戏业务常规数据,比方用户名、 密码、直播数据信息等,这层数据是最重要的数据,一旦出现问题会严重影响业务的正常运 作,TDC大数据平台具有高平安性。3、资源弹性,由于底层采用了统一的容器支撑平台,三种云平台共享资源,资源可 弹性伸缩且相互借用,大幅提升资源使用效率。4、轻松运维,TDC为三种云平台提供统一的资源与运维管理,不需要额外引入第三 方云管平台,减少IT投入。3大数据营销宏观环境分析大数据营销PEST分析3.1.1 经济环境国
11、际经济开展形势由于全球经济危机和国际贸易不乐观形势的影响依旧存在,近年全球 经济贸易将维持低速增长。虽然和平与开展的时代主题没有变,国际大环境有望保持稳定, 有利于中国经济继续开展。但是主要经济体走势、全球投资大幅度下滑等复杂变化带来的不 稳定因素使得身为全球第二大经济体的中国面临的外部环境挑战逐渐增多。中国的外部开展 环境仍旧复杂多变,面临一定的困难与挑战。中国经济运行现状中国的经济开展经历了三十年的高速增长期,取得了巨大成就。如今 经济总量稳居世界第二,已经超过12万亿美元。在这个基数上每增长1个百分点,GDP增 量就超过1200亿美元,约等于2010年经济增长2个百分点的增量。此外,中国
12、也是世界第 一制造大国,国内生产总值位居世界第二,成为世界第一贸易大国。另外,2018年国内消费 品市场规模位居世界第二。消费拉动经济增长的效应更为明显,也标志着经济增长对改善民 生的作用显著增强。泛娱乐直播行业作为一个新兴行业,开展如此迅速也与国内经济的增长 与转型密切相关。2018年中国经济稳中有变。中美贸易战的出现,在一定程度上引起中国 经济波动,但是经济运行仍然保持在合理区间,居民收入和消费稳步提升,恩格尔系数进一 步下降,质量和效益整体提高。3.1.2 技术环境硬件技术升级开展互联网时代,信息交互技术的革新拓展着各行业的边界。物联网、云 计算等新技术不断地拓展着行业的边界,技术的升级
13、带动了产业的变革与开展,也催生了许 多新的行业,带来新的竞争。泛娱乐网络直播正是其中一个,正是因为网络音像传播的技术 升级,为人们带来了新的社会交流渠道。一个完整的视频直播软件一般需要包括采集、滤镜 处理、编码、推流、CDN分发、拉流、解码、播放、聊天互动一系列的实现流程。由于交互 方式的变革和用户偏好内容的转变,其对应的基础设施也正在更新换代,技术的升级开展催 生了群众对于泛娱乐网络直播行业的关注。移动设备的普遍化据统计,以手机为代表的移动互联网网民规模在2018年12月到达8.17亿。移动设备的快速普及与互联网技术的成熟为泛娱乐网络直播平台提供了更多开展 空间,移动互联网因其无可比较的优越
14、性在现代生活中扮演着重要的角色。稳定性技术体系GOPS全球运维大会2019深圳站GOPS全球运维大会2019深圳站钛务连绘性提升社会文化泛娱乐性直播行业消费的不断增长随着人们生活水平的明显提升和可支配收入的不断 提高,群众对自身开展及享受的需求水平显著提升,“泛娱乐性消费”日渐迫切。据中国互 联网网络信息中心统计,到2018年12月,中国网民数攀升至8.29亿,手机网民数也突破 8.17亿。泛娱乐网络直播平台借助于互联网的普及与蓬勃开展,拥有着巨大的潜在消费群 体,这一局部消费群体直接使用现金购买网络虚拟礼物,给各个平台带来直接的经济效益。 另一方面,平台签约主播按照观众打赏的虚拟礼物收益与平
15、台分成折现,网站盈利后又招募 更多更有影响力的主播以此构成循环盈利。个体价值多元化、社会心态多样化个体价值多元化是现今时代的重要特点。移动互联网 的开展,不仅在物质层面上使人的社会生活变得更加方便快捷,人的物质需求不断满足,并 且在价值层面上更有利于实现人的自我解放和开展。每个人都可以在互联网上发表其对相关 事件的看法,满足公众参与社会公共生活的需要。3.L4政治、法律环境中国互联网的开展形势2015年,“互联网+”战略正式出台,传统企业和互联网企业都 在寻求革新。如今,互联网的地位和作用日渐重要,各行业之间也形成了紧密的相互带动关 系,共同促进互联网生态的完善。对于泛娱乐网络直播行业同样如此
16、,宏观的政策环境对于该行也的开展是积极有利的。网络文化管理在互联网全面普及的背景下,越来越多的人涌入该行业,短短几年整个行 业便迎来蓬勃开展。泛娱乐网络直播行业的飞速增长必然带来诸多问题,淫秽色情、恶意诽 谤、炫富拜金等不良文化悄然出现。为更好地引导网络文化积极开展,国家有关部门先后颁 布了互联网视听节目服务管理规定通信网络平安防护管理方法网络游戏管理暂行 方法等相关规定,进一步加强了对泛娱乐文化的管理。国家网信办指导属地网信办依法依规约谈易游直播,视违规情节对相关平台分别采取停 止主要频道内容更新、暂停新用户注册、限期整改、责成平台处理相关责任人等处置措施, 并将局部违规网络主播纳入跨平台禁
17、播黑名单。有关负责人强调,此次对其他三十多家网络 直播平台全面巡查,旨在催促主要平台切实履行主体责任和社会责任,守牢法律底线、道德 底线和平安底线,自觉完善平台规那么,优化系统功能,改进算法推荐,强化主播管理,最大 限度压缩低俗不良信息生存空间,不断提升直播内容质量,为广大网民提供更多更好的文化 产品和服务,推动网络直播行业健康有序开展。ill中国移动G上午6:20(5 100%全部 推荐 一起看 LOL 王者荣耀三IA真整改中自6月23日0时起暂停更新3.2大数据营销STP分析1月17日,易游直播发布2019易游年度大数据报告,其中易游在2019年第三季度 已到达1.46亿,移动端观看时到达
18、100分钟,超八成主播、用户是90后,日均观看4小时以上用户超250万。据报告显示,易游直播月活到达了 1.46亿,其中90后用户超8成,以 大学生与白领用户为主,其中女性用户占比到达三成。报告还显示,易游的用户主要集中在 广东、江苏和浙江等沿海省份,易游用户二线及以上城市占比接近50%。iiMediaResearch(艾 媒咨询)数据显示,中国在线直播行业整体保持稳定增长的开展态势。在经历行业高速增长 后,目前在线直播行业进入深耕存量、细化模式的阶段,预计2020年中国在线直播用户规 模将达5.26亿人。疫情期间“宅经济”的兴起或刺激行业加速增长。预计2020年中国在线 直播用户规模达5.2
19、6亿人。游戏直播是易游的核心内容品类。易游还专注于构建更丰富的 泛娱乐品类内容,数据显示,如今也有近一半的易游用户会观看非游戏品类的内容,因此, 报告也着重加入对非游戏品类的特色数据分析,涵盖星秀、户外、二次元、PGC等多个热门 品类。2016-2020年中国在线直播用户规模及预测China online streaming industry user scale and growth rate from 2016 to 20205.045.264.563.983.1028.4%14.6%10.5%4.4%20172018用户规模(亿人)20172018用户规模(亿人)20162019增长率2
20、020E3.2.1 大数据营销市场细分(S)移动互联网的出现打破了传统营销中的地域和人员限制。消费者无论身在何处,只要有 一部手机就可以查到感兴趣的话题,并选择自己喜欢的商品。易游直播具备这一优势。观众 在直播间内可以根据主播的讲解了解商品和商家所提供的服务,且直播具有极高的“网红” 效应,粉丝群体比较广的“网红”具备较强的带货能力。易游直播在市场细分上分为了直播 +游戏、直播+电商、直播+品牌企也、直播+个人四种网络营销模式,这四种模式也将市场进 行具体的划分。322大数据营销目标市场(T)电子竞技直播主要以直播电子竞技为主,易游直播的受众主要为游戏用户,一直以工作 已婚男性为核心人群。这类
21、人群经济来源稳定、时间较充裕,而且消费能力较强。他们之间 有共同的语言、共同的兴趣,用户黏性十分强,传授双方的关系较为密切。然而,目前易游 直播的受众年龄范围日益扩大,以往的工作已婚男性已经成为用户基础。当前,伴随着电子 竞技在国内越来越火爆,除了青少年玩家增多之外,一些中年人甚至老年人也开始玩电子竞 技。一般来说,中年人和老年人并不是游戏的玩家。艾瑞咨询报告中的数据显示,我国游戏 直播受众中,40岁以上的用户占总人数的9.7%。3.2.3 大数据营销市场定位(P)直播平台是一个开放的平台,这给了很多人展示自我的一个空间。只要在任何领域有一 技之长,都可以在直播平台当主播。很多人工作中是白领、
22、是医生、是老师,而工作结束后, 摇身一变,成为直播平台上火爆的主播,拥有广大粉丝和观众。直播平台是一个开放的平台, 这给了很多人展示自我的一个空间。只要在任何领域有一技之长,都可以在直播平台当主播。 很多人工作中是白领、是医生、是老师,而工作结束后,摇身一变,成为直播平台上火爆的 主播,拥有广大粉丝和观众。在移动互联网技术普及和推广之后,易游直播改变原本的开展 模式,根据用户的需求展示内容,极大地满足了受众的视觉和心理需求,这也是易游直播能 在众多直播平台中站稳脚跟的原因之一。4数据源分析数据源1分析4.1.1 数据源特点易游APP数据1、易游直播在每个直播间抓取的数据维度包括标题、公告、链接
23、、主播、热度、订阅、 板块和关联直播间。直播数前五的板块分别是:王者荣耀、英雄联盟、和平精英、星秀以及CF手游,前七 的直播板块就已经占了总直播数的一半左右,说明大量板块的直播数量非常小,这里我们将 直播数量小于300的板块都归类到其他。在直播数占比较大的板块中,除了热门游戏而外就 是星秀、交友、颜值、户外和二次元,易游直播平台上大局部的直播内容仍然是以游戏和才 艺为主。L1.51% 4.71%各直播板块占比(其他”包括直播间数小于300的所有板块)及通王畲句 Attica如甲侬 UB州力速育塔3夫 Pn2、在指标层面,主播的平均订阅数约为22k,热度54k。根据订阅数和热度分出的TOP30主
24、播基本上和热门板块的占比相同,可以看出诸如王者荣耀等手游的TOP热度主播 较多而诸如英雄联盟等端游的TOP订阅主播较多,符合现在手游崛起的趋势。目录目录-2 -1大数据营销工程概述11.1 大数据营销公司简介11.2 品牌愿景11. 3 LOGO21.4 易游公司需要实施大数据营销的原因21.5 易游公司目前具备实施大数据营销的条件31.6 易游公司目前具备实施大数据营销不具备的条件31.7 易游公司需要实施大数据的数据源选择41.8 易游公司需要使用五大类大数据模型42预期想要合作的大数据平台52. 1大数据平台TDC 52.4 大数据平台TDC主要功能62.5 TDC大数据平台适合本公司大
25、数据业务的原因83大数据营销宏观环境分析93. 1大数据营销PEST分析93. 1. 1经济环境93. 1.2技术环境103. 1.3社会文化113. 1.4政治、法律环境113.2大数据营销STP分析 123. 2. 1大数据营销市场细分(S) 133. 2.2大数据营销目标市场(T) 143. 2.3大数据营销市场定位(P) 144数据源分析15订阅数TOP30的主播及类别王者钝王者钝 UFFmo 天胸制主机说我-g王方廓啾说 助S k _d3(嘛wa)MJE皆k言a鼻3、易游直播有关用户的昵称、等级、打赏、弹幕、观看时长、观看人数、观看种类等来分析用户数据。数据源主要指标易游APP数据第
26、一次注册时间性别等级最近观看日期每周观看时长2015/9/12172021/6/2928hr2015/9/15192021/6/3020hr2016/8/2132021/7/120hr2017/5/3142021/7/127hr2018/7/4102021/6/2927hr2019/7/392021/6/2727hr2019/11/9112021/5/325hr2018/10/492021/5/2928hr2020/5/282021/6/3023hr第一次注册时间性别等级最近观看日期每周观看时长2015/9/12172021/6/2928hr2015/9/15192021/6/3020hr20
27、16/8/2132021/7/120hr2017/5/3142021/7/127hr2018/7/4102021/6/2927hr2019/7/392021/6/2727hr2019/11/9112021/5/325hr2018/10/492021/5/2928hr2020/5/282021/6/3023hr男次次次次次次次次次 Q91868783Z; 幕 609053163- 常 342212212数次次次次次次次次次次 15P 494183461 322211321订打赏金阚3050元2550元1810 元550元200元340元80元110元50元数据指标1:第一次注册时间数据指标2:最
28、近观看日期数据指标3:每周观看时长数据指标4:弹幕次数数据指标5:订阅次数数据指标6:打赏金额数据源指标收集要求易游APP数据数据指标1收集要求:用户第一次下载APP,记录成为注册用户并验证手机号的时间编辑资料头像昵称虎牙号性别生日地区签名我的等级视频管理草稿箱绑定/修改手机我是一颗小虎牙hy_157088382 女1999年01月01日请选择请输入数据指标2收集要求:记录用户最近观看直播的日期我看过的删除今天数据指标2收集要求:记录用户最近观看直播的日期我看过的删除今天欢乐上分单排偶遇小姐姐心态O王者荣耀赛季末带粉渡劫王者以下只管来 曹操大表哥【曹不亏】日王者荣耀数据指标5收集要求:订阅次数
29、直播 动态A正在直播(1)二T最近爱看0猜你喜欢新华社24小时大型直播“风华正青春”【对面血池泡澡】20000生C暂未开播(o)数据源指标标准化规范易游APP数据数据指标标准化规范1:第一次注册时间,满足数据抓取条件时,将当日日期以 YYYY/MM/DD的形式写入到数据表中,存到数据列表的第一列“第一次注册时间”数据指标标准化规范2:用户最近观看日期,满足数据抓取条件时,将当日日期以YYYY/MM/DD的形式写入到数据表中,存到数据列表的第四列“最近观看日期”数据指标标准化规范3:用户每周观看时长,满足数据抓取条件时,将当周时长以XX 小时XX分钟的形式写入到数据表中,存到数据列表的第五列“每
30、周观看时长”数据指标标准化规范4:用户所发的弹幕次数,满足数据抓取条件时,将弹幕次数以XX 次的形式写入到数据表中,存到数据列表的第六列“每周观看时长”数据指标标准化规范5:用户所订阅的次数,满足数据抓取条件时,将当弹幕次数以XX 次的形式写入到数据表中,存到数据列表的第六列“弹幕次数”数据指标标准化规范6:用户打赏金额,满足数据抓取条件时,将打赏金额以XXX元的形式写入到数据表中,存到数据列表的第七列“打赏金额”。4.2数据源2分析421数据源特点421数据源特点微信(微信软文)易游直播,易游直播官方小程序。易游直播APP的小程序版。YY旗下直播平台,之前是叫YY直播,里面最热门的估计还是各
31、种大型游戏直播了。 易游直播,原名YY直播,YY旗下直播平台,上百款热门游戏、最新赛事直播,每天实时热 播精彩不停歇易游是中国第一家上市的游戏直播公司,旗下产品包括知名游戏直播平台易游直播、风 靡东南亚和南美的游戏直播平台NimoTV等,产品覆盖PC、Web、移动三端。其中,游戏 直播平台易游直播月活达1.5亿。如何借助于海量业务数据将全平台的优质内容与终端用户更智能、高效地连接起来,为 公司运营和业务开展提供更为有效的数据能力支撑,是易游大数据团队(下面简称易游)过 去和未来一直需要深入思考和探索的重要使命。为了达成以上愿景,易游选择与腾讯云 EMR数据源主要指标微信数据明细日期广告收益20
32、21/03/11665.21665.212021/03/10546.98546.982021/03/0960536605362021/03/08673.65673.652021/03/07557.69557.692021/03/06489.66489.662021/03/05668.47668.47时7B 14B 30B2021/03/05 - 2021/03/11 Orri分的加赤 八网站隹用命闪 雨各卸板块占比(“其他”包括直播间数小于300的所有板块)4.71% im王鲁m V4WS lOflW 秀 CF程 a id云漫之a 直世 m地下“5f上MW4A 三。引力“学匕然说871.78万
33、 日均:枫吟乂 357 万 口与序礼人18656.65万BWW人公8435万(Amit916.56:A1U.MMR蛆MX万KttV3“7.MWX94力rMc9,:“4037)D刁匕二9当*.二级说虎牙直播近30天数据统计 Source: toubang tv 2020/04/12游戏内容类直播头部平台优势明显,两家争夺C位艾媒咨询iiMedia Research2018Q4中国游戏内容直播主流平台一移动端月活跃用户比照月活跃用户量(万人)斗鱼百播 一虎牙直播 一熊猫亘播 企鹅电竟触手造播龙珠直播一战旗百播数据来源:艾媒北极星互联网产品分析系统()423数据源指标收集要求423数据源指标收集要求
34、徵信数据指标1收集要求:用户第一次登录,记录成为注册用户并验证手机号的时间15:03个人中心个人中心看蓝光画质 欢的主播 我看过的设置微信登录手机号登录账号密码登录取消数据指标2收集要求:记录用户完成第一次完成购物的时间15:03 个人中心 Q我是一颗小虎牙虎牙号:0我看过的设置O0直播视频我的15:03 视频动态0 CE),奈包英雄联盟手游王者荣耀英雄联盟 和【荣帼发财快报】手残玩猴也能光速四棍?孙 尚香手感优,上分我选自带泉水的ta【荣帼发财快报】手残玩猴也能光速四棍?孙 尚香手感优,上分我选自带泉水的ta久爱-预见【吕德华】提供O0O直播视频我的数据源指标标准化规范易游APP数据易游公司
35、旗下既有国内游戏直播平台易游直播,也有风行东南亚和南美的Nimo TV, “随着业务线的拓展以及业务在全球的持续展开,对数据的需求日益旺盛”。同一场景,不 同角色人员对某一场景都有一定程度的数据需求,因工作方向的着力点不同,故对数据的信 息量、聚合度有一定差异。易游公司是有专门的底层平台支撑团队,底层能力包括但不限于 上报SDK、接入通道、以及大数据计算平台等。当不同人员各自规划一些数据需求,通过底 层平台去实现数据采集、清洗、计算这样的工作,这就会导致两大问题:同一个场景出现多 源头数据,产生源头一致性问题以及资源浪费问题;同一份源头数据被不同逻辑处理解读导 致出现结果一致性问题,从而引起数
36、据信任危机。止匕外,在业务开展过程中,有些数据需求是现有数据无法满足的,存在多个技术团队有 相同需求,而彼此之间因为所属不同部门、工作职责不同,其信息分析、数据共享的机制欠 缺,所以多个团队去获取同一份数据,导致工作重叠和本钱浪费。易游的数据中台是在大数据计算存储平台hadoop以及云上对象存储的基础上构建,划 分为I、P、S三层结构。I层侧重于数据资源层建设,包括结构化和非结构化数据,由数据接入管理平台、数据 目录管理系统、数据地图产品、数据探索WeblDE、网盘共享工具等局部组成,围绕数据接 入、非结构化与结构化融合、数据治理和底层数据开放等核心点。P层侧重于数据资产层建设,包括主题式数据
37、服务、跨域数据标签,由数据交换消费系 统、自助式API系统等组成,围绕跨域能力、系统服务化等核心点。S层侧重于具象数据产品应用,面向产品、运营或技术人员直接提供数据报表、分析结 论,包括海思报表服务、自助提数服务、数据CUBE设计、自助分析系统等。而易游,除了业务常规做法外,在过程性方面建立了数据仓库建模规范,细化从ods- dwd-dwt-dwb-dwa-ods的建模细那么,并且在仓库建模过程中,根据主题化规划,进行模型拓 扑设计、定期评审整合,以此达成模型拓扑合理性以及复用效应。在结果性方面,分成“源”和“果”两个层面:“源”方面,针对接入数据源,采取了准入机制。数据需求人可在数据接入管理
38、平台录 入数据埋点等需求,在测试验收阶段可使用平台提供的消息筛选、自助校验等工具进行验收 准入,在上线后,平台会自动根据需求和验收情况对线上数据进行跟踪监控,让源的质量显 性可视,主要呈现在接入管理平台。“果”方面,针对开放数据,包括表、指标,提供数值性校验能力和指标比照性校验能 力,开放给中台客户可见,以达成“果”的质量显性可视,主要呈现在数据地图产品。4.1 数据源1分析15.1数据源特点一一易游APP数据 151.1 .2数据源主要指标一一易游APP数据 16. 3数据源指标收集要求一一易游APP数据 164.1 . 4数据源指标标准化规范一一易游APP数据 184.2 数据源2分析19
39、4. 2. 1数据源特点微信(微信软文)19数据源主要指标一一微信194. 2. 3数据源指标收集要求一一微信214. 2. 4数据源指标标准化规范一一易游APP数据244. 3数据源3分析264. 3.1第三方数据源特点一一问卷星数据263.2需求数据源主要指标一一问卷星数据275. 3. 3数据源收集后标准化规范一一问卷星数据293.4第三方数据源合作预算问卷星数据295大数据数据源整合分析(初步)305.1 用户消费能力分析(数据源1 &数据源2) 305.2 行业前景分析(数据源2 &第三方数据源3) 315.3 热搜榜单分析(数据源1 &第三方数据源3) 326大数据模型分析346.
40、1 行为事件分析(聚合模型)341. 1变量特点346. 1.2聚合模型概述341. 3模型5种情况的原因分析356.2 留存分析模型352.1留存分析模型在本公司的适用性356. 2.2留存模型中数据掩盖的危机 362. 3下钻分析376.3 点击分析模型384.3数据源3分析431第三方数据源特点问卷星数据网力h为 特点1:直播热门内容趋势追踪,快速了解直播内容的最新热点特点2:特点2:数据报告ISISHUH9RMMnraM281 每一日都会生成直播数据报告,快速了解当天主播的直播热度特点3:全方位的洞察直播的生态,开掘出热门的视频、直播以及优质账号。有效助力账号的运营变 现,品牌策略投放
41、。432需求数据源主要指标问卷星数据主播名称 开播时间开播时长 在线峰值观看人数直播点赞唐艺2021/6/29 19.353小时24分钟100.3W2347.6W 6134.6W舜帝利哥202V6/29 19.593示时 16分钟71.6W1671.1W16368.2W唐艺2021/6/28 20.102小时56分钟71.6W1816.6W6119.9W舞帝利哥 2021/6/25 19.593小时7分钟63.6W 1693.4W 5390.4W舞帝利哥202V6/27 20.014小时 19分钟56,6W1906.2W6258.5W胜仔2021/6/27 20.014小时8分钟56.5W18
42、29.1W4308.4W舞帝利哥2021/6/26 19.592小时 16分钟49.3W1276.8W4278.6W新闻联播2021/6/29 19.0554 分钟钟48.8W93.2W0新闻联播2021/6/26 18,241小时 15 分钟45.9W59.4W0数据指标1:直播人气数据指标2:礼物收入至痴名称礼物收入直播场次胜仔(承蒙厚爰)977.8W7;舞帝利哥1550970.2W7云福晋二1705.7W13三斤.505.8W10【高火火487.2W8.晨曦姐姐457.3W9神奇 Aha389.3W12数据指标3:涨粉量1达人名称粉丝皎布祝敝蒙提供外打费次+打黄金未龄豺粉性抵冷曲后好丝折
43、桂塔序,比例2 1XSGO9C597562324346205妁60853521465144 64,3安安敦等13747974119968565537229743037319442网4大期i 141593322462S9840035791540681瞅5)史受拐1392S32612432744139304191497675】2捌6学*15808181143075081580440814969001046M7 ;刘足105596999129031105349161405885154018小黄是复44081830033174325 第 71322X044049添南艺K1943131781929318
44、191737141461412228776 m10龄单班长:28168971lie17055072816915111140866 IN11东人197S91S134.88383%1916577102768111S6N12张履光33S5881234370?33S31031009964307M132821101191 第252815408895883466”14天元郑刚1889643217922565183091608365g54咖15彩虹大卸二0工:15232667154C099O782319225W16央板鼾现12-0843443165119255643 119977324741681062%闭火龙裳谣11269525510211952240126810437288036 M18nl3851IX4802331154293S41114725685 ,t fft tCTICC23W数据指标4:互动量23达人名称 人民日报 央祝新网