网页游戏广告系统的设计与实现.docx

申请上海交通大学工程硕士学位论文

网页游戏广告系统的设计与实现

学校代码：
10248
作者姓名：
鲍汝兴
学 号：
1110372011
第一导师：
姜丽红
第二导师：
梁海华
学科专业：
软件工程
答辩日期：
2014 年 7 月 4 日

上海交通大学软件学院
2014 年 06 月

A Dissertation Submitted to Shanghai Jiao Tong University for Master Degree of Engineering

THE DESIGN AND IMPLEMENTATION OF WEB GAME ADVERTISING SYSTEM

University Code：
10248
Author：
Bao Ruxing
Student ID:
1110372011
Mentor 1：
Jiang Lihong
Mentor 2:
Liang Haihua
Field：
Software Engineering
Date of Oral Defense：
2014-7-4

School of Software Shanghai Jiaotong University
June, 2014

房支 i,,::ff
$俨刷肉窑·＇」J翩。7 πii ,,;n ； 制组叫y
网页游戏广告系统的设计与实现

上海交通大学 学位论文原创性声明

本人郑重声明：所呈交的学位论文 ，是本人在导师的指导下 ，独立 进行研究工作所取得的成果 。除文中已经注明引用的内容外 ，本论文不 包含任何其他个人或集体己经发表或撰写过的作品成果 。对本文的研究 做出重要贡献的个人和集体 ，均已在文中以明确方式标明 。本人完全意 识到本声明的法律结果由本人承担。

学位论文作者签名： {1fa1!?Jl

日期： ！咱 年 7 月 呼 日

);: ,;fr 支 吾λ 辛
se－，，”？＇二 ，.， .您写啻 ，..，，；唱.吧· iiy
网页游戏广告系统的设计与实现

上海交通大学 学位论文版权使用授权书

本学位论文作者完全了解学校有关保留 、使用学位论文的规定 ，间 意学校保留并向国家有关部门或机构送交论文的复印件和电子版 ，允许 论文被查阅和借阅 。本人授权上海交通大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索 ，可以采用影印 、缩印或扫描等复制 手段保存和汇编本学位论文 。
以νr
“
打 内 框 方 上 以 在 请
（
密
保
不
于
属 文 论 位 学 本
保密口，在一一年解密后适用本授权书 。

叫文时名： W. 指导教师签名 ： 如W
日期：严i悔 7月 午日 日期：如i辞 7月 4 日

网页游戏广告系统的设计与实现 摘 要
随着网络游戏市场的发展，大量网页游戏推向市场，由于网页游戏比大型网游开发 成本低，周期短，导致市场上网页游戏数量急剧膨胀，竞争激烈。如何有效的向众多玩 家推广网页游戏，成为各大页游公司的重点工作，在这过程中发布网页游戏广告是一个 主要的推广手段。网页游戏广告的投放量巨大，广告商数量十分繁多，这就势必要使用 广告数据统计工具对广告的效果进行统计分析。目前市场上的主要广告统计工具只能统 计访问、点击量等数据，这些系统缺少办法把这些数据和游戏公司的网页游戏本身的运 营数据进行前后关联。游戏在运营过程中需要根据数据关联对广告的质量进行分析以及 根据分析的广告效果选择广告商，从而把有限的广告费用产生的效益最大化。这就使得 广告数据的监测、数据关联和效果分析成为一个十分重要的课题。
本文基于网页游戏广告的监测统计分析的业务需求，深入分析了广告监测统计分析 系统的现状，设计并实现了网页游戏广告系统。本系统实现了广告页面控制的模板化生 成和替换，广告页面的投放加速，广告数据的追踪采集，广告数据的分析，游戏业务数 据和广告数据的关联展示等功能，为游戏运营人员提供了一个方便，直观，简洁，准确 的网页游戏广告分析平台。本文工作包括如下几个方面：
第一，分析了为了达到网页游戏广告系统的各种需求，本系统所采用的关键技术， 包括Thrift远程过程调用框架，Hadoop分布式框架，负载均衡，反向代理缓存， POI,Velocity和协程的简要介绍。
第二，对网页游戏广告系统的用户需求进行描述分析，根据用户需求把系统切分成 不同部分，主要包含广告页控制，广告页投放加速，日志记录，日志分析，数据交换， 数据显示，系统管理等，使用用例图对模块的所有功能进行汇总，用用例描述的方式详 细分析了这些模块的具体需求，并分析了本系统的主要业务流程。
第三，在需求分析的基础上对网页游戏广告系统的总体逻辑结构进行了研究，详细 阐述了结合关键技术来设计各个模块的架构以及各个功能模块具体的设计和实现的过 程。同时根据需求和数据业务流程设计了本系统存储数据的数据库、表和字段信息。
第四，对系统的各个模块功能和性能进行测试，通过各种测试验证了本系统符合设

I

计要求。
本文设计的网页游戏广告系统基本实现了一个对广告投放，用户行为数据采集、分 析、展示的经济、可行的解决方案，它的可行性在实际应用中得到了证明。

关键词 广告系统，网页游戏，数据监测，数据分析

II

THE DESIGN AND IMPLEMENTATION OF WEB GAME ADVERTISING SYSTEM

ABSTRACT

Along with the development of the network game market, a large number of web games are published to the market. Because the development of the web game is lower cost and shorter cycle than MMO(Massively Multiplayer Online) game’s,so it has caused a dramatic market inflation. Moreover, the competition on the market is also intense between the web games. How to introduce a large number of game players into the web games effectively becomes key emphasis in work at every big company. Network game advertising is a major method of promotion in this process.The number of network game advertising was huge, and the advertisers are also manifold. It is necessary to use the advertising data statistics tools carrying out a statistical analysis for the effects of advertising. The main advertising statistical tools on the market at present can only count pv and uv, but game company web game operating data aren’t associated with them. In the process of game operation the quality of the advertising need to be analyzed according to the operational data. And then choose the advertisers according to the advertisement effect, so that the limited advertising benefits reach maximization. This makes the advertising data monitoring, data correlation and effect analysis becoming a very important subject.
In this thesis, based on the monitoring and statistical analysis of web game advertising requirements, an advertising monitoring and statistical analysis system has been analyzed and

III

designed.Templated AD page, web speed, replace control, data acquisition, data analysis and data association display have been implemented in this system which provides a convenient, straightforward, concise, accurate analysis of the web game advertising platform for the game operations staff. In this thesis, the research process is as follows:
Firstly, in order to meet the requirements of web game advertising system, the key technologies are analyzed, including Trift RPC framework, the Hadoop distributed framework, load balance, reverse proxy cache, POI, Velocity and coroutines are briefly introduced.
Secondly, the requirements for web game advertising system are analyzed. This system is divided into different parts, including advertising page control, advertising page speed, logging, log analysis, data exchange, data display, system management, etc. Design the use case diagram to summarize overall the function modules.The requirements of these modules are analyzed by detailed use-case description way, and the main work processes of this system are analyzed.
Thirdly, on the basis of the requiremnts analysis of the web game advertising system, overall logical structure was studied. The architectures of different modules are design by the key technology .The process of design and implementation of the different modules are also elaborated.At the same time according to the requirements and data process the system's database to store data has been designed, which includes the design of the system database table and table field information.
Fourthly, the function and performance of the system to be tested .The system is verified by the test and the system meets the design requirements.
An economic and feasible solution has been designed and implemented for user behavior data collection, data analysis and data display in web game advertising system. Its feasibility has been demonstrated in practical use.

Keywords Advertising System, Web Game, Data Monitoring, Data Process

IV

目 录

1 绪 论 1
1.1 研究背景和意义 1
1.2 国内外研究现状 2
1.3 论文研究的目标及主要内容 3
1.4 论文的组织结构及章节 4
1.5 本章小结 4
2 关键技术介绍 5
2.1 Thrift RPC 框架 5
2.1.1 数据类型 6
2.1.2 协议 6
2.1.3 传输层 7
2.1.4 服务端类型 7
2.2 Hadoop 分布式框架 7
2.2.1 HDFS 文件系统 8
2.2.2 MapReduce 计算框架 8
2.3 负载均衡 9
2.4 反向代理缓存 10
2.5 POI EXCEL 生成技术 11
2.6 Velocity 模板 12
2.7 协程 14
2.8 本章小结 14
3 系统需求分析 15
3.1 系统概述 15
3.2 系统目标 15
3.3 系统功能性需求分析 15
3.3.1 系统用例分析 16
3.3.2 广告页控制 16
3.3.3 广告页投放 17
3.3.4 日志记录 18
V
3.3.5 日志分析 19
3.3.6 数据交换 20
3.3.7 数据显示 21
3.3.8 系统管理 22
3.4 系统非功能性需求分析 33
3.5 系统流程分析 34
3.5.1 数据查询流程 34
3.5.2 数据分析流程 34
3.5.3 广告投放流程 35
3.5.4 玩家行为跟踪流程 36
3.6 本章小结 37
4 系统设计与实现 38
4.1 系统设计目标 38
4.2 系统设计的原则 39
4.3 系统逻辑架构 39
4.4 广告页控制设计与实现 41
4.4.1 广告页控制架构设计 42
4.4.2 模板设计与实现 42
4.4.3 静态页面生成设计与实现 43
4.5 广告投放加速的设计与实现 44
4.5.1 广告投放加速架构设计 45
4.5.2 缓存设计与实现 45
4.5.3 负载均衡设计与实现 46
4.6 日志记录服务的设计与实现 47
4.7 日志数据分析的设计与实现 49
4.7.1 日志类型 49
4.7.2 日志格式 50
4.7.3 日志分析流程设计 52
4.7.4 日志分析作业设计和实现 53
4.8 数据交换的设计与实现 55
4.8.1 数据交换的架构设计 55
4.8.2 充值信息交换的设计与实现 56
4.9 数据展示的设计与实现 58
VI
4.9.1 数据展示架构设计 59
4.9.2EXCEL 导出设计与实现 59
4.10 数据库设计 61
4.11 本章小结 63
5 系统测试 64
5.1 测试环境 64
5.2 功能测试 65
5.2.1 投放页面测试 65
5.2.2 广告页控制测试 66
5.2.3 数据展示功能测试 66
5.2.4 后台管理功能测试 67
5.3 性能测试 69
5.3.1 投放页性能测试 69
5.3.2 广告日志性能测试 69
5.3.3 日志分析子系统性能测试 70
5.4 本章小结 71
6 总结与展望 72
6.1 本文工作的回顾 72
6.2 成果及意义 72
6.3 存在的问题及下一步的工作 73
参考文献 74
致 谢 76
攻读学位期间发表的学术论文目录 77

VII

1 绪 论

1.1 研究背景和意义

截至 2011 年年底，我国互联网网民数量达到 3.13 亿人，其中约三分之一属于网络 游戏用户，2011 年我国网游市场实际销售总收入达到 428 亿元[1]。我国在线游戏参与者 的数目和行业收入的成长率和规模在整个世界上都位于前列，已经成为全球网络游戏产 业最发达的地区之一。大量的网络游戏推出市场，而其中近两年网页游戏的发展更是令 人瞩目。由于网页游戏比大型网游开发成本更低，周期短，导致市面上网页游戏数量急 剧膨胀，竞争激烈。如何有效的向广大玩家推广网页游戏，成为各大页游公司的重点工 作，而网页游戏广告是一个主要的推广手段。
网页游戏广告投放灵活，成本低，能够引起玩家的关注，流量巨大，时间和广告内 容形式等控制方便。由于网页游戏广告的投放量巨大，广告商数量也十分多，如何对广 告的质量进行分析，如何选择广告商，把有限的广告费用产生的效益最大化，而这些都 必须通过广告数据的监测统计分析来判断，如何实时监测游戏广告数据成为一个非常关 键的课题。
近年来在借鉴国外先进的广告监测分析技术的基础上，我国的广告监测分析技术也 有了显著地提高。但是由于各个公司的实力不同，有不少优质公司在技术上已经和国际 接轨，不再满足于数据的笼统分析监测，比如只监测访问量，点击量等。它们希望更细 粒度的数据监测和分析，比如和业务数据相关联以及可以进行对比分析等。而有些企业 技术和资金实力有限，对广告数据的监测水平不高，只能以基本的数据作为统计目标。
本文中研究的网页游戏广告系统由网页游戏运营部门提出具体需求，用来解决运营 部门无法及时掌握网页游戏广告投放效果，以及导致其不能更有效地对广告投放推广进 行资源和成本控制的问题。本系统提供的报表能从四个方面对广告效果进行统计分析满 足业务需求：广告时段比较分析，广告类型比较分析，渠道比较分析，业务效果分析。 广告时段分析比较是指对广告在不同时间段的数据进行对比，能发掘广告曝光的最佳时 段，为运营人员提供广告投放的正确时机，抓住热点时段的玩家，提高广告投放的有效 性和效果。广告类型比较分析指对弹窗广告，富媒体广告进行比较，让运营部门能够及 时掌握不同类型的广告流量，玩家兴趣点与质量，为不同类型的广告的转换率的分析提 供依据。渠道比较分析指从多个角度对比、分析不同广告渠道、形式的广告推广效果，

1

帮助运营人员针对现有广告投放策略做出理性分析与调整，争取实现最优化的推广、最 大化的效益。业务效果分析是指把广告数据和游戏系统业务数据进行关联，对用户在整 个游戏访问过程中的过程进行跟踪和轨迹分析，计算最终玩家的转化率和不同分析模型 下玩家成本。本系统日访问量比较大，完成本系统需要面临几个问题：如何在大访问量 的情况下提供稳定的广告投放页面展示，如何在大访问量时收集玩家访问广告的日志数 据？对收集的大量日志数据如何进行有效快速的分析？怎样展示分析的数据给游戏运 营人员？业务系统的登录，充值数据如何获取？如何快速的根据监测测分析的数据，快 速的更换广告？这几个问题的解决，成为本系统能够完全达到运营人员的需求的关键。 因此本文将围绕如何解决这些关键的问题进行分析，探讨和研究。

1.2 国内外研究现状

在国外，经过 20 多年的发展，互联网已经深入到日常生活的方方面面，在网络媒 体上投放广告越来越多，对广告效果进行评估和分析变得日益重要。目前，从事广告效 果评估分析的国外主要产品有谷歌统计，雅虎统计等。
谷歌统计是一个全面的网站监测分析解决方案。它的目标是跟踪销售和转化情况， 根据广告主定义的阈值来衡量网站的用户参与度。它根据关键字、搜索查询、匹配类型 等方面的点击后数据来优化广告主的 AdWords 广告效果。AdSense 报告可向广告主表 明哪些网站内容产生的收入最高,跟踪 EDM（电子邮件营销）广告系列、Banner（横幅） 广告和离线广告等等。跟踪带来交易的广告系列和关键字，获取客户忠诚度和等待时间 指标，确认最佳收入来源[2]。
雅虎统计也被称为量子恒道，它是一个完全免费的站点访问数据统计分析系统。致 力于提供网站流量追踪、统计、分析等专业功能给所有个人博客、个人网站、大型站点 管理者、第三方统计等用户。大量的站点数据经过量子恒道的统计分析，能很大程度上 分析用户访问站点的轨迹和搜索引擎爬虫抓取网站内容的轨迹，并结合互联网销售策 略，为网站运营、广告投放、产品推广等方面的决策提供参考。统计系统提供的主要功 能：提供全部统计网站流量概览、统计网站管理、提取统计脚本等功能。量子恒道网站 统计所有的统计报告都提供导出报表数据的特性，并且报告都有自动浮动的说明功能， 帮助使用者快速的理解报表的含义[3]。
国内的互联网经过 10 多年的发展，电子商务，网络游戏高速发展，形成了巨大的 广告市场，随之国内的广告统计系统也发展壮大，目前主要有百度统计，CNZZ 统计， 51 啦等。
百度统计是百度发布的一个免费的监测分析网站流量的工具，能够告诉网站所有者

2

用户是怎样发现并访问自己的网站，在页面上做了哪些操作，工具提供了这些数据，可 以帮助网站所有者改进访问者在他们的站点上的用户体验，从而逐步提高站点的投入产 出比。百度统计工具提供的服务主要有：来源分析、流量分析、网站分析等多种多样的 分析功能,使用者进入系统后提取统计代码并遵照提示完成添加统计脚本，百度统计追踪 收集数据功能立即生效，为用户提升投入产出比提供决策参考[4]。
CNZZ 统计包括站长统计，全景统计，广告统计，移动统计，其中为广大互联网广 告投放者特别设计开发的广告效果统计系统是广告效果分析。该系统帮助在各种网站上 投放搜索引擎关键字广告、EDM 广告、内容展示广告、互联网品牌推广等的广告投放 者提供精准而富有成效的广告活动成效分析和广告成效数据统计。让广告投放者可以非 常方便的掌握广告产生的的成效以及广告产生的收益，广告投入与成效的比较等非常重 要的深层次的数据，成为广告投放者投放互联网广告决策的参考。为广告投放者节约费 用，将广告费用花在最有价值的地方[5]。
51 啦是知名网站监测分析技术服务商，它是完全免费的，它为各种互联网网站提供 丰富的网站监测统计分析。它包括点击量，客户端，流量源，关键词，被访页，明细等 常规功能,它也有一些独有功能如升降榜，排名，史和列，引用，多 ID 等[6]。
无论国外还是国内的产品目前都有一个明显得缺点，它们不能和具体的运营销售数 据相关联，不能很直接的得出通过广告获得的效益，本文所论述的系统正好解决了这一 问题。

1.3 论文研究的目标及主要内容

论文通过对网页游戏广告系统系统的分析，结合广告应用的特点，设计并实现了针 对网页游戏的广告统计分析平台。因为大量的广告日志数据需要系统处理, 性能问题成 为需要考虑的重点技术问题。网页游戏广告系统使用一个单独的服务进行数据采集，通 过研究 Hadoop 的分布式大数据处理架构来分析收集到的广告日志数据，对分析的数据 进行各种维度展示，通过研究模板技术来实现了广告页的管理和更新，并结合负载均衡 和缓存技术实现广告页的快速访问，通过外部系统提供的远程调用接口，实现和外部其 它相关业务系统的集成。
详细的研究内容包括以下几个部分：
(1) 分析国内外广告系统的现状，结合网页游戏运营的特点，及相关业务系统的接 口要求，分析网页游戏广告系统的流程和需求功能；
(2) 对网页游戏广告系统相关的关键技术进行介绍；

3

(3) 总体设计网页游戏广告系统的整体逻辑架构，详细设计网页游戏广告系统的各 个关键模块的功能和流程，以及和外界会员系统、充值系统以及游戏运营系统的集成；
(4) 根据详细设计，具体实现网页游戏广告系统，并和游戏运营平台的其他系统进 行衔接，在具体运营中验证和改进系统；

1.4 论文的组织结构及章节

第一章) 绪论。介绍了网页游戏广告系统的背景及研究的意义，通过对国内外的行 业现状的调研，提出了研究的目标和内容。
第二章) 关键技术介绍。对网页游戏广告系统中运用到的 Thrift 框架，Hadoop 框架， 负载均衡，反向代理缓存，Excel 生成，Velocity 模板和协程等关键技术进行了简单的介 绍。
第三章) 系统需求分析。对网页游戏广告系统的各方面进行了需求分析，通过开会， 邮件，界面原型确定系统的功能性需求和非功能性需求，并采用了 UML 用例图对需求 进行汇总，以及使用用例描述的方式详细分析了需求。
第四章) 系统设计和实现z。hi介 k绍u 了qu系an统 2的01整50体72逻1 辑架构，各个功能的架构，设计和 实现以及数据库表的的设计。
第五章) 系统测试。详细描述了系统的各个功能和性能的测试。
第六章) 总结与展望。对整个系统进行了总结，分析了不足，和未来系统需要改进 的地方。

1.5 本章小结

本章分析了课题的研究背景和意义，回顾介绍了国内外的现状，对系统研究的目标 和内容进行了描述，最后列出了全文的结构。

4

2 关键技术介绍

2.1 Thrift RPC 框架

RPC（远程过程调用）是一种允许运行于一台计算机的程序调用另一台计算机的方 法的计算机通信协议。Apache Thrift [7][8] 是一个开放源代码的 RPC 框架，最初由 Facebook 开发并应用, 它采用 IDL（接口定义语言）描述服务，支多种语言的服务开发， 在常见的语言（如 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk）中它所包含的代码生成引擎可以创建高性能的、简洁的服务。它的数据采用 Binary(二进制)格式，在同样内容的情况下比 XML 更小，在高并发，大流量，多语言的 条件下，优势明显。
Thrift 包含一系列工具和 API 用于创建 Client 和 Server。图 2-1 描绘了 Thrift 的整 体架构。

zhi ku quan 20150721

图 2-1 Thrift 架构

Figure 2-1 Thrift architecture

5

如图所示，图中第一层是应用实现的服务逻辑，上面二三两层是根据 Thrift 定义 的 IDL 生成的 Server 和 Client 代码框架。四层以下是 Thrift 的底层通信协议和 IO 操作， 使用 Thrift 可以定义一个服务在不重新产生代码的情况下选择不同的传输协议和传输 层。
Thrift 服务器的基础设施绑定了传输层和协议，它以不同的模式运行在服务器上， 如非阻塞、阻塞、单线程和多线程。它可以单独运行，也可以在现有的 J2EE 服务器上 运行。

2.1.1 数据类型
Thrift IDL 中可以使用的数据类型包括下列多种类型，如表 2-1 所示：
表2-1 Thrift数据类型

Table 2-1 Thrift data type

分类
Thrift 类型
JAVA 类型
说明
基本类型
Bool
boolean
布尔值，true 或 false

Byte
byte
8 位有符号整数

i16 zh
ku qusahonr t201507
21 16 位有符号整数

I32
int
32 位有符号整数

I64
long
64 位有符号整数

Double
double
64 位浮点数

String
String
不确定编码的文本和 Binary 字符串
结构体类型
Struct
JavaBean
对象的定义，和 C 语言结构体相似
容器类型
List
ArrayList

Set
HashSet

Map
HashMap

异常类型
Exception
Exception

服务类型
Service

服务类

i

2.1.2 协议
Thrift 允许用户选择不同类别的 Client 与 Client 之间 IO 传输通信的协议，总体上文 本 （text） 和二进制 （binary）协议是常见的两类传输协议。常用协议如表 2-2 所示：

6

表2-2 Thrift传输协议

Table 2-2 Thrift transfer protocol

协议
说明
TBinaryProtocol
二进制编码格式协议
TCompactProtocol
高效率的、密集的二进制编码协议
TJSONProtocol
JSON 的数据编码协议

2.1.3 传输层
Thrift 常用的传输层如表 2-3 所示：
表2-3 Thrift传输层

Table 2-3 Thrift transfer layer

传输层
说明
TSocket
使用 Blocking（阻塞） I/O 进行传输
TFramedTransport

zhi ku quan 2
使用 Non-Blocking（非阻塞）方式，类似于 Java 中的 NIO，按块的大小进行传输
0150721

2.1.4 服务端类型
Thrift 常见的 Server 类型如表 2-4 所示：
表2-4 Thrift服务端

Table 2-4 Thrift server

服务端类型
说明
TSimpleServer
使用标准的阻塞式 I/O，单线程服务器端
TThreadPoolServer
使用标准的阻塞式 I/O，多线程服务器端
TNonblockingServer
使用非阻塞式 I/O，多线程服务器端

2.2 Hadoop 分布式框架

Hadoop 是对大数据进行处理的软件系统，它是 apache 的开源软件之一，开发人员 开发 Mapreduce 程序来分析特定的数据，而对于 Hdoop 的内部运行机制不需要详细了解， 最大限度使用 HDFS 的存储和 Mapreduce 的计算能力 [9] 。

7

2.2.1 HDFS 文件系统
Hadoop 由许多组件组成，其中最基础的是 Hadoop 分布式文件系统 （HDFS）其他 组件都是建立于它之上， HDFS 的设计来源于 Google 文件系统（GFS） [10] 。 HDFS 的架构设计采用 master-slave 结构，master 节点称为名称节点，它只有一个，实际的文 件数据它并不存储，而只是系统内的各种文件的元数据由它负责记录和跟踪。数据存储 于 slave 数据节点上。在 HDFS 上数据块（block）是数据的基本存储单位，64MB 是每 个数据块默认大小。HDFS 的 Namespace（名称空间）由名称节点管理，它控制对文件 和目录的各种操作。它将数据分配到各数据节点上，并存储对应的关联信息。数据节点 则负责存储分配给它的数据，并响应读写请求。例如，我们想要存储一个 132MB 的数 据在 HDFS 上，按照这个大小，会被分成 64M、64M、4M 三个数据块。它们会被名称 节点分配到数据节点上，并记录关联信息。客户端在安装 HDFS 后可以读这个数据，首 先从名称节点获取数据的元数据信息，包括数据块的序号和所在的数据节点，然后用这 些信息，从相应的数据节点直接读取这些块。

2.2.2 MapReduce 计算框架

zhi ku quan 20150721

MapReduce [11] （MR）是一个进行分布式数据处理的框架。同 HDFS 一样，它的
架构也是基于 master-slave 模式。master 是一个控制节点称为作业节点，负责协调多个 任务节点之间的计算处理活动。作业节点接收到处理的输入数据的指令，输入的数据被 划分成更小粒度的块，比如行，所有这些小块数据被分布在多个任务节点上同时进行处 理。 这一步被称为“映射(map)”。任务节点将完成结果信息返回给工作节点，工作节 点再指派任务节点来聚合这些数据，并计算出最终结果。这一步被称为“化简(reduce)”。 “映射”的输出被分别写入到“化简”。MapReduce 应用必须至少提供如下输入参数：
输入数据的路径。
Map Reduce 函数的具体实现，以及自定义配置文件。 输出数据的路径。
在 MapReduce 中，“映射”函数的输入输出是以键值对 <K, V>形式出现的，“化 简”函数的输入输出，也是 <K, V> 键值对形式出现的。

8

2.3 负载均衡

负载均衡是由若干台 web 服务器以并列的方式组成的一个大的服务集群，每台服务 器都具有同等的功能，提供一致的服务，在不需要其他服务器的协助下单独对外提供服 务。
在 web 服务器承担比较高的负载的时候,为了提高服务的整体性能,负载均衡集