netty开发文档-详细设计.doc

.

项目名称：基于netty的网络通信
项目开发级别|：A
制作时间：2015.07.21
制作人：黄浩
基于netty网络通信-服务端开发文档
详细设计说明书
评审人： 日期：

批准人： 日期：

Revision Record 修改记录

日期
时间
修改目录
修改描述
作者

目录
1 引言 4
1.1 编写目的 4
1.2 背景 4
1.3 参考资料 4
1.4 术语定义及说明 4
2 设计概述 5
2.1 任务和目标 5
2.1.1 需求概述 5
2.1.2 运行环境概述 5
2.1.3 条件与限制 5
3 系统详细需求分析 5
3.1 详细需求分析 6
3.2 接口需求分析 7
4 总体方案确认 7
4.1 系统总体结构确认 7
5 系统详细设计 8
5.1 系统设计-netty服务端具体分析流程图 8
6 信息编码设计 9
6.3 代码结构设计 9
6.4 代码编制 9

1 引言
1.1 编写目的
(1) 手机APP的socket网络框架（本项目中必须）
手机发送图片 视频 音频等到服务器,双向传输。
(2) 基于网络的远程调用和通讯，模拟出远程接口RMI（基于dubbo网络通讯的补充）
1.2 背景
A. 基于netty的网络通信；
B. 用于网络通信，即时通信，长连接等；
1.3 参考资料

1.4 术语定义及说明
Netty服务端，数据推送，即时推送，手机连接总服务器等。
2 设计概述
2.1 任务和目标
此设计主要针对于netty作为服务端支持客户端长连接，在此基础上定义通信协议和通信架构以及网络通信层次；netty作为高并发的网络通信框架，必须做到及时的，安全的，可靠的数据读写操作 ，客户端的连接支持必须达到百万以上。
2.1.1 需求概述
其一：目前在开发手机端项目的时候需要涉及到和总服务端的通信，此通信用于传输图片，视频等，考虑到手机端开发比较严谨，无法加载庞大的jar文件，那么所有的压力都必须在服务端；
其二：此通信可用作暂时的即时通讯传输数据，通过双方传递参数的形式模拟远程方法的调用，这点的设计主要是针对客户端IP无法稳定，必须单向通信达到双向调用。
2.1.2 运行环境概述
作用于软硬件之间的通信，或者软件与软件之间的通信，可以跨平台访问，不受操作系统的限制，数据库方面可以采用mysql或者oracle等，作为netty的服务端必须放置于大型的计算机处理下-俗称机房服务器；作为客户端无严谨的要求，但是必须提供通信接口，比如能tcp连接或者udp连接。
2.1.3 条件与限制
作为netty的服务端，他对硬件的要求比较高，对内存的要求也比较高，他的连接数量取决于服务器cpu*2的数量，对于虚拟内存（jvm或者其他语言）需要控制和调优，或者做到实时修改和按照连接数量修改。
3 系统详细需求分析
对于移动端可以有以下几点：
1. 使用的网络主要是运营商的无线移动网络，网络质量不稳定，例如在地铁上信号就很差，容易发生网络闪断；
2. 海量的客户端接入，而且通常使用长连接，无论是客户端还是服务端，资源消耗都非常大；
3. 由于谷歌的推送框架无法在国内使用，Android的长连接是由每个应用各自维护的，这就意味着每台安卓设备上会存在多个长连接。即便没有消息需要推送，长连接本身的心跳消息量也是非常巨大的，这就会导致流量和耗电量的增加；
4. 不稳定：消息丢失、重复推送、延迟送达、过期推送时有发生；
5. 垃圾消息满天飞，缺乏统一的服务治理能力。
对于pc端主要作用于项目之间的接口调用（模拟）他与RMI有着质的区别，这里不做解释。
3.1 详细需求分析
总共可以定义为以下几点：
· a.详细功能需求分析
· 数据之间的传输，实时性，容错性为最主要的功能.远程接口参数的传输，传递参数到接收方，对方在本地通过参数解析后根据内部定义的协议来决定具体做什么事。
· b.详细性能需求分析
· Netty性能取决于计算机内存和cpu以及运行环境的虚拟内存，他本身是支持百万级别的连接，但是需要针对业务来调优，比如设置jvm参数，调试tcp参数，在具体代码中对进程和线程的控制以及管理，在长连接中合理的心跳设置等。
· c.详细系统运行环境及限制条件分析
· 服务端以netty开发，设置线程连接总数，之后是放于linux环境下，
百万长连接接入，首先需要优化的就是Linux内核参数，其中Linux最大文件句柄数是最重要的调优参数之一，默认单进程打开的最大句柄数是1024，通过ulimit -a可以查看相关参数，示例如下：
[root@lilinfeng ~]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 256324
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024

......后续输出省略
当单个推送服务接收到的链接超过上限后，就会报“too many open files”，所有新的客户端接入将失败。
通过vi /etc/security/limits.conf 添加如下配置参数：修改之后保存，注销当前用户，重新登录，通过ulimit -a 查看修改的状态是否生效。
* soft　　nofile　　1000000
* hard　　nofile　　1000000
需要指出的是，尽管我们可以将单个进程打开的最大句柄数修改的非常大，但是当句柄数达到一定数量级之后，处理效率将出现明显下降，因此，需要根据服务器的硬件配置和处理能力进行合理设置。如果单个服务器性能不行也可以通过集群的方式实现。
3.2 接口需求分析
· Netty目前作用于移动通信，快去住网站接口访问，酒店数据库与总系统数据传输。在移动端主要作用于数据流的传输，在pc项目中主要用于传递参数调用接口来实现数据双方的实时性。
· 移动端
· A.图片上传
· B.视频上传
· C.文件下载
· Pc项目端
· A.酒店房间状态
· B.房费
· C.酒店基本信息
· D.更新包下载
4 总体方案确认
通过netty做服务端，以端口的形式等待客户端连接，通过心跳包数据确定是否保持长连接，在此过程中对安全性，双方认证等都是通过定义通信协议来保证。以实时性和容错性作为主体思想来设计netty服务端。
4.1 系统总体结构确认
系统组成分为2块，netty服务端，通信客户端。在服务端的架构层次分为通信层，网络协议层，传输层，数据解析层以及应用层。在服务端开放端口等待客户端的连接，通过解析通信协议确定认证连接，对于连接上的客户端以心跳包数据的形式保持长连接状态，以心跳周期来确定连接性能，控制服务端连接压力；需要注意的是在移动应用中，网络状态不是特别的理想，这里需要考虑断线的情况，在百万长连接的推送系统中，服务端需要能够正确处理这些网络异常，设计要点如下：
客户端的重连间隔需要合理设置，防止连接过于频繁导致的连接失败（例如端口还没有被释放）；
客户端重复登陆拒绝机制；
服务端正确处理I/O异常和解码异常等，防止句柄泄露.
5 系统详细设计
5.1 系统设计-netty服务端具体分析流程图

图为netty工作流程图

图为netty消息推送流程图
6 信息编码设计
6.3 代码结构设计
系统总共分为2个大包：服务端和客户端，这里只介绍服务端。项目类分为：nettyserver，ServerHandler，字节流解析类（输入和输出），通过spring来管理nettyserver；在服务端有解析层和接口层以及接口实现层。
6.4 代码编制
bootstrap = new ServerBootstrap(
new NioServerSocketChannelFactory(
Executors.newCachedThreadPool(), //boss 监听请求，并分派给slave进行处理
Executors.newCachedThreadPool()//slave 处理请求，将其丢到线程池中处理
)
);
这段代码主要为netty工作线程。
bootstrap.bind(new InetSocketAddress(port));
这为服务端开启端口，bind方法可以重写.
最重要的是ChannelPipelineFactory的设计和编写。
在继承SimpleChannelUpstreamHandler的时候需要注意与spring的结合。通信通道是否保持一致。
部分内容来源于网络，有侵权请联系删除！