大华监控云存储部署方案.doc

1 云存储
1.1 产品形态
一套完整云存储系统包括元数据服务器,云存储数据存储节点
l 元数据服务器:
DH-CSS9064X(最常见）
l 云存储数据节点:
最常见的型号为DH—CSS7024S—ERD,长的和EVS、NVR差不多，其它还有36盘位、48盘位
DH-CSS7024S—ERD（最常见）
1.2 云存储组网
1.2.1 确认数据节点型号
通过标签或者网口数量判断是否为直存设备：
l 通过存储节点标签标注的信息判断:
其中直存型号包括：DH—CSS7124S-ERD,DH—CSS7124S—10GERD,DH—CSS7124S-ESD…
即最后一位是“D”结尾的设备支持直存
l 通过存储节点的网卡数量判断：
直存设备一般有9个网口（其中一个是web口）,带万兆光口的存储节点有7个网卡(其中一个是web口）
只有5个网卡的设备一定是转存的设备
1.2.2 组网说明
a) 元数据服务器：最新的机器正常情况下3、4两个网口作为心跳口，两台元数据服务器之间用两根网线直连；1、2两个网口接到存储段交换机,交换机上对应端口需要做链路聚合.

心跳网口网线直连
注：如果是早期的元数据服务器，心跳口可能是1、2网口，请根据实际情况判断。
b) 云转存节点：4个网口插满接到存储交换机，交换机上对应的4个端口做链路聚合;WEB口不插网线。
c) 云直存节点：Ex1、Ex2、Ex3、Ex4四个网口做成一组绑定，一般做存储网段，四个网口插满接到存储交换机，交换机上对应4个端口做链路聚合；1、2、3、4四个网口做成一组绑定,作为业务网段（与存储网段不在同一个子网），其中任意两个接到业务段交换机,交换机上对应2个端口做链路聚合；WEB口不插网线。
直存节点组网连接图，存储端接满四根网线，业务端至少两根网线
云存储搭配实战平台和公安平台使用时，为避免公安网应用等问题,可以采用同网段部署,不区分业务和存储网段（即存储和业务用同一个子网）(如下图)。
PS：公安平台客户端云下载及实战客户端都需要访问sdk接口上传及下载，存储节点配置双网卡后默认网关是业务段的,导致客户端无法访问存储段ip.
云转存组网图(以双网段为例)：
云转存的常见组网方式（以标准部署双网段为例)如下图所示，流媒体服务器需配置两个网段，一个是业务网段和前端业务进行通信,另一个是存储网段，用于云存储内部通信使用.
存储网段在vlan1,业务网段在vlan2，vlan间通过三层互相通信，流媒体服务器必须采用双网段，元数据服务器能够访问到平台
存储交换机独立，采用双网段
云直存组网图（以双网段为例)：
云直存的常见组网方式如下图所示，云存储节点上需要配置两个网段,一个是业务网段和前端业务进行通信,另一个是存储网段，用于云存储内部通信及数据交互使用。
云直存转存混合部署组网（以双网段为例)：
1.2.3 FAQ
Q:云存储为什么要采用双网段部署
A：云存储数据恢复的速度达到TB/小时，所以采用存储网络和业务网络分开部署，避免存储数据节点之间大量数据交互影响正常业务功能使用.
Q：云直存是什么，和EVS直存是一样的吗，转存和直存的区别是什么
A：云直存和EVS直存完全不一样,EVS只是把录像本地，云直存把前端码流拉过后需要通过存储网络把数据切片分别存储到各个云存储数据节点。
直存和转存区别在于直存节点在提供数据存储的功能外，集成了流媒体转发功能,即云直存=云转存+流媒体服务器
参考下图：

直存节点=转存节点+流媒体服务器
因此,直存节点节省了流媒体服务器,同时，在保证转发性能的基础上，直存节点和转存节点可以混合部署。
Q:云直存的转发性能是否有折扣，现场的卡口是否可以挂在云直存上
A：云直存硬件上做了提升，转发性能也能达到700Mb。云直存也支持图片转发，但是视频服务器和图片服务器只能开启一个.
1.3 设备IP配置
设备到位后，提前规划好ip(以直存为例），修改设备ip信息
例如ip规划如下：
设备信息
存储网段
　业务网段
元数据服务器1（CSS9064）
172.25.2.10

元数据服务器2
172.25.2。11

虚拟ip
172。25.2.12

目录ip
172。25.2.13

存储节点1（CSS7124S-ERD）
172.25。2。61
33。174。99.61
存储节点2
172。25。2。62
33。174。99。62
存储节点3
172.25。2.63
33.174。99。63
存储节点4
172.25。2。64
33.174。99。64
存储节点5
172.25。2。65
33。174.99。65
存储节点6
172。25。2.66
33。174.99.66
流媒体服务器1
172。25.2。67
33。174。99。67
流媒体服务器2
172。25。2。68
33.174。99.68
存储节点：
（一）通过web界面修改
2015年12月后生产的直存存储节点集成了dss模块，可以通过网线直连1号网口（注意:不是ex1网口）,在ie浏览器输入192.168。0。110/config打开配置界面，修改绑定网卡1(业务段ip地址）和绑定网卡2（存储段ip地址）的ip（注意:保存时提示输入eht1的ip地址时,随意配置一个即可）
绑定网卡1:输入对应业务ip地址
绑定网卡2:数据对应存储ip地址
eth1网卡随意配一个地址即可：
（二)通过ipinstall工具修改
使用方法：
1、安装ipinstall
2、笔记本直连元数据服务器第一个网口(无法搜索到设备则换一个网口）
3、打开ipinstall，可以搜索到对应的设备
4、双击需要修改ip的设备，填入对应的ip，子网掩码，网管，输入密码（12个8），点击修改即可(如果提示修改失败,请点击右上角刷新页面）
5、如果无法搜索到ip,则需要手动修改.
（三）手动修改ip方法一：
1）首先通过串口登录（或者网线直连存储节点1号网口,默认ip192。168。0.111），通过终端模拟软件（CRT或xshell)登陆，用户名admin 密码888888888888
输入密码：
弹出如下界面,选择Network Configuration
选择yes
输入对应ip信息:
Ip address：ip地址
Netmask：子网掩码
Gatway:网关
输入完毕后选择“OK”，按回车键报错配置信息
（四)手动修改ip方法二：
1)首先通过串口登录(或者网线直连存储节点1号网口，默认ip192。168.0。111)，通过终端模拟软件（CRT或xshell)登陆，用户名root 密码dahuacloud
2）修改网卡配置文件： vi /etc/network/interfaces
3）按“i"进入编辑模式，修改bond0和bond1的ip，子网掩码，网关，bond0为业务ip，bond1为数据ip
4）修改完毕后，按“esc”退出编辑模式，然后按“："再输入”wq“保存退出
5）输入：xconf —s /etc/network/interfaces 保存配置到dom盘
6)重启网卡：/etc/init.d/networking restart
7）输入:ifconfig 查看ip信息
元数据服务器：
l 通过ipinstall修改ip
l 手动修改：
1）通过网线直连1号网口（或者3号网口),默认ip192.168.0.110，通过终端模拟软件（CRT或xshell）登录，用户名root 密码dahuacloud
2)修改网卡配置文件： vi /etc/sysconfig/network-scripts/ifcfg-bond0
3)按“i"进入编辑模式，修改bond0的ip，子网掩码，网关。
4)修改完毕后，按“esc"退出编辑模式，然后按“：”再输入"wq“保存退出
5）重启网卡：/etc/init。d/network restart
6）输入:ifconfig 查看ip信息
IP配置完毕后请按照云存储组网方式通过网线把设备和交换机互连。
1.4 系统配置
根据配置好的ip信息：
设备信息
存储网段
　业务网段
元数据服务器1
172。25。2。10

元数据服务器2
172.25。2。11

MDS虚拟ip
172。25.2.12

CS虚拟ip
172。25.2。13

在chrome浏览器输入：172。25.2。10/EFS/Install。html
u 本地IP ：元数据服务器1的实际ip
u 对端IP ：元数据服务器2的实际ip
u MDS虚拟IP：已经规划好的MDS虚拟ip
u CS虚拟IP:已经规划好的CS虚拟ip
输入对应的ip后点“确定”，配置需要一分钟,请耐心等待。
配置完成后可以通过csip/EFS即 172.25。2。13/EFS登录云存储运维界面
第一次登陆运维因为没有添加存储节点，对外sdk端口显示关闭,所以打红叉是正常的.
添加云存储数据节点的ip
新增节点ip后点击“添加”即可，so easy！根本不需要建riad等其他操作,动态扩容也是添加ip就行！
存储节点添加完毕后系统容量自动识别：
存储用户容量分配：
添加存储用户（类似于网盘)：
适用场景：一套云存储对接多个平台（如—C，-T，实战平台）,一个平台对应一个存储用户，就相当于我们每个人都有属于自己的个人网盘
用户名：例如dss—c，默认存储用户root,不可删除.
权限：私有-其他用户不可见；可读—其他存储用户可以搜索到本用户的bucket；可读写—其他用户可以把数据写到本用户
密码：输入密码
密码确认：确认密码
昵称：例如公安平台
Bucket数上限：配置1000000即可,不够再加
容量上限:你就是管理员，根据数据量分配大小
1.5 配额上限设置
1、总容量（磁盘格式化后的可用容量）
2、存储节点容量之和
3、用户可配容量上限:容量3=容量1＊0。8*0.9*1024
（0.8是系统利用率,0.9是云存储需要预留10%容量作为系统恢复空间,1024是单位转化为G)
1.6 云直存分布式配置
l 浏览器打开分布式流媒体配置界面，
例如：http：//172。5。4.51/config/，用户名：admin 密码：123456
l 存储配置分页中，配置云存储
目录服务器地址：cs虚拟ip
端 口:默认38100
用户名：root或者其他用户名
密码：123456
N+M模式：4+1
l 配置从模式：
ip地址:填写本地业务段ip地址
扩展地址:填写本地存储段ip地址
填写完毕后点击“应用”，设备将会重启
设置“从模式"后，可以在中心平台管理界面搜索到对应从服务器
注意：视频服务器和图片服务器只能启用一个（只能用于转发视频或者转发图片）。
点击“编辑"按钮，可以启用从服务器
服务器类型:可选用归属服务器(默认）、备用服务器(冗余考虑）
是否启动:是否启用从服务器的视频/图片转发功能
可选备用服务器：可以把172.5.4.45设置为172.5。4。44的备用服务器,44宕机后,45自动接管。
1.7 平台对接云存储
l 登录—C管理端下载配置工具
l 登录DSS—系统配置工具,配置云存储
云存储配置：
IP地址：云存储CS虚拟ip
端 口:38100
用户名:存储用户
密码:对应存储用户的密码
数据冗余模式：4+1
PTS配置项：
基本配置同上
添加虚拟盘符，相当于每个卡扣对应多个bucket，可以增加图片写入并发量，有利于提升性能.
l 配置录像计划、普通配额限制、配额限制
开启录像计划
设置普通配额
在系统设置-参数配置
注意：配置限制必须启用，否则无法录像
至此，-C平台对接云存储已经完成，其他平台对接云存储操作方法类似，换汤不换药～
1.8 云直存PTS配置
卡口采用云存储模式，请参照下面的说明按照实际需要配置PTS.xml文件，之后重启服务。
vi /opt/dss/PTS/PTS.xml
1、云存储服务环境配置项
〈EFSPortal addr="10.22。3.11：38100” username=”admin" password=”123456” remode="4+1” />
2、云存储Bucket名称配置项,可复用原来的存储路径配置，只是配置有格式限制
〈StoragePaths〉
〈StoragePath TruePath="d” IsWrite=”1" ForSpecialUse="0” 〉bucketName〈/StoragePath> 其中TruePath必须有并且保持唯一，bucketName为用户手动输入Bucket名称，，只支持1-63字节,不能出现以下字符\ ：＊ ?< 〉 ｜ /
〈StoragePath TruePath="e" IsWrite="1” ForSpecialUse=”0” 〉rdrytftyfy</StoragePath〉
〈/StoragePaths〉
该路径配置项至少配置一个，该路径的配置个数表示写云线程数，当数据量比较大时,请多配置几个，并且bucketName最好不要一样，以保证读写性能。
3、数据存储模式配置：
〈！--DiskWriteMode.0：NTFS/ext4，2:CQFS， 3：EFS——>
<DiskWriteMode>3〈/DiskWriteMode〉 0：标准异步存储模式 2、CQFS存储模式 3、EFS云存储模式
4、 超时设置
<EFSRetryCount〉1000〈/EFSRetryCount> 写超时重试次数
〈EFSSleepTime〉2〈/EFSSleepTime> 每次写超时休眠时间以ms为单位 建议上限做限制最多不超过10ms 否则影响写性能
5、图片删除配置
〈ClearMode>5〈/ClearMode〉 默认为5 云存储删除 CQFS不用
〈MaxReserveDay>360〈/MaxReserveDay> 图片保留天数 以天为单位
安装完毕后重启dss服务,/opt/restartAll。sh
1.9 云存储校时配置
登录云存储运维界面,配置NTP IP为中心平台ip地址
确认中心平台服务器已经开启ntp服务
l 使用xshell登录中心平台终端:
[root＠dahuatech ~]＃ /etc/init。d/ntpd status
ntpd （pid 17339） is running.。. //说明ntp服务正常
l 在元数据服务器端：
［root＠dahuatech ~]# ntpq –p //只要delay、offset、jitter这几项不为0，说明校时正常
remote       refid      st  t   when  poll  reach   delay   offset  jitter
 ==================================================================
＊10。247.160.31   10。240.241.5  4  u   53   64  377      0。240    0。374   0.240
l 校时异常，查看中心平台ntp配置文件
［root@dahuatech ~］＃ vi /etc/ntp。conf
查看ntp.conf是否有以下信息，如果没有的话,需要手动添加，然后重启中心平台和元数据服务器的ntp服务（/et c/init。d/ntpd restart）
server 127。127。1。0 # local clock
fudge 127。127。1。0 stratum 10
注： 最近—C3。05配置文件都需要修改
1.10 云存储网闸配置（外网映射）
应用场景：云存储部署在两个子网(存储网段和业务网段），实战客户端或者平台云下载无法和存储网段通信导致调用云存储sdk接口失败。外网环境需要访问内网环境下的云存储服务时也会用到。
云存储做外网映射步骤如下:
第一步,登陆云存储运维平台,切换到系统管理页面,点开网闸配置按钮，填入下面的对应关系
MDS VIP:80-外IP：port //用于外网运维登录
MDS VIP：38080—外IP：port
CS VIP:38180-外IP：port //用于外网sdk访问
DN1 IP:60010—外IP：port
DN2 IP：60010—外IP：port
DN3 IP:60010-外IP：port
DN4 IP：60010-外IP:port
...
示例：
假如ip信息如下：
设备信息
存储网段
　业务网段
元数据服务器1(CSS9064）
172.25。2.10

元数据服务器2
172。25.2。11

虚拟ip
172。25.2。12

目录ip
172。25。2.13

存储节点1(CSS7124S-ERD）
172。25。2。61
33.174.99.61
存储节点2
172。25。2。62
33。174。99.62
存储节点3
172.25.2.63
33.174.99。63
存储节点4
172.25.2.64
33.174。99。64
存储节点5
172。25。2。65
33。174。99。65
存储节点6
172.25.2。66
33.174。99。66
根据ip信息编辑对应关系:
172.25。2.12：80—172。25.2。12：80
172。25.2.12：38080—172。25。2。12：38080
172.25.2。13:38180—172.25。2。13：38180
172。25。2。61:60010-33。174。99。61：60010
172.25。2。62：60010—33。174。99。62:60010
172.25.2。63：60010—33。174.99.63：60010
172.25。2.64：60010—33.174。99.64:60010
…
配置网闸信息:
登录大华云存储管理平台,点击网闸配置：
第二步，重启CS服务,主备都需要操作
［root＠localhost CatalogServer]＃ /etc/init。d/csdriver restart
第三步，cloudview验证
IP： ip使用CS目录ip或者对应外网ip
Port:使用映射后的对应端口（此处以38180为例）
Usename：用户名
Password：密码
登录正常后验证上传及下载功能

2 云浓缩摘

要
2.1 产品形态
云计算一体机：
型号：DH—CCS7100X-LA / DH—CCS7100X—MA / DH-CCS7100X-HA
注：一体机由四个节点组成，每个节点左上角的网口是IPMA网口，可选配，方便管理。实际使用时把每个节点的第一个网口（NIC1）连接到交换机,需要四根网线。
前面板：
后面板:
2.2 组网方式
云计算一体机由四个刀片服务器组成,开机时请注意把所有的节点开机，开机后把各个节点的网口1（NIC1)接入到存储交换机（配存储段ip）.
云浓缩和云存储在同一个存储网段
配置前请提前准备好5个IP（四个为实IP，其中一个为虚拟IP）
IP配置及修改
l 通过ipinstall修改ip
l 手动修改：
1)通过网线直连1号网口(或者3号网口）,默认ip192。168。0.10，通过终端模拟软件（CRT或xshell）登录，用户名root 密码dahuacloud
2）修改网卡配置文件: vi /etc/sysconfig/ network—scripts /ifcfg—eth0
3)按“i”进入编辑模式，修改bond0的ip，子网掩码，网关。
4）修改完毕后，按“esc"退出编辑模式，然后按“："再输入”wq“保存退出
5）重启网卡：/etc/init。d/network restart
6）输入：ifconfig 查看ip信息
2.3 安装部署
注：前三步可能需要研发支持
1、 上传最新的浓缩摘要安装包至A节点，并解压
2、 拷贝/home/hadoop/Installation/scripts/envset。sh至/目录下，通过vi修改运维安装脚本envset。sh中所有节点的ip
cp /home/hadoop/Installation/scripts/envset。sh /
vi /enset.sh
3、添加可执行权限，并执行脚本安装云计算运维系统
chmod +x envet.sh
sh envset.sh install 输入“yes”开始安装运维
4、 打开chrome浏览器，输入A节点ip加8067端口登录运维界面（用户名和密码都是admin）
填入相关配置信息:
IP Address:各个节点的ip地址
Virtual Address：云浓缩虚拟ip地址
EFS Address:云存储（EFS）CS地址
EFS Port:云存储服务端口，默认38100
EFS Username：云存储存储用户名称，默认root
EFS Password：云存储对应存储用户的密码，root用户的密码是123456
EFS Bucket：云浓缩对应的Bucket，默认dsa
EFS N+M Mode：根据节点数量选择对应的冗余模式，混合安装默认就两个存储节点，选择1+1即可。
EFS Version：根据云存储版本选择对应的版本即可
时间配置：手动配置系统时间
System Channel WSDL：用于通道浓缩,修改对应的ip地址为—C平台的ip地址
填写完毕后,点击“开始安装”,等待安装完毕
2.4 对接实战平台
云计算服务地址：http\：//浓缩虚拟ip/hummer-api/services/
(验证浓缩接口是否正常:在浏览器中输入http：//浓缩虚拟ip/hummer—api(例如http：//172.25。3.165/hummer—api)，如果接口正常，会弹出“hello world”，也可以在运维中查看服务是否运行。）
实战平台云存储配置项:
9