Redis--高级架构PPT.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Redis,数据库,1,学习,目标:,1:redis特点及安装,2:redis键值操作,3:redis数据类型string,link,set,order set,hash,4:事务,5:消息订阅,6:持久化,7:集群,8:PHP-redis客户端,9:运维,10:仿微博实战,2,1.1 redis特点介绍,REmote DIctionary Server(Redis)是一个由Salvatore Sanfilippo,写的key-value存储系统。,Redis提供了一些丰富的数据结构，,包括 lists,sets,ordered sets 以及 hashes，,还有和Memcached一样的 strings结构.,Redis当然还包括了对这些数据结构的丰富操作。,1:数据结构丰富,2:持久化,3:支持简单事务,4:主从配置方便,3,1.2 redis安装,不必configure,1:make,2:make PREFIX=/usr/local/redis install,3:开启服务,./redis-server/path/to/redis.conf,4,1.3 redis连接,redis的协议是基础文本的协议,(http,memcached也是),客户端的开发较为简便,redis官方提供了C,java,C#,PHP,lua脚本的客户端,我们在学习时,用到,redis-cli 官方客户端,及php-redis客户端,在与redis-server同一目录下,redis-cli即是,#/path/to/redis-cli 回车,5,DEL key key.,删除多个,key,返回真正被删除的,key,数量,rename key newkey,重命名,key-newkey,如果,newkey,存在,值被覆盖,renamenx key newkey,同,rename,只是,newkey,存在时,不进行操作,move key db,移动,key,到另一个,db,如果另一,db,有相同,key,不做操作,2.1 redis键操作命令,6,keys pattern,支持*,?,匹配,randomkey,随机返回key,但不删除,exists key,判断key是否存在,返回1/0,type key,判断key的类型,返回string,set,zset,link,hash,expire key 用秒设置生命周期,pexpire key 用毫秒设置生命周期,persist key 使key变为永久,ttl key 查询key的剩余生命周期(返回秒),pttl key 查询key的剩余生命周期(返回毫秒),对于不存在的key或过期key,返回-1,redis2.8对于不存在的key返回-2,2.2 redis键操作命令,7,3.1 字符串类型及期命令,SET,SETNX,SETEX,PSETEX,SETRANGE,MSET,MSETNX,APPEND,GET,MGET,GETRANGE,GETSET,STRLEN,DECR,DECRBY,INCR,INCRBY,INCRBYFLOAT,SETBIT,GETBIT,BITOP,BITCOUNT,8,3.2.1 字符串-set命令,1:SET key value ex 过期秒数 px 过期毫秒数 nx xx,EX second：设置键的过期时间为 second 秒。,SET key value EX second 效果等同于 SETEX key second value。,PX millisecond：设置键的过期时间为 millisecond 毫秒。,SET key value PX millisecond 效果等同于 PSETEX key millisecond value。,NX：只在键不存在时，才对键进行设置操作。,SET key value NX 效果等同于 SETNX key value。,XX：只在键已经存在时，才对键进行设置操作,9,3.2.2,字符串-setrange命令,SETRANGE key offset value,用 value 参数覆写(overwrite)给定 key 所储存的字符串值，从偏移量 offset 开始。,不存在的 key 当作空白字符串处理。,如果offset过大,则原字符和偏移量之间的空白将用零字节(zerobytes,x00)来填充。,最大偏移量是 229-1(536870911)，,因为 Redis 字符串的大小被限制在 512 兆(megabytes)以内。,10,3.2.3 字符串mset命令,mset k1 v1 k2 v2,1:一次性设置多对键值,2:原子性,3:覆盖旧值,4:不想覆盖旧值用 msetnx,msetnx k1 v1 k2 v2,特点:不覆盖旧值,11,3.2.4 字符串命令-append,APPEND key value,如果,key,已经存在并且是一个字符串，,APPEND,命令将,value,追加到,key,原来的值的末尾。,如果,key,不存在，,APPEND,就简单地将给定,key,设为,value,，,就像执行,SET key value,一样。,返回值：,追加,value,之后，,key,中字符串的长度。,12,3.2.5 字符串操作之get,GET key,返回,key,所关联的字符串值。,如果,key,不存在那么返回特殊值,nil,。,假如,key,储存的值不是字符串类型，返回一个错误，因为,GET,只能用于处理字符串值。,可用版本：,=1.0.0,时间复杂度：,O(1),返回值：,当,key,不存在时，返回,nil,，否则，返回,key,的值。,如果,key,不是字符串类型，那么返回一个错误。,13,3.2.6 字符串之mget,MGET key key.,返回所有,(,一个或多个,),给定,key,的值。,如果给定的某个,key,不存在，返回特殊值,nil,14,3.2.7,GETRANGE key start end,返回字符串的一部分,和PHP中substr一样,(redis2.0以前该命令就叫substr),左-右 0,1,2.计数,右-左-1,-2,-3.计数,15,3.2.8 getset,GETSET key newvalue,设置新值,并返回旧值,redis GETSET db mongodb#没有旧值，返回 nil,(nil),redis GET db,mongodb,redis GETSET db redis#返回旧值 mongodb,mongodb,redis GET db,redis,16,STRLEN key,返回,key,所储存的字符串值的长度。,key,不存在是返回,0,key,存在但不是字符串类型时，返回一个错误。,3.2.9 字符串操作之getset,17,3.2.10 字符串操作之getbit,GETBIT key offset,对,key,所储存的字符串值，获取指定偏移量上的位,(bit),。,当,offset,比字符串值的长度大，或者,key,不存在时，返回,0,(,不能判断确实为,0,还是,offset,不对,),注意,:,位从左边,从,0,记数,18,3.2.11 字符串操作之setbit,SETBIT key offset value,设置或清除指定偏移量上的位(bit)为0/1,1:当 key 不存在时，自动生成一个新的字符串值。,2:字符串会进行伸展(grown)以确保它可以将 value 保存在指定的偏移量上。,当字符串值进行伸展时，空白位置以 0 填充。,3:offset 参数必须大于或等于 0，小于 232。,4:返回值为该bit之前的值,用此功能把a-A,19,3.2.12 字符串操作之bitop,BITOP operation destkey key1 key2.,对,key1,key2.keyN,作,operation,并将结果保存到,destkey,上。,operation,可以是,AND,、,OR,、,NOT,、,XOR,注,:NOT,操作时,key,只能有,1,个,20,3.3.1 link链表-lpush,LPUSH key value value.,将一个或多个值 value 插入到列表 key 的表头(l指left),如果有多个 value 值，那么各个 value 值按从左到右的顺序依次插入到表头：,如说，对空列表 mylist 执行命令 LPUSH mylist a b c，列表的值将是 c b a，,返回值:操作后的元素数量,注:,1:key 不存在，自动创建空列表并执行 LPUSH 操作。,2:key 存在但不是列表类型时，返回一个错误。,3:rpush key value 是把值插入到链表尾部,不再单述,4:lpushx 在key不存在时,不自动创建链接,不再单述,21,3.3.2 链表之lpop,LPOP key,移除并返回列表 key 的头元素。,返回值：列表的头元素。,当 key 不存在时，返回 nil,注:rpop key 移除并返回列表key的尾元素,不单述,22,3.3.3 链表之blpop,BLPOP key key.timeout,BLPOP 是列表的阻塞式(blocking)弹出原语。,它是 LPOP 命令的阻塞版本，当给定列表内没有任何元素可供弹出的时候，,连接将被 BLPOP 命令阻塞，直到等待超时或发现可弹出元素为止。,当给定多个 key 参数时，按参数 key 的先后顺序依次检查各个列表，,弹出第一个非空列表的头元素并结束命令。,注:,1:timeout为0则不超时,2:此功能有什么用?,brpop:阻塞弹出队列尾部的元素,不再单述,23,3.3.4 链表之llen,LLEN key,返回列表,key,的长度。,注,:,key,不存在,返回,0,key,不是列表类型，返回错误,24,3.3.5 链表之lrange,LRANGE key start stop,返回列表指定区间内的元素，区间以偏移量,start,和,stop,指定。,左数从,0,开始,右数,-1,开始,注,:,1:start,大于,length,或,start,位于,stop,右边,则,LRANGE,返回一个空列表,2:,如果,stop,下标比,end,下标还要大，,Redis,将,stop,的值设置为,end,25,3.3.5 链表之lrem,LREM key count value,根据参数,count,的值，移除列表中与参数,value,相等的元素。,count,的值可以是以下几种：,count 0:,从表头开始向表尾搜索，移除与,value,相等的元素，数量为,count,。,count 0:,从表头开始向表尾搜索，移除与,value,相等的元素，数量为,count,。,count stop,的元素,ZSCORE key member,返回成员,member,的,score,值。,如果,member,元素不是有序集,key,的成员，或,key,不存在，返回,nil,。,zrevrange key start stop withscores,倒序排列后,返回,start-stop,的元素,40,ZRANGEBYSCORE key min max WITHSCORES LIMIT offset count,按分数,(,升续,),排序,取,min,max,之间的值,并偏移,offset,取,count,个,zrevrangebyscore,不解释,ZRANK key member,返回,member,的排名,升序比较,从第,0,名开始,zrevrank key member,不解释,ZREMRANGEBYRANK key start stop,按排名删除,start-stop,名的元素,zremrangebyscore key start,stop,按分数删除,start,stop,之间的元素,ZINTERSTORE destination numkeys key key.,WEIGHTS weight weight.,AGGREGATE SUM|MIN|MAX,求交集,ZUNIONSTORE destination numkeys key key.,WEIGHTS weight weight.,AGGREGATE SUM|MIN|MAX,求并集,3.5.2 有序集合,41,HSET key field value,将哈希表,key,中的域,field,的值设为,value,key,不存在，则创建,field,已存在,则覆盖。,HSETNX key field value,设置,key,中的域,field,的值设置为,value,field,不存在时才有效,HMSET key field1 value1 field2 value2.,设置多个域,field/value,HGET key field,返回,key,中给定域,field,的值,HMGET key field field.,返回多个,field,的值,3.6.1 哈希(hash)操作,42,HGETALL key,返回哈希表所有的域和值。,HDEL key field field.,删除指定域,返回成功删除的元素个数,HLEN key,返回hash表中的元素个数,HEXISTS key field,判断指定域是否存在,HINCRBY key field increment,field 的值加上增量 increment。,HINCRBYFLOAT key field increment,不解释,hkeys 返回哈希表中所有键,hvalues 返回哈希表中所有值,3.6.2 哈希(hash)操作,43,watch key1 key2,unwtach key1 key2,multi,command,command,.,discard/exec,注意,:,如果命令格式有误,exec,会报错,如果命令格式不错,只是逻辑错,exec,不执行正确的命令,-,需要程序员去负责,4.1 事务操作,44,5.1 发布与订阅,subscribe-频道-publish,subscribe news-订阅新闻频道,publish news 内容-发布新闻内容,适宜做在线聊天,消息推送,45,5.2 发布与订阅,SUBSCRIBE channel channel.,订阅给定的一个或多个频道的信息。,UNSUBSCRIBE channel channel.,指示客户端退订给定的频道。,如果没有频道被指定，也即是，一个无参数的,UNSUBSCRIBE,调用被执行，,那么客户端使用,SUBSCRIBE,命令订阅的所有频道都会被退订,PUNSUBSCRIBE pattern pattern.,指示客户端退订所有给定模式。,46,持久化:即把数据存储于断电后不会丢失的设备中,通常是硬盘.,常见的持久化方式:,主从:通过从服务器保存和持久化,如mongoDB的replication sets配置,日志:操作生成相关日志,并通过日志来恢复数据,couchDB对于数据内容,不修改,只追加,则文件本身就是日志,不会丢失数据.,6.1 持久化的方式,47,6.2 redis-之rdb快照持久化,rdb的工作原理:,每隔,N分钟或N次,写操作后,从内存dump数据形成rdb文件,压缩,放在备份,目录,注:,红色,部分可通过参数来配置,48,save 900 1#,刷新快照到硬盘中，必须满足两者要求才会触发，即,900,秒之后至少,1,个关键字发生变化。,save 300 10#,必须是,300,秒之后至少,10,个关键字发生变化。,save 60 10000#,必须是,60,秒之后至少,10000,个关键字发生变化。,stop-writes-on-bgsave-error yes#,后台存储错误停止写。,rdbcompression yes#,使用,LZF,压缩,rdb,文件。,rdbchecksum yes#,存储和加载,rdb,文件时校验。,dbfilename dump.rdb#,设置,rdb,文件名。,dir./#,设置工作目录，,rdb,文件会写入该目录。,6.3 rdb快照相关参数,49,6.4 rdb的缺陷,断电,在2个保存点之间,断电,将会丢失1-N分钟的数据,出于对持久化的更精细要求,redis增添了,aof,方式 append only file,50,6.5 aof的原理,redis主进程,后台,日志,进程,aof文件,set,append,.,.,写操作,1:每个命令重写一次aof?,2:某key操作100次,产生100行记录,aof文件会很大,怎么解决?,51,appendonly no#是否仅要日志,appendfsync no#系统缓冲,统一写,速度快,appendfsync always#系统不缓冲,直接写,慢,丢失数据少,appendfsync everysec#折衷,每秒写1次,no-appendfsync-on-rewrite no#重写aof时同步最新数据,auto-AOF-rewrite-percentage 100 当前aof文件是上次重写是大N%时重写,auto-AOF-rewrite-min-size 64mb aof重写至少要达到的大小,6.6 aof日志持久化,52,7.1 集群的作用,1:主从备份 防止主机宕机,2:读写分离,分担master的任务,3:任务分离,如从服分别分担备份工作与计算工作,53,7.2 redis集群,master,slave1,slave2,master,slave1,slave2,第2种方式的好处:,master宕机后,可以直接切换到slave1,54,7.3 主从通信过程,master,slave,sync自动,dump出rdb,缓冲的aof,replicationFeedSlaves,55,7.4 redis集群配置,Master配置:,1:关闭rdb快照(备份工作交给slave),2:可以开启aof,slave配置:,1:声明slave-of,2:配置密码如果master有密码,3:某1个slave打开 rdb快照功能,4:配置是否只读slave-read-only,56,7.5 redis主从复制的缺陷,缺陷:,每次salave断开后,(无论是主动断开,还是网络故障),再连接master,都要master全部dump出来rdb,再aof,即同步的过程都要重新执行1遍.,所以要记住-多台slave不要一下都启动起来,否则master可能IO剧增,57,8.1 PHP-redis客户端,/usr/local/php/bin/phpize,#./configure-with-php-config=/usr/local/php/bin/php-config,#make&make install,引入:,vim php.ini,extension=/php/extension/path/redis.so,58,9.1 运维常用的server端命令,TIME,查看时间戳与微秒数,DBSIZE,查看当前库中的,key,数量,BGREWRITEAOF,后台进程重写,AOF,BGSAVE,后台保存,rdb,快照,SAVE,保存,rdb,快照,LASTSAVE,上次保存时间,SLAVEOF,设为,slave,服务器,FLUSHALL,清空所有,db,FLUSHDB,清空当前,db,SHUTDOWN|save|nosave,断开连接,关闭服务器,SLOWLOG,显示慢查询,INFO,显示服务器信息,CONFIG GET,获取配置信息,CONFIG SET,设置配置信息,MONITOR,打开控制台,SYNC,主从同步,CLIENT LIST,客户端列表,CLIENT KILL,关闭某个客户端,CLIENT SETNAME,为客户端设置名字,CLIENT GETNAME,获取客户端名字,59,9.2 运维时的观察参数,1:,内存,#Memory,used_memory:859192,数据结构的空间,used_memory_rss:7634944,实占空间,mem_fragmentation_ratio:8.89,前,2,者的比例,1.N,为佳,2:,主从复制,#Replication,role:slave,master_host:192.168.1.128,master_port:6379,master_link_status:up,3:,持久化,#Persistence,rdb_changes_since_last_save:0,rdb_last_save_time:1375224063,4:fork,耗时,#Status,latest_fork_usec:936,上次持久化花费微秒,5:,慢日志,config get/set slowlog-log-slower-than,CONFIG get/SET slowlog-max-len,slow log get,获取慢日志,60,9.3 sentinel监控主从服务器,sentinel,master,slave2,slave1,通信,slave1,变成,master,通信失败,61,9.4 sentinel监控配置,sentinel monitor def_master 127.0.0.1 6379 2,sentinel auth-pass def_master 012_345678-90,#master,被当前,sentinel,实例认定为“失效”的间隔时间,#,如果当前,sentinel,与,master,直接的通讯中，在指定时间内没有响应或者响应错误代码，那么,#,当前,sentinel,就认为,master,失效,(SDOWN,，“主观”失效,),#,#,默认为,30,秒,sentinel down-after-milliseconds def_master 30000,#,当前,sentinel,实例是否允许实施“,failover,”,(,故障转移,),#no,表示当前,sentinel,为“观察者”,(,只参与,投票,.,不参与实施,failover),，,#,全局中至少有一个为,yes,sentinel can-failover def_master yes,#sentinel notification-script mymaster/var/redis/notify.sh,62,