Nginx高性能WEB服务器系列v1.doc

资源描述

Nginx高性能WEB服务器系列目录 1. Nginx入门简介 2 2. Nginx工作原理及安装配置 3 3. Nginx常用命令管理及升级 6 4. Nginx配置文件精讲一 9 5. Nginx配置文件精讲二 14 6. 实战线上Nginx多站点配置 18 7. 企业实战Nginx+Tomcat动静分离架构 19 8. 企业实战Nginx+PHP（FastCGI）高性能服务器 26 9. Nginx与Tomcat/PHP架构优化 30 10. Nginx配置优化及深入讲解 35 11. Nginx Rewrite规则详解一 40 12. 构建Nginx均衡LAMP高性能服务器 41 13. Nginx日志分析及脚本编写 50 14. Nginx日志切割案例讲解 53 15. Nginx防盗链配置案例配置 55 16. Nginx运维日常故障解决方案 58 17. Nginx构建安全站点HTTPS架构 58 Ø 加载SSL支持的Nginx并使用私钥时去除口令： 61 18. Nginx均衡TCP协议服务器案例 63 19. 构建企业级Nginx+Keepalived集群架构 65 20. 企业Nginx+Keepalived双主架构案例实战 72 1. Nginx入门简介 WEB服务器也称为WWW(WORLD WIDE WEB)服务器，主要功能是提供网上信息浏览服务。 WWW 是 Internet的多媒体信息查询工具，是 Internet 上近年才发展起来的服务，也是发展最快和目前用的最广泛的服务。正是因为有了WWW工具，才使得近年来 Internet 迅速发展，且用户数量飞速增长。 Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。它已经在众多流量很大的俄罗斯网站上使用了很长时间，这些网站包括Yandex、Mail.Ru、VKontakte，以及Rambler。据Netcraft统计，在2012年8月份，世界上最繁忙的网站中有11.48%使用Nginx作为其服务器或者代理服务器。目前互联网主流公司360、百度、新浪、腾讯、阿里等，目前中国互联网企业70%以上公司都在使用nginx作为自己的web服务器。 Nginx特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好。 Nginx由内核和模块组成，其中，内核的设计非常微小和简洁，完成的工作也非常简单，仅仅通过查找配置文件将客户端请求映射到一个location block（location是Nginx配置中的一个指令，用于URL匹配），而在这个location中所配置的每个指令将会启动不同的模块去完成相应的工作。 Nginx相对于Apache优点： 1) 高并发响应性能非常好，官方Nginx处理静态文件并发5w/s 2) 反向代理性能非常强。（可用于负载均衡） 3) 内存和cpu占用率低。（为Apache的1/5-1/10） 4) 对后端服务有健康检查功能。 5) 支持PHP cgi方式和fastcgi方式。 6) 配置代码简洁且容易上手。 2. Nginx工作原理及安装配置 Nginx由内核和模块组成，其中，内核的设计非常微小和简洁，完成的工作也非常简单，仅仅通过查找配置文件将客户端请求映射到一个location block（location是Nginx配置中的一个指令，用于URL匹配），而在这个location中所配置的每个指令将会启动不同的模块去完成相应的工作。 Nginx的模块从结构上分为核心模块、基础模块和第三方模块：核心模块：HTTP模块、EVENT模块和MAIL模块基础模块：HTTP Access模块、HTTP FastCGI模块、HTTP Proxy模块和HTTP Rewrite模块，第三方模块：HTTP Upstream Request Hash模块、Notice模块和HTTP Access Key模块。 Nginx的高并发得益于其采用了epoll模型，与传统的服务器程序架构不同，epoll是linux内核2.6以后才出现的。Nginx采用epoll模型，异步非阻塞，而Apache采用的是select模型： Select特点：select 选择句柄的时候，是遍历所有句柄，也就是说句柄有事件响应时，select需要遍历所有句柄才能获取到哪些句柄有事件通知，因此效率是非常低。 epoll的特点：epoll对于句柄事件的选择不是遍历的，是事件响应的，就是句柄上事件来就马上选择出来，不需要遍历整个句柄链表，因此效率非常高。接下来正式安装Nginx，首先需要安装pcre库。 #安装pcre支持rewrite库,也可以安装源码，注*安装源码时，指定pcre路径为解压源码的路径，而不是编译后的路径，否则会报错（make[1]: *** [/usr/local/pcre/Makefile] Error 127 错误） yum install pcre-devel pcre -y #下载Nginx源码包 cd /usr/src wget -c http://nginx.org/download/nginx-1.6.2.tar.gz #解压Nginx源码包 tar -xzf nginx-1.6.2.tar.gz #进入解压目录，然后sed修改Nginx版本信息为WS cd nginx-1.6.2 ; sed -i -e 's/1.6.2//g' -e 's/nginx\//WS/g' -e 's/"NGINX"/"WS"/g' src/core/nginx.h #预编译Nginx useradd www ;./configure --user=www --group=www --prefix=/usr/local/nginx --with- http_stub_status_module --with-http_ssl_module #.configure预编译成功后，执行make命令进行编译 make #make执行成功后，执行make install 正式安装 make install #自此Nginx安装完毕 /usr/local/nginx/sbin/nginx -t 检查nginx配置文件是否正确，返回OK即正确。 [root@localhost ~]# /usr/local/nginx/sbin/nginx -t nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful [root@localhost ~]# 然后启动nginx，/usr/local/nginx/sbin/nginx 回车即可。查看进程是否已启动： [root@localhost ~]# ps -ef |grep nginx nobody 5381 30285 0 May16 ? 00:04:31 nginx: worker process root 30285 1 0 2014 ? 00:00:00 nginx: master process /usr/local/nginx/sbin/nginx root 32260 32220 0 12:34 pts/0 00:00:00 grep nginx [root@localhost ~]# 3. Nginx常用命令管理及升级查看nginx进程 ps -ef|grep nginx 说明：nginx的进程由主进程和工作进程组成。启动nginx nginx 启动结果显示nginx的主线程和工作线程，工作线程的数量跟nginx.conf中的配置参数worker_processes有关。平滑启动nginx kill -HUP `cat /var/run/nginx.pid` 或者 nginx -s reload 其中进程文件路径在配置文件nginx.conf中可以找到。平滑启动的意思是在不停止nginx的情况下，重启nginx，重新加载配置文件，启动新的工作线程，完美停止旧的工作线程。完美停止nginx kill -QUIT `cat /var/run/nginx.pid` 快速停止nginx kill -TERM `cat /var/run/nginx.pid` 或者 kill -INT `cat /var/run/nginx.pid` 完美停止工作进程（主要用于平滑升级） kill -WINCH `cat /var/run/nginx.pid` 强制停止nginx pkill -9 nginx 检查对nginx.conf文件的修改是否正确 nginx -t -c /etc/nginx/nginx.conf 或者 nginx -t 停止nginx的命令 nginx -s stop或者pkill nginx 查看nginx的版本信息 nginx -v 查看完整的nginx的配置信息 nginx -V Nginx升级方法：下载所需版本的Nginx wget http://www.nginx.org/download/nginx-1.4.2.tar.gz 获取旧版本nginx的configure选项 /usr/local/nginx/sbin/nginx -V 编译新版本的nginx tar -xvf nginx-1.4.2.tar.gz cd nginx-1.4.2 ./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-http_ssl_module make 备份旧版本的nginx可执行文件，复制新版本的nginx这行文件 mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.old cp objs/nginx /usr/local/nginx/sbin/ 测试新版本nginx是否正常 /usr/local/nginx/sbin/nginx -t 平滑重启升级nginx kill –USR2 `cat /usr/local/nginx/log/nginx.pid` 旧版本Nginx的pid变为oldbin，这是旧版本和新版本的nginx同时运行，过一段时间等就nginx处理完用户请求后，执行下面操作从容关闭旧版本的Nginx进程 kill -WINCH `cat /usr/local/nginx/log/nginx.oldbin` 决定是否升级到新版的nginx kill –HUP `cat /usr/local/nginx/log/nginx.oldbin` ##nginx在不重载配置文件启动工作进程 kill –QUIT `cat /usr/local/nginx/log/nginx.oldbin` ##关闭旧版nginx 验证nginx是否升级成功 /usr/local/nginx/sbin/nginx –V ###显示下图则升级成功 4. Nginx配置文件精讲一 #定义Nginx运行的用户和用户组 user www www; #启动进程,通常设置成和cpu的数量相等 worker_processes 8; worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; #为每个进程分配cpu，上例中将8个进程分配到8个cpu，当然可以写多个，或者将一个进程分配到多个cpu。 worker_rlimit_nofile 102400; #这个指令是指当一个nginx进程打开的最多文件描述符数目，理论值应该是最多打 #开文件数（ulimit -n）与nginx进程数相除，但是nginx分配请求并不是那么均匀 #，所以最好与ulimit -n的值保持一致。 #全局错误日志及PID文件 error_log /usr/local/nginx/logs/error.log; #错误日志定义等级，[ debug | info | notice | warn | error | crit ] pid /usr/local/nginx/nginx.pid; #一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除，但是nginx分配请求并不均匀. #所以建议与ulimit -n的值保持一致。 worker_rlimit_nofile 65535; #工作模式及连接数上限 events { use epoll; #epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能 worker_connections 102400; #单个后台worker process进程的最大并发链接数（最大连接数=连接数*进程数） multi_accept on; #尽可能多的接受请求 } #设定http服务器，利用它的反向代理功能提供负载均衡支持 http { #设定mime类型,类型由mime.type文件定义 include mime.types; default_type application/octet-stream; #设定日志格式 access_log /usr/local/nginx/log/nginx/access.log; sendfile on; #sendfile 指令指定 nginx 是否调用 sendfile 函数（zero copy 方式）来输出文件，对于普通应用必须设为 on #如果用来进行下载等应用磁盘IO重负载应用，可设置为 off，以平衡磁盘与网络I/O处理速度，降低系统的uptime. #autoindex on; #开启目录列表访问，合适下载服务器，默认关闭。 tcp_nopush on; #防止网络阻塞 keepalive_timeout 60; #keepalive超时时间，客户端到服务器端的连接持续有效时间,当出现对服务器的后,继请求时,keepalive-timeout功能可避免建立或重新建立连接。 tcp_nodelay on; #提高数据的实时响应性 #开启gzip压缩 gzip on; gzip_min_length 1k; gzip_buffers 4 16k; gzip_http_version 1.1; gzip_comp_level 2; #压缩级别大小，最大为9，值越小，压缩后比例越小，CPU处理更快。 #值越大，消耗CPU比较高。 gzip_types text/plain application/x-javascript text/css application/xml; gzip_vary on; client_max_body_size 10m; #允许客户端请求的最大单文件字节数 client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数， proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时) proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时) proxy_read_timeout 90; #连接成功后，后端服务器响应时间(代理接收超时) proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小 proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的话，这样设置 proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2） #设定请求缓冲 large_client_header_buffers 4 4k; client_header_buffer_size 4k; #客户端请求头部的缓冲区大小，这个可以根据你的系统分页大小来设置，一般一个请求的头部大小不会超过1k #不过由于一般系统分页都要大于1k，所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。 open_file_cache max=102400 inactive=20s; #这个将为打开文件指定缓存，默认是没有启用的，max指定缓存数量，建议和打开文件数一致，inactive是指经过多长时间文件没被请求后删除缓存。 open_file_cache_valid 30s; #这个是指多长时间检查一次缓存的有效信息。 open_file_cache_min_uses 1; #open_file_cache指令中的inactive参数时间内文件的最少使用次数，如果超过这个数字，文件描述符一直是在缓存中打开的，如上例，如果有一个文件在inactive #包含其它配置文件，如自定义的虚拟主机 include vhosts.conf; 5. Nginx配置文件精讲二 #这里为后端服务器wugk应用集群配置，根据后端实际情况修改即可，tdt_wugk为负载均衡名称，可以任意指定 #但必须跟vhosts.conf虚拟主机的pass段一致，否则不能转发后端的请求。weight配置权重，在fail_timeout内检查max_fails次数，失败则剔除均衡。 upstream tdt_wugk { server 127.0.0.1:8080 weight=1 max_fails=2 fail_timeout=30s; server 127.0.0.1:8081 weight=1 max_fails=2 fail_timeout=30s; } #虚拟主机配置 server { #侦听80端口 listen 80; #定义使用访问 server_name ; #设定本虚拟主机的访问日志 access_log logs/access.log main; root /data/webapps/wugk; #定义服务器的默认网站根目录位置 index index.php index.html index.htm; #定义首页索引文件的名称 #默认请求 location ~ /{ root /data/www/wugk; #定义服务器的默认网站根目录位置 index index.php index.html index.htm; #定义首页索引文件的名称 #以下是一些反向代理的配置. proxy_next_upstream http_502 http_504 error timeout invalid_header; #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。 proxy_redirect off; #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://tdt_wugk; #请求转向后端定义的均衡模块 } # 定义错误提示页面 error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } #配置Nginx动静分离，定义的静态页面直接从Nginx发布目录读取。 location ~ .*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ { root /data/www/wugk; #expires定义用户浏览器缓存的时间为3天，如果静态页面不常更新，可以设置更长，这样可以节省带宽和缓解服务器的压力。 expires 3d; } #PHP脚本请求全部转发到 FastCGI处理. 使用FastCGI默认配置. location ~ \.php$ { root /root; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; fastcgi_param SCRIPT_FILENAME /data/www/wugk$fastcgi_script_name; include fastcgi_params; } #设定查看Nginx状态的地址 location /NginxStatus { stub_status on; } } } 6. 实战线上Nginx多站点配置在真实的服务器环境，为了充分利用服务器资源，一台nginx web服务器同时会配置N个虚拟域名主机，即多个域名对于同样一个80端口。然后服务器IP数量很多，也可以配置基于多个IP对应同一个端口。 vi修改nginx.conf server段配置内容如下： #virtual hosts config 2014/5/18 server { listen 80; server_name ; #access_log logs/host.access.log main; location / { root html/a; index index.html index.htm; } server { listen 80; server_name ; #access_log logs/host.access.log main; location / { root html/b; index index.html index.htm; } 创建两个不同的目录mkdir –p /usr/local/nginx/html/{a,b}，然后分别在两个目录创建两个不同的index.html网站页面即可。通过客户端配置hosts指向两个域名，然后在IE浏览器访问测试效果。 7. 企业实战Nginx+Tomcat动静分离架构 Nginx动静分离简单来说就是把动态跟静态请求分开，不能理解成只是单纯的把动态页面和静态页面物理分离。严格意义上说应该是动态请求跟静态请求分开，可以理解成使用Nginx处理静态页面，Tomcat、Resin出来动态页面。动静分离从目前实现角度来讲大致分为两种，一种是纯粹的把静态文件独立成单独的域名，放在独立的服务器上，也是目前主流推崇的方案；另外一种方法就是动态跟静态文件混合在一起发布，通过nginx来分开。这样也是本次课程要讲解的，具体怎么来实现呢，如下图，通过location指定不同的后缀名实现不同的请求转发。通过expires参数设置，可以使浏览器缓存过期时间，减少与服务器之前的请求和流量。具体Expires定义：是给一个资源设定一个过期时间，也就是说无需去服务端验证，直接通过浏览器自身确认是否过期即可，所以不会产生额外的流量。此种方法非常适合不经常变动的资源。（如果经常更新的文件，不建议使用Expires来缓存），我这里设置3d，表示在这3天之内访问这个URL，发送一个请求，比对服务器该文件最后更新时间没有变化，则不会从服务器抓取，返回状态码304，如果有修改，则直接从服务器重新下载，返回状态码200。线上Nginx动静分离完整配置（实际环境中可以使用，如下为nginx.conf文件内容） user www www; worker_processes 8; worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; pid /usr/local/nginx/nginx.pid; worker_rlimit_nofile 102400; events { use epoll; worker_connections 102400; } http { include mime.types; default_type application/octet-stream; fastcgi_intercept_errors on; charset utf-8; server_names_hash_bucket_size 128; client_header_buffer_size 4k; large_client_header_buffers 4 32k; client_max_body_size 300m; sendfile on; tcp_nopush on; keepalive_timeout 60; tcp_nodelay on; client_body_buffer_size 512k; proxy_connect_timeout 5; proxy_read_timeout 60; proxy_send_timeout 5; proxy_buffer_size 16k; proxy_buffers 4 64k; proxy_busy_buffers_size 128k; proxy_temp_file_write_size 128k; gzip on; gzip_min_length 1k; gzip_buffers 4 16k; gzip_http_version 1.1; gzip_comp_level 2; gzip_types text/plain application/x-javascript text/css application/xml; gzip_vary on; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" $request_time'; upstream jvm_web1 { server 127.0.0.1:8080 weight=1 max_fails=2 fail_timeout=30s; server 127.0.0.1:8081 weight=1 max_fails=2 fail_timeout=30s; } upstream jvm_web2 { server 127.0.0.1:8082 weight=1 max_fails=2 fail_timeout=30s; server 127.0.0.1:8083 weight=1 max_fails=2 fail_timeout=30s; } include vhosts.conf; } 如下为vhosts.conf内容： server { listen 80; server_name ; index index.jsp index.html index.htm; root /data/webapps/wugk1; location / { proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://jvm_web1; } location ~ .*\.(php|jsp|cgi|shtml)?$ { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://jvm_web1; } location ~ .*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ { root /data/webapps/wugk1; expires 30d; } access_log /data/logs/jvm_web1/access.log main; error_log /data/logs/jvm_web1/error.log crit; } server { listen 80; server_name ; index index.jsp index.html index.htm; root /data/webapps/wugk2; location / { proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://jvm_web2; } location ~ .*\.(php|jsp|cgi|shtml)?$ { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://jvm_web2; } location ~ .*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ { root /data/webapps/wugk2; expires 30d; } access_log /data/logs/jvm_web2/access.log main; error_log /data/logs/jvm_web2/error.log crit; } 然后在创建如下目录： mkdir -p /data/logs/{jvm_web1,jvm_web2} /data/webapps/{wugk1,wugk2} 配置后端Tomcat服务器，这里省略哦，分别启动4个tomcat或者2个t

展开阅读全文