• nginx反向代理之缓存 客户端IP透传 负载均衡

    一 缓存功能

    缓存功能可以加速访问，如果没有缓存关闭后端服务器后，图片将无法访问，缓存功能默认关闭，需要开启。

    相关选项：

    1. ​
    2. proxy_cache zone_name | off; 默认off
    3. #指明调用的缓存，或关闭缓存机制;Context:http, server, location
    4. #zone_name 表示缓存的名称.需要由proxy_cache_path事先定义
    5.  
    6. proxy_cache_key string;
    7. #缓存中用于“键”的内容，默认值：proxy_cache_key $scheme$proxy_host$request_uri;
    8.  
    9. proxy_cache_valid [code ...] time;
    10. #定义对特定响应码的响应内容的缓存时长，定义在http{...}中
    11.  
    12. proxy_cache_path;
    13. #定义可用于proxy功能的缓存;Context:http   必须放在http语句中
    14.  
    15. #调用缓存功能，需要定义在相应的配置段，如server{...};或者location等
    16. proxy_cache proxycache;
    17. proxy_cache_key $request_uri; #对指定的数据进行MD5的运算做为缓存的key
    18. proxy_cache_valid 200 302 301 10m; #指定的状态码返回的数据缓存多长时间
    19. proxy_cache_valid any 1m;   #除指定的状态码返回的数据以外的缓存多长时间,必须设置,否则不会缓存
    20.  
    21.  
    22. proxy_cache_use_stale error | timeout | invalid_header | updating | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | off ; #默认是off
    23. #在被代理的后端服务器出现哪种情况下，可直接使用过期的缓存响应客户端

    实验：为代理服务器开启缓存功能

    ① 代理服务器主配置文件的http模块中添加配置

    1. [root@localhost ~]# vim /apps/nginx/conf/nginx.conf   #主配置文件
    2. proxy_cache_path /data/nginx/proyxcache   levels=1:1:1 keys_zone=proxycache:20m inactive=120s max_size=1g;
    3. #开启缓存         缓存路径              生成文件夹比例是3级  从内存中借调20M专门存放缓存  有效期120秒    最大存储空间为1g
    4. [root@localhost ~]# mkdir /data/nginx/
    5. [root@localhost ~]# nginx -t 
    6.  
    7.  
    8. 注意：路径不存在或者错误

    ② 子配置文件添加配置

    1.  
    2. [root@mcb-11-9 nginx]#vim /apps/nginx/conf.d/pc.conf 
    3. [root@mcb-11-9 nginx]#nginx -t
    4. nginx: the configuration file /apps/nginx/conf/nginx.conf syntax is ok
    5. nginx: configuration file /apps/nginx/conf/nginx.conf test is successful
    6. [root@mcb-11-9 nginx]#nginx -s reload
    7. [root@mcb-11-9 nginx]#ls /data/nginx/
    8. proyxcache
    9. [root@mcb-11-9 nginx]#rpm -q tree
    10. 未安装软件包 tree 
    11. [root@mcb-11-9 nginx]#yum install tree -y

    1. proxy_cache proxycache;
    2.         proxy_cache_key $request_uri;
    3.         #proxy_cache_key $host$uri$is_args$args;
    4.         proxy_cache_valid 200 302 301 10m;
    5.         proxy_cache_valid any 5m;

    ③是否有缓存

    在另一台配置拖入图片

    浏览器检测

    去代理服务器查看缓存

    只能保留，不能强刷否则，图片小时 

    ①如何清理nginx代理服务器缓存

    方法1  rm -rf 缓存目录

    方法2: 第三方扩展模块ngx_cache_purge

    ②自定义添加响应报文头部信息

    基于可以实现对后端服务器响应给客户端的报文中添加指定的响应首部字段

    1. Syntax: add_header name value [always];
    2. Default;
    3. Context: http,server,location,if in location
    4.  
    5. #添加响应报文的自定义首部:
    6. add_header name value [always];
    7.  
    8. #脚本:
    9. add_header X-Via  $server_addr; #当前nginx主机的IP
    10. add_header X-Cache $upstream_cache_status; #是否缓存命中
    11. add_header X-Accel $server_name;  #客户访问的FQDN
    12.  
    13.  
    14. add_header X-Via   
    15. add_header X-Cache 
    16. add_header X-Accel
    17.  
    18.  
    19.  
    20. # systemctl start httpd.service 
    21.  
    22.  
    23.  
    24. [root@mcb-11-9 html]#nginx -s reload
    25. [root@mcb-11-9 html]#vim /apps/nginx/conf.d/pc.conf
    26. [root@mcb-11-9 html]#systemctl start nginx
    27. [root@mcb-11-9 html]#cat /apps/nginx/conf.d/pc.conf

    ①添加子配置文件 

    ② 查看新增头部字段信息 

    [root@mcb11-3 html]# systemctl stop httpd.service 

    二 客户端ip透传

    一级代理

    在Nginx中，代理客户端IP透传是指将客户端的真实IP地址（也称为远程IP地址）传递给后端服务器。这在一些情况下非常有用，例如，当Nginx作为反向代理服务器时，我们希望后端服务器能够获取到客户端的真实IP地址，而不是Nginx服务器的IP地址。

    ip透视-------单向透视 11.9代表代理  11.8代表apache （此实验还需要在做一次）

    在代理服务器7-1写配置文件

    1. server{ 
    2.         listen 80;       
    3.         root /data/;
    4.        server_name www.mcb.com;
    5.        add_header X-Via   $server_addr;
    6.        add_header X-Cache $upstream_cache_status;
    7.        add_header X-Accel $server_name;
    8.        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    9.        location  / {
    10.        proxy_pass http://192.168.11.8;
    11.        }
    12. }

    当前访问192.168.11.9代理服务器跳转的是192.168.11.8后端真实服务器

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; #添加客户端IP和反向代理服务器IP到请求报文头部

    ② 添加后端服务器11.8web文件，开启httpd服务，关闭防火墙，并实时查看访问日志

    客户端（11.3）访问代理服务器

    ④ 观察后端服务器11.8新增日志信息

    实验：ip透视 -------多级代理（三台主机均为nginx服务）

    二级代理

    实现目标：7-0服务器日志可以查看到客户端ip和反向代理服务器ip。

    二 负载均衡策略

    在上一个节中Nginx可以将客户端的请求转发至单台后端服务器，但是无法转发至特定的一组的服务器，而且不能对后端服务器提供相应的服务器状态监测，

    Nginx可以基于ngx_http_upstream_module模块提供服务器分组转发、权重分配、状态监测、调度算法等高级功能。

    官方文档： https://nginx.org/en/docs/http/ngx_http_up

    配置格式

    1. #自定义一组服务器，配置在http块内
    2. http {
    3.     upstream   web { 
    4.     server 192.168.11.4   调度算法
    5.     server 192.168.11.7
    6.     }
    7.   
    8.     location  / {
    9.     pass_proxy  http://web/
    10.     }
    11. }

    上面的配置中，upstream块定义了后端服务器的列表和负载均衡算法。server块定义了反向代理服务器的监听端口和域名，以及请求转发的配置。具体说明如下：

    • upstream块：定义了一个名为web的负载均衡服务器组，其中包含了三个后端服务器，分别是192.168.190.100、192.168.190.101、192.168.190.102。
    • weight=5：表示将第一个后端服务器的权重设置为5，即分配更多的请求给它。ip_hash表示使用IP哈希算法进行负载均衡。keepalive 32表示使用长连接并保持32个连接。 
    • server块：定义了一个监听80端口的虚拟主机，它的域名是www.pc.com。location /表示将所有请求转发给upstream块中定义的服务器组web。proxy_set_header指令可以设置请求头，以便后端服务器能够获取客户端的真实IP地址等信息。
    • 由于使用了least_conn;算法，Nginx会动态地将请求发送到当前连接数最少的后端服务器上，以达到负载均衡的目的。
    • upstream块中使用了ip_hash算法，表示会根据客户端的IP地址，将该客户端的所有请求都发送到同一个后端服务器上。
    • 由于使用了fair算法，请求会被发送到响应时间最短的服务器上，从而实现负载均衡。
    1. Nginx负载均衡配置状态参数：
    2.  
    3.  
    4.  
    5. server address [parameters];
    6. #配置一个后端web服务器，配置在upstream内，至少要有一个server服务器配置。
    7. #server支持的parameters如下：
    8. weight=number #设置权重，默认为1,实现类似于LVS中的WRR,WLC等
    9. max_conns=number  #给当前后端server设置最大活动链接数，默认为0表示没有限制
    10. max_fails=number  #后端服务器的下线条件,当客户端访问时,对本次调度选中的后端服务器连续进行检测多少次,如果都失败就标记为不可用,默认为1次,当客户端访问时,才会利用TCP触发对探测后端服务器健康性检查,而非周期性的探测
    11. fail_timeout=time #后端服务器的上线条件,对已经检测到处于不可用的后端服务器,每隔此时间间隔再次进行检测是否恢复可用，如果发现可用,则将后端服务器参与调度,默认为10秒
    12. backup  #设置为备份服务器，当所有后端服务器不可用时,才会启用此备用服务器 sorry server   自己不能转自己
    13. down    #标记为down状态
    14. resolve #当server定义的是主机名的时候，当A记录发生变化会自动应用新IP而不用重启Nginx
    15.  
    16. hash KEY [consistent];
    17. #基于指定请求报文中首部字段或者URI等key做hash计算，使consistent参数，将使用ketama一致性
    18.  
    19. hash算法，适用于后端是Cache服务器（如varnish）时使用，consistent定义使用一致性hash运算，一
    20. 致性hash基于取模运算
    21. hash $request_uri consistent; #基于用户请求的uri做hash
    22. hash $cookie_sessionid  #基于cookie中的sessionid这个key进行hash调度,实现会话绑定
    23.  
    24.  
    25.  
    26.  
    27. ip_hash;
    28. #源地址hash调度方法，基于的客户端的remote_addr(源地址IPv4的前24位或整个IPv6地址)做hash计算，以实现会话保持
    29.  
    30.  
    31. least_conn;
    32. #最少连接调度算法，优先将客户端请求调度到当前连接最少的后端服务器,相当于LVS中的WLC

    NFS：网络文件系统，用来存储内容

    负载均衡

    ①后端（两个）服务器开启httpd（apache），关闭防火墙 防护 或iptables

    1 调度算法 

    默认算法是轮询算法即反向代理服务器处理用户请求时，每个后端服务器都轮流提供响应

    http {
     upstream web {
           server 192.168.190.100:80;
           server 192.168.190.101:80;
    }

    ①轮询算法（一人一次）

    默认算法是轮询算法即反向代理服务器处理用户请求时，每个后端服务器都轮流提供响应。

    ①代理服务器配置主文件

    ②apache后端服务器开启httpd服务，关闭防火墙，分别建立web文件

    检测

    若买一台服务器宕机？

    那么只会跳转好的那一台服务器

    当其中一台宕机，就不去访问他了，直接跳过

    那是因为 nginx 有 健康性检测 机制 就不去坏的服务器了

    nginx服务较为只能，通过tcp三次握手可以检查服务器健康性，当无法完成连通性，默认将不会访问从而提示报错。当故障服务器恢复正常后，再次轮巡调度。

    ② 加权轮询算法

    在默认轮询的基础上增加权重，weight=number。如果后端有2个服务器其中一个配置权重为weight=5另外一个不配置默认是1，则有用户访问时分配给给有权重的服务器和不配置权重的服务器的比例为5:1。

    ①配置代理服务器文件

    检测 ：客户机访问代理服务器

    ③ 最小连接数算法

    最少连接调度算法，优先将客户端请求调度到当前连接最少的后端服务器,相当于LVS中的WLC。按照nginx反向代理服务器和后端服务器的连接数分配请求，连接越少的分配处理请求优先级越高。例如最小连接数(least_conn;)是设置是3，1号后端服务器有2个请求在处理，而后2号后端服务器只有1个请求在处理，则新请求交给后端服务器2。

    1.  20     upstream web {
    2.  21     server 192.168.11.8;
    3.  22     server 192.168.11.9 max_conns=10 max_fails=3 fail_timeout=30s;
    4.  23     }
    5. #max_conns=number  #给当前后端server设置最大活动链接数，默认为0表示没有限制
    6. #max_fails=number   后端服务器的下线条件,当客户端访问时,对本次调度选中的后端服务器连续进行检测多少次,如果都失败就标记为不可用,默认为1次,当客户端访问时,才会利用TCP触发对探测后端服务器健康性检查,而非周期性的探测
    7. #fail_timeout=time 后端服务器的上线条件,对已经检测到处于不可用的后端服务器,每隔此时间间隔再次进行检测是否恢复可用，如果发现可用,则将后端服务器参与调度,默认为10秒。这样避免服务器刚上线不稳定再次导致业务失败
    ④备份服务器

    当所有后端服务器不可用时，才会启用此备用服务器sorry server，自己不能转自己。

    2 ip调度操作

    （1） ip_hash算法

    基于客户端IP地址的负载均衡算法。它会根据客户端的IP地址，将该客户端的所有请求都发送到同一个后端服务器上。这样可以保证同一个客户端的所有请求都被发送到同一个后端服务器，从而保证了会话的一致性。

    1. upstream web {
    2.     hash $remote_addr;
    3.    server 192.168.246.8;
    4.    server 192.168.246.9;
    5.    }

    ① 修改代理服务器配置

    ② 客户端访问

    hash算法会将Web页面访问的缓存定在某一个代理服务器；但是hash算法有一个缺点就是hash还要除以权重，下次重载配置会更换Web服务的代理服务器

    （2） url hash
    1.  20     upstream web { 
    2.  21     hash $request_uri;         #发送请求的地址，一旦确定不会轻易改变
    3.  22     server 192.168.246.8;
    4.  23     server 192.168.246.9;
    5.  24     }

    ① 修改代理服务器配置

    ② 客户端访问

    （3）cookie  
    1. upstream web {
    2.    hash $cookie_hello;
    3.    server 192.168.246.8;
    4.    server 192.168.246.9;
    5.    }

    ① 修改代理服务器配置

    ② 客户端模拟加上cookie访问

    （4） fair算法

    基于后端服务器的负载均衡算法。它会根据后端服务器的响应时间，将请求发送到响应时间最短的服务器上。这样可以保证请求被发送到处理能力最强的服务器上，从而提高系统的性能。

    （5）least_conn
    1. upstream web_test { 
    2.       least_conn;  --把请求转发给连接数较少的后端服务器
    3.       server 10.10.2.100:80; weight=1;
    4.       server 10.10.3.100:80; weight=2;
    5. }

    三 stream 服务模块

    http://nginx.org/en/docs/stream/ngx_stream_core_module_html

    stream  实现反向代理功能， 是四层模块，只能控制tcp、udp

    (实现反向代理功能，包括TCP协议代理)； stream和http模块是同级

    四层代理和七层代理的区别：

    4层是指传输层的 TCP/UDP 协议

    7层是指应用层的 HTTP 协议

    代理原理:

         4层代理：使用 NAT（Network Address Translation）技术，即网络地址转换。即请求进来的时候，nginx 只修改数据包里面的目标IP、源IP、端口，然后就直接把数据包发给目标服务器（即nginx不知道请求的具体内容），目标服务器处理完成后，发给 nginx，nginx 数据包再做一次类似的修改，就返回给请求的客户端了。
         7层代理：nginx 读取并解析 Http 请求内容，然后将具体内容(请求行、请求头、空行、请求数据)转发到相应的服务器，转发的过程是：建立和目标机器的连接，然后转发请求，收到响应数据再转发给请求客户端。

    把请求转发给连接数较少的后端服务器。轮询算法是把请求平均的转发给各个后端，使它们的负载大致相同；但是，有些请求占用的时间很长，会导致其所在的后端负载较高。这种情况下，least_conn这种方式就可以达到更好的负载均衡效果。

  • 相关阅读:
    C++【5】类与对象（一） 例子演示
    Docker启动mysql服务
    GhMYB7促进棉纤维中次生壁纤维素的积累
    腾讯云优惠券种类、领取方法及使用教程分享
    一次关于关系抽取(RE)综述调研的交流心得
    Chrome浏览器免费广告拦截器插件 —— Adblock
    MYSQL数据库的概念和sql语句
    js3day(数组操作,js冒泡排序，函数，调试窗口，作用域及作用域链，匿名函数，对象,Math对象)
    Day39-Servlet
    web漏洞-PHP反序列化
  • 原文地址：https://blog.csdn.net/MCB134/article/details/136359051