个人随笔
目录
keepalived+nginx实现高可用实战(双机主备,双主热备)
2023-08-03 22:30:07

Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

下面这里我们就用keepalived+nginx来测试下。

一、环境

这里准备两台机器,一台是主一台是备

  1. #nginx11
  2. 192.168.192.11 MASTER
  3. #nginx02
  4. 192.168.192.12 BACKUP
  5. 然后keepalive用的虚拟ip
  6. 192.168.192.13

我们的目的就是通过访问192.168.192.13,会去到192.168.192.11,当192.168.192.11挂了后就会去到192.168.192.12

nginx环境搭建可以参考Nginx实战

虚拟机的安装和克隆可以参考一个Java程序员从事网站开发要了解和掌握的基本技术
中的Linux服务器准备

二、keepalived+nginx实现高可用实战

1、官网下载

https://www.keepalived.org/download.html
这里下载Release版本:keepalived-2.0.6.tar.gz

注:开始我用keepalived-2.1.0.tar.gz版本,报如下错误,找不到解决办法,就只能换低一点的版本了,望知道的说下!

  1. make[1]: Entering directory `/usr/local/keepalived-2.1.0/keepalived'
  2. Making all in core
  3. make[2]: Entering directory `/usr/local/keepalived-2.1.0/keepalived/core'
  4. CC namespaces.o
  5. In file included from /usr/include/netlink/handlers.h:19:0,
  6. from /usr/include/netlink/socket.h:16,
  7. from namespaces.c:171:
  8. /usr/include/netlink/netlink-kernel.h:193:2: error: unknown type name ‘__u32’
  9. __u32 group;
  10. ^
  11. make[2]: *** [namespaces.o] Error 1
  12. make[2]: Leaving directory `/usr/local/keepalived-2.1.0/keepalived/core'
  13. make[1]: *** [all-recursive] Error 1
  14. make[1]: Leaving directory `/usr/local/keepalived-2.1.0/keepalived'
  15. make: *** [all-recursive] Error 1

2、解压

上传到/usr/local目录下面解压

  1. tar -zxvf keepalived-2.0.6.tar.gz

3、configure配置

  1. cd /usr/local/keepalived-2.0.6
  2. ./configure --prefix=/usr/local/keepalived --sysconf=/etc
  • prefix:keepalived安装的位置
  • sysconf:keepalived核心配置文件所在位置,固定位置,改成其他位置则keepalived启动不了,/var/log/messages中会报错

若是报错误

  1. checking for cl.exe... no
  2. configure: error: in `/usr/local/keepalived-2.0.6':
  3. configure: error: no acceptable C compiler found in $PATH
  4. See `config.log' for more details

则需要安装

  1. yum install gcc gcc-c++

若是报错误

  1. checking for openssl/ssl.h... no
  2. configure: error:
  3. !!! OpenSSL is not properly installed on your system. !!!
  4. !!! Can not include OpenSSL headers files. !!!

则需要安装

  1. yum install -y openssl openssl-devel

若是报错误

  1. checking for libnfnetlink/libnfnetlink.h... no
  2. configure: error: libnfnetlink headers missing

则需要安装

  1. yum install -y libnfnetlink-devel

执行完后会有警告

  1. *** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.

安装 libnl/libnl-3 依赖

  1. yum -y install libnl libnl-devel

重新执行

  1. ./configure --prefix=/usr/local/keepalived --sysconf=/etc

发现没有警告了。

4、安装

  1. make && make install

5、Keepalived 配置

  1. cd /etc/keepalived
  1. [root@localhost keepalived]# ip addr
  2. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
  3. link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4. inet 127.0.0.1/8 scope host lo
  5. valid_lft forever preferred_lft forever
  6. inet6 ::1/128 scope host
  7. valid_lft forever preferred_lft forever
  8. 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  9. link/ether 00:50:56:36:1a:25 brd ff:ff:ff:ff:ff:ff
  10. inet 192.168.192.11/24 brd 192.168.192.255 scope global noprefixroute ens33
  11. valid_lft forever preferred_lft forever
  12. inet6 fe80::a4ce:6997:d06a:d685/64 scope link noprefixroute
  13. valid_lft forever preferred_lft forever

我们用的网卡是ens33

修改配置文件,假设我们这里的VIP为192.168.192.13,并且这台节点为MASTER,配置文件为

  1. global_defs {
  2. # 路由id:当前安装keepalived的节点主机标识符,保证全局唯一
  3. router_id keep_11
  4. }
  5. vrrp_instance VI_1 {
  6. # 表示状态是MASTER主机还是备用机BACKUP
  7. state MASTER
  8. # 该实例绑定的网卡名称
  9. interface ens33
  10. # 保证主备节点一致即可
  11. virtual_router_id 13
  12. # 权重,master权重一般高于backup,如果有多个,那就是选举,谁的权重高,谁就当选
  13. priority 100
  14. # 主备之间同步检查时间间隔,单位秒
  15. advert_int 2
  16. # 认证权限密码,防止非法节点进入
  17. authentication {
  18. auth_type PASS
  19. auth_pass 1111
  20. }
  21. # 虚拟出来的ip,可以有多个(vip)
  22. virtual_ipaddress {
  23. 192.168.192.13
  24. }
  25. }

然后我们克隆一台机器,修改另一台机器的配置文件为BACKUP

  1. global_defs {
  2. # 路由id:当前安装keepalived的节点主机标识符,保证全局唯一
  3. router_id keep_12
  4. }
  5. vrrp_instance VI_1 {
  6. # 表示状态是MASTER主机还是备用机BACKUP
  7. state BACKUP
  8. # 该实例绑定的网卡名称
  9. interface ens33
  10. # 保证主备节点一致即可
  11. virtual_router_id 13
  12. # 权重,master权重一般高于backup,如果有多个,那就是选举,谁的权重高,谁就当选
  13. priority 80
  14. # 主备之间同步检查时间间隔,单位秒
  15. advert_int 2
  16. # 认证权限密码,防止非法节点进入
  17. authentication {
  18. auth_type PASS
  19. auth_pass 1111
  20. }
  21. # 虚拟出来的ip,可以有多个(vip)
  22. virtual_ipaddress {
  23. 192.168.192.13
  24. }
  25. }

6、启动MASTER

  1. cd /usr/local/keepalived/sbin
  2. ./keepalived
  1. [root@localhost sbin]# ip addr
  2. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
  3. link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4. inet 127.0.0.1/8 scope host lo
  5. valid_lft forever preferred_lft forever
  6. inet6 ::1/128 scope host
  7. valid_lft forever preferred_lft forever
  8. 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  9. link/ether 00:50:56:36:1a:25 brd ff:ff:ff:ff:ff:ff
  10. inet 192.168.192.11/24 brd 192.168.192.255 scope global noprefixroute ens33
  11. valid_lft forever preferred_lft forever
  12. inet 192.168.192.13/32 scope global ens33
  13. valid_lft forever preferred_lft forever
  14. inet6 fe80::a4ce:6997:d06a:d685/64 scope link noprefixroute
  15. valid_lft forever preferred_lft forever
  16. [root@localhost sbin]#

可以看到ens33多了一个192.168.192.13

7、启动BACKUP

  1. cd /usr/local/keepalived/sbin
  2. ./keepalived
  1. [root@localhost sbin]# ip addr
  2. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
  3. link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4. inet 127.0.0.1/8 scope host lo
  5. valid_lft forever preferred_lft forever
  6. inet6 ::1/128 scope host
  7. valid_lft forever preferred_lft forever
  8. 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  9. link/ether 00:50:56:3c:89:c3 brd ff:ff:ff:ff:ff:ff
  10. inet 192.168.192.12/24 brd 192.168.192.255 scope global noprefixroute ens33
  11. valid_lft forever preferred_lft forever
  12. inet 192.168.192.13/32 scope global ens33
  13. valid_lft forever preferred_lft forever
  14. inet6 fe80::a4ce:6997:d06a:d685/64 scope link tentative noprefixroute dadfailed
  15. valid_lft forever preferred_lft forever
  16. inet6 fe80::137c:d64d:c120:b79e/64 scope link noprefixroute
  17. valid_lft forever preferred_lft forever
  18. [root@localhost sbin]#

可以看到ens33也多了一个192.168.192.13

8、访问

我们访问192.168.192.13,会发现

  1. Welcome to nginx MASTER 11!

页面显示这个,表面目前是在MASTER的

9、模拟服务中断
正常我们定义某个节点有故障了,就是keepalived的进程都不在了,所以我们可以在MASTER执行

  1. killall keepalived

要是没有这命令可以先安装

  1. yum -y install psmisc

kill后我们发现

  1. [root@localhost html]# ip addr
  2. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
  3. link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  4. inet 127.0.0.1/8 scope host lo
  5. valid_lft forever preferred_lft forever
  6. inet6 ::1/128 scope host
  7. valid_lft forever preferred_lft forever
  8. 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
  9. link/ether 00:50:56:36:1a:25 brd ff:ff:ff:ff:ff:ff
  10. inet 192.168.192.11/24 brd 192.168.192.255 scope global noprefixroute ens33
  11. valid_lft forever preferred_lft forever
  12. inet6 fe80::a4ce:6997:d06a:d685/64 scope link noprefixroute
  13. valid_lft forever preferred_lft forever
  14. [root@localhost html]#

192.168.192.13就不见了。

再访问192.168.192.13

  1. Welcome to nginx BACKUP 12!

成功切到了备用机!

我们再启动MASTER的keepalived后,再访问192.168.192.13

  1. Welcome to nginx MASTER 11!

10、那我们监控的好像都是keepalived?不是nginx啊?

正常我们都会在keepalived配置中配置一个检查脚本,定时检查nginx进程是否存在,若是不存在则同时killall keepalived,这样就相当于监控了nginx.

11、keepalived相关命令

  1. # 启动keepalived
  2. systemctl start keepalived
  3. # 停止keepalived
  4. systemctl stop keepalived
  5. # 重启keepalived
  6. systemctl restart keepalived

12、Keepalived 配置 Nginx 自动重启

1、增加Nginx重启检测脚本
  1. vim /etc/keepalived/check_nginx_alive_or_not.sh
  1. #!/bin/bash
  2. A=`ps -C nginx --no-header |wc -l`
  3. # 判断nginx是否宕机,如果宕机了,尝试重启
  4. if [ $A -eq 0 ];then
  5. /usr/local/nginx/sbin/nginx
  6. # 等待一小会再次检查nginx,如果没有启动成功,则停止keepalived,使其启动备用机
  7. sleep 3
  8. if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
  9. killall keepalived
  10. fi
  11. fi

增加运行权限

  1. chmod +x /etc/keepalived/check_nginx_alive_or_not.sh
2、在 keepalived.conf 配置定时监听 nginx 状态脚本
  1. vrrp_script check_nginx_alive {
  2. script "/etc/keepalived/check_nginx_alive_or_not.sh"
  3. interval 2 # 每隔两秒运行上一行脚本
  4. weight 10 # 如果脚本运行成功,则升级权重+10
  5. # weight -10 # 如果脚本运行失败,则升级权重-10
  6. }
3、在vrrp_instance中新增监控的脚本
  1. track_script {
  2. check_nginx_alive # 追踪 nginx 脚本
  3. }
4、重启Keepalived使得配置文件生效
  1. systemctl restart keepalived
5、测试Nginx是否会自动重启
  1. cd /usr/local/nginx/sbin
  2. #停止
  3. ./nginx -s stop
  4. #查看进程是否存在
  5. ps -ef|grep nginx

这里我们配置脚本是每隔两秒运行一次,所以手速要快,当然如果你手速不快的话,可以把运行时间加长,就会看到效果。我们已停止nginx,马上查进程是查不到的,过一会再查又有了。

6、加上监控的配置文件
  1. global_defs {
  2. # 路由id:当前安装keepalived的节点主机标识符,保证全局唯一
  3. router_id keep_11
  4. }
  5. vrrp_script check_nginx_alive {
  6. script "/etc/keepalived/check_nginx_alive_or_not.sh"
  7. interval 2 # 每隔两秒运行上一行脚本
  8. weight 10 # 如果脚本运行成功,则升级权重+10
  9. # weight -10 # 如果脚本运行失败,则升级权重-10
  10. }
  11. vrrp_instance VI_1 {
  12. # 表示状态是MASTER主机还是备用机BACKUP
  13. state MASTER
  14. # 该实例绑定的网卡名称
  15. interface ens33
  16. # 保证主备节点一致即可
  17. virtual_router_id 13
  18. # 权重,master权重一般高于backup,如果有多个,那就是选举,谁的权重高,谁就当选
  19. priority 100
  20. # 主备之间同步检查时间间隔,单位秒
  21. advert_int 2
  22. # 认证权限密码,防止非法节点进入
  23. authentication {
  24. auth_type PASS
  25. auth_pass 1111
  26. }
  27. # 虚拟出来的ip,可以有多个(vip)
  28. virtual_ipaddress {
  29. 192.168.192.13
  30. }
  31. track_script {
  32. check_nginx_alive # 追踪 nginx 脚本
  33. }
  34. }

13、脑裂问题

我们上面可以看到,MASTER和BACKUP上执行ip addr都可以看到VIP,很明显是有问题的。

数据包抓取看看

安装tcpdump命令(没有的话)

  1. yum install tcpdump
  1. [root@localhost sbin]# tcpdump -i ens33 vrrp -n
  2. tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
  3. listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes
  4. 04:13:38.770655 IP 192.168.192.12 > 224.0.0.18: VRRPv2, Advertisement, vrid 13, prio 80, authtype simple, intvl 2s, length 20
  5. 04:13:39.484837 IP 192.168.192.11 > 224.0.0.18: VRRPv2, Advertisement, vrid 13, prio 110, authtype simple, intvl 2s, length

检查发现 11和12都在对224.0.0.18发送消息。Keepalived使用vrrp组播,默认地址是224.0.0.18.但是在正常情况下,备节点如果收到主节点的心跳消息时,优先级高于自己,就不会主动对外发送消息。

考虑到,该主机启用了firewalld防火墙,因此要防火墙配置放过vrrp协议。

  1. firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
  2. firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
  3. firewall-cmd --reload

完成后再用ip addr查看,集群已经正常了,只有主节点绑定虚拟IP,备份节点不会绑定了。

  1. tcpdump -i ens33 vrrp -n
  1. [root@localhost sbin]# tcpdump -i ens33 vrrp -n
  2. tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
  3. listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes
  4. 04:25:26.669848 IP 192.168.192.11 > 224.0.0.18: VRRPv2, Advertisement, vrid 13, prio 110, authtype simple, intvl 2s, length 20
  5. 04:25:28.679560 IP 192.168.192.11 > 224.0.0.18: VRRPv2, Advertisement, vrid 13, prio 110, authtype simple, intvl 2s, length 20

发现12就不会对224.0.0.18发送消息了。

再看ip addr 发现只有11Master才有虚拟IP 13了。

三、实现双主热备

上面实现的是双机主备,也就是有一台备用机其实是浪费了的,所以正常情况下我们会实现双主热备,什么意思呢?就是两台服务器互为主备,也就是有两个vip。然后我们再DNS中配置两个vip即可,DNS会根据轮训策略选取一个vip进行访问,这样就都不会浪费资源啦。

话说配置DNS轮训貌似只有云服务可以配置。比如腾讯云或者阿里云,在配置域名解析的时候,配置两个ip即可。

下面我们在上面双机主备的环境下继续搭建双主热备,这里规划下ip:

  1. #nginx11
  2. 192.168.192.11 MASTER
  3. #nginx02
  4. 192.168.192.12 BACKUP
  5. 然后keepalive用的虚拟ip
  6. 192.168.192.13/192.168.192.14

vip192.168.192.13中我们配置192.168.192.11 MASTER,192.168.192.12 BACKUP,vip192.168.192.14中我们配置192.168.192.11 BACKUP,192.168.192.12 MASTER.

1、192.168.192.11配置文件

  1. global_defs {
  2. # 路由id:当前安装keepalived的节点主机标识符,保证全局唯一
  3. router_id keep_11
  4. }
  5. vrrp_script check_nginx_alive {
  6. script "/etc/keepalived/check_nginx_alive_or_not.sh"
  7. interval 2 # 每隔两秒运行上一行脚本
  8. weight 10 # 如果脚本运行成功,则升级权重+10
  9. # weight -10 # 如果脚本运行失败,则升级权重-10
  10. }
  11. vrrp_instance VI_1 {
  12. # 表示状态是MASTER主机还是备用机BACKUP
  13. state MASTER
  14. # 该实例绑定的网卡名称
  15. interface ens33
  16. # 保证主备节点一致即可
  17. virtual_router_id 13
  18. # 权重,master权重一般高于backup,如果有多个,那就是选举,谁的权重高,谁就当选
  19. priority 100
  20. # 主备之间同步检查时间间隔,单位秒
  21. advert_int 2
  22. # 认证权限密码,防止非法节点进入
  23. authentication {
  24. auth_type PASS
  25. auth_pass 1111
  26. }
  27. # 虚拟出来的ip,可以有多个(vip)
  28. virtual_ipaddress {
  29. 192.168.192.13
  30. }
  31. track_script {
  32. check_nginx_alive # 追踪 nginx 脚本
  33. }
  34. }
  35. vrrp_instance VI_2 {
  36. # 表示状态是MASTER主机还是备用机BACKUP:这里是BACKUP
  37. state BACKUP
  38. # 该实例绑定的网卡名称
  39. interface ens33
  40. # 保证主备节点一致即可:第二个vip
  41. virtual_router_id 14
  42. # 权重:这里是backup
  43. priority 80
  44. # 主备之间同步检查时间间隔,单位秒
  45. advert_int 2
  46. # 认证权限密码,防止非法节点进入
  47. authentication {
  48. auth_type PASS
  49. auth_pass 1111
  50. }
  51. # 虚拟出来的ip,可以有多个(vip):这里是第二个vip,用户14
  52. virtual_ipaddress {
  53. 192.168.192.14
  54. }
  55. track_script {
  56. check_nginx_alive # 追踪 nginx 脚本
  57. }
  58. }

可以看到有了两个vrrp_instance VI_1和vrrp_instance VI_2,其中 VI_1 对应vip192.168.192.13,该节点为MASTER, VI_2对应vip192.168.192.13,该节点为BACKUP.

2、192.168.192.12配置文件

  1. global_defs {
  2. # 路由id:当前安装keepalived的节点主机标识符,保证全局唯一
  3. router_id keep_12
  4. }
  5. vrrp_script check_nginx_alive {
  6. script "/etc/keepalived/check_nginx_alive_or_not.sh"
  7. interval 2 # 每隔两秒运行上一行脚本
  8. weight 10 # 如果脚本运行成功,则升级权重+10
  9. # weight -10 # 如果脚本运行失败,则升级权重-10
  10. }
  11. vrrp_instance VI_1 {
  12. # 表示状态是MASTER主机还是备用机BACKUP
  13. state BACKUP
  14. # 该实例绑定的网卡名称
  15. interface ens33
  16. # 保证主备节点一致即可
  17. virtual_router_id 13
  18. # 权重,master权重一般高于backup,如果有多个,那就是选举,谁的权重高,谁就当选
  19. priority 80
  20. # 主备之间同步检查时间间隔,单位秒
  21. advert_int 2
  22. # 认证权限密码,防止非法节点进入
  23. authentication {
  24. auth_type PASS
  25. auth_pass 1111
  26. }
  27. # 虚拟出来的ip,可以有多个(vip)
  28. virtual_ipaddress {
  29. 192.168.192.13
  30. }
  31. track_script {
  32. check_nginx_alive # 追踪 nginx 脚本
  33. }
  34. }
  35. vrrp_instance VI_2 {
  36. # 表示状态是MASTER主机还是备用机BACKUP
  37. state MASTER
  38. # 该实例绑定的网卡名称
  39. interface ens33
  40. # 保证主备节点一致即可
  41. virtual_router_id 14
  42. # 权重:这里是MASTER用100
  43. priority 100
  44. # 主备之间同步检查时间间隔,单位秒
  45. advert_int 2
  46. # 认证权限密码,防止非法节点进入
  47. authentication {
  48. auth_type PASS
  49. auth_pass 1111
  50. }
  51. # 虚拟出来的ip,可以有多个(vip):这里是另一个vip
  52. virtual_ipaddress {
  53. 192.168.192.14
  54. }
  55. track_script {
  56. check_nginx_alive # 追踪 nginx 脚本
  57. }
  58. }

可以看到有了两个vrrp_instance VI_1和vrrp_instance VI_2,其中 VI_1 对应vip192.168.192.13,该节点为BACKUP, VI_2对应vip192.168.192.14,该节点为MASTER.配置刚好跟另一个节点相反。

3、重启

  1. systemctl restart keepalived

注:这里我安装好keepalived并没有将系统配置文件拷贝至系统 etc文件依然可以直接用这个命令,可能是我这个版本比较高的原因,如果发现用不了这个命令,建议拷贝下

  1. cp init.d/keepalived /etc/init.d/
  2. cp sysconfig/keepalived /etc/sysconfig/
  3. #刷新系统服务
  4. systemctl daemon-reload

4、检查

重启后,通过ip addr查看ens33中的ip,根据上面的配置,理论上11上会有11和13,12上会有12和14.

192.168.192.11

  1. inet 192.168.192.11/24 brd 192.168.192.255 scope global noprefixroute ens33
  2. valid_lft forever preferred_lft forever
  3. inet 192.168.192.13/32 scope global ens33
  4. valid_lft forever preferred_lft forever

192.168.192.12

  1. inet 192.168.192.12/24 brd 192.168.192.255 scope global noprefixroute ens33
  2. valid_lft forever preferred_lft forever
  3. inet 192.168.192.14/32 scope global ens33
  4. valid_lft forever preferred_lft forever

跟预期一样,接下来我们直接在浏览器访问192.168.192.13和192.168.192.14(这里假设已经通过DNS轮训获取了对应的ip)


看结果是跟预期一样的,毕竟配置的13对应11是MASTER,14对应的12是MASTER

5、模拟异常

我们有做健康检测脚本,只要nginx挂了,keepalived会尝试去拉取,拉取失败会kill掉自己,这里就不搞那么复杂,直接把11的keepalived给关了

  1. systemctl stop keepalived

我们再看12的ip,肯定会发现13,14都在

  1. inet 192.168.192.12/24 brd 192.168.192.255 scope global noprefixroute ens33
  2. valid_lft forever preferred_lft forever
  3. inet 192.168.192.14/32 scope global ens33
  4. valid_lft forever preferred_lft forever
  5. inet 192.168.192.13/32 scope global ens33
  6. valid_lft forever preferred_lft forever

浏览器访问也会发现只剩下12了。

完结!

 328

啊!这个可能是世界上最丑的留言输入框功能~


当然,也是最丑的留言列表

有疑问发邮件到 : suibibk@qq.com 侵权立删
Copyright : 个人随笔   备案号 : 粤ICP备18099399号-2