Linux系统下的lvs负载均衡三种模式原理及如何进行配置

特点：
可伸缩网络服务的几种结构，它们都需要一个前端的负载调度器（或者多个进行主从备份）。我们先分析实现虚拟网络服务的主要技术，指出IP负载均衡技术是在负载调度器的实现技术中效率最高的。在已有的IP负载均衡技术中，主要有通过网络地址转换（Network Address Translation）将一组服务器构成一个高性能的、高可用的虚拟服务器，我们称之为VS/NAT技术（Virtual Server via Network Address Translation）。
在分析VS/NAT的缺点和网络服务的非对称性的基础上，我们提出了通过IP隧道实现虚拟服务器的方法VS/TUN （Virtual Server via IP Tunneling），和通过直接路由实现虚拟服务器的方法VS/DR（Virtual Server via Direct Routing），它们可以极大地提高系统的伸缩性。VS/NAT、VS/TUN和VS/DR技术是LVS集群中实现的三种IP负载均衡技术。

下面初步介绍下这三种模式，需理解原理以后才能对将来的部署、配置、优化和故障排查有帮助，否则事倍功半，是一种知其然而不知其所以然状态，可悲！

      （1） Virtual Server via Network Address Translation（VS/NAT）
       通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。不管是请求还是RIP服务器返回数据，都经过调度器，调度器会成为瓶颈。满足一些请求量不大的没问题，依旧很强大。

      （2）Virtual Server via IP Tunneling（VS/TUN）
     采用NAT技术时，由于请求和响应报文都必须经过调 度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报文通过IP隧道转发至真实服务器，而真实服务器将响 应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍。

       （3）Virtual Server via Direct Routing（VS/DR）
      VS/DR通过改写请求报文的MAC地址，将请求 发送到真实服务器，而真实服务器将响应直接返回给客户，调度器也只处理请求做分发而已。同VS/TUN技术一样，VS/DR技术可极大地提高集群系统的伸缩性。这种方法没有IP隧道的开 销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是要求调度器与真实服务器都有一块网卡连在同一物理网段上。

技术简介：

   lvs集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡的转移到不同的服务器上执行，调度器自动屏蔽服务器的故障，从而将一组服务器构成一个高性能的高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，无需修改客户端和服务器端的程序。

集群的三层架构：

A、调度器（load balancer），是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址

B、服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有web、mail、ftp和dhs等

C、共享存储（shared storage），为服务器提供一个共享的存储区，很容易使得服务器池拥有相同的内容，提供相同的服务。共享存储通常是数据库、网络文件系统或者分布式文件系统。

调度器：

调度器是服务器集群系统的唯一入口点，可以采用ip负载均衡技术，基于内容请求分发技术或者两者的结合。
在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时，调度器根据服务器负载情况和设定的调度算法从服务器池中选择一个服务器，将带请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。

在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可以根据请求的内容选择服务器执行请求。因为所有的操作都是在Linux操作系统核心空间中完成的，它的调度开销很小，所以它具有很高的吞吐率。服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时，可以在服务器池中增加服务器来满足不断增长的请求负载。

对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。 共享存储通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新的数据一般存储在数据库系统中，同时数据库会保证并发访问时数据的一致性。静态的数据可以存储在网络文件系统（如NFS/CIFS）中，但网络文件系统的伸缩能力有限，一般来说，NFS/CIFS服务器只能支持3~6个繁忙的服务器结点。对于规模较大的集群系统，可以考虑用分布式文件系统，如AFS、GFS、Coda和Intermezzo等。分布式文件系统可为各服务器提供共享的存储区，它们访问分布式文件系统就像访问本地文件系统一样，同时分布式文件系统可提供良好的伸缩性和可用性。

分布式锁管理器

此外，当不同服务器上的应用程序同时读写访问分布式文件系统上同一资源时，应用程序的访问冲突需要消解才能使得资源处于一致状态。这需要一个分布式锁管理器（Distributed Lock Manager），它可能是分布式文件系统内部提供的，也可能是外部的。开发者在写应用程序时，可以使用分布式锁管理器来保证应用程序在不同结点上并发访问的一致性。

负载调度器、服务器池和共享存储系统通过高速网络相连接（一般都是采用内网），如100Mbps交换网络、Myrinet和Gigabit网络等。使用高速的网络，主要为避免当系统规模扩大时互联网络成为整个系统的瓶颈。

调度算法（最具有技术含量且最难得部分）：

轮叫调度：以轮叫的方式依次将请求调度不同的服务器，算法简洁，无需记录当前所有链接的状态，是无状态的调度
加权轮叫调度：用相应的权值表示服务器的处理性能，默认权值为1.按权值的高低和轮叫方式分配请求到各服务器
最小连接调度：把新的链接请求分配到当前连接数最小的服务器，是一种动态的调度算法，通过服务器当前活跃的连接数来估算服务器的负载情况。
加权最小连接调度：各个服务器相应的权值表示其处理性能。尽可能使服务器已经建立的连接数和其权值成比例
基于局部性的最小链接：在服务器的负载平衡情况下，将相同目标IP地址的请求调度到同一台服务器，提高各服务器的访问局部性和主存cache命中率。
带复制的基于局部性的最少链接：与基于局部性的最小链接不同的是，这个需要维护从一个目标IP到一组服务器的映射。
目标地址散列调度：静态映射算法，通过一个散列函数将一个目标IP地址映射到一台服务器
源地址散列调度：与目标地址散列调度相反，根据请求的源IP地址作为散列值，从静态分配的散列表找出相应的服务器。

负载均衡技术：
vs/nat：通过网络地址转换技术，将一组服务器构成一个高可用的，高性能的虚拟服务器。
vs/tun：通过ip隧道实现虚拟服务器
vs/dr：通过直接路由实现虚拟服务器，虚拟ip（VIP）：director用于向客户端计算机提供服务的ip地址，真实ip（RIP）：在集群节点上使用ip地址，提供真实服务的机器。 director的ip(DIP)：director用于连接到Ｄ/rip网络的ip地址，客户端ip(CIP)：分配给客户端计算机的ip地址，用作发送给集群的请求的源地址

1、lvs(nat模式配置)

(1)准备好网络环境
真实服务器(应用服务,ip地址,网关)
调度服务器(ip地址,数据转发设置)
防火墙服务器(ip地址,数据转发设置,NAT配置)

(2)调度服务器配置
# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
# sysctl -p
# yum install ipvsadm
# ipvsadm -A -t 172.16.10.111:80 -s rr
# ipvsadm -a -t 172.16.10.111:80 -r 10.0.0.11:80 -m
# ipvsadm -a -t 172.16.10.111:80 -r 10.0.0.12:80 -m
# ipvsadm -a -t 172.16.10.111:80 -r 10.0.0.13:80 -m
# service ipvsadm save

(3)防火墙的配置
# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
# sysctl -p

# iptables -t nat -A PREROUTING -i eth1 -s 10.10.10.0/24 -p tcp –dport 80 -j DNAT –to-destination=172.16.10.111:80

2、lvs(dr模式配置)
(1)客户端(Client)配置
eth0(cip):10.10.10.10
gw:10.10.10.110

(2)防火墙配置(Fireware)配置
ip配置
eth0:172.16.10.111 (防火墙和调度服务器通信地址)
eth1:10.10.10.11 (客户端网关)
eth2:10.0.0.163 (防火墙和真实机的通信地址)

# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
# sysctl -p

# iptables -t nat -A PREROUTING -i eth1 -s 10.10.10.0/24 -p tcp –dport 80 -j DNAT –to-destination=172.16.10.111:80

(3)调度服务器(ldirector)配置
ip配置
eth0:10.0.0.164 (和真实服务器通信地址)
eth1:172.16.10.100 (虚拟ip(vip))
gw:172.16.10.111

注意:解决Error, some other host already uses address 10.0.0.164.问题
# vim /etc/sysconfig/network-scripts/ifup-eth \\注释掉一下四行
# if ! /sbin/arping -q -c 2 -w 3 -D -I ${REALDEVICE} ${ipaddr[$idx]} ; then
# net_log $”Error, some other host already uses address ${ipaddr[$idx]}.”
# exit 1
# fi

配置数据包转发
# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
# sysctl -p

配置调度
# ipvsadm -A -t 172.16.10.100:80 -s rr
# ipvsadm -a -t 172.16.10.100:80 -r 10.0.0.11:80 -g
# ipvsadm -a -t 172.16.10.100:80 -r 10.0.0.12:80 -g
# ipvsadm -a -t 172.16.10.100:80 -r 10.0.0.13:80 -g
# ipvsadm -L -n \\查看ipvsadm配置
# ipvsadm -L -n –stats \\查看ipvsadm状态

添加网关
# route add default gw 172.16.10.111

(4)真实服务器(real server)配置
ip配置
1)ip:10.0.0.11/16
gw:10.0.0.139
vip:172.16.10.100
# ifconfig lo:0 172.16.10.100/32 broadcast 172.16.10.100

禁用接收广播回应配置
#vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
# sysctl -p
或者
# yum install arptables_jf
# arptables -A IN -d 172.16.10.100 -j DROP

添加路由
# route add -host 172.16.10.100 dev lo:0

优点：