实验：基于tomcat的高可用性+nginx（haproxy）反向代理+session服务器memcached（redis）

2023-08-10 14:23:10

Session 问题方案总结

1. session绑定，基于IP或session cookie的。其部署简单，尤其基于session黏性的方式，粒度小，对负载均衡影响小。但一旦后端服务器有故障，其上的session丢失。

2. session复制集群，基于tomcat实现多个服务器内共享同步所有session。此方法可以保证任意一台后端服务器故障，其余各服务器上还都存有全部session，对业务无影响。但是它基于多播实现心跳，TCP单播实现复制，当设备节点过多，这种复制机制不是很好的解决方案。且并发连接多的时候，单机上的所有session占据的内存空间非常巨大，甚至耗尽内存。

3. session服务器，将所有的session存储到一个共享的内存空间中，使用多个冗余节点保存session，这样做到session存储服务器的高可用，且占据业务服务器内存较小。是一种比较好的解决session持久的解决方案。

不过以上这些方法都是在内存中实现了session的保持，可以使用数据库或者文件系统，把session数据存储起来，持久化。这样服务器重启后，也可以重新恢复session数据。不过session数据是有时效性的，是否需要这样做，视情况而定

实验：基于tomcat的高可用性+nginx（haproxy）反向代理+session服务器memcached（redis）

实验规划：

tomcat二进制安装tomcat1和tomcat2：

安装jdk 和tomcat

yum -y install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel

wget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.50/bin/apache-tomcat-8.5.50.tar.gz

tar xvf apache-tomcat-8.5.64.tar.gz -C /usr/local/ 

cd /usr/local/

#指定PATH变量

ln -s apache-tomcat-8.5.64/ tomcat

echo 'PATH=/usr/local/tomcat/bin:$PATH' > /etc/profile.d/tomcat.sh

. /etc/profile.d/tomcat.sh

useradd -r -s /sbin/nologin tomcat

cat > /usr/local/tomcat/conf/tomcat.conf << EOF

#两个变量至少设置一项才能启动 tomcat，这行是至需要将java路径指向出来，如是yum安装通如下路径：

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/

#JAVA_HOME=/usr/local/jdk

#JRE_HOME=/usr/local/jdk/jre

EOF

chown -R tomcat.tomcat /usr/local/tomcat/

#创建tomcat.service文件

cat > /lib/systemd/system/tomcat.service << EOF

[Unit]

Description=Tomcat

After=syslog.target network.target 

[Service]

Type=forking

EnvironmentFile=/usr/local/tomcat/conf/tomcat.conf

ExecStart=/usr/local/tomcat/bin/startup.sh

ExecStop=/usr/local/tomcat/bin/shutdown.sh

PrivateTmp=true

User=tomcat

Group=tomcat

[Install]

WantedBy=multi-user.target

EOF

systemctl daemon-reload

systemctl enable --now tomcat.service

相同情况安装tomcat2

nginx+tomcat实现动静分离：

tomcat安装完毕；

yum install nginx -y

#增加3个页面

echo /usr/local/tomcat/webapps/ROOT/tomcat1_static.html >/usr/local/tomcat/webapps/ROOT/test.html

echo /usr/local/tomcat/webapps/ROOT/tomcat1_dynamic.jsp >/usr/local/tomcat/webapps/ROOT/test.jsp

echo nginx1 > /usr/share/nginx/html/test.html

vim /etc/nginx/nginx.conf

#下面位置增加这么3行

location ~* \.jsp$ {

proxy_pass http://127.0.0.1:8080; 

}

实验：基于tomcat的高可用性+nginx（haproxy）反向代理+session服务器memcached（redis）

curl 192.168.37.105/test.html

curl 192.168.37.105/test.jsp

nginx实现负载均衡：

vim /etc/nginx/nginx.conf

#添加如下语句块：

upstream tomcat-server {

#ip_hash; 

server t1.lijian.com:8080;

server t2.lijian.com:8080;

}

location ~* \.(jsp|do)$ {

proxy_pass http://tomcat-server;

}

systemctl restart nginx

配置代理103上的hosts文件

vim /etc/hosts

192.168.37.105 t1.lijian.com t1

192.168.37.106 t2.lijian.com t2

在tomcat1上安装配置memcached：

yum install memcached -y

检查配置文件，无问题

cat /etc/sysconfig/memcached 

PORT="11211"     #监听端口

USER="memcached" #启动用户

MAXCONN="1024"  #最大连接数

CACHESIZE="64"  #最大使用内存

OPTIONS="-l 127.0.0.1,::1" #其他选项

修改tomcat1配置文件：

vim /usr/local/tomcat/conf/server.xml

#修改默认页面

<Engine name="Catalina" defaultHost="www.lijian.com">

#配置虚拟机

<Host name="www.lijian.com" appBase="/data/webapps"

unpackWARs="true" autoDeploy="true">

</Host>

#创建测试页面：

vim /data/webapps/ROOT/index.jsp

<%@ page import="java.util.*" %> 

<!DOCTYPE html>

<html lang="en">

<head>

  <meta charset="UTF-8">

  <title>tomcat test</title>

</head>

<body>

<div>On <%=request.getServerName() %></div>

<div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>

<div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>

<%=new Date()%>

</body>

</html>

#修改权限

chown -R tomcat.tomcat /data/webapps/

测试session在变化：

#sticky 模式配置msm

vim /usr/local/tomcat/conf/context.xml

###倒数第一行前,即</Context>行的前面,加下面内容

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"

memcachedNodes="n1:192.168.37.105:11211,n2:192.168.37.106:11211"                     

failoverNodes="n1"

requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"

transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"

/>

#相关包放到/usr/local/tomcat/lib下

asm-5.2.jar

kryo-3.0.3.jar

kryo-serializers-0.45.jar

memcached-session-manager-2.3.2.jar

memcached-session-manager-tc8-2.3.2.jar

minlog-1.3.1.jar

msm-kryo-serializer-2.3.2.jar

objenesis-2.6.jar

reflectasm-1.11.9.jar

spymemcached-2.12.3.jar

tomcat2的配置：按照tomcat配置

#配置msm

vim /usr/local/tomcat/conf/context.xml

###倒数第一行前,即</Context>行的前面,加下面内容

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"

memcachedNodes="n1:192.168.37.105:11211,n2:192.168.37.106:11211"                     

failoverNodes="n2"

requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"

transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"

/>

#non-sticky 模式配置msm

#在前面实验基础上修改,memcached配置不变,只需要修改tomcat配置

sticky="false"

sessionBackupAsync="false"

lockingMode="uriPattern:/path1|/path2"

测试：

redis缓存

yum -y install redis

sed -i.bak 's/^bind.*/bind 0.0.0.0/' /etc/redis.conf

systemctl enable --now redis

#和non-sticky的memcached相比,只修改此行

vim /usr/local/tomcat/conf/context.xml 

memcachedNodes="redis://10.0.0.103:6379"

码农公寓

相关文章