K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

参考文章

本次实战涉及到的K8S、Helm、NFS、StorageClass等前置条件,它们的安装和使用请参考:

  1. 《kubespray2.11安装kubernetes1.15》

  2. 《部署和体验Helm(2.16.1版本)》

  3. 《Ubuntu16环境安装和使用NFS》

  4. 《K8S使用群晖DS218+的NFS》

  5. 《K8S的StorageClass实战(NFS)》

环境信息

本次实战的操作系统和软件的版本信息如下:

  1. Kubernetes:1.15

  2. Kubernetes宿主机:CentOS Linux release 7.7.1908

  3. NFS服务:IP地址192.168.50.135,文件夹/volume1/nfs-storageclass-test

  4. Helm:2.16.1

  5. Kafka:2.0.1

  6. Zookeeper:3.5.5

接下来的实战之前,请您准备好:K8S、Helm、NFS、StorageClass;

操作

  1. 添加helm仓库(该仓库中有kafka):helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator

  2. 下载kafka的chart:helm fetch incubator/kafka

  3. 下载成功后当前目录有个压缩包:kafka-0.20.8.tgz,解压:tar -zxvf kafka-0.20.8.tgz

  4. 进入解压后的kafka目录,编辑values.yaml文件,下面是具体的修改点

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

  1. 首先要设置在K8S之外的也能使用kafka服务,修改external.enabled的值,改为true:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. 找到configurationOverrides,下图两个黄框中的内容原本是注释的,请删除注释符号,另外,如果您之前设置过跨网络访问kafka,就能理解下面写入K8S宿主机IP的原因了:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. 接下来设置数据卷,找到persistence,按需要调整大小,再设置已准备好的storageclass的名称:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. 再设置zookeeper的数据卷:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. 设置完成,开始部署,先创建namespace,执行:kubectl create namespace kafka-test

  2. 在kafka目录下执行:helm install --name-template kafka -f values.yaml . --namespace kafka-test

  3. 如果前面的配置没有问题,控制台提示如下所示:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. kafka启动依赖zookeeper,整个启动会耗时数分钟,期间可见zookeeper和kafka的pod逐渐启动:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. 查看服务:kubectl get services -n kafka-test,如下图红框所示,通过宿主机IP:31090、宿主机IP:31091、宿主机IP:31092即可从外部访问kafka:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. 查看kafka版本:kubectl exec kafka-0 -n kafka-test – sh -c ‘ls /usr/share/java/kafka/kafka_*.jar’ ,如下图红框所示,scala版本2.11,kafka版本2.0.1:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. kafka启动成功后,咱们来验证服务是否正常;

对外暴露zookeeper

  1. 为了远程操作kafka,有时需要连接到zookeeper,所以需要将zookeeper也暴露出来;

  2. 创建文件zookeeper-nodeport-svc.yaml,内容如下:

apiVersion: v1

kind: Service

metadata:

name: zookeeper-nodeport

namespace: kafka-test

spec:

type: NodePort

ports:

  • port: 2181

nodePort: 32181

selector:

app: zookeeper

release: kafka

  1. 执行命令:kubectl apply -f zookeeper-nodeport-svc.yaml

  2. 查看服务,发现已经可以通过宿主机IP:32181访问zookeeper了,如下图:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

验证kafka服务

找一台电脑安装kafka包,就能通过里面自带的命令远程连接和操作K8S的kafka了:

  1. 访问kafka官网:http://kafka.apache.org/downloads ,刚才确定了scala版本2.11,kafka版本2.0.1,因此下载下图红框中的版本:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

  1. 下载后解压,进入目录kafka_2.11-2.0.1/bin

  2. 查看当前topic:

./kafka-topics.sh --list --zookeeper 192.168.50.135:32181

如下图,空空如也:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

4. 创建topic:

./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001

如下图,创建成功后再查看topic终于有内容了:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

5. 查看名为test001的topic:

./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

6. 进入创建消息的交互模式:

./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001

进入交互模式后,输入任何字符串再输入回车,就会将当前内容作为一条消息发送出去:

K8S环境快速部署Kafka(K8S外部可访问),mysql数据库优化及sql调优

7. 再打开一个窗口,执行命令消费消息:

./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning

上一篇:Kafka集群部署


下一篇:kafka学习之-server.properties详细说明