华为云kafka POC 踩坑记录

华为云kafka POC 踩坑记录

2019/03/08 18:29

最近在进行华为云相关POC验证,个人主要负责华为云DMS kafka相关。
大致数据流程是,从DIS取出数据,进行解析处理,然后放入kafka,再从kafka中取出数据然后放到ElasticSearch以及OBS里面。
kafka作为中间层次,发挥着中间件的重要作用。关于华为云kafka的整合,这两天的确碰到一些坑,现进行相关总结加以记录。

第一个问题:kafka的jar包不要用开源的,而是用图中libs的华为官方的jar包。新建libs文件目录,然后把jarBao 拷贝进去。然后在pom中把他引入到maven库。

华为云kafka POC 踩坑记录

华为云kafka POC 踩坑记录

<!-- kafka !!! 注意用的是libs下引入的华为云javasdk的jar -->
        <dependency>
            <groupId>dms</groupId>
            <artifactId>kafka.sasl.client</artifactId>
            <version>1.0.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/libs/dms.kafka.sasl.client-1.0.0.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.2.1</version>
        </dependency>

华为云kafka POC 踩坑记录

进行以后本地运行可以,但是发布到服务器上启动报错,说是找不到某个类【好像叫loginModelView】,这个类存在于dms.kafka.sasl.client-1.0.0.jar,说明这个jar没有被打包到项目jar里面。后来发现原因是maven打包插件里面要进行配置,把本地的jar也给打进去。参见如下文章以及配置:

华为云kafka POC 踩坑记录

<build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <executable>true</executable>
                    <includeSystemScope>true</includeSystemScope><!-- 目的是liibs下的jar包引入springboot 
                        maven打包,否则linux上启动会报错,找不到这个jar中的相关类!!! -->
                </configuration>
            </plugin>

        </plugins>
    </build>

华为云kafka POC 踩坑记录


文章参见 :Springboot中引入本地jar包,并通过maven把项目成功打包成jar包部署

https://blog.csdn.net/baidu_35140444/article/details/82110079

上一篇:git推送代码一直报错Permission denied, please try again怎么解决?


下一篇:spark学习第13天