impala 查询资源调度配置,执行器executor,协调器coordinator 角色组配置 优化节点资源分配

记录一下,在用impala作为计算引擎查询hive数据时,经常性的发现资源少的节点由于内存暴增而记录一下,在用impala作为计算引擎查询hive数据时,经常性的发现资源少的节点由于内存暴增而导致impala Daemon 挂掉,仔细查询cdh中impala执行过程的日志,发现impala的计算会初始化到一个节点

impala 查询资源调度配置,执行器executor,协调器coordinator 角色组配置 优化节点资源分配

我们需要将查询调度到资源比较多的服务器节点才行,希望不要在资源少的节点运行执行

经过查询

可以在impala 的配置中建 角色组来管理impala Daemon的各服务器节点扮演不同的角色,比如让大内存,好设备扮演执行器executor,让设备比较差的节点扮演coordinator协调器

步骤如下

impala 查询资源调度配置,执行器executor,协调器coordinator 角色组配置 优化节点资源分配

 

点击“角色组”

创建一个角色组,我这里设置的coordinator group 其实我这个应该叫executor group 名字无所谓, 将其他group中资源好impala daemon 放在这个组作为执行器,中心思想就是让一些节点作为执行节点(他们的资源丰富),让另一部分作为协调器(只负责协调分发查询请求)

 impala 查询资源调度配置,执行器executor,协调器coordinator 角色组配置 优化节点资源分配

关键地方来了,在配置中查询 “Impala Daemon Specialization” 单个值编辑 我的这个coordinator group和impala daemon group1 里面的服务器节点资源较多,既可以作为协调器也可以作为执行器,而impala daemon default group 资源比较少,就让他仅作为协调器 

 impala 查询资源调度配置,执行器executor,协调器coordinator 角色组配置 优化节点资源分配

 注意点:要是配置在impala daemon 某个节点只是执行器,那在改节点就不能使用impala-shell 提交查询了

impala 查询资源调度配置,执行器executor,协调器coordinator 角色组配置 优化节点资源分配

 

所以要是在执行器的节点位置要是提交impala-shell时,可以设置程 NO_SPECIALIZATION , 如果不需要提交,直接设REXECUTOR_ONLY

参考一些博客

https://blog.csdn.net/haoxiaoyan/article/details/86536215

https://blog.csdn.net/ace1832/article/details/108276113?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control

上一篇:string.format大全


下一篇:dremio 学习三 ha 说明