xuefly's Blog

Thinking will not overcome fear but action will.

kafka集群没有主节点

不能查看元数据，不能生产

问题现象1 kafkacat -L -b hk-test-cdh109:9092 % ERROR: Failed to acquire metadata: Local: Broker transport failure 一般是网络问题，确实主机、端口是通的话，还出现这个问题。现象2 kafka-console-producer --broker-list hk-test-c...

Posted by xuefly on August 28, 2019

hue配置ldap认证

暂时没用上ldap组

说明阅读cdh官网文档，没有发现对于ldap 组的过滤配置。而且为了方便打开了create_users_on_login配置。hue上第一次登陆的用户默认在default组，这样为了安全把hue上default的权限就要设置为最低。配置 hue 删除没有必要的用户，包含弱口令的把hue的default组的权限设为最低。 cloud...

Posted by xuefly on July 26, 2019

presto配置ldap用于用户认证

HTTPS 证书

1 说明 ldap支持prosto cli,jdbc odbc这几种连接的时候使用用户名密码 presto可以只跟coordinator相关，worker的配置不变。只验证客户端到coordinate，不验证各个节点要求LDAPS，所以ldap server必须支持TLS。也就是说presto coordinator和ldap server 之间通信加密。 ldap的认...

Posted by xuefly on July 16, 2019

hue中配置hive-impala的用户认证

使用Hive或Impala和Impersonation进行LDAP或PAM传递身份验证

来自：LDAP or PAM pass-through authentication with Hive or Impala and Impersonation 翻译 by xuefly 冒充 Impersonation Hue是在浏览器上登录hue的用户，与hue上一系列Hadoop服务之间的中介服务。因此，Hue被其他大数据服务视为单个“hue”用户。使用Imperso...

Posted by xuefly on July 16, 2019

impala 不能查询的问题

时区对impala的影响

背景新开的节点搭建impala集群，每次ssh 连接报错： ubuntu@id-cdh-manager:~$ ssh -i-bash: warning: setlocale: LC_CTYPE: cannot change locale (zh_CN.UTF-8) -bash: warning: setlocale: LC_CTYPE: cannot change locale (zh_...

Posted by xuefly on July 14, 2019

hivemall 部署

发现impala受影响了

编译从源码编译安装最新版本 git https://github.com/apache/incubator-hivemall.git cd incubator-hivemall； ubuntu@id-cdh-manager:/usr/local/datadisk/incubator-hivemall$ git branch -a * master remotes/origin/H...

Posted by xuefly on July 12, 2019

记一次HBASE数据跨集群迁移

填坑过程记录

背景考虑到用户数据的监管需求，必须将HBASE数据迁移。数据特点： T级别。要支撑线上业务，只迁移若干table中的一个。 HBASE表的数据是通过消费kafka数据，调用Phoenix, 落入HBASE 迁移方向选择：需要攻克的方案。直接迁移HBASE的表到新集群。跨国迁移的VPN带宽有限，先从aws的HBASE==>aws==>HDFS==&g...

Posted by xuefly on July 6, 2019