雪峰的博客 | xfly

Posted by xuefly on August 16, 2020

FreeIPA对证书的管理

命令行和界面的说明

Certmonger 1 命令使用显示当前的证书停止追踪证书手工更新证书命令行生成新证书 2 FreeIPA 界面 Certmonger certmonger 服务可以监控证书是否过期,...

Posted by xuefly on August 16, 2020

利用hive的Create_timeAccesstime做数据质量管理(三)

解决新问题`select expression`报错找不到`_dummy_database _dummy_table`

在利用hive的Create_timeAccesstime做数据质量管理(二)之后,使用过程中又发现一个 bug:not found _dummy_tabl SELECT current_date(); Error while processing statement: FAILED: Hive Internal Error: org.apache.hadoop.hive.ql.metada...

Posted by xuefly on July 24, 2020

远程调试CDH的 NameNode

演示

服务端 NameNode 修改配置在cm上,点击NameNode-->confiration-->Java Configuration Options for NameNode 添加以下内容: -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5006 -XX:+UseParNewGC -XX:+UseC...

Posted by xuefly on July 23, 2020

怎么获得CDH中指定版本组件的源码？

获取源码多种方法的说明

尽管 CDH 已经大大的方便了 HADOOP 的管理, 它的官方文档的已经很详尽，但有时候遇到的一些报错还是不知所云,一些 bug 和新的特性不能使用.这时就需要阅读,甚至修改 CDH 组件的源码. CDH 的组件跟社区的版本不是一一对应的,包含了自己的补丁和特性. 下面总结了获取 CDH 源码的方法. 1 从 GitHub 仓库首先想到的都是从 GitHub 上Cloudera 页面...

Posted by xuefly on July 11, 2020

利用hive的Create_timeAccesstime做数据质量管理(二)

修改 CDH 的 hive 源码

在利用hive的Create_timeAccesstime做数据质量管理提到,为获取hive 元数据中的访问时间,经过一番折腾,因为使用的 hive 的版本存在 bug,功败垂成. 本文记录解决这个 bug 的过程. 在CDH 5.15.0 Release Notes可以发现这次发布有哪些变动.其中遇到的 bug 的issue 是[HIVE-18060] 在 hive-1.1...

Posted by xuefly on July 11, 2020

使用oozie的shellaction提交spark任务

采坑记录

选择脚本环境变量指定 hive 配置最终效果使用的提交 spark 任务的脚本: /opt/cloudera/parcels/SPARK2/bin/spark2-submit \ --master yarn --deploy-mode client \ --files /etc/hive/...

Posted by xuefly on July 8, 2020

利用hive的Create_timeAccesstime做数据质量管理

技术调研

1. 需求： 2. 现状 2.1 用HSQL 查 2.1.1 2.1.2 2.2 查 HIVE 的 metadata 数据库 2.3 在 hue 看。 3 方案 3.1 修改一 3.2 尝试...

Posted by xuefly on July 7, 2020

调试livy源代码

尝试本地调试、远程调试

本地调试下载最新的master分支代码：找到运行入口设置环境变量指定日志文件运行远程调试本地调试下载最新的master分支代码： git clone https://github.com/apache/incubator-livy.git 从inteleJ中打...

Posted by xuefly on April 10, 2020

本地开发环境向flinkonyarn环境提交任务

流畅开发的技巧

在本地，向flink on yarn环境提交任务。优点：每次开发完可以直接测试。缺点：每次提交任务要上传jar包，以为网络传输文件，还以为是卡住了。但是不管怎么样，都要向传输。因为网络问题：以后尽量还是交互式在测试节点上运行。准备环境：添加主机名映射修改 /etc/hosts 添加相关的 hostname 添加kerberos 配置文件 /etc/kr...

Posted by xuefly on April 5, 2020

xuefly's Blog

数据动态安全协议综述

简单罗列,每个协议的使用不管,需要一定背景知识