Hive查询表字段问题记录 最近在做Hive数据导出的功能。 在操作过程中，出现了表字段信息不符和字段描述信息不符的情况。 解决之后记录一下。 2021-11-12 编程 大数据 大数据1 标签一 大数据
shell脚本:$'\r':command not found的解决方法 最近想写一些常用的shell脚本，是在windows编写然后传到linux的。 然后碰到了init.sh: line 1: $'\r': command not found 1。 记录一下解决方案。 在Linux系统中，运行Shell脚本，出现了如下错误： one-more.sh: line 1: $’\r’: command not found 1 出现这样的错误，是因为Shel 2021-10-18 编程 Shell 大数据 Shell
Hive之UDF的编写与部署 公司最近在载数到Hive时，要做一些数据处理，比如脱敏，加解密什么的，这时候就需要编写UDF函数了。 UDF(User-Defined Functions)：用户自定义函数。 Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用自定义UDF。 2021-10-11 编程 Hive UDF 大数据 Hive
Hive载数之StorageHandler 最近项目在做离线载数，是从RDBMS载数到Hive，Impala，Kudu和HBase，这里整理一下过程，给自己留个可以看的东西。 2021-09-29 编程 大数据 Hive StorageHandler 大数据 Hive
浅谈Impala之INVALIDATE和REFRESH 最近在搞数据到Impala，是先通过数据插入到Hive，然后刷新Impala元数据实现的。 刷新Impala元数据有两种方式，一种是INVALIDATE，一种是REFRESH。 以前一直理解INVALIDATE是刷新结构信息同时刷新数据信息，而REFRESH是刷新数据信息。 然后碰到一个比较特殊的情况，下面开始聊聊。 2021-09-27 编程 大数据 Impala 大数据 Impala
记一次hive超时报错问题 最近在开发RDBMS到Hive/Impala/Kudu/HBase的载数功能。 碰到了一个hive一直超时的问题，可把人烦死了，就是悟空那个表情。 然后排查了一下问题，记录一下。 2021-09-12 编程 大数据 hive 大数据 hive
记一次CDH磁盘不足排查 最近用公司CDH的时候，动不动就万紫千红的，搞得人头大，主节点只有100G磁盘，因此这次排查主要看是否空间问题引起。 2021-08-26 编程 大数据 CDH 大数据 CDH
一键批量启动应用 在平常工作学习中，我们经常需要打开很多软件。 对于一个像我一般的打工人来说，每次电脑开机后的步骤简直就是噩梦， 那我们设置开机自启动不就好了。但是有时候在不需要工作的时候，又不需要打开这些软件。 于是想能不能写个脚本，一键批量打开应用。 2021-08-11 编程 Python Python 编程
CDH集群目录汇总 最近需要改CDH中组件的一些配置文件，在Cloudera可视化界面就可以改。 但是Java通过Phoenix访问Hbase的时候，需要把Hbase的配置文件拿出来放到项目中。 所以这里把CDH中的一些目录记录一下，不然太多了根本记不住。 2021-08-04 编程 大数据 CDH 大数据 CDH
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)