Hive载数之StorageHandler 最近项目在做离线载数,是从RDBMS载数到Hive,Impala,Kudu和HBase,这里整理一下过程,给自己留个可以看的东西。 2021-09-29 编程 大数据 Hive StorageHandler 大数据 Hive
浅谈Impala之INVALIDATE和REFRESH 最近在搞数据到Impala,是先通过数据插入到Hive,然后刷新Impala元数据实现的。 刷新Impala元数据有两种方式,一种是INVALIDATE,一种是REFRESH。 以前一直理解INVALIDATE是刷新结构信息同时刷新数据信息,而REFRESH是刷新数据信息。 然后碰到一个比较特殊的情况,下面开始聊聊。 2021-09-27 编程 大数据 Impala 大数据 Impala
记一次hive超时报错问题 最近在开发RDBMS到Hive/Impala/Kudu/HBase的载数功能。 碰到了一个hive一直超时的问题,可把人烦死了,就是悟空那个表情。 然后排查了一下问题,记录一下。 2021-09-12 编程 大数据 hive 大数据 hive
记一次CDH磁盘不足排查 最近用公司CDH的时候,动不动就万紫千红的,搞得人头大,主节点只有100G磁盘,因此这次排查主要看是否空间问题引起。 2021-08-26 编程 大数据 CDH 大数据 CDH
一键批量启动应用 在平常工作学习中,我们经常需要打开很多软件。 对于一个像我一般的打工人来说,每次电脑开机后的步骤简直就是噩梦, 那我们设置开机自启动不就好了。但是有时候在不需要工作的时候,又不需要打开这些软件。 于是想能不能写个脚本,一键批量打开应用。 2021-08-11 编程 Python Python 编程
CDH集群目录汇总 最近需要改CDH中组件的一些配置文件,在Cloudera可视化界面就可以改。 但是Java通过Phoenix访问Hbase的时候,需要把Hbase的配置文件拿出来放到项目中。 所以这里把CDH中的一些目录记录一下,不然太多了根本记不住。 2021-08-04 编程 大数据 CDH 大数据 CDH
CDH集成Phoenix 最近刚开始操作HBase,HBase官方提供了语言访问的API,但是公司业务里有需要进行执行SQL的操作。 所以API的方式不能满足了,故采用了嫁接Phoenix的方式来进行操作。 这里记录一下CDH安装自定义Parcel-Phoenix的过程。 2021-08-03 编程 大数据 CDH Phoenix 大数据 Phoenix
SQLServer数据迁移 最近公司云服务器磁盘吃紧,所以决定把云上的SQLServer数据库迁移到内网。 SQLServer 完全没用过。于是开始查资料,谷歌,百度,双爸爸齐上手。 2021-05-31 编程 数据迁移 大数据 数据迁移