踩坑之路(七) CDH6.3.2搭建(上) CDH,全称Cloudera's Distribution, including Apache Hadoop。 是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心(可扩展存储、分布式计算),最为重要的是提供基于web的用户界面。 今年2月份开始Cloudera全面下架了免费的安装包下载渠道,在网上找了很久,都 2021-05-22 编程 大数据 大数据 踩坑之路
踩坑之路(六) Canal搭建 实时同步``MySQL数据到Kafka方式有挺多。 这里我采用阿里开源的MySQL binlog 增量订阅&消费组件Canal去做这件事 2021-05-10 编程 大数据 大数据 踩坑之路
踩坑之路(五) MySQL安装 由于我需要把MySQL的数据通过Canal``实时摄取到Kafka,所以先在服务器上安装个MySQL吧。 这里我选择用docker的方式安装。 2021-05-10 编程 大数据 大数据 踩坑之路
踩坑之路(四) Kafka集群搭建 Kafka在当前MQ领域简直就是一骑绝尘。 我搭这个集群,是为了以后将采集的数据直接怼入Kafka,做一次消息缓存,之后用计划用flink去消费,处理后续的逻辑业务。 2021-05-08 编程 大数据 大数据 踩坑之路
踩坑之路(三) Zookeeper集群搭建 在我们大数据的这个坑里,最主要的概念当然就是分布式存储和分布式计算。 一旦提到分布式,那么注册中心的概念就又用到了。 大数据生态圈里,有很多组件的元数据信息都是借助ZooKeeper去管理和调度的,包括Kafka等等(虽然Kafka扬言要脱离Zookeeper,但我去官网看了下最新版的release,发现还没有实现,希望Kafka能尽早实现吧,尽量减少组件之间的依赖性)。 那我们也不等不搭建一个Z 2021-05-07 编程 大数据 大数据 踩坑之路
踩坑之路(二) Linux_JDK安装 我们使用的绝大多数组件都是依赖JDK的。 因为java语言生态的完善以及强大,很多产品底层都是使用java实现,没用java实现的,也基本多多少少有用到java的类库。 所以服务器上配置好java环境是必不可少的。 干干干! 2021-05-07 编程 大数据 大数据 踩坑之路
踩坑之路(一) 服务器基础环境配置 服务器拿到手里之后,当然是初始化配置好多东西啦! 包括主机名,域名映射,免密登录,目录初始化等等一系列操作。 话不多说,撸起袖子直接干他。 2021-05-07 编程 大数据 大数据 踩坑之路
MySQL 存储原理 MySQL 是最流行的关系型数据库管理系统。 在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。 2021-03-24 编程 MySql Java MySQL