Impala Hadoop的开源本地分析数据库 Apache Impala是Apache Hadoop的开源原生分析数据库。 mpala 为 Hadoop 上的 BI/解析查询提供了低延迟和高并发性(不是由诸如 Apache Hive 这样的批处理框架提供的)。即使在多租户环境中,Impala 也是线性扩展的。 使用相同的文件和数据格式以及元数据、安全和资源管理框架作为您的 Hadoop 部署ーー没有冗余的基础设施或数据转换/重复。 对于 Ap 2020-08-17 编程 大数据 大数据 标签一
Azkaban 开源的工作流管理器 Azkaban是LinkedIn为运行Hadoop作业而创建的一个批处理工作流作业调度程序。 Azkaban通过作业依赖关系来解析排序,并提供一个易于使用的web用户界面来维护和跟踪您的工作流程。 Azkaban的设计主要考虑了可用性。它已经在LinkedIn运行了好几年,并驱动了他们的许多Hadoop和数据仓库流程。 2020-08-04 编程 大数据 大数据 Azkaban
Kudu 开源的分布式数据存储引擎 Apache Kudu 是一个开源的分布式数据存储引擎,使得快速分析和更改数据变得容易。 Kudu 提供了快速插入/更新和高效的柱状扫描的组合,以支持跨一个存储层的多个实时分析工作负载。Kudu 为架构师提供了灵活性,可以处理更多种类的用例,而不需要特殊的解决方案和必需的外部服务依赖。 Kudu 是专门为需要对快速(快速变化的)数据进行快速分析的用例而设计的。Kudu 利用下一代硬件和内存处理的优 2020-07-14 编程 大数据 大数据 Kudu
Canal 基于MySQL数据库增量日志解析 canal [kə’næl],译意为水道/管道/沟渠。 主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费. canal 作为 MySQL binlog 增量获取和解析工具,可将变更记录投递到 MQ 系统中,比如 Kafka/RocketMQ,可以借助于 MQ 的多语言能力。 2020-07-02 编程 大数据 大数据 Canal
GoldenGate 基于日志的结构化数据复制软件 OGG是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化(数据量只有日志的四分之一左右) OGG能够实现大量交易数据的实时捕捉,变换和投递,实现源数据库与目标数据库的数据同步,保持最少10ms的数据延迟。 2020-06-15 编程 大数据 大数据 Ogg
Docker 开源的应用容器引擎 Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。 容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。 2020-06-05 编程 大数据 大数据 Docker
Spark 大规模数据处理的统一分析引擎 Apache Spark是一个用于大规模数据处理的统一分析引擎。 它提供了Java、Scala、Python和R的高级api,以及支持通用执行图的优化引擎。 它还支持一组丰富的高级工具,包括用于SQL和结构化数据处理的Spark SQL,用于机器学习的MLlib,用于图形处理的GraphX,以及用于增量计算和流处理的结构化流。 2020-05-19 编程 大数据 大数据 Spark
Scala 一种简洁的高级语言 Scala将面向对象和函数式编程结合成一种简洁的高级语言。 Scala的静态类型有助于避免复杂应用程序中的错误,它的JVM和JavaScript运行时让你可以轻松地访问庞大的库生态系统来构建高性能系统。 2020-05-06 编程 大数据 大数据 Scala
FlinkCEP Flink复杂事件处理 FlinkCEP是在Flink之上实现的复杂事件处理(CEP)库。 它允许您在无穷无尽的事件流中检测事件模式,使您有机会掌握数据中什么是重要的。 它可以用于处理实时数据并在事件流到达时从事件流中提取信息,并根据定义的规则来判断事件是否匹配,如果匹配则会触发新的事件做出响应。 除了支持单个事件的简单无状态的模式匹配(例如基于事件中的某个字段进行筛选过滤),也可以支持基于关联/聚合/时间窗口等多个事件 2020-04-17 编程 大数据 大数据 Flink
Druid 高性能的实时分析数据库 云原生、流原生的分析型数据库。 可轻松与现有的数据管道进行集成。 较传统方案提升近百倍的效率。 解锁了一种新型的工作流程。 可部署在AWS/GCP/Azure,混合云,Kubernetes, 以及裸机上。 2020-04-04 编程 大数据 大数据 Druid