0
点赞
收藏
分享

微信扫一扫

大数据的基石Hadoop生态圈——核心组成及解释

前端王祖蓝 2022-02-04 阅读 89

大数据的基石Hadoop生态圈——核心组成

1、数据收集层:Flume、Sqoop、ython

2、数据存储层:HDFS

3、数据处理层:Hive、Spark、MapReduce、Storm

4、数据缓冲层:Kafka、Hbase、Elasticsearch、Redis

5、智能分析层:SVM、PageRank、K-Means、KNN

6、数据展现层:Echarts、JSP、JS、EasyUI


还有个重要的工具Flink,据说2.0版本的可以实现多层次的功能

============
1、
数据收集层:就是CDC,change data capture,即变化数据捕捉。是数据库进行备份的一种方式,常用于大量数据的备份工作。分为入侵式的和非侵入的比如阿里DataX就是依赖在原表中建立更新标记字段捕捉,而非侵入的是同步日志的方式,类似MySQL主从原理

===========
2、
数据存储层HDFS,分布式文件系统,将数据分块存储,支持并行计算后归集聚合,原理类似归并算法

先从HDFS开始,我将逐个记录架构搭建及使用。
HDFS作为大数据处理的存储层,其架构有3种:
singleNode单节点
伪分布式架构
HA高可用架构

【未完成,但时间仓促先发布,以后完善】

举报

相关推荐

0 条评论