Hadoop: 单词计数(Word Count)的MapReduce实现
- 2022 年 5 月 24 日
- 筆記
1.Map与Reduce过程 1.1 Map过程 首先，Hadoop会把输入数据划分成等长的输入分片(input spl …
Continue Reading
vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践
- 2022 年 5 月 16 日
- 筆記
vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改 …
Continue Reading
HDFS High Availability（HA）高可用配置
- 2022 年 5 月 15 日
- 筆記
高可用性（英语：high availability，缩写为 HA） IT术语，指系统无中断地执行其功能的能力，代表系统的 …
Continue Reading
Java操作Hadoop、Map、Reduce合成
- 2022 年 5 月 8 日
- 筆記
原始数据: Map阶段 1.每次读一行数据, 2.拆分每行数据, 3.每个单词碰到一次写个1 <0, “ …
Continue Reading
Hadoop（四）C#连接Hive
- 2022 年 5 月 4 日
- 筆記
Hive Hive将HiveQL（类sql语言）转为MapReduce，完成数据的查询与分析，减少了编写MapReduc …
Continue Reading
Hadoop（四）C#操作Hbase
- 2022 年 5 月 2 日
- 筆記
Hbase Hbase是一种NoSql模式的数据库，采用了列式存储。而采用了列存储天然具备以下优势： 可只查涉及的列，且 …
Continue Reading
Hadoop（三）通过C#/python实现Hadoop MapReduce
- 2022 年 5 月 1 日
- 筆記
MapReduce Hadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动 …
Continue Reading
【Hadoop】9、Sqoop组件
- 2022 年 4 月 30 日
- 筆記
目录 Sqoop组件安装与配置 1、使用xftp将软件包上传到/opt/software 2、部署sqoop(在mast …
Continue Reading
Hadoop（二）Hdfs基本操作
- 2022 年 4 月 30 日
- 筆記
HDFS HDFS由大量服务器组成存储集群，将数据进行分片与副本，实现高容错。 而分片最小的单位就是块。默认块的大小是6 …
Continue Reading
Hadoop（一）Hadoop核心架构与安装
- 2022 年 4 月 29 日
- 筆記
Hadoop是什么 大白话，Hadoop是个存储数据，计算数据的分布式框架。核心组件是HDFS、MapReduce、Ya …
Continue Reading