Solr 简介

Hadoop-基础配置+单节点

1、安装JDK:

2、创建hadoop用户及用户组:
useradd hadoop

3、使用hadoop账户:
su hadoop

4、解压到指定目录:
sudo tar -zxvf /opt/hjyang/tmp/hadoop-3.1.0.tar.gz -C /opt/hjyang/soft/

5、设置软连接:
sudo ln -s /opt/hjyang/soft/hadoop-3.1.0/ /opt/hjyang/soft/hadoop

6、用户用户组修改(软件目录及logs目录):
sudo chown -R hadoop:hadoop /opt/hjyang/soft/hadoop*

7、目录权限修改(软件目录及logs目录):
sudo chmod -R 755 /opt/hjyang/soft/hadoop*

单机安装
8、a-修改"core-site.xml":
mkdir /opt/hjyang/soft/hadoop/tmp
vim /opt/hjyang/soft/hadoop/etc/hadoop/core-site.xml

fs.defaultFS hdfs://192.168.41.5:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/opt/hjyang/soft/hadoop/tmp

9、b-修改"hdfs-site.xml":
mkdir -p /opt/hjyang/soft/hadoop/dsf/name
mkdir -p /opt/hjyang/soft/hadoop/dsf/data
vim /opt/hjyang/soft/hadoop/etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address 192.168.41.5:9001 dfs.namenode.name.dir file:/opt/hjyang/soft/hadoop/dsf/name dfs.datanode.data.dir file:/opt/hjyang/soft/hadoop/dsf/data dfs.replication 1 dfs.webhdfs.enabled true

参数说明:
dfs.namenode.secondary.http-address:
"secondName"的地址,作为"namenode"的一个备份,目的就是灾备。因为就一个机器所以都配置了相同的机器,只是用了不同的端口
dfs.namenode.name.dir 和 dfs.namenode.data.dir:
指的是"namenode"存储的"datanode"元数据的信息,需要配置两个目录一个是存放"name"和"data"目录
dfs.replication:
数据文件块(black)复制备份的个数,在HDFS分布式文件系统中,为了保证数据的完整性,底层的机制是需要多拷贝几份数据分不到不同的计算 机上的,目的同样是灾备。
dfs.webhdfs.enabled:
指的是是否可以通过web站点进行Hdfs管理,后面我们会演示,如何通过页面打开HDFS文件。

10、c-修改"mapred-site.xml":
vim /opt/hjyang/soft/hadoop/etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.address 192.168.41.5:10020 mapreduce.jobhistory.webapp.address 192.168.41.5:19888

11、d-修改"yarn-site.xml":
vim /opt/hjyang/soft/hadoop/etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address 192.168.41.5:8032 yarn.resourcemanager.scheduler.address 192.168.41.5:8030 yarn.resourcemanager.resource-tracker.address 192.168.41.5:8035 yarn.resourcemanager.admin.address 192.168.41.5:8033 yarn.resourcemanager.webapp.address192.168.41.5:8088

12、配置"Hadoop"的"jdk"路径(不指定不能运行的):
"hadoop-env.sh"和"yarn-env.sh"开头添加如下:
export JAVA_HOME=/opt/hjyang/soft/jdk

vim /opt/hjyang/soft/hadoop/etc/hadoop/hadoop-env.sh
vim /opt/hjyang/soft/hadoop/etc/hadoop/yarn-env.sh

13、检查"hadoop"用户对所有文件拥有执行权限:
ll /opt/hjyang/soft/hadoop/
在这里插入图片描述

14、格式化"HDFS"文件,启动这单节点的"Hadoop"集群:
Hadoop分布式存储系统(“HDFS”)格式化:只能在初始化系统的时候执行一次(要不执行一次数据就丢失一次):
/opt/hjyang/soft/hadoop/bin/hadoop namenode -format
在这里插入图片描述
看到上面显示的信息,说明已经执行成功了。
否则报什么错误,解决什么错误。一般错误的原因都是配置文件粗心导致的错误,仔细检查就行了。

15、Hadoop 集群进行启动验证(验证方式:两点):
A、第一点:保证HDFS完整没问题
a、启动"HDFS"命令:
/opt/hjyang/soft/hadoop/sbin/start-dfs.sh
在这里插入图片描述
在这里插入图片描述
b、查看"HDFS"状态(两种方式):
/opt/hjyang/soft/hadoop/bin/hadoop dfsadmin -report
在这里插入图片描述
或打开网站:
http://192.168.41.5:50070/dfshealth.html#tab-overview
或"jps"查看:
在这里插入图片描述
16、"Hadoop"集群启动查看:
启动Hadoop集群:
/opt/hjyang/soft/hadoop/sbin/start-yarn.sh
在这里插入图片描述

查看其状态:
http://192.168.41.5:8088/cluster

关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等

查看已开放端口号:
在这里插入图片描述

http://192.168.41.5:9864/datanode.html#tab-overview
https://blog.csdn.net/smugaoyi/article/details/54991069

集群完全分布式坏境搭建

分布式安装:

http://www.cnblogs.com/zhijianliutang/p/5756738.html

hadoop配置文件参考:
https://blog.csdn.net/wee_mita/article/details/52346752

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 创作都市 设计师:CSDN官方博客 返回首页