运维公会

hadoop单机模式运行

小白 2020年11月28日 10:59 1435

1、我们使用单节点模式运行

我将所有的安装包上传到了/usr/local/hadoop/

jdk-8u191-linux-x64.tar.gz

hadoop-3.2.0.tar.gz

2、安装JDK

（1）将jdk解压

cd /usr/local/hadoop/

tar -zxvf jdk-8u191-linux-x64.tar.gz

mv jdk1.8.0_191 java8

（2）添加以下语句到/etc/profile

export JAVA_HOME=/usr/local/hadoop/java8 这个就是java的解压目录，换个名字而已。

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

（3）生效/etc/profile

source /etc/profile

（4）测试

java -version

3、安装hadoop

解压安装包，并且配置环境变量

tar –zxvf hadoop-3.2.0.tar.gz

mv hadoop-3.2.0 hadoop3

将下列语句写入/etc/profile中

export HADOOP_HOME=/usr/local/hadoop/hadoop3

export PATH=$PATH:$HADOOP_HOME/bin

生效

source /etc/profile

测试

hadoop version

4、单机模式运行

其实上边就已经将hadoop安装完毕，下边是一个测试的示例，直接使用命令进行数据的分析。

创建目录，用于存放配置文件

mkdir input

cp etc/hadoop/*.xml input

使用mapreduce的示例包，进行数据分析，将结果输出到outpu中，使用cat查看。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar grep input output 'dfs[a-z.]+'

cat output/*

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar

使用此命令可以直接查看mapreduce为我们提供的方法。