• 主页
• 运维
• 开发
• 公告
• 登录
• 注册

1、我们使用伪分布式模式安装

我将所有的安装包上传到了/usr/local/hadoop/

jdk-8u191-linux-x64.tar.gz

hadoop-3.2.0.tar.gz

 

2、配置免密码登录

ssh-keygen

ssh-copy-id 192.168.0.218(本机IP)

 

3、安装JDK

（1）将jdk解压

cd /usr/local/hadoop/

tar -zxvf jdk-8u191-linux-x64.tar.gz

mv jdk1.8.0_191 java8

（2）添加以下语句到/etc/profile

export JAVA_HOME=/usr/local/hadoop/java8 这个就是java的解压目录，换个名字而已。

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

（3）生效/etc/profile

source /etc/profile

（4）测试

java -version

 

4、安装hadoop

（1）解压安装包，并且配置环境变量

tar –zxvf hadoop-3.2.0.tar.gz

mv hadoop-3.2.0 hadoop3

将下列语句写入/etc/profile中

export HADOOP_HOME=/usr/local/hadoop/hadoop3

export PATH=$PATH:$HADOOP_HOME/bin

生效

source /etc/profile

 

5、配置hdfs

配置hadoop-env.sh

文件在$HADOOP_HOME/etc/hadoop下

修改export JAVA_HOME=/usr/local/hadoop/java8

 

配置core-site.xml文件

文件同样在$HADOOP_HOME/etc/hadoop下

<configuration>

<property>
             <name>fs.defaultFS</name>
            <value>hdfs://192.168.0.218:9000</value>

</property>

</configuration>

 

配置hdfs-site.xml

文件同样在$HADOOP_HOME/etc/hadoop下

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 

启停hdfs

启动和停止hdfs的脚本中添加如下字段

脚本位置：$HADOOP_HOME/sbin/start-dfs.sh和stop-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

在第一次启动hdfs的时候，需要去格式化，让hadoop去自动创建需要创建的目录，就是根据上边的配置去生成的目录。

hdfs namenode -format

启动hdfs:$HADOOP_HOME/sbin/start-dfs.sh

停止ndfs:$HADOOP_HOME/sbin/stop-dfs.sh

 

可以访问web界面，默认端口是9870。

http://IP:9870。

6、配置yarn

配置mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.application.classpath</name>

<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>

    </property>

</configuration>

 

配置yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

 

启停yarn

在启动和停止yarn脚本中添加下边字段

脚本位置：$HADOOP_HOME/sbin/start-yarn.sh和stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root

YARN_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

可以访问web界面，默认端口是8088。

http://IP:8088。