当前位置：网站首页>第2集 vmware虚拟机安装最牛B教程（13天）

第2集 vmware虚拟机安装最牛B教程（13天）

2022-07-21 14:27:00 【Hyf 。】

克隆虚拟机
首先需关闭虚拟机
我的计算机---点击hadoop100---点击右键---电源---关闭客户机（正确关闭方法）
克隆（克隆三台）hadoop102/hadoop103/hadoop104
我的计算机---点击hadoop100---单击右键---管理---克隆---下一步---下一步
创建完成克隆---下一步---修改虚拟机名称hadoop102---完成
正确删除虚拟机
我的计算机---单击要删除的虚拟机---点击右键---管理---从磁盘中删除
修改IP地址主机名称
打开克隆机hadoop102---root账户---打开终端---修改IP地址
命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33---将hadoo100改为hadoop102
修改主机名称命令vim /etc/hostname---hadoop100改为hadoop102
修改hosts文件命令vim /etc/hosts---模板虚拟机已经修改过了所以不用修改hosts文件了
重启reboot
重启后进入虚拟机---验证是否修改正确---hostname查看主机名称
另外两台按照上述过程修改


在 hadoop102 安装 JDK
1、传输jdk和hadoop文件
用 XShell 传输工具xftp将 JDK /hadoop导入到 opt 目录下面的 software 文件夹下面
2、查看文件是否传输成功
打开虚拟机，在传输文件中查看
3、解压jdk到/opt/module目录下
[[email protected] software]$ tar -zxvf jdk-8u212-linuxx64.tar.gz -C /opt/module/
4、配置jdk环境变量
(1)新建/etc/profile.d/my_env.sh文件
[[email protected] ~]$ sudo vim /etc/profile.d/my_env.sh

(2)配置环境变量
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
（3）source 一下/etc/profile 文件，让新的环境变量 PATH 生效
[[email protected] ~]$ source /etc/profile
(5)测试jdk是否安装成功
[[email protected] ~]$ java -version
如果能看到以下结果，则代表 Java 安装成功。
java version "1.8.0_212"

在 hadoop102 安装 Hadoop
解压安装文件到/opt/module 下面
[[email protected] software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

将 Hadoop 添加到环境变量
（1）获取 Hadoop 安装路径
[[email protected] hadoop-3.1.3]$ pwd/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh 文件
[[email protected] hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在 my_env.sh 文件末尾添加如下内容：
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效
[[email protected] hadoop-3.1.3]$ source /etc/profile

本地运行模式
1）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹
[[email protected] hadoop-3.1.3]$ mkdir wcinput
2）在 wcinput 文件下创建一个 word.txt 文件
[[email protected] hadoop-3.1.3]$ cd wcinput
3）编辑 word.txt 文件
[[email protected] wcinput]$ vim word.txt
在文件中输入如下内容
soso
cls cls
banzhang
yangge
 保存退出：:wq

4）回到 Hadoop 目录/opt/module/hadoop-3.1.3
[[email protected] hadoop-3.1.3]$ hadoop jar 
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 
wordcount wcinput wcoutput
6）查看结果
[[email protected] hadoop-3.1.3]$ cat wcoutput/part-r-00000
看到如下结果：
so 2
cls 2
banzhang 1
yangge 1

scp语法

基本语法 scp   -r             $pdir/$fname [email protected]$host:$pdir/$fname

             命令递归要拷贝的文件路径/名称目的地用户@主机:目的地路径/名称
案例操作
（1）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到 hadoop103 上。
[[email protected]~]$ scp -r /opt/module/jdk1.8.0_212 [email protected]:/opt/module
（2）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到 hadoop103 上。
[[email protected]~]$ scp -r [email protected]:/opt/module/hadoop-3.1.3 /opt/module/
（3）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到 hadoop10上。
opt]$ scp -r [email protected]:/opt/module/* [email protected]:/opt/module

rsync语法

基本语法  rsync -av                       $pdir/$fname [email protected]$host:$pdir/$fname
                命令选项参数要拷贝的文件路径/名称目的地用户@主机:目的地路径/名称

xsync 集群分发脚本
在/home/atguigu/bin 目录下创建 xsync 文件
[[email protected] opt]$ cd /home/atguigu
[[email protected] ~]$ mkdir bin
[[email protected] ~]$ cd bin
[[email protected] bin]$ vim xsync
在该文件中编写如下代码
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in [email protected]
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
修改脚本 xsync 具有执行权限
[[email protected] bin]$ chmod 777 xsync
同步环境变量配置（root 所有者）
[[email protected] ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。
让环境变量生效
[[email protected]hadoop103 bin]$ source /etc/profile
[[email protected] bin]$ source /etc/profile
SSH 无密登录配置 ：id_rsa（私钥）id_rsa.pub（公钥）
生成公钥和私钥(命令：ls -al 显示所有文件）
[[email protected] .ssh]$ pwd
/home/atguigu/.ssh
[[email protected] .ssh]$ ssh-keygen -t rsa  +三次回车
将公钥拷贝到要免密登录的目标机器上
[[email protected] .ssh]$ ssh-copy-id hadoop102
[[email protected] .ssh]$ ssh-copy-id hadoop103
[[email protected] .ssh]$ ssh-copy-id hadoop104

集群配置
NameNode 和 SecondaryNameNode 不要安装在同一台服务器
* ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上面
配置部署如图：

文件在下面路径上
[[email protected] ~]$ cd /opt/module/hadoop-3.1.3/etc/hadoop
1核心配置文件
配置 core-site.xml   
[[email protected] hadoop]$ vim core-site.xml
添加内容如下图

 

 

2HDFS 配置文件
配置 hdfs-site.xml
[[email protected] hadoop]$ vim hdfs-site.xml

配置内容如下图

 

 

3YARN 配置文件
配置 yarn-site.xml
[[email protected] hadoop]$ vim yarn-site.xml
配置内容如下图

4MapReduce 配置文件
配置 mapred-site.xml
[[email protected] hadoop]$ vim mapred-site.xml

 配置内容如下图

 在集群上分发配置好的 Hadoop 配置文件

[[email protected] hadoop]$ xsync /opt/module/hadoop- 3.1.3/etc/hadoop/

 

在hadoop103和hadoop104上查看文件分发情况
[[email protected] ~]$ cat /opt/module/hadoop- 3.1.3/etc/hadoop/core-site.xml
[[email protected] ~]$ cat /opt/module/hadoop- 3.1.3/etc/hadoop/core-site.xml

原网站

版权声明
本文为[Hyf 。]所创，转载请带上原文链接，感谢
https://blog.csdn.net/qq_70085330/article/details/124812141

边栏推荐

猜你喜欢

随机推荐