hadoop在Linux下的简单配置

实际生产环境中，员工不会直接登陆服务器，而是通过远程连接工具，进行远程登陆。那么就需要知道服务器的IP地址，一个用户名和密码。

1）安装(略)

2）连接虚拟机（前提是物理机能ping通虚拟机）

当我们频繁的在一台机器A上连接另外一台机器B时，不论是复制文件还是删除文件，或者是进行其他 *** 作。那么都要使用机器B的用户名和密码。每次都需要输入密码，那么效率降低了。这个时候，如果可以不输入密码，还有一定的安全性，可以防止黑客在中间截取信息。那么就需要一种安全认证技术。

1）准备工作

2）测试

3）原理

[图片上传失败...(image-3835b9-1576065751546)]

在搭建HDFS的完全分布式集群时，需要以下环境要求:

1）说明

2）配置域名映射

1）准备工作

2）解压jdk到/opt/apps/

3）更名 *** 作

4）配置环境变量

4.1）说明

4.2）配置

4.3）使当前窗口生效（或者reboot）

4.4）验证

1）解压缩

2）更名

3）配置

4）使当前窗口生效

5）验证

1）守护进程布局

2）配置文件的说明

1）配置core-site.xml

2）hdfs-site.xml

3）mapred-site.xml

4）yarn-site.xml

5）slaves文件：配置所有datanode节点的主机名

6）hadoop-env.sh

7）yarn-env.sh

1）说明，使用完整克隆，克隆manager

2）克隆步骤

3）修改新克隆机器的主机名

4）修改新克隆机器的IP地址

5）重启后，验证免密登陆认证是否有效

1）目的

2）格式化的命令

注意：一定要选择namenode所在的节点上进行格式化

1）开启集群的命令

2）使用jps查看节点上的守护进程

3）使用http协议查看分布式文件系统

5）暴力解决节点不正常的方式

3.1 常用指令：

4.1.1 解压hadoop-2.7.6.tar.gz到本地磁盘，如下图：

4.1.2 配置环境变量

4.1.3 由于Hadoop是在32位系统上编译的，并且对windows支持不好，所以需要把64的编译本地库文件(下图的两个文件)，放入bin目录中。

10.1.4 验证环境变量是否生效：

10.1.5 如果报错:Error: JAVA_HOME is incorrectly set

为了方便开发，我们可以将相关的jar提取出来。

jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。

---