Hadoop伪分布式搭建操作步骤指南

Hadoop伪分布式搭建操作步调指南

一、预备工作

在 /opt/目次下创建文件夹modules，和softwares
- 修改操作权限(切换至root用户下)

chown -R wxt:wxt /opt/

然后切换至通俗用户

mkdir softwares 
 
mkdir modules

安装lrzsz (在linux里可代替ftp上传和下载。)

yum -y install lrzsz

上传文件，履行敕令rz，会彪炳文件选择窗口，选择好文件，点击确认即可。

rz

下载文件，履行敕令sz

二、Hadoop情况安排-JDK部分

上传jdk 至softwares

解压jdk 至modules
6.
- 留意：
  - /tmp表示临时存储目次，体系每次重启会按照脚本预先设置好的删除琅绫擎的文件从新自定尸体系生成的文件路径，/tmp会被清空，无法包管数据文件安然性。
- tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

修改情况变量
```
sz 
```
- 切换至 root 用户修改 vi /etc/profile 文件，设备jdk情况变量

#JAVA_HOME 
export JAVA_HOME=/opt/modules/jdk1.7.0_67 
export PATH=$PATH:$JAVA_HOME/bin

起首安装lrzsz

source /etc/profile 使文件生效
验证是否设备成功
- java -version

java version "1.7.0_09-icedtea" 
OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64) 
OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode)

jps敕令可以查看java 过程
echo $JAVA_HOME

三、Hadoop伪分布式情况安排-Hadoop部分

上传文件hadoop-2.5.0.tar.gz，至softwares
解压文件至modules
- tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/

清理Hadoop的目次，将hadoop/share/doc目次删除，节俭磁盘空间，经由过程这个敕令查看df -h

修改hadoop/etc/hadoop/hadoop-env.sh文件
修改hadoop/etc/hadoop/mapred-env.sh文件
修改hadoop/etc/hadoop/yarn-env.sh文件
指定Java安装路径
- export JAVA_HOME=/opt/modules/jdk1.7.0_67

留意：
- Hadoop中的四个核心模块对应四个默认设备文件
- HDFS,Hadoop默惹９依υ?件体系,是文件体系的拜访人口
- Namenode,地点的机械9000端口是早期Hadoop 1.x应用的，如今 Hadoop 2.x应用的是8020端标语用于节点直接内部通信，应用RPC通信机制

修改hadoop/etc/hadoop/core-site.xml文件

<property> 
    <name>fs.defaultFS</name> 
    <!--bigdata-4 为我的localhost 名字--> 
    <value>hdfs://bigdata-4:8020</value> 
</property> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/opt/modules/hadoop-2.5.0/data/tmp</value> 
</property>

1/2 1 2 下一页尾页

沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践！10.28不见不散！【51CTO.com原创稿件】10月24日>>>详细阅读

本文标题：Hadoop伪分布式搭建操作步骤指南

地址：http://www.17bianji.com/lsqh/38220.html

1/2 1