安装sshd无密码登录什么的就不说了,

直接执行ssh-keygen  -t  rsa然后一路回车,就会在root的目录下的.ssh目录底下生成两个文件,一个是公钥一个是私钥。然后执行cp id_rsa.pub  authorized_keys

然后 ssh localhost 验证是否成功,如果登录过程中不需要进行输入root密码,则说明成功。下一步就是安装jdk

默认系统已经安装了java了,所以第一步就先卸载java。需要注意的是要在纯洁系统里面卸载,因为有的生产环境需要原来的java环境支持,你这一卸载,其它的应用就直接瘫痪了。

直接从sun网站下载对应的64位或者32未jdk我的是32位,直接wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-i586.tar.gz下载下来,然后直接解压就可以用了,对了,得添加系统环境的位置。

如果只想本用户可以用,那就直接编辑用户目录底下的.bash_profile文件,如果想要所有的用户都能用,那需要编辑/etc/profile文件,下面我直接贴上自己的测试配置。

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin
export JAVA_HOME=/root/jdk1.7.0_79
export JRE_HOME=/root/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/libi
export HADOOP_HOME=/root/hadoop-2.7.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/$jre/bin:$HADOOP_COMMON_LIB_NATIVE_DIR:$HADOOP_OPTS:$PATH

因为我这个是测试,所以对目录什么的没去严格要求,比较乱,对于生产环境还是需要进行严格分开,后期也比较好管理。然后运行source ~/.bash_profile使之生效。

jdk的目录就是下载下来解压后的目录。

然后开始下载hadoop,直接wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz然后进行解压就可以了。

至于环境变量,刚才上面贴的那个配置里面已经有了,可以看一下。

下面配置hadoop目录底下的etc/hadoop/目录底下的hadoop-env.sh文件

把里面的JAVA_HOME设置成自己的java目录   export JAVA_HOME=/root/jdk1.7.0_79    这个是我自己的设置。

然后配置同目录底下的core-site.xml

<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overridesin this file. -->
<configuration>
   <property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.154.129:9000/</value>
   </property>
   <property> 
     <name>hadoop.tmp.dir</name> 
<value>/usr/local/hadoop/hadoop-0.20.2/hadooptmp</value> 
</property>
</configuration>

//有些教程说的那种localhost,是不正确的!
配置hdfs-site.xml

</strong>
<?xml version="2.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<!-- Put site-specific property overridesin this file. -->
<configuration>
<property>
    <name>dfs.replication</name>
     <value>1</value>
 </property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
<strong>


(note:其中dfs.replication的value为1是因为我们这里配置的是单机伪分布式,只有一台机子~后面的dfs.permissions是为了让用户有权限~)
配置mapred-site.xml

</strong></strong>
<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overridesin this file. -->
<configuration>
  <property>
    <name>mapred.job.tracker</name>
     <value>192.168.154.129:9001</value>
  </property>
</configuration>
<strong><strong>


配置masters文件和slaves文件
里面都是直接填上自己对应的IP地址就OK了
首先[root@hadoop~]# vi /etc/hosts 内容如下
192.168.154.129 hadoop hadoop
然后[root@hadoop~]# vi /etc/hostname 内容直接是hadoop
最后[root@hadoop~]# vi /etc/sysconfig/network 直接修改里面的HOSTNAME=hadoop就OK了
最后就是要启动对应的服务了
进入hadoop目录底下的bin目录 输入hadoop namenode -format。然后进入hadoop目录底下的sbin目录。执行start-all.sh。到此,hadoop服务就算配置完成了。这个时候可以使用jps进行查看服务到底有没有启动成功,启动成功的话有对应Tasktracker, JobTracker, DataNode, Namenode等,或者直接使用netstat -tunlp进行查看是否有对应的进程进行监听对应的端口。

分享该文章:

相关文章:

  • 暂无相关文章