Hadoop遇到搭建
分类:计算机网络

多年来在需诶Hadoop的,尝试着将情形搭起来,真是不搭不明白,风流倜傥搭下风姿浪漫跳呀,差不离步步都出错啊。英特网海人民广播广播台湾大学人的作答也是灰常的坑人啊比(如最优质的正是命令的轻重写标题,如hadoop命令是小写的,很五个人写出Hadoop,所以大家在遇见Command not found那类错误时,先看看是还是不是大大小小写的标题卡塔 尔(英语:State of Qatar),由此可以预知进程很优伤,幸亏终于搭建起来了。

本身不筹划重述搭建的步子,在其余著作小编也差少之甚少的牵线下,那样步骤在互连网上有太多了,只是记录下自个儿搭建遇到的难点,备忘。

自己差非常的少从未在Linux碰着下编经过,对于Linux也面生,所以会有这一个地方不对,后续慢慢更改。

连锁阅读

  • Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
  • Ubuntu 12.10 +Hadoop 1.2.1本子集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
  • Ubuntu上搭建Hadoop境况(单机情势+伪分布情势卡塔尔 http://www.linuxidc.com/Linux/2013-01/77681.htm
  • Ubuntu下Hadoop境遇的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
  • 单机版搭建Hadoop景况图像和文字化教育程精解 http://www.linuxidc.com/Linux/2012-02/53927.htm
  • 搭建Hadoop情状(在Winodws景况下用编造机设想多少个Ubuntu系统开展搭建卡塔尔 http://www.linuxidc.com/Linux/2011-12/48894.htm

环境:RedHat6(企业版)

Hadoop版本:1.04

Eclipse:3.4

形式:hadoop有两种格局,本地格局、伪分布形式、布满形式。由于只是用于学习,(条件也不一样意搭建分布情势卡塔 尔(阿拉伯语:قطر‎,只搭建了伪分布格局下的景况。

今天一时把标题mark下,后续补上。

1:hadoop版本选用难题

2:ssh免密码登入难点

3:Windows 与Linux 互ping

4:hadoop服务运行难点(start-all.sh卡塔尔

5:Eclipse连接Hadoop问题(防火墙)

先mark到那吗,Linux相关的学问急需恶补~~~

难题1:版本选取难题

首先次打意况的时候用的是hadoop 0.22.0本子,后来发觉那个版本少了有的jar包(不理解怎么?卡塔 尔(阿拉伯语:قطر‎于是又去Apache官方网站络下了1.04本子,官互连网介绍的时候,也事关了此版本是安然依然版本。

标题2:SSH免密码登录难点

对此那些主题素材,我到现在也没消除,作者在同事的机器上调查了,没失常,然而本人的机械死活依旧要密码,也上网查了部分素材,大致的步子如下,

root@localhost hadoop]# ssh-keygen -t rsa  一向按enter,就能够按私下认可的选项将扭转的密钥对封存在.ssh/id_rsa文件中

Generating public/private dsa key pair.

Your identification has been saved in /root/.ssh/id_dsa.

Your public key has been saved in /root/.ssh/id_dsa.pub.

The key fingerprint is:

74:79:98:eb:fa:e0:53:aa:e3:1b:e4:a4:16:7a:6b:31 root@localhost

奉行以下命令

[root@localhost hadoop]# cp id_rsa.pub authorized_keys

接下来执行ssh localhost,能够兑现用ssh连接况且不须求密码连接

比如依旧须要密码,那就是权力难点,将权限设置如下:

chmod 700 /.ssh/(对应本人安装的ssh路线)

chmod 600 /.ssh/authorized_keys

貌似情形下,如上操作就足以兑现本机的ssh免密码登入了(依旧拾分,小编也不理解了,因为本身自个儿到现在仍然要密码,忧虑中卡塔尔

自己写ssh的指标不是为着说哪些设置SSH免密码登录,而是为了求证这一步在单机格局也许伪布满情势下并非非得必要的,因为那边未有大气集群,即使再而三的时候供给密码,也假诺输入四遍(笔者在伪布满形式下只需求输入3次就能够卡塔尔。很三个人说这么些必须求需安装免密码,个人以为那话有一些误导人,最少误导了自个儿,笔者在ssh设置上花了大意上一天的时候,还未有解决。其实若是只是由于学习Hadoop 的内需,假诺在此一步上卡壳了,那就先别管他了吧,后续自身看看能还是不能够再消除。(当然,要是能打响的设置的ssh免密码登录那是最棒的了卡塔尔国

问题3:Windows 与Linux 互ping

万生龙活虎您跟自个儿同风度翩翩,习贯在Windows下开展付出,想在Windows-Eclipse下开采顺序,那么这一步是必需的,至少要保管在Windows下ping通Linux。小编也不敢细说那有个别剧情,怕误导了人,上面这一个手续是本人在网络找到的,临时这么用的,可是本人无法确认保证合理

请大家仿效那个链接:http://www.linuxidc.com/Linux/2014-04/100450.htm

4:hadoop服务运行难题(start-all.sh卡塔尔

在hadoop1.0后,已经不提议使用start-all.s和stop-all.sh命令了,而是用start-dfs.sh start-mapred.sh 和stop-dfs.sh stop-mpared.sh这两组命令来兑现服务的运转和停业。

唤醒:在hadoop第三次开发银行从前,供给格式化namenode。(唯有安装好条件第1回接受才实行此操作,假使后续又格式化了,那么会并发datanode于namenode命名空间不等同的谬误,消弭的方法也很简短,只要求手动的改造其中的任何多少个使其相似就能够了,怎么着纠正,也请看英特网吧,非常多的卡塔尔国

5:Eclipse连接Hadoop问题(防火墙)

行使Eclipse(Windows境况下卡塔尔连接到Linux时,本人碰着了八个难点,导致连不上,三个是出于Linux的防火墙设置以致的,笔者参谋(http://www.linuxidc.com/Linux/2014-04/100450.htm卡塔 尔(英语:State of Qatar)第三步的防火墙设置能够化解难点,可是分明不太好,有越来越好的管理方式,就用更加好的啊。

更加的多Hadoop相关音信见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文长久更新链接地址:http://www.linuxidc.com/Linux/2014-04/100451.htm

图片 1

本文由正版必中一肖图发布于计算机网络,转载请注明出处:Hadoop遇到搭建

上一篇:通过mybatis读取数据库数据并提供rest接口访问 下一篇:没有了
猜你喜欢
热门排行
精彩图文