当前位置: 首页 > >

如何在windows系统下安装hadoop

发布时间:

如何在windows系统下安装hadoop
问题描述

今天晚上组会师兄要求提前在自己的电脑上配置好几个软件环境,其中一个就是学*大数据必不可少的软件hadoop,之前在b站学*发现一般都是在linux中配置hadoop,但是今天我看到师兄截图中的环境变量明显是在windows系统中配置的,所以今天下午特地研究了一下windows系统中hadoop的安装流程。


详细流程

    首先原生hadoop是没有专门针对Windows的安装包的,所以我们需要借用linux中hadoop的安装包来实现安装,首先我们需要下载两个软件。


    hadoop安装包

    版本可以根据自己的喜好选择,在这里我选择的是hadoop2.7.7。

    不想去官网的话,直接可以从清华的镜像下载。

    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

    下载 hadoop-2.7.7.tar.gz

    hadooponwindows-master.zip

    链接:https://pan.baidu.com/s/1TRKQd9Qt7-as7OSVNfDVtA
    提取码:opns
    复制这段内容后打开百度网盘手机App,操作更方便哦?来自百度网盘超级会员V4的分享

    确认JAVA_HOME配置正确

    如果之前java正常使用的话这一步应该没有任何问题。

    还有path中也需要正确配置bin目录

    使用编辑器打开{你的hadoop文件夹}/etc/hadoop/hadoop-env.cmd
    修改JAVA_HOME的路径
    把set JAVA_HOME改为jdk的位置(也就是JAVA_HOME的路径)
    注意其中PROGRA~1代表Program Files
    set JAVA_HOME=E:PROGRA~1Javajdk1.8.0_171

    在haddoop的根目录下新建几个文件夹:


    tmpdata
    datanodenamenode

    打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml修改其中的两个文件路径

    注意文件路径的格式正确!

    拷贝hadoop.dll文件到C:WindowsSystem32

    不然在window*台使用MapReduce测试时报错

    以管理员身份打开命令提示符
    输入hdfs namenode -format,看到seccessfully就说明format成功

    转到Hadoop-2.7.3sbin文件下

    输入start-all,启动hadoop集群

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZiwQxhqe-1603441679276)(C:Users12452Desktop我的笔记我已经解决的问题software_setupwindow下hadoop的安装imagesimage-20201023162100447.png)]

    然后就会出现下面四个窗口:

    输入jps - 可以查看运行的所有节点

    测试hadoop是否开启成功

    访问http://localhost:50070,访问hadoop的web界面

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TnuO6TZc-1603441679283)(http://www.shrugging.cn/markdownimages/image-20201023162359586.png)]

    访问http://localhost:8088,访问yarn的web界面,有就表明已经成功

    关闭所有的节点



友情链接: