hadoop1.2.1伪分布式搭建

news/2024/7/23 17:44:34 标签: 分布式, Hadoop

0.使用host-only方式
    将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
    注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同
1.Linux环境配置(windows下面的防火墙也要关闭)
    1.1修改主机名
        vim /etc/sysconfig/network
    1.2修改IP
        vim /etc/sysconfig/network-scripts/ifcfg-eth0
        
        DEVICE="eth0"
        BOOTPROTO="static"   ###
        HWADDR="00:0C:29:BF:45:8B"
        IPV6INIT="yes"
        NM_CONTROLLED="yes"
        ONBOOT="yes"
        TYPE="Ethernet"
        UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
        IPADDR="192.168.1.110"   ###
        NETMASK="255.255.255.0"  ###
        GATEWAY="192.192.1.1"    ###
    1.3修改主机名和IP的映射关系
        vi /etc/hosts
        
        192.168.1.110 itcast
    1.4关闭防火墙
        查看防护墙状态
        service iptables status
        
        关闭
        service iptables stop
        
        查看防火墙开机启动状态
        chkconfig iptables --list
        
        关闭开机启动
        chkconfig iptables off
    1.5安装JDK
        上传JDK
        添加执行权限
        chmod u+x jdk-6u45-linux-i586.bin
        
        解压
        ./jdk-6u45-linux-i586.bin
        
        mkdir /usr/java
        mv jdk1.6.0_45/ /usr/java/
        
        将java添加到环境变量
        vim /etc/profile
        在文件的末尾添加如下内容
        
        export JAVA_HOME=/usr/java/jdk1.6.0_45
        export PATH=$PATH:$JAVA_HOME/bin

        刷新配置
        source /etc/profile
        
2.配置hadoop
    2.1上传hadoop包
    
    2.2解压hadoop包
        首先在根目录创建一个cloud目录
        mkdir /cloud
        
        tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
    2.3配置hadoop伪分布式(要修改4个文件)
        第一个:hadoop-env.sh
        vim hadoop-env.sh
            export JAVA_HOME=/usr/java/jdk1.6.0_45
        
        第二个:core-site.xml
        vim core-site.xml
            
            <configuration>
                    <!-- 指定HDFS的namenode的通信地址 -->
                    <property>
                            <name>fs.default.name</name>
                            <value>hdfs://itcast:9000</value>
                    </property>
                    <!-- 指定hadoop运行时产生文件的存放目录 -->
                    <property>
                            <name>hadoop.tmp.dir</name>
                            <value>/cloud/hadoop-1.1.2/tmp</value>
                    </property>
            </configuration>
            
        第三个:hdfs-site.xml
        vim hdfs-site.xml
            <configuration>
                <!-- 配置HDFS副本的数量 -->
                <property>
                        <name>dfs.replication</name>
                        <value>1</value>
                </property>
            </configuration>
            
        第四个:mapred-site.xml
        vim mapred-site.xml
            <configuration>
                    <!-- 指定jobtracker地址 -->
                    <property>
                            <name>mapred.job.tracker</name>
                            <value>itcast:9001</value>
                    </property>
            </configuration>
            
    2.4将hadoop添加到环境变量
        vim /etc/profile
        
        export JAVA_HOME=/usr/java/jdk1.6.0_45
        export HADOOP_HOME=/cloud/hadoop-1.1.2
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
        
        source /etc/profile
    
    2.5格式化HDFS
        hadoop namenode -format
    
    2.6启动hadoop
        start-all.sh
    
    2.7验证集群是否启动成功
        jps(不包括jps应该有5个)
        NameNode
        SecondaryNameNode
        DataNode
        JobTracker
        TaskTracker
        还可以通过浏览器的方式验证
        http://192.168.1.110:50070 (hdfs管理界面)
        http://192.168.1.110:50030 (mr管理界面)
        
        在这个文件中添加linux主机名和IP的映射关系
        C:\Windows\System32\drivers\etc
        
3.配置ssh免登陆
    生成ssh免登陆密钥
    ssh-keygen -t rsa
    执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
    将公钥拷贝到要免登陆的机器上
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


http://www.niftyadmin.cn/n/4989233.html

相关文章

项目实践:类平面抓取点计算(占位,后面补充)

文章目录 文章目录&#xff1a;3D视觉个人学习目录微信&#xff1a;dhlddxB站: Non-Stop_

是否在业务中使用大语言模型?

ChatGPT取得了巨大的成功&#xff0c;在短短一个月内就获得了1亿用户&#xff0c;并激发了企业和专业人士对如何在他们的组织中利用这一工具的兴趣和好奇心。 但LLM究竟是什么&#xff0c;它们如何使你的企业受益?它只是一种炒作&#xff0c;还是会长期存在? 在这篇文章中我…

将符号分隔的文本文件txt转换为excel的实现

文本文件如下&#xff1a; 现在不好处理&#xff0c;打算将其转换为excel&#xff0c;其中通过冒号分割&#xff1a;line.split(":") main方法如下&#xff1a; public static void main(String[] args) {String textFilePath "D:\\zoom\\期刊\\J_Medline\\J_…

说说Flink双流join

分析&回答 Flink双流JOIN主要分为两大类 一类是基于原生State的Connect算子操作另一类是基于窗口的JOIN操作。其中基于窗口的JOIN可细分为window join和interval join两种。 基于原生State的Connect算子操作 实现原理&#xff1a;底层原理依赖Flink的State状态存储&…

Pandas进阶修炼120题-第四期(当Pandas遇上NumPy,81-100题)

目录 往期内容&#xff1a;第一期&#xff1a;Pandas基础&#xff08;1-20题&#xff09;第二期&#xff1a;Pandas数据处理&#xff08;21-50题&#xff09;第三期&#xff1a;Pandas金融数据处理&#xff08;51-80题&#xff09;第四期&#xff1a;当Pandas遇上NumPy&#xf…

文心一言 VS CHATGPT

由于近几天来&#xff0c;我的手机短信不断收到百度公司对于“文心一言”大模型的体验邀请&#xff08;真是不胜其烦&#xff09;&#xff01;&#xff01;所以我就抱着试试看的态度点开了文心一言的链接&#xff1a;文心一言 目前看来&#xff0c;有以下两点与chatgpt是有比较…

Python钢筋混凝土结构计算.pdf-T001-混凝土强度设计值

以下是使用Python求解上述问题的完整代码&#xff1a; # 输入参数 f_ck 35 # 混凝土的特征抗压强度&#xff08;单位&#xff1a;MPa&#xff09; f_cd 25 # 混凝土的强度设计值&#xff08;单位&#xff1a;MPa&#xff09; # 求解安全系数 gamma_c f_ck / f_cd # …

亚马逊美国站上半年“日本商店”畅销品类了解一下吧!

近日&#xff0c;亚马逊美国站公布了2023年上半年“日本商店”&#xff08;JAPAN STORE&#xff09;的热门品类以及各品类销量排名前三的商品。据了解&#xff0c;亚马逊与日本贸易振兴机构 (JETRO) 合作&#xff0c;于2021年11月推出“日本商店”&#xff0c;支持日本卖家出海…