- 浏览: 85910 次
文章分类
最新评论
在hadoop/home中创建目录 itcast
mkdir itcast
将hadoopd安装包解压到该目录:
查看java安装路径 whereis java
配置hadoop,需要修改5个文件
1、修改运行环境
vim hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_71
2、 配置namenode节点;
vim core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.159.131:9000</value>
</property>
</configuration>
3、创建mapred.site.xml 配置(1.x jobtracker)各任务节点,运行在yarn上
mv mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4、文件系统hdfs-site.xml datanode节点 副本数量
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/itcast/hadoop-2.3.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/itcast/hadoop-2.3.0/dfs/data</value>
</property>
5、NodeManager获取数据的方式为shuffle;指定yarn的namenode
vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
添加环境变量:
export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
一、初始化/格式化文件系统
bin/hadoop hdfs namenode -format
1、启动namenode
[hadoop@skx1 hadoop-2.3.0]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /home/hadoop/itcast/hadoop-2.3.0/logs/hadoop-hadoop-namenode-skx1.localdomain.out
java.io.IOException: Cannot create directory /home/itcast/hadoop-2.3.0/dfs/name/current
[root@skx1 /]# chmod -R a+w /home/hadoop/itcast ##/home --主机 /hadoop --用户 /itcast 用户hadoop下的目录
查看namenode是否启动:
[hadoop@skx1 hadoop-2.3.0]$ jps
2719 Jps
2681 NameNode
启动成功!
如果出错:在log日志中查找;
2、启动datanode:
adoop@skx1 hadoop-2.3.0]$ sbin/hadoop-daemon.sh start datanode
查看namenode是否启动:
838 Jps
2681 NameNode
2774 DataNode
启动成功!
在浏览器上查看信息:
http://skx1:50070
Overview 'skx1:9000' (active)
3、启动yarn
[hadoop@skx1 hadoop-2.3.0]$ sbin/start-yarn.sh
查看启动成功:
[hadoop@skx1 hadoop-2.3.0]$ jps
3035 ResourceManager
3313 NodeManager
3341 Jps
2681 NameNode
2774 DataNode
启动成功
在浏览器上查看:
http://skx1:8088
4、在namenode上创建目录:
[hadoop@skx1 hadoop-2.3.0]$ bin/hadoop fs -mkdir /skx1
5、上传文件
[hadoop@skx1 hadoop-2.3.0]$ bin/hadoop fs -put read.txt /skx1
6、运行mapredude程序,前提是yarn启动成功
hadoop@skx1 hadoop-2.3.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar pi 2 2
Number of Maps = 2
Samples per Map = 2
7、关闭yarn,关闭dfs
sbin/stop yarn.sh
sbin/stop hdfs.sh
1. Linux系统中用户切换的命令为su,语法为:
su [-fmp] [-c command] [-s shell] [--help] [--version] [-] [USER [ARG]]
参数说明
-f , –fast:不必读启动文件(如 csh.cshrc 等),仅用于csh或tcsh两种Shell。
-l , –login:加了这个参数之后,就好像是重新登陆一样,大部分环境变量(例如HOME、SHELL和USER等)都是以该使用者(USER)为主,并
且工作目录也会改变。如果没有指定USER,缺省情况是root。
-m, -p ,–preserve-environment:执行su时不改变环境变数。
-c command:变更账号为USER的使用者,并执行指令(command)后再变回原来使用者。
–help 显示说明文件
–version 显示版本资讯
USER:欲变更的使用者账号,
ARG: 传入新的Shell参数。
2. su [user] 和 su - [user]的区别:
su [user]切换到其他用户,但是不切换环境变量,su - [user]则是完整的切换到新的用户环境。
如:
[root@rac1 ~]# pwd --当前目录
/root
[root@rac1 ~]# su oracle --使用su [user]
[oracle@rac1 root]$ pwd --当前目录没有改变,还是之前的用户目录
/root
[oracle@rac1 root]$ su - oracle --使用su - [user]
Password:
[oracle@rac1 ~]$ pwd --当前目录变为当前用户的家目录
/home/oracle
[oracle@rac1 ~]$
所以建议大家在切换用户时,尽量用su - [user],否则可能会出现环境变量不对的问题。
1、linux下jps command not found
hadoop启动,使用命令jps,可是却提示找不到命令,
hadoop执行jps 报
jps -bash: jps: command not found
解决方法:以root身份vi /etc/profile,
export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
然后source /etc/profile就可以,没报错就说明是成功了,重启。
mkdir itcast
将hadoopd安装包解压到该目录:
查看java安装路径 whereis java
配置hadoop,需要修改5个文件
1、修改运行环境
vim hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_71
2、 配置namenode节点;
vim core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.159.131:9000</value>
</property>
</configuration>
3、创建mapred.site.xml 配置(1.x jobtracker)各任务节点,运行在yarn上
mv mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4、文件系统hdfs-site.xml datanode节点 副本数量
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/itcast/hadoop-2.3.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/itcast/hadoop-2.3.0/dfs/data</value>
</property>
5、NodeManager获取数据的方式为shuffle;指定yarn的namenode
vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
添加环境变量:
export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
一、初始化/格式化文件系统
bin/hadoop hdfs namenode -format
1、启动namenode
[hadoop@skx1 hadoop-2.3.0]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /home/hadoop/itcast/hadoop-2.3.0/logs/hadoop-hadoop-namenode-skx1.localdomain.out
java.io.IOException: Cannot create directory /home/itcast/hadoop-2.3.0/dfs/name/current
[root@skx1 /]# chmod -R a+w /home/hadoop/itcast ##/home --主机 /hadoop --用户 /itcast 用户hadoop下的目录
查看namenode是否启动:
[hadoop@skx1 hadoop-2.3.0]$ jps
2719 Jps
2681 NameNode
启动成功!
如果出错:在log日志中查找;
2、启动datanode:
adoop@skx1 hadoop-2.3.0]$ sbin/hadoop-daemon.sh start datanode
查看namenode是否启动:
838 Jps
2681 NameNode
2774 DataNode
启动成功!
在浏览器上查看信息:
http://skx1:50070
Overview 'skx1:9000' (active)
3、启动yarn
[hadoop@skx1 hadoop-2.3.0]$ sbin/start-yarn.sh
查看启动成功:
[hadoop@skx1 hadoop-2.3.0]$ jps
3035 ResourceManager
3313 NodeManager
3341 Jps
2681 NameNode
2774 DataNode
启动成功
在浏览器上查看:
http://skx1:8088
4、在namenode上创建目录:
[hadoop@skx1 hadoop-2.3.0]$ bin/hadoop fs -mkdir /skx1
5、上传文件
[hadoop@skx1 hadoop-2.3.0]$ bin/hadoop fs -put read.txt /skx1
6、运行mapredude程序,前提是yarn启动成功
hadoop@skx1 hadoop-2.3.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar pi 2 2
Number of Maps = 2
Samples per Map = 2
7、关闭yarn,关闭dfs
sbin/stop yarn.sh
sbin/stop hdfs.sh
1. Linux系统中用户切换的命令为su,语法为:
su [-fmp] [-c command] [-s shell] [--help] [--version] [-] [USER [ARG]]
参数说明
-f , –fast:不必读启动文件(如 csh.cshrc 等),仅用于csh或tcsh两种Shell。
-l , –login:加了这个参数之后,就好像是重新登陆一样,大部分环境变量(例如HOME、SHELL和USER等)都是以该使用者(USER)为主,并
且工作目录也会改变。如果没有指定USER,缺省情况是root。
-m, -p ,–preserve-environment:执行su时不改变环境变数。
-c command:变更账号为USER的使用者,并执行指令(command)后再变回原来使用者。
–help 显示说明文件
–version 显示版本资讯
USER:欲变更的使用者账号,
ARG: 传入新的Shell参数。
2. su [user] 和 su - [user]的区别:
su [user]切换到其他用户,但是不切换环境变量,su - [user]则是完整的切换到新的用户环境。
如:
[root@rac1 ~]# pwd --当前目录
/root
[root@rac1 ~]# su oracle --使用su [user]
[oracle@rac1 root]$ pwd --当前目录没有改变,还是之前的用户目录
/root
[oracle@rac1 root]$ su - oracle --使用su - [user]
Password:
[oracle@rac1 ~]$ pwd --当前目录变为当前用户的家目录
/home/oracle
[oracle@rac1 ~]$
所以建议大家在切换用户时,尽量用su - [user],否则可能会出现环境变量不对的问题。
1、linux下jps command not found
hadoop启动,使用命令jps,可是却提示找不到命令,
hadoop执行jps 报
jps -bash: jps: command not found
解决方法:以root身份vi /etc/profile,
export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
然后source /etc/profile就可以,没报错就说明是成功了,重启。
发表评论
-
12、数据分析系统Hive/Pig
2015-03-28 00:22 524Hive(Facebook)构建在Hadoop ... -
11、hadoop--数据收集原理
2015-03-27 18:56 589常见的两种数据来源 分散的数据源: 机器产生的数据; ... -
10、zookeeper
2015-03-27 11:34 357zookeeper是一个针对大型分布式系统的可靠协调 ... -
9、HBase客户端程序开发
2015-03-27 10:48 1014开发接口实现方式: Native Java API 最常规 ... -
7、Hbase基本框架
2015-03-26 23:31 445HBase是一个构建在HDFS上的分布式列存储系统; ... -
7、Yarn--MapReduce2.0
2015-03-26 14:09 9061、yarn介绍: MapReduce 2.0和YARN区别: ... -
6、HA+Federation 详解
2015-03-26 14:05 568now is nullnow is nullnow is nu ... -
5、hadoop多节点(HA + Federation)
2015-03-26 13:42 809一、准备 1、4台linux系统 2、检查联网 3、检查各 ... -
4、hadoop 多节点部署和测试(HA_HDFS)
2015-03-25 09:53 4005HA(High Available), 高可用性群集 ... -
2、hadoop 安装准备
2015-03-17 12:39 490准备工作:hadoop2.3 64 ... -
1、初相见 hadoop
2015-03-16 14:08 397_______了,把hadoop好好研 ... -
1、FastDFS
2015-03-14 21:52 0wwwwwwwwwwwwwwwwwwww http://blo ...
相关推荐
文档详细介绍了hadoop在单节点工作模式下的配置,以及hadoop具有的测试用例对安装的hadoop进行测试
本指导经过本人亲自搭建安装,配置测试
讲解Hadoop的集群所需的环境、配置、集成,一个主机三个节点测试
假定有 3 台机器,机器上均按照了 Ubuntu 操作系统: 192.168.1.138 hadoop-master //作为 Hadoop 的主机用 192.168.1.140 hadoop-node1 //作为 Hadoop 的数据节点用 192.168.1.141 hadoop-node2 //作为 Hadoop 的...
和的,两种配置也很相似唯一不同地方是无法区分伪布式 和的,两种配置也很相似唯一不同地方是无法区分伪布式 和的,两种配置也很相似唯一不同地方是在单机器上配置,数据节点和名字均一个。 是在单机器上配置,数据...
hadoop单机安装与测试 1•Local (Standalone) Mode(单节点的本地模式)Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境,它使用linux的文件系统,适用于开发、测试、调试环境 运行案例 2•Pseudo-...
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统...
6.1 Hadoop概述 6.2 HDFS 6.2.1 HDFS文件系统的原型GFS 6.2.2 HDFS文件的基本结构 ...6.5.5 将配置好的Hadoop文件复制到其他节点 6.5.6 启动、停止Hadoop 6.5.7 在Hadoop系统上运行测试程序WordCount
第3章 Hadoop分布式文件系统 HDFS的设计 HDFS的概念 数据块 namenode和datanode 命令行接口 基本文件系统操作 Hadoop文件系统 接口 Java接口 从Hadoop URL中读取数据 通过FileSystem API读取数据 写入数据 目录 查询...
1,专项攻破Hadoop安全配置。 2,生动形象,化繁为简,讲解通俗易懂。 3,全程实操,边操作边讲解,不再只听概念。 适用人群 1、对大数据安全机制方面技术感兴趣的在校生及应届毕业生。 2、Hadoop从业者,希望...
6.2.5 Primary(namenode0)节点配置 6.2.7 Data Node节点配置 6.2.8 Client节点配置 6.2.9 创建目录 6.2.10 挂载NFS 6.2.11 启动Ucarp 6.2.12 格式化 6.2.13 系统启动 6.2.14 检查 6.2.15 NameNode失效切换写文件...
08_HBase 压缩配置测试 09_分布式集群搭建:大数据框架回顾说明 10_分布式集群搭建:集群环境说明及基本配置 11_分布式集群搭建:集群安装配置 12_分布式集群搭建:安装配置部署Zookeeper 集群 13_分布式集群...
1. 检查ntp包是否安装 2. 设置时间配置文件 3. 设置BIOS与系统时间同步 4. 启动ntp服务并测试 1. 手动同步 2. 定时同步 1. 检查nt
docker-hadoop-cluster适用于测试具有多个节点的Hadoop补丁。从Hadoop源代码构建映像hadoop服务的基本映像。 该映像包括JDK,hadoop软件包配置等。该映像可以包括您自己构建的hadoop软件包。 为了进行绑定,假定将...
3 ....................................................................................................6 Hadoop的单机部署 3.1 ..............................................................................
Hadoop可以在单节点上以伪分布式的⽅式运⾏,Hadoop进程以分离的 Java进程来运⾏,节点既作为NameNode也作为DataNode。伪分布式模式配置也很简单,只需在单机模式基础上配置core- site.xml,hdfs-site.xml,mapred-...
2.1.7 HDFS 缓存相关配置…·……………………………………… …… ……………………………… 40 2.2 HDFS 中心缓存管理…... ... .…· ·……………………………………………………………………….. 42 2.2.l HDFS...
Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪...3、这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为active状态。
二、集群主节点jdk和hadoop的安装与配置 1、修改主机名 2、进入hosts文件,配置ip地址以及对应的主机名 3、配置本机网卡配置文件 4、使用ifconfig查看查看网络设备信息 5、测试网络连接是否正常 6、免密登录 ...