Da数据时代 ,不掌握点hadoop生态体系可还行。今儿记录下64位centos6.9安装hadoop2.7.6过程。
第一次安装图方便,直接下载了安装包,一路顺利安装完成,执行第一个mapredurce时报错。
意识到64位系统,hadoop编译安装的重要性,重新来过。
一、编译hadoop
1.hadoop-2.7.6-src.tar.gz hadoop官网下载资源包;
2.解压后目录下有个说明文档BUILDING.txt。
按照Requirements的要求装好所有编译需要软件,此处不做细致介绍。清单中每一个都不能少,否则编译过程会让你很痛苦。
Requirements: * Unix System * JDK 1.7+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac * Zlib devel (if compiling native code) * openssl devel ( if compiling native hadoop-pipes and to get the best HDFS encryption performance ) * Linux FUSE (Filesystem in Userspace) version 2.6 or above ( if compiling fuse_dfs ) * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
3. 开始编译,进入解压目录后 执行:
mvn package -Pdist,native,docs -DskipTests -Dtar
二、遇到问题:
1.编译到hadoop tools时报错退出:
Apache Hadoop tools FAILURE
检查了一般Requirements发现有软件包没准备好
yum install zlib zlib-devel
yum install openssl devel
yum install openssl openssl--devel
重新编译,问题解决。2.编译到Apache Hadoop Pipes FAILURE
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-common: An Ant BuildException has occured: exec returned: 1 [ERROR] around Ant part …<exec dir=”/export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target/native” executable=”cmake” failonerror=”true”>… @ 5:125 in /export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml此时继续检查 Requirements,每个软件都已安装。反复尝试了半天没有解决。
只好仔细查看日志,报错信息大概含义是:根据/export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml这个文件,编译其中某处时报错。
打开文件,找到exec标签所执行的内容(标红):
root@node-1 bin]# cd /export/ [root@node-1 export]# cd /export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target/antrun [root@node-1 antrun]# pwd /export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target/antrun [root@node-1 antrun]# ls build-main.xml [root@node-1 antrun]# cat build-main.xml <?xml version="1.0" encoding="UTF-8" ?> <project name="maven-antrun-" default="main" > <target name="main" if="tar"> <echo file="/export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target/dist-maketar.sh">cd "/export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target" tar cf - hadoop-common-2.7.6 | gzip > hadoop-common-2.7.6.tar.gz</echo> <exec failonerror="true" dir="/export/server/hadoop-2.7.6-src/hadoop-common-project/hadoop-common/target" executable="sh"> <arg line="./dist-maketar.sh"/> </exec> </target>通过sh 执行./dist-maketar.sh脚本,那么我们就在命令行 执行下该脚本,即可看到具体错误信息,根据错误信息配置相关软件包即可。
ps:本次安装过程中还遇到一个cmake 的报错。
后来发现是 openssl报错,我只安装了 openssl 并没有按装openssl-devel。
二者不同之处是,后者为开发包,编译过程需要后者。
INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 43:57 min [INFO] Finished at: 2018-05-15T08:56:26-07:00 [INFO] Final Memory: 129M/393M [INFO] ------------------------------------------------------------------------编译成功,晒一下。
相关推荐
org.apache.hadoop.io.nativeio.NativeIO.java解决办法 将org放入项目的工程目录下 本地运行MR必备的源码包,本地运行MR必备的源码包,本地运行MR必备的源码包,
Logstash6整合Hadoop-报错与解决方案.docx
CDH集群大数据hadoop报错解决办法及思路整理,主要解决大数据在运行过程中所遇到的问题,相关解决办法都是实践验证过。
安装hadoop的时候或者使用的时候,会出现hadoop常见问题及解决方法
hadoop2.4.1的64位redhat的native包,用java7编译的
hadoop安装时,会遇到不同问题,这里只是列举我自己遇到的问题
Hadoop使用常见问题以及解决方法,简单实用
Jobtracker启动报错:解决方法:导入guava-r09-jarjar.jar org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap错误分析及解决方法: Intel版本hadoop因为缺少license,启动jobtracker报错:
Hadoop安装和配置,Hadoop安装和配置,Hadoop安装和配置
《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践...
jline版本低导致hbase启动失败,这里的jar文件完成升级。
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...
教大家怎么安装Hadoop的一个文档: 1、掌握Linux虚拟机的搭建; 2、掌握Linux的常用命令及操作; 3、熟练掌握Hadoop安装及配置; 4、了解Hadoop的简单应用。
Hadoop安装部署及教学,内有word文档、ppt、pdf 一整套教学及部署
Hadoop安装配置过程和注意事项
Hadoop安装教程_单机_伪分布式配置
hadoop相关的十几篇论文,有中文和英文的,学习hadoop很好的资料
网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。
hadoop安装过程,自己留着看,分享给大家,网络上弄的,仅供参考
hadoop安装与配置及mapreduce测试网站