Hadoop运行环境配置的坑只有走过的人才懂,不过三月份的时候发现了一个比较有意思的国产hadoop发行版——大快开源的发行版DKHadoop。DKHadoop将开源社区里多种常用组建包括:HDFS,Hbase,Storm,Flume,Kafka,Mahout,ES等都集成到了这一个平台里,所以整个运行环境的配置安装就大大被简化了。
我把此前安装的过程整理了一下分享给感兴趣的朋友,主要分为:准备阶段、服务器操作系统配置、DKH系统安装、常见问题解决方法四个部门。由于文章偏于较长,本篇重点为大家分享第一部分——准备阶段。
第一部分:准备工作
1、 大数据平台所需配置:
(1) 系统:CentOS 6.5 64位(需默认安装Desktop)
(2) CPU :intel E3及以上。
(3) 内存:建议最小8G,用图计算建议32G,推荐128G。
(4) 硬盘:256G以上,推荐使用固态硬盘。
(5) 系统分区要求: 如无特殊需求,除swap分区外,可将剩余空间全部分配 到/ (根) 分区
(6) 网络要求:如无特殊情况,尽量可以接入外网。
(7) 至少三台服务器(三台服务器名字任意起,密码须一致)。
(8)安装使用root用户作为默认用户
2、 远程上传和远程连接工具:
(1) 若直接使用个人PC开启的虚拟机作为服务器的基础,直接拷贝到虚拟机下即可。
(2) 若是使用机房服务器作平台搭建的服务器,如若不能直接接触到服务器,则需要使用远程工具连接并发送安装包。
第一部分的主要是安装前的准备工作,除了做好上述这些,还需要去下载一下安装版本。我是直接搜索找到了大快的官网下载的一个三节点的发行版。需要的朋友也可以搜索主要一下,如果没有找到可以留言给我。
我把此前安装的过程整理了一下分享给感兴趣的朋友,主要分为:准备阶段、服务器操作系统配置、DKH系统安装、常见问题解决方法四个部门。由于文章偏于较长,本篇重点为大家分享第一部分——准备阶段。
第一部分:准备工作
1、 大数据平台所需配置:
(1) 系统:CentOS 6.5 64位(需默认安装Desktop)
(2) CPU :intel E3及以上。
(3) 内存:建议最小8G,用图计算建议32G,推荐128G。
(4) 硬盘:256G以上,推荐使用固态硬盘。
(5) 系统分区要求: 如无特殊需求,除swap分区外,可将剩余空间全部分配 到/ (根) 分区
(6) 网络要求:如无特殊情况,尽量可以接入外网。
(7) 至少三台服务器(三台服务器名字任意起,密码须一致)。
(8)安装使用root用户作为默认用户
2、 远程上传和远程连接工具:
(1) 若直接使用个人PC开启的虚拟机作为服务器的基础,直接拷贝到虚拟机下即可。
(2) 若是使用机房服务器作平台搭建的服务器,如若不能直接接触到服务器,则需要使用远程工具连接并发送安装包。
第一部分的主要是安装前的准备工作,除了做好上述这些,还需要去下载一下安装版本。我是直接搜索找到了大快的官网下载的一个三节点的发行版。需要的朋友也可以搜索主要一下,如果没有找到可以留言给我。