linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Limux发行版SuSE >

CentOS7下CDH2.7.2安装部署

时间:2017-05-16  来源:未知  作者:linuxsir首页

CentOS7下CDH2.7.2安装部署

克隆3台虚拟机

这里写图片描述

配置虚拟

主机内存IP软件
node1 5G 192.168.2.211 jdk、
node2 2G 192.168.2.212 jdk、
node3 2G 192.168.2.213 jdk、

准备


1、修改IP

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
#重启网络
/etc/init.d/network restart

2、修改主机名

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3

3、修改/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.2.211 node1
192.168.2.212 node2
192.168.2.213 node3

4、配置免密码登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将公钥拷贝到其它要免登录的机器

ssh-copy-id node2
ssh-copy-id node3

将/etc/hosts拷贝到其它的机器

scp /etc/hosts root@node2:/etc
scp /etc/hosts root@node3:/etc

5、安装JDK

上传解压到/opt/jdk1.8.0_91目录下

设置环境变量

vi ~/.bash_profile

export JAVA_HOME=/opt/jdk1.8.0_91
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量

source ~/.bash_profile

并将JDK拷贝到其它主机

6、安装ntp同步时间

yum install -y ntp
ntpdate -u ntp.sjtu.edu.cn

7、安装依赖

yum install -y python bind-utils  psmisc  libxslt  zlib  sqlite  cyrus-sasl-plain  cyrus-sasl-gssapi  fuse  portmap  fuse-libs  RedHat-lsb

开始安装CM

1、下载

#CM下载地址
http://archive-primary.cloudera.com/cm5/cm/5/

#CDH下载地址
http://archive.cloudera.com/cdh5/parcels/4

将.sha1结尾的文件重命名为.sha结尾
这里写图片描述

上传到虚拟机

2、安装Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

3、创建用户cloudera-scm (三台)

useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4、配置CM Agent (三台)
修改文件/opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini中
server_host以及server_port

vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

5、配置CM Server数据库 为MySQL
拷贝mysql jar文件到目录 /usr/share/Java/
注意jar包名称要修改为mysql-connector-java.jar

mkdir /usr/share/java/
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

配置MySql

#创建temp用户并授权
GRANT ALL ON *.* TO 'temp'@'%' IDENTIFIED BY 'temp' WITH GRANT OPTION;
FLUSH PRIVILEGES;

cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h 192.168.2.1 -utemp -ptemp --scm-host node1 scm scm scm
                    格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

这里写图片描述

6、创建Parcel目录

Server节点(node1)
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点(node1、node2、node3)
    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels


CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
manifest.json
移动到:
/opt/cloudera/parcel-repo 文件夹下

7、启动CM Server、Agent

#启动服务端(node1)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start
#启动客户端(node1、node2、node3)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start

8、访问网址测试
查看启动日志:
/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-server

192.168.2.211:7180

出现如下界面说明启动成功

这里写图片描述

开始配置CM

1、登录
用户名:admin,密码admin

2、
免费
这里写图片描述

全选
这里写图片描述

默认
这里写图片描述

等待
这里写图片描述

2个警告
这里写图片描述

解决

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 10 > /proc/sys/vm/swappiness

然后单机重新运行。

CDH的安装和设置 http://www.linuxidc.com/Linux/2017-02/140707.htm

yum安装CDH5.5 Hadoop集群 http://www.linuxidc.com/Linux/2017-02/140186.htm

CDH5.9.0集群部署与搭建 http://www.linuxidc.com/Linux/2017-01/139615.htm

CDH5.7.2离线部署笔记 http://www.linuxidc.com/Linux/2016-08/133924.htm

Cloudera Manager 5和CDH5离线安装  http://www.linuxidc.com/Linux/2016-07/133360.htm

CDH5发行版Hadoop集群部署实例  http://www.linuxidc.com/Linux/2017-05/143677.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  http://www.linuxidc.com/Linux/2017-04/143095.htm

友情链接