首页 » Web前端 » suseapachephp安装技巧_054961若安在SUSE12 SP3安装CDH61

suseapachephp安装技巧_054961若安在SUSE12 SP3安装CDH61

访客 2024-11-14 0

扫一扫用手机浏览

文章目录 [+]

2.4.Access UI

suseapachephp安装技巧_054961若安在SUSE12 SP3安装CDH61

2.5.Postgresql

元数据库利用的是外部数据库:Postgresql数据库

suseapachephp安装技巧_054961若安在SUSE12 SP3安装CDH61
(图片来自网络侵删)

Address:128.18.9.208:5432

2.6.数据目录信息

3.集群基本配置及支配安装

因节点之间通过root用户相互ssh的权限被关闭,以是不能利用掌握台自动化安装agent,须要手动到所有节点安装agent,并修正干系配置。

3.1.前置准备

以下条件原集群已配置完成:

Hosts文件已配置

Ntp时钟同步

防火墙已关闭

Selinux已关闭

1. 修正swappiness

echo \"大众vm.swappiness = 1\"大众 >> /etc/sysctl.confecho 1> /proc/sys/vm/swappiness

2. 从系统镜像挂载点配置repo

vim /etc/zypp/repos/iso.repo

[iso]name=isoenabled=1autorefresh=0baseurl=file:///mntpath=/type=yast2keeppackages=0

3. 安装httpd

zypper install httpd

4. 利用httpd制作系统镜像本地zypper源

mkdir /srv/www/htdocs/isocp /mnt/ /srv/www/htdocs/isocd /srv/www/htdocs/isozypper install createrepocreaterepo .

在apache2的配置文件中添加该文件夹

vim /etc/apache2/httpd.conf

<Directory \"大众/srv/www/htdocs/iso\"大众> Option Indexes AllowFollowSymLinks AllowOverride None</Directory>

5. 利用httpd制作cm本地zypper源和parcel源

mkdir /srv/www/htdocs/cm6.1.0mkdir /srv/www/htdocs/cdh6.1.0

将cm的安装包上传到cm6.1.0目录下,特殊把稳的是,SUSE系统还须要下载一个python-psycopg2依赖包上传到cm6.1.0下

cd /srv/www/htdocs/cm6.1.0createrepo .

在apache2的配置文件中添加这两个文件夹

vim /etc/apache2/httpd.conf

<Directory \"大众/srv/www/htdocs/cm6.1.0\公众> Option Indexes AllowFollowSymLinks AllowOverride None</Directory><Directory \公众/srv/www/htdocs/cdh6.1.0\"大众> Option Indexes AllowFollowSymLinks AllowOverride None</Directory>

6. 所有节点配置镜像源和cm源

vim /etc/zypp/repos/iso.repo

[iso]name=isoenabled=1autorefresh=0baseurl=http://128.18.9.202/isotype=rpm-mdgpgcheck=0

vim /etc/zypp/repos/cm.repo

[cm]name=cmenabled=1autorefresh=0baseurl=http://128.18.9.202/cm6.1.0type=rpm-mdgpgcheck=0

3.2.CM节点安装server、agent

1. 安装jdk1.8

zypper install oracle-j2sdk1.8

2. 安装cloudera-manager-server、cloudera-manager-agent

zypper install cloudera-manager-server cloudera-manager-agent

3. 修正agent的配置文件,修正其连接的server主机,log目录以及lib目录

vim /etc/cloudera-scm-agent/config.ini

在数据盘下创建目录

mkdir -p /data1/var/libmkdr -p /data1/var/log

将原来的目录移到这两个目录下

mv /var/lib/cloudera-scm-agent /data1/var/libmv /var/log/cloudera-scm-agent /data1/var/log

启动agent

systemctl start cloudera-scm-agent

4. 修正server的启动脚本,配置log目录

vim /opt/cloudera/cm/bin/cm-server

将目录文件移到数据盘上

mv /var/log/cloudera-scm-server /data1/var/log

5. 初始化cloudera-scm-server的数据库

sh /opt/cloudera/cm/schema/scm_prepare_database.sh -h128.18.9.208 -P5432 postgresql cm cm CmPostgres

6. 配置postgresql数据库驱动

将驱动上传到httpd节点的/srv/www/htdocs/cdh6.1.0目录下,其他节点通过wget进行拉取

mkdir -p /usr/share/javacd /usr/share/javawget http://128.18.9.202/cdh6.1.0/postgresql-42.2.2.jarln -s postgresql-42.2.2.jar postgresql-connector-java.jar

7. 启动server

systemctl start cloudera-scm-server

3.3.其他节点安装agent

剩余节点都须要手动实行以下操作,手动安装agent并修正配置

1. 安装jdk1.8

zypper install oracle-j2sdk1.8

2. 安装cloudera-manager-agent

zypper install cloudera-manager-agent

3. 修正agent的配置文件,修正其连接的server主机,log目录以及lib目录

vim /etc/cloudera-scm-agent/config.ini

在数据盘下创建目录

mkdir -p /sdata1/var/libmkdr -p /sdata1/var/log

将原来的目录移到这两个目录下

mv /var/lib/cloudera-scm-agent /sdata1/var/libmv /var/log/cloudera-scm-agent /sdata1/var/log

4. 配置postgresql数据库驱动

mkdir -p /usr/share/javacd /usr/share/javawget http://128.18.9.202/cdh6.1.0/postgresql-42.2.2.jarln -s postgresql-42.2.2.jar postgresql-connector-java.jar

5. 启动agent

systemctl start cloudera-scm-agent

3.4.修正数据盘所属用户及权限

由于原来数据盘都是由ods用户挂载,并且权限是700,这将导致root安装集群时无法天生所需目录,终极安装失落败

修正这些数据盘目录所属用户为root,所属用户组为root,权限授予755

chown root:root /data1chown root:root /data2chown root:root /data3chown root:root /data4chown root:root /data5chown root:root /data6chown root:root /sdata1chown root:root /sdata2chmod 755 /data1chmod 755 /data2chmod 755 /data3chmod 755 /data4chmod 755 /data5chmod 755 /data6chmod 755 /sdata1chmod 755 /sdata2

4.掌握台安装

1. 打开http://128.18.9.209:7180,以admin/admin登录

2. 点“连续”

3. 勾选赞许,点连续

4. 选择“60天试用版”,点击连续

5. 点击“连续”

6. 点击“当前管理主机”,全部勾选,点击“连续”

7. 点击“更多选项”

8. 将其他的parcel路径删掉,添加自己制作的parcel包下载路径

9. 点击连续

10. 开始下载并分发parcel包,等待下载分发激活完成

11. 确保下方的主机检讨项全部通过,点击“连续”

12. 点击“自定义做事”,勾选须要的做事

13. 输入元数据库的信息,测试连接

14. 配置干系目录

Datenode数据目录暂时默认即可,后期根据不同的节点分配不同的角色组,来分配不同的目录。

Namenode数据目录:

SecondaryNamenode数据目录:

CM做事数据目录:

NodeManager数据目录:

Zookeeper数据目录:

15. 点击“连续”,等待安装完成。

16. 配置DataNode目录,先配置角色组,设置Datanode角色为三个组,Datenode Default Group,onlywithzk,withnamenode:

17. 根据不同的角色来分配datanode目录,以为namenode、zk、journalNode留出独立的数据盘:

5.启用HA

本集群启用了HDFS,YARN的高可用

JournalNode数据目录为:

6.配置组件的log,tmp等目录

7.集群基本配置7.1.Cloudera Manager

这些做事紧张是供应监控功能,目前的调度紧张集中在内存放,以便有足够的资源完成集群管理。

7.2.HDFS配置

7.3.YARN配置

7.4.Zookeeper配置

7.5.Hive配置

相关文章

QQ伪装黑客代码大全技术与风险警示

网络安全问题日益凸显。QQ作为一种流行的社交工具,成为了黑客攻击的主要目标之一。本文将针对QQ伪装黑客代码大全进行深入剖析,揭示其...

Web前端 2025-03-02 阅读1 评论0