phptomact情况搭建技巧_Hadoop情形搭建

文章目录 [+]

Windows 7 专业版64位操作系统

【虚拟工具】

phptomact情况搭建技巧_Hadoop情形搭建

VMware Workstation 8

（图片来自网络侵删）

【虚拟机】

CentOS 6.5 x86 64bit

【目录解释】

1、预装软件存储目录（用于存放预装软件的下载文件）：

/usr/local/SoftWare

2、系统环境目录（用于存储系统运行所搭载的环境设置）：

/usr/local/Env

3、项目开拓目录（用于存储项目的研发文件，并进行项目的研发操作）：

/usr/local/Develop

4、项目支配目录（用于存储项目的线上文件，并进行项目的支配操作）：

/usr/local/Online

【做事器环境搭建步骤】

[安装JDK]

[JDK版本]1.7.0_79

[安装文件]jdk-7u79-linux-i586.tar.gz

[JDK安装步骤]

1、上传JDK安装文件（jdk-7u79-linux-i586.tar.gz）至/usr/local/SoftWare/文件夹

2、天生安装目录、解压文件：

cd /usr/local/Env

mkdir java

cd /usr/local

cp SoftWare/jdk-7u79-linux-i586.tar.gz Env/java/

cd /usr/local/Env/java

tar -zxvf jdk-7u79-linux-i586.tar.gz

3、设置环境变量：

vi /etc/profile

在文件末端追加如下内容：

#JAVA SETTING START---------

export JAVA_HOME=/usr/local/Env/java/jdk1.7.0_79

export JRE_HOME=/usr/local/Env/java/jdk1.7.0_79/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

#JAVA SETTING STOP----------

source /etc/profile：让设置生效

4、验证JDK安装成功与否：java -version

注：若涌现如下之类的缺点：Error: dl failure on line 863

请实行：/usr/sbin/setenforce 0

再次验证时，显示如下正常信息：

java version \"大众1.7.0_79\公众

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)

[安装Tomcat]

[Tomcat版本]7.0.69

[安装文件]apache-tomcat-7.0.69.tar.gz

[Tomcat安装步骤]

1、上传Tomcat安装文件（apache-tomcat-7.0.69.tar.gz）至/usr/local/SoftWare/文件夹

2、天生Tomcat存储地址：

mkdir /usr/local/Env/tomcat

3、解压tomcat文件，并将解压后的文件放置于设定的Tomcat文件夹下：

cd /usr/local/

cp SoftWare/apache-tomcat-7.0.69.tar.gz Env/tomcat/

cd Env/tomcat/

tar -zxvf apache-tomcat-7.0.69.tar.gz

mv apache-tomcat-7.0.69 tomcat

4、启动Tomcat：

完成上述操作后，Tomcat的干系启动文件均支配于/usr/local/Env/tomcat/tomcat/bin/文件夹中

./startup.sh：启动Tomcat做事

./shutdown.sh：停滞Tomact做事

把稳：须要关闭防火墙：service iptables stop

5、为Tomcat设置管理账号信息：

修正/usr/local/Env/tomcat/tomcat/conf/tomcat-users.xml文件，内容如下：

完成之后，须要重启Tomcat，方能生效。

6、安装有效性验证：

由于tomcat在安装时，默认的设置文件中，对做事端口的设定为8080，因此通过<虚拟做事器IP:8080>即可验证其安装的有效性。

注：

1、如果想去端口进行访问，可以在/usr/local/Env/tomcat/tomcat/conf/server.xml中将8080端口改为80即可。

2、由于本开拓环境会以PHP作为web做事予以供应，因此本环境仍延用8080作为tomcat的默认端口。

[安装Maven]

[Maven版本]3.3.9

[安装文件]apache-maven-3.3.9-bin.tar.gz

[Maven安装步骤]

1、上传Maven安装文件（apache-maven-3.3.9-bin.tar.gz）至/usr/local/SoftWare/文件夹

2、天生maven存储地址：

mkdir /usr/local/Env/maven

2、解压Maven文件，并将解压后的文件放置于设定的Maven文件夹下：

cd /usr/local

cp SoftWare/apache-maven-3.3.9-bin.tar.gz Env/maven/

cd /usr/local/Env/maven

tar -zxvf apache-maven-3.3.9-bin.tar.gz

mv apache-maven-3.3.9 maven

4、设置Maven环境变量：

vi /etc/profile

添加如下内容：

#MAVEN SETTING START--------

export M2_HOME=/usr/local/Env/maven/maven

PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC

#MAVEN SETTING STOP---------

5、让Maven环境生效并检测：

source /etc/profile

mvn -v

若涌现如下结果，证明已经成功：

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T08:41:47-08:00)

Maven home: /usr/local/maven

Java version: 1.7.0_79, vendor: Oracle Corporation

Java home: /usr/local/java/jdk1.7.0_79/jre

Default locale: en_US, platform encoding: UTF-8

OS name: \"大众linux\"大众, version: \"大众2.6.18-238.el5\"大众, arch: \"大众i386\"大众, family: \公众unix\"大众

6、Maven构建项目：

mvn compile：编译源码

mvn test-compile：编译测试源码

mvn clean package：构建全新的项目

[安装Git]

[Git版本]2.2.1

[安装文件]git-2.2.1.tar.gz

[Git安装步骤]

1、将安装文件（git-1.8.4.1.tar.gz）上传至：/usr/local/SoftWare/文件夹；

2、安装前的准备：

yum install curl-devel

yum install expat-devel

yum install openssl-devel

yum install perl

yum install cpio

yum install expat-devel

yum install gettext-devel

yum install autoconf

yum -y install perl-devel

3、解压并安装文件：

mkdir /usr/local/Env/git

cd /usr/local/

cp SoftWare/git-2.2.1.tar.gz Env/git/

cd Env/git

tar -zxvf git-2.2.1.tar.gz

mv git-2.2.1 git-2.2.1_source

cd git-2.2.1_source

make configure

./configure --prefix=/usr/local/Env/git/git

make && make install

4、配置环境变量：

vi /etc/profile

添加如下内容：

#GIT SETTING START----------

export GIT_HOME=/usr/local/Env/git/git

export PATH=$PATH:$GIT_HOME/bin

#GIT SETTING STOP-----------

5、让Git环境生效并检测：

source /etc/profile

git

unset SSH_ASKPASS

[安装Python]

[Python版本]2.7.12（由于系统自带安装Python2.6.6，但实际项目会须要2.7及以上版本，因此予以兼容花安装）

[安装文件]Python-2.7.12.tgz

[Python安装步骤]

1、上传Python安装文件（Python-2.7.12.tgz）至/usr/local/SoftWare/文件夹

2、天生Python存储地址：

mkdir /usr/local/Env/Python2.7

mkdir /usr/local/Env/Python2.7/Python2.7

2、解压Python文件，并将解压后的文件放置于设定的Maven文件夹下：

cd /usr/local

cp SoftWare/Python-2.7.12.tgz Env/Python2.7/

cd /usr/local/Env/Python2.7

tar -zxvf Python-2.7.12.tgz

mv Python-2.7.12 Python-2.7.12_source

cd Python-2.7.12_source

./configure --prefix=/usr/local/Env/Python2.7/Python2.7

make

make install

4、验证Python2.7安装情形：

/usr/local/Env/Python2.7/Python2.7/bin/python2.7

涌现版本信息则证明安装成功。

5、干系赞助扩展安装：

1）为Python2.7安装pip：

/usr/local/Env/Python2.7/Python2.7/bin/python2.7 /usr/local/Env/Python2.7/Python-2.7.12_source/build/scripts-2.7/get-pip.py （get-pip.py这个文件是我自己下的，我把它放在了这里而已，指定下路径，随便放在哪里都可以）

2）装完这个才能装request和protobuf的依赖包

/usr/local/Env/Python2.7/Python2.7/bin/pip2.7 install protobuf

/usr/local/Env/Python2.7/Python2.7/bin/python2.7 /usr/local/Env/Python2.7/Python2.7/lib/python2.7/site-packages/easy_install.py requests

广点通DMP代码测试：

cd /usr/local/Develop/hdapi/hdapi/Python/DmpDS

mkdir data

make tmp_data

/usr/local/Env/Python2.7/Python2.7/bin/python2.7 main.py gdtdmp.conf data/ 10528

若成功，则扩展安装正常！

3）安装MySQL扩展：

A）yum install python-devel

B）yum install mysql-devel

C）yum install gcc

D）updatedb

E）/usr/local/Env/Python2.7/Python2.7/bin/pip2.7 install -Iv https://pypi.python.org/packages/source/M/MySQL-python/MySQL-python-1.2.5.zip#md5=654f75b302db6ed8dc5a898c625e030c

pip uninstall MySQL_python（如果安装后扩展不能利用，请删除后重新安装）

安装完成后，进入Python命令行：

/usr/local/Env/Python2.7/Python2.7/bin/python2.7

import sys,MySQLdb

若无非常跑出，则OK

备注：

为便于接入根本平台部做事，往后的做事版本将不再基于2.6.6进行开拓，如无非常，均基于2.7.12进行开拓！

【查看指定时间内有更新的文件】

find . -mmin -5 -name '.'

【做事上线支配流程】

虚拟开拓环境代码－┓ ┎-->GIT做事器（源码）

┃ ┃

┖本地JAR包编译－－－┛

┃

┖线上做事器（只支配zip）

┃

┖解压&&支配

【HDFS系统搭建】

[安装Hadoop]

[Hadoop版本]hadoop-2.6.0

[安装文件]hadoop-2.6.0.tar.gz

[Hadoop安装步骤]

1、上传Hadoop安装文件（hadoop-2.6.0.tar.gz ）至/usr/local/SoftWare/文件夹

2、天生安装目录、解压文件：

mkdir /usr/local/Env/Hadoop

cp /usr/local/SoftWare/hadoop-2.6.0.tar.gz /usr/local/Env/Hadoop/

cd /usr/local/Env/Hadoop/

tar -zxvf hadoop-2.6.0.tar.gz

cd hadoop-2.6.0

3、设置环境变量：

vim /etc/profile

在文件尾追加如下语句：

#HADOOP SETTING START----------

export HADOOP_HOME=/usr/local/Env/Hadoop/hadoop-2.6.0

export PATH=$PATH:$HADOOP_HOME/bin

#HADOOP SETTING STOP-----------

完成添加后保存退出，并使之生效：source /etc/profile

4、天生Hadoop事情目录

mkdir /usr/local/Env/Hadoop/HDP_WorkShop

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/tmp

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/hdfs

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/hdfs/data

mkdir /usr/local/Env/Hadoop/HDP_WorkShop/hdfs/name

5、Hadoop设置：

cd /usr/local/Env/Hadoop/hadoop-2.6.0/etc/hadoop

1）hadoop-env.sh文件：

注释掉：export JAVA_HOME=${JAVA_HOME}

新添加：export JAVA_HOME=/usr/local/Env/java/jdk1.7.0_79

export HADOOP_SSH_OPTS=\公众-p 16022\公众//此行操作适用于指定SSH的利用端口号，默认为22

2）yarn-env.sh文件：

注释掉：export JAVA_HOME=/home/y/libexec/jdk1.6.0/

新添加：export JAVA_HOME=/usr/local/Env/java/jdk1.7.0_79

3）core-site.xml文件：

在文件中的<configuration></configuration>标签中插入如下语句：

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/Env/Hadoop/HDP_WorkShop/tmp</value>

<description>The tmp folder of hadoop work shop</description>

</property>

</configuration>

4）hdfs-site.xml文件

在文件中的<configuration></configuration>标签中插入如下语句：

<!—hdfs-site.xml-->

<value>/usr/local/Env/Hadoop/HDP_WorkShop/hdfs/name</value>

<description>The path of namenode</description>

</property>

<value>/usr/local/Env/Hadoop/HDP_WorkShop/hdfs/data</value>

<description>The path of datanode</description>

</property>

<name>dfs.replication</name>

<description>The default copy number of hdfs(Should less than 10)</description>

</property>

</configuration>

5）mapred-site.xml文件：

cp mapred-site.xml.template mapred-site.xml

在文件中的<configuration></configuration>标签中插入如下语句：

<name>mapreduce.framework.name</name>

</property>

</configuration>

6）yarn-site.xml文件：

在文件中的<configuration></configuration>标签中插入如下语句：

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>${yarn.resourcemanager.hostname}:8099</value>

</property>

</configuration>

6、启动hadoop：

1）启动前检测：

命令行输入jps后，若只有JPS本身信息显示，则解释未启动，可以进行下步操作。

2）格式化namenode：

初次启动，记得格式化namenode，即在命令行输入：

cd $HADOOP_HOME/bin

hdfs namenode –format

待完成后进入下一步操作。

3）SSH无密码登录：

进入root用户所在用户目录：

cd /root

创建通讯私钥：

ssh-keygen -t rsa（后续一顿回车）

cat id_rsa.pub >> authorized_keys

4）启动NameNode 和 DataNode 守护进程

cd $HADOOP_HOME/sbin/

./start-dfs.sh

5）启动ResourceManager 和 NodeManager 守护进程

cd $HADOOP_HOME/sbin/

./start-yarn.sh

备注：

问题1：hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”

跟系统位数有关系，我利用的是Centos 6.5 64位操作系统。

我用的是hadoop2.6，以是下载下面这个：

http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

下载完往后，解压到hadoop的native目录下，覆盖原有文件即可

问题2：jps创造有部分进程未启动成功，便是datanode启不来，

查看日志创造，是由于bogon这个访问地址没有配置，因此在/etc/hosts文件中加入如下语句：

127.0.0.1 bogon.localdomain bogon

再次启动，创造OK

启动成功的标示：（进程都在）

7116 SecondaryNameNode

6947 DataNode

7572 Jps

7372 NodeManager

6852 NameNode

7282 ResourceManager

通过http://192.168.85.6:8099/cluster/nodes进行访问涌现界面即可。

也可以通过http://192.168.85.6:50070进行界面访问。

标签：Python local

phptomact情况搭建技巧_Hadoop情形搭建

相关文章

php研讨院技巧_上海人工智能实验室联合商汤科技与高校合营宣告通用视觉技能体系

php的globa技巧_PHP轨范员从入门到佛系第十五弹PHP 超级全局变量

PHP辨认CAD技巧_大年夜学搜题软件cad分享4个搜题直接出谜底的软件

php扫描word技巧_IRFuzz一款基于YARA规则的文档文件扫描对象

凡科PHP技巧_Zblog采集Zblog免费采集Zblog采集伪原创宣告详解

匿名函数参数php技巧_PHP 核心特点之匿名函数

最近发表

文件下载道理PHP技巧_PHP文件下载怎么做可以参考一下它

山东it培训php技巧_盘点山东IT培训机构鱼龙混杂若何选择

易游变量php技巧_客运起身长白山好风凭借力内外部改进推动业绩进入高增阶段

济南后端php雇用技巧_壹点送岗12家济南市属国有企业集中招聘610人

php若何切换中文技巧_4项技巧使你不再为PHP中文编码忧

php设计对战游戏技巧_若何塑造成功的仇敌并做到物尽其用聊聊游戏中的怪物设计

php若何登录页面技巧_用PHP制作一个简单的注册登录页面

php正则截取目次技巧_php用正则表达式提取文章中的图片地址用于文章列表中显示

tazpkgphp技巧_不容错过的 5 个微型 Linux 发行版

ftp上传到php技巧_PHP操作FTP类实现上传下载移动创建的方法

热门文章

标签列表

« 2024年12月 »
一	二	三	四	五	六	日
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30	31