首页 » 网站推广 » termphp技巧_运用Apache Zookeeper分布式支配PHP应用轨范爱可生

termphp技巧_运用Apache Zookeeper分布式支配PHP应用轨范爱可生

访客 2024-11-18 0

扫一扫用手机浏览

文章目录 [+]

原文-zh:利用Apache Zookeeper分布式支配PHP运用程序

二次搬运,因中文翻译中代码有一小丢丢瑕疵,故重新整理了一下。

termphp技巧_运用Apache Zookeeper分布式支配PHP应用轨范爱可生

Apache Zookeeper是我最近碰着的最酷的技能,我是在研究Solr Cloud功能的时候创造的。
Solr的分布式打算让我印象深刻。
你只要开启一个新的实例就能自动在Solr Cloud中找到。
它会将自己分派到某个分片中,并确定出自己是一个Leader(源)还是一个副本。
不一会儿,你就可以在你的那些做事器上查询到了。
即便某些做事器宕机了也可以连续事情。
非常动态、聪明、酷。

termphp技巧_运用Apache Zookeeper分布式支配PHP应用轨范爱可生
(图片来自网络侵删)

将运行多个运用程序作为一个逻辑程序并不是什么新玩意。
事实上,我在几年前就已写过类似的软件。
这种架构比较让人迷惑,利用起来也费劲。
为此Apache Zookeeper供应了一套工具用于管理这种软件。

为什么叫Zoo?“由于要折衷的分布式系统是一个动物园”。

在本篇文章中,我将解释如何利用PHP安装和集成Apache ZooKeeper。
我们将通过service来折衷各个独立的PHP脚本,并让它们赞许某个成为Leader(以是称作Leader选举)。
当Leader退出(或崩溃)时,worker可检测到并再选出新的leader。

ZooKeeper是一个中性化的Service,用于管理配置信息、命名、供应分布式同步,还能组合Service。
所有这些种类的Service都会在分布式运用程序中利用到。
每次编写这些Service都会涉及大量的修bug和竞争情形。
正由于这种编写这些Service有一定难度,以是常日都会忽略它们,这就使得在运用程序有变革时变得难以管理运用程序。
纵然处理得当,实现这些做事的不同方法也会使得支配运用程序变得难以管理。

虽然ZooKeeper是一个Java运用程序,但C也可以利用。
这里就有个PHP的扩展,由Andrei Zmievski在2009创建并掩护。
你可以从PECL中下载,或从GitHub中直接获取PHP-ZooKeeper。

要利用该扩展你首先要安装ZooKeeper。
可以从官方网站下载。

$ tar zxfv zookeeper-3.4.5.tar.gz$ cd zookeeper-3.4.5/src/c$ ./configure --prefix=/usr/$ make$ sudo make install

这样就会安装ZooKeeper的库和头文件。
现在准备编译PHP扩展。

$ cd$ git clone https://github.com/andreiz/php-zookeeper.git$ cd php-zookeeper$ phpize$ ./configure$ make$ sudo make install

将“zookeeper.so”添加到PHP配置中。

$ vim /etc/php5/cli/conf.d/20-zookeeper.ini

由于我不须要运行在web做事环境下,以是这里我只编辑了CLI的配置。
将下面的行复制到ini文件中。

extension=zookeeper.so

利用如下命令来确定扩展是否已起浸染。

$ php -m | grep zookeeperzookeeper

现在是时候运行ZooKeeper了。
目前唯一还没有做的是配置。
创建一个用于存放所有service数据的目录。

$ mkdir /home/you-account/zoo$ cd$ cd zookeeper-3.4.5/$ cp conf/zoo_sample.cfg conf/zoo.cfg$ vim conf/zoo.cfg

找到名为“dataDir”的属性,将其指向“/home/you-account/zoo”目录。

$ bin/zkServer.sh start$ bin/zkCli.sh -server 127.0.0.1:2181[zk: 127.0.0.1:2181(CONNECTED) 14] create /test 1Created /test[zk: 127.0.0.1:2181(CONNECTED) 19] ls /[test, zookeeper]

此时,你已成功连到了ZooKeeper,并创建了一个名为“/test”的znode(稍后我们会用到)。
ZooKeeper以树形构造保存数据。
这很类似于文件系统,但“文件夹”(译者注:这里指非最底层的节点)又和文件很像。
znode是ZooKeeper保存的实体。
Node(节点)的说法很随意马虎被稠浊,所以为了避免稠浊这里利用了znode。

由于我们稍后还会利用,以是这里我们让客户端保持连接状态。
开启一个新窗口,并创建一个zookeeperdemo1.php文件。

<?php class ZookeeperDemo extends Zookeeper { public function watcher( $i, $type, $key ) { echo "Insider Watcher\n"; // Watcher gets consumed so we need to set a new one $this->get( '/test', array($this, 'watcher' ) ); } } $zoo = new ZookeeperDemo('127.0.0.1:2181');$zoo->get( '/test', array($zoo, 'watcher' ) ); while( true ) { echo '.'; sleep(2);}

现在运行该脚本。

$ php zookeeperdemo1.php

此处该当会每隔2秒产生一个点。
现在切换到ZooKeeper客户端,并更新“/test”值。

[zk: 127.0.0.1:2181(CONNECTED) 20] set /test foo

这样就会静默触发PHP脚本中的“Insider Watcher”。
怎么会这样的?

ZooKeeper供应了可以绑定在znode的监视器。
如果监视器创造znode发生变革,该service会立即关照所有干系的客户端。
这便是PHP脚本如何知道变革的。
Zookeeper::get方法的第二个参数是回调函数。
当触发事宜时,监视器会被消费掉,以是我们须要在回调函数中再次设置监视器。

现在你可以准备创建分布式运用程序了。
个中的寻衅是让这些独立的程序决定哪个(是leader)折衷它们的事情,以及哪些(是worker)须要实行。
这个处理过程叫做leader选举,在ZooKeeper Recipes and Solutions你能看到干系的实现方法。

这里大略来说便是,每个处理(或做事器)紧盯着相邻的那个处理(或做事器)。
如果一个已被监视的处理(也即Leader)退出或者崩溃了,监视程序就会查找其相邻(此时最老)的那个处理作为Leader。

在真实的运用程序中,leader会给worker分配任务、监控进程和保存结果。
这里为了简化,我跳过了这些部分。

创建一个新的PHP文件,命名为worker.php。

<?php class Worker extends Zookeeper { const CONTAINER = '/cluster'; protected $acl = array( array( 'perms' => Zookeeper::PERM_ALL, 'scheme' => 'world', 'id' => 'anyone' ) ); private $isLeader = false; private $znode; public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) { parent::__construct( $host, $watcher_cb, $recv_timeout ); } public function register() { if( ! $this->exists( self::CONTAINER ) ) { $this->create( self::CONTAINER, null, $this->acl ); } $this->znode = $this->create( self::CONTAINER . '/w-', null, $this->acl, Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE ); $this->znode = str_replace( self::CONTAINER .'/', '', $this->znode ); printf( "I'm registred as: %s\n", $this->znode ); $watching = $this->watchPrevious(); if( $watching == $this->znode ) { printf( "Nobody here, I'm the leader\n" ); $this->setLeader( true ); } else { printf( "I'm watching %s\n", $watching ); } } public function watchPrevious() { $workers = $this->getChildren( self::CONTAINER ); sort( $workers ); $size = sizeof( $workers ); for( $i = 0 ; $i < $size ; $i++ ) { if( $this->znode == $workers[ $i ] ) { if( $i > 0 ) { $this->get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) ); return $workers[ $i - 1 ]; } return $workers[ $i ]; } } throw new Exception( sprintf( "Something went very wrong! I can't find myself: %s/%s", self::CONTAINER, $this->znode ) ); } public function watchNode( $i, $type, $name ) { $watching = $this->watchPrevious(); if( $watching == $this->znode ) { printf( "I'm the new leader!\n" ); $this->setLeader( true ); } else { printf( "Now I'm watching %s\n", $watching ); } } public function isLeader() { return $this->isLeader; } public function setLeader($flag) { $this->isLeader = $flag; } public function run() { $this->register(); while( true ) { if( $this->isLeader() ) { $this->doLeaderJob(); } else { $this->doWorkerJob(); } sleep( 2 ); } } public function doLeaderJob() { echo "Leading\n"; } public function doWorkerJob() { echo "Working\n"; } } $worker = new Worker( '127.0.0.1:2181' );$worker->run();

打开至少3个终端,在每个终端中运行以下脚本:

# term1 $ php worker.phpI'm registred as: w-0000000001Nobody here, I'm the leaderLeading # term2 $ php worker.phpI'm registred as: w-0000000002I'm watching w-0000000001Working # term3 $ php worker.phpI'm registred as: w-0000000003I'm watching w-0000000002Working

现在仿照Leader崩溃的环境。
利用Ctrl+c或其他方法退出第一个脚本。
刚开始不会有任何变革,worker可以连续事情。
后来,ZooKeeper会创造超时,并选举出新的leader。

虽然这些脚本很随意马虎理解,但是还是有必要对已利用的Zookeeper标志作注释。

$this->znode = $this->create( self::CONTAINER . '/w-', null, $this->acl, Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );

每个znode都是EPHEMERAL和SEQUENCE的。

EPHEMRAL代表当客户端失落去连接时移除该znode。
这便是为何PHP脚本会知道超时。
SEQUENCE代表在每个znode名称后添加顺序标识。
我们通过这些唯一标识来标记worker。

在PHP部分还有些问题要把稳。
该扩展目前还是beta版,如果利用不当很随意马虎发生segmentation fault。
比如,不能传入普通函数作为回调函数,传入的必须为方法。
我希望更多PHP社区的同仁可以看到Apache ZooKeeper的好,同时该扩展也会得到更多的支持。

ZooKeeper是一个强大的软件,拥有简洁和大略的API。
由于文档和示例都做的很好,任何人都可以很随意马虎的编写分布式软件。
让我们开始吧,这会很有趣的。

作者:李开宇链接:https://zhuanlan.zhihu.com/p/20854620来源:知乎

标签:

相关文章