首页 » 网站推广 » rabbitmqdemophp技巧_异常强悍的 RabbitMQ 总结写得真好

rabbitmqdemophp技巧_异常强悍的 RabbitMQ 总结写得真好

duote123 2024-11-28 0

扫一扫用手机浏览

文章目录 [+]

RabbitMQ是一套开源(MPL)的行列步队做事软件,是由 LShift 供应的一个 Advanced Message Queuing Protocol (AMQP) 的开源实现,由以高性能、健壮以及可伸缩性出名的 Erlang 写成。

RabbitMQ是基于AMQP协议的,通过利用通用协议就可以做到在不同措辞之间通报。

rabbitmqdemophp技巧_异常强悍的 RabbitMQ 总结写得真好

AMQP协议

rabbitmqdemophp技巧_异常强悍的 RabbitMQ 总结写得真好
(图片来自网络侵删)

核心观点

server:又称broker,接管客户端连接,实现AMQP实体做事。

connection:连接和详细broker网络连接。

channel:网络信道,险些所有操作都在channel中进行,channel是读写的通道。
客户端可以建立多个channel,每个channel表示一个会话任务。

message:,做事器和运用程序之间通报的数据,由properties和body组成。
properties可以对进行润色,比如的优先级,延迟等高等特性;body是实体内容。

Virtual host:虚拟主机,用于逻辑隔离,最上层的路由。
一个Virtual host可以多少个Exchange和Queue,同一个Virtual host不能有同名的Exchange或Queue。

Exchange:交流机,接管,根据路由键转发到绑定的行列步队上。

banding:Exchange和Queue之间的虚拟连接,binding中可以包括routing key

routing key:一个路由规则,虚拟机根据他来确定如何路由 一条。

Queue:行列步队,用来存放的行列步队。

Exchange

交流机的类型,direct、topic、fanout、headers,durability(是否须要持久化true须要)auto delete当末了一个绑定Exchange上的行列步队被删除Exchange也删除。

Direct Exchange,所有发送到Direct Exchange的被转发到RouteKey 中指定的Queue,Direct Exchange可以利用默认的默认的Exchange (default Exchange),默认的Exchange会绑定所有的行列步队,以是Direct可以直策应用Queue名(作为routing key )绑定。
或者消费者和生产者的routing key完备匹配。

Toptic Exchange,是指发送到Topic Exchange的被转发到所有关心的Routing key中指定topic的Queue上。
Exchange 将routing key和某Topic进行模糊匹配,此时行列步队须要绑定一个topic。
所谓模糊匹配便是可以利用通配符,“#”可以匹配一个或多个词,“”只匹配一个词比如“log.#”可以匹配“log.info.test” \公众log. \"大众就只能匹配log.error。

Fanout Exchange:不处理路由键,只需大略的将行列步队绑定到交流机上。
发送到改交流机上的都会被发送到与该交流机绑定的行列步队上。
Fanout转发是最快的。

如何担保100%投递?

什么是生产真个可靠性投递?

担保的成功发出

担保MQ节点节点的成功吸收

发送端MQ节点(broker)收到确认应答

完善进行补偿机制

可靠性投递保障方案

落库,对进行打标

的延迟投递

在高并发场景下,每次进行db的操作都是每场花费性能的。
我们利用延迟行列步队来减少一次数据库的操作。

幂等性

我对一个动作进行操作,我们肯能要实行100次1000次,对付这1000次实行的结果都必须一样的。
比如单线程办法下实行update count-1的操作实行一千次结果都是一样的,以是这个更新操作便是一个幂等的,如果是在并发不做线程安全的处理的情形下update一千次操作结果可能就不是一样的,以是并发情形下的update操作就不是一个幂等的操作。
对应到行列步队上来,便是我们纵然受到了多条一样的,也和消费一条效果是一样的。

高并发的情形下如何避免重复消费?

1. 唯一id+加指纹码,利用数据库主键去重。

优点:实现大略

缺陷:高并发下有数据写入瓶颈。

2. 利用Redis的原子性来演习。

利用Redis进行幂等是须要考虑的问题

是否进行数据库落库,落库后数据和缓存如何做到担保幂等(Redis 和数据库如何同时成功同时失落败)?

如果不进行落库,都放在Redis中如何这是Redis和数据库的同步策略?还有放在缓存中就能百分之百的成功吗?

confirm 确认、Return返回

理解confirm确认机制

的确认,指生产者收到投递后,如果Broker收到就会给我们 的生产者一个应答,生产者接管应答来确认broker是否收到。

如何实现confirm确认。

在Channel上开启确认模式:channel.confirmSelect

在channel上添加监听:addConfirmListener,监听成功和失落败的结果,详细结果对进行重新发送或者记录日志。

return机制

Return机制处理一些不可路由的,我们的生产者通过指定一个Exchange和Routinkey,把送达到某一个行列步队中去,然后我们消费者监听行列步队进行消费处理!

在某些情形下,如果我们在发送的时候当Exchange不存在或者指定的路由key路由找不到,这个时候如果我们须要监听这种不可到达的,就要利用Return Listener!

Mandatory 设置为true则会监听器会接管到路由不可达的,然后处理。
如果设置为false,broker将会自动删除该。

消费端自定义监听

消费端限流

假设我们有个场景,首先,我们有个rabbitMQ做事器上有上万条未消费,然后我们随便打开一个消费者客户端,会涌现:巨量的瞬间推送过来,但是我们的消费端无法同时处理这么多数据。

这时就会导致你的做事崩溃。
其他情形也会涌现问题,比如你的生产者与消费者能力不匹配,在高并发的情形下生产端产生大量,消费端无法消费那么多。

rabbitMQ供应了一种qos(做事质量担保)的功能,即非自动确认的条件下,如果有一定数目的(通过consumer或者Channel设置qos)未被确认,不进行新的消费。

void basicQOS(unit prefetchSize,ushort prefetchCount,Boolean global)方法。

prefetchSize:0 单条的大小限定。
0便是不限定,一样平常都是不限定。

prefetchCount: 设置一个固定的值,见告rabbitMQ不要同时给一个消费者推送多余N个,即一旦有N个还没有ack,则consumer将block掉,直到有ack

global:truefalse 是否将上面的设置用于channel,也是便是说上面设置的限定是用于channel级别的还是consumer的级别的。

消费端ack与重回行列步队

消费端进行消费的时候,如果由于业务非常我们可以进行日志的记录,然后进行补偿!
(也可以加上最大努力次数的考试测验)

如果由于做事器宕机等严重问题,那我们就须要手动进行ack担保消费真个消费成功!

重回行列步队

重回行列步队便是为了对没有处理成功的,把重新投递给broker!

实际运用中一样平常都不开启重回行列步队。

TTL行列步队/

TTL time to live 生存韶光。

支持的过期韶光,在发送时可以指定。

支持行列步队过期韶光,在入行列步队开始打算韶光,只要超过了行列步队的超时时间配置,那么就会自动的打消。

去世信行列步队

去世信行列步队:DLX,Dead-Letter-Exchange

利用DLX,当在一个行列步队中变成去世信(dead message,便是没有任何消费者消费)之后,他能被重新publish到另一个Exchange,这个Exchange便是DLX。

变为去世信的几种情形:

被谢绝(basic.reject/basic.nack)同时requeue=false(不重回行列步队)

TTL过期

行列步队达到最大长度

DLX也是一个正常的Exchange,和一样平常的Exchange没有任何的差异,他能在任何的行列步队上被指定,实际上便是设置某个行列步队的属性。

当这个行列步队涌现去世信的时候,RabbitMQ就会自动将这条重新发布到Exchange上去,进而被路由到另一个行列步队。
可以监听这个行列步队中的作相应的处理,这个特性可以填补rabbitMQ以前支持的immediate参数的功能。

去世信行列步队的设置

设置Exchange和Queue,然后进行绑定

Exchange: dlx.exchange(自定义的名字)

queue: dlx.queue(自定义的名字)

routingkey: #(#表示任何routingkey涌现去世信都会被路由过来)

然后正常的声明交流机、行列步队、绑定,只是我们在行列步队上加上一个参数:

arguments.put(\"大众x-dead-letter-exchange\"大众,\公众dlx.exchange\"大众);

RabbitMQ集群模式

主备模式:实现rabbitMQ高可用集群,一样平常在并发量和数据不大的情形下,这种模式好用大略。
又称warren模式。
(差异于主从模式,主从模式主节点供应写操作,从节点供应读操作,主备模式从节点不供应任何读写操作,只做备份)如果主节点宕机备份从节点会自动切换成主节点,供应做事。

集群模式:经典办法便是Mirror模式,担保100%数据不丢失,实现起来也是比较大略。

镜像行列步队,是rabbitMQ数据高可用的办理方案,紧张是实现数据同步,一样平常来说是由2-3节点实现数据同步,(对付100%可靠性办理方案一样平常是3个节点)

多活模式:这种模式也是实现异地数据复制的主流模式,由于shovel模式配置相对繁芜,以是一样平常来说实现异地集群都是利用这种双活,多活的模式,这种模式须要依赖rabbitMQ的federation插件,可以实现持续可靠的AMQP数据。

rabbitMQ支配架构采取双中央模式(多中央)在两套(或多套)数据中央个支配一套rabbitMQ集群,各中央的rabbitMQ做事须要为供应正常的业务外,中央之间还须要实现部分行列步队共享。

多活架构如下:

federation插件是一个不须要构建Cluster,而在Brokers之间传输的高性能插件,federation可以在brokers或者cluster之间传输,连接的双方可以利用不同的users或者virtual host双方也可以利用不同版本的erlang或者rabbitMQ版本。
federation插件可以利用AMQP协议作为通讯协议,可以接管不连续的传输。

Federation Exchanges,可以算作Downstream从Upstream主动拉取消息,但并不是拉取所有,必须是在Downstream上已经明确定义Bindings关系的

Exchange,也便是有实际的物理Queue来吸收,才会从Upstream拉取消息到Downstream。

利用AMQP协议履行代理间通信,Downstream 会将绑定关系组合在一起, 绑定/解除绑定命令将发送到Upstream交流机。

因此,Federation Exchange只吸收具有订阅的。

HAProxy是一款供应高可用性、负载均衡以及基于TCP (第四层)和HTTP

(第七层)运用的代理软件,支持虚拟主机,它是免费、快速并且可靠的一种办理方案。

HAProxy特殊适用于那些负载特大的web站点,这些站点常日又须要会话保持或七层处理。
HAProxy运行在时下的硬件上,完备可以支持恒河沙数的并发连接。

并且它的运行模式使得它可以很大略安全的整合进您当前的架构中同时可以保护你的web做事器不被暴露到网络上。

HAProxy性能为何这么好?

单进程、事宜驱动模型显著降落了高下文切换的开销及内存占用;

在任何可用的情形下,单缓冲(single buffering)机制能以不复制任何数据的办法完成读写操作,这会节约大量的CPU时钟周期及内存带宽;

借助于Linux 2.6 (>= 2.6.27.19). 上的splice系统调用,HAProxy可以实现零复制转发(Zero-copy forwarding),在Linux 3.5及以上的OS中还可以实现心零复制启动(zero-starting);

内存分配器在固定大小的内存池中可实现即时内存分配,这能够显著减少创建一个会话的时长;

树型存储:侧重于利用作者多年前开拓的弹性二叉树,实现了以O(log(N))的低开销来保持计时器命令、保持运行行列步队命令及管理轮询及最少连接行列步队

keepAlive

KeepAlived软件紧张是通过VRRP协议实现高可用功能的。
VRRP是

Virtual Router RedundancyProtocol(虚拟路由器冗余协议)的缩写,

VRRP涌现的目的便是为理解决静态路由单点故障问题的,它能够担保当

个别节点宕机时,全体网络可以不间断地运行以是,Keepalived - -方面

具有配置管理LVS的功能,同时还具有对LVS下面节点进行康健检讨的功

能,另一方面也可实现系统网络做事的高可用功能。

keepAlive的浸染

管理LVS负载均衡软件

实现LVS集群节点的康健检讨中

作为系统网络做事的高可用性(failover)

Keepalived如何实现高可用?

Keepalived高可用做事对之间的故障切换转移,是通过VRRP (Virtual Router

Redundancy Protocol ,虚拟路由器冗余协议)来实现的。

在Keepalived做事正常事情时,主Master节点会不断地向备节点发送( 多播的办法)心跳,用以见告备Backup节点自己还活看,当主Master节点发生故障时,就无法发送心跳,备节点也便是以无法连续检测到来自主Master节点的心跳了,于是调用自身的接管程序,接管主Master节点的IP资源及做事。

而当主Master节点规复时备Backup节点又会开释主节点故障时自身接管的IP资源及做事,规复到原来的备用角色。

☞Python 爬取周杰伦《Mojito》MV 弹幕,这个评论亮了!

☞墨奇科技汤林鹏:如何用 AI 技能颠覆指纹识别?

☞Mybatis 逆向工程利用姿势不对文档全被清空,一怒之下写了个插件……

☞趣谈程序员真喷鼻香定律:源码即设计

☞干货 | 大口语彻底搞懂 HBase RowKey 详细设计

☞热评 | 当心新基建热潮中的区块链项目烂尾

相关文章

Python编程从入门到精通,探索编程之美

编程已经成为现代社会的一项基本技能。Python作为一种简单易学、功能强大的编程语言,在我国教育领域备受关注。本文将从Python...

网站推广 2025-03-02 阅读1 评论0

Scum07代码编程之美与适用方法

编程已成为当今社会不可或缺的技能之一。Scum07代码作为一款经典的编程语言,在我国众多程序员中备受推崇。本文将深入解析Scum0...

网站推广 2025-03-02 阅读1 评论0

Linux环境下的前端代码运行优化与步骤

前端技术逐渐成为软件开发的核心。Linux操作系统因其稳定性、安全性、开放性等特点,成为众多开发者和企业青睐的运行环境。本文将从L...

网站推广 2025-03-02 阅读1 评论0