行列步队（Message Queue），是分布式系统中主要的组件，其通用的利用场景可以大略地描述为：
当不须要立即得到结果，但是并发量又须要进行掌握的时候，差不多便是须要利用行列步队的时候。
行列步队紧张办理了运用耦合、异步处理、流量削锋等问题。
当前利用较多的行列步队有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及phxsql也可实现行列步队的功能。
二、行列步队利用场景
行列步队在实际运用中包括如下四个场景：
运用耦合：多运用间通过行列步队对同一进行处理，避免调用接口失落败导致全体过程失落败；异步处理：多运用对行列步队中同一进行处理，运用间并发处理，比较串行处理，减少处理韶光；限流削峰：广泛运用于秒杀或抢购活动中，避免流量过大导致运用系统挂掉的情形；驱动的系统：系统分为行列步队、生产者、消费者，生产者卖力产生，消费者(可能有多个)卖力对进行处理；下面详细先容上述四个场景以及行列步队如何在上述四个场景中利用：
2.1 异步处理详细场景：用户为了利用某个运用，进行注册，系统须要发送注册邮件并验证短信。对这两个操作的处理办法有两种：串行及并行。
（1）串行办法：新注册信息天生后，先发送注册邮件，再发送验证短信；
在这种办法下，须要终极发送验证短信后再返回给客户端。
（2）并行处理：新注册信息写入后，由发短信和发邮件并行处理；
在这种办法下，发短信和发邮件 需处理完成后再返回给客户端。
假设以上三个子系统处理的韶光均为50ms，且不考虑网络延迟，则总的处理韶光：
串行：50+50+50=150ms
并行：50+50 = 100ms
若利用行列步队：
并在写入行列步队后立即返回成功给客户端，则总的相应韶光依赖于写入行列步队的韶光，而写入行列步队的韶光本身是可以很快的，基本可以忽略不计，因此总的处理韶光比较串行提高了2倍，比较并行提高了一倍；
2.2 运用耦合详细场景：用户利用QQ相册上传一张图片，人脸识别系统会对该图片进行人脸识别，一样平常的做法是，做事器吸收到图片后，图片上传系统立即调用人脸识别系统，调用完成后再返回成功，如下图所示：
该方法有如下缺陷：
人脸识别系统被调失落败，导致图片上传失落败；延迟高，须要人脸识别系统处理完成后，再返回给客户端，即利用户并不须要立即知道结果；图片上传系统与人脸识别系统之间相互调用，须要做耦合；若利用行列步队：
客户端上传图片后，图片上传系统将图片信息如uin、批次写入行列步队，直接返回成功；而人脸识别系统则定时从行列步队中取数据，完成对新增图片的识别。
此时图片上传系统并不须要关心人脸识别系统是否对这些图片信息的处理、以及何时对这些图片信息进行处理。事实上，由于用户并不须要立即知道人脸识别结果，人脸识别系统可以选择不同的调度策略，按照闲时、忙时、正常韶光，对行列步队中的图片信息进行处理。
2.3 限流削峰详细场景：购物网站开展秒杀活动，一样平常由于瞬时访问量过大，做事器吸收过大，会导致流量暴增，干系系统无法处理要求乃至崩溃。而加入行列步队后，系统可以从行列步队中取数据，相称于行列步队做了一次缓冲。
该方法有如下优点：
要求先入行列步队，而不是由业务处理系统直接处理，做了一次缓冲,极大地减少了业务处理系统的压力；行列步队长度可以做限定，事实上，秒杀时，后入行列步队的用户无法秒杀到商品，这些要求可以直接被抛弃，返回活动已结束或商品已售完信息；2.4 驱动的系统详细场景：用户新上传了一批照片， 人脸识别系统须要对这个用户的所有照片进行聚类，聚类完成后由对账系统重新天生用户的人脸索引(加快查询)。这三个子系统间由行列步队连接起来，前一个阶段的处理结果放入行列步队中，后一个阶段从行列步队中获取消息连续处理。
该方法有如下优点：
避免了直接调用下一个别系导致当前系统失落败；每个子系统对付的处理办法可以更为灵巧，可以选择收到时就处理，可以选择定时处理，也可以划分韶光段按不同处理速率处理；三、行列步队的两种模式
行列步队包括两种模式，点对点模式（point to point， queue）和发布/订阅模式（publish/subscribe，topic）。
3.1 点对点模式点对点模式下包括三个角色：
行列步队发送者 (生产者)吸收者（消费者）发送者生产发送到queue中，然后吸收者从queue中取出并且消费。被消费往后，queue中不再有存储，以是吸收者不可能消费到已经被消费的。
点对点模式特点：
每个只有一个吸收者（Consumer）(即一旦被消费，就不再在行列步队中)；发送者和吸收者间没有依赖性，发送者发送之后，不管有没有吸收者在运行，都不会影响到发送者下次发送；吸收者在成功吸收之后需向行列步队应答成功，以便行列步队删除当前吸收的；3.2 发布/订阅模式发布/订阅模式下包括三个角色：
角色主题（Topic）发布者(Publisher)订阅者(Subscriber)发布者将发送到Topic,系统将这些通报给多个订阅者。
发布/订阅模式特点：
每个可以有多个订阅者；发布者和订阅者之间有韶光上的依赖性。针对某个主题（Topic）的订阅者，它必须创建一个订阅者之后，才能消费发布者的。为了消费，订阅者须要提前订阅该角色主题，并保持在线运行；四、常用行列步队先容
本部分紧张先容四种常用的行列步队（RabbitMQ/ActiveMQ/RocketMQ/Kafka）的紧张特性、优点、缺陷。
4.1 RabbitMQRabbitMQ 2007年发布，是一个在AMQP(高等行列步队协议)根本上完成的，可复用的企业系统，是当前最主流的中间件之一。
紧张特性：
可靠性: 供应了多种技能可以让你在性能和可靠性之间进行权衡。这些技能包括持久性机制、投递确认、发布者证明和高可用性机制；灵巧的路由： 在到达行列步队前是通过交流机进行路由的。RabbitMQ为范例的路由逻辑供应了多种内置交流机类型。如果你有更繁芜的路由需求，可以将这些交流机组合起来利用，你乃至可以实现自己的交流机类型，并且当做RabbitMQ的插件来利用；集群：在相同局域网中的多个RabbitMQ做事器可以聚合在一起，作为一个独立的逻辑代理来利用；行列步队高可用：行列步队可以在集群中的机器上进行镜像，以确保在硬件问题下还担保安全；多种协议的支持：支持多种行列步队协议；做事器端用Erlang措辞编写，支持只假如你能想到的所有编程措辞；管理界面: RabbitMQ有一个易用的用户界面，使得用户可以监控和管理Broker的许多方面；跟踪机制：如果非常，RabbitMQ供应跟踪机制，利用者可以找出发生了什么；插件机制：供应了许多插件，来从多方面进行扩展，也可以编写自己的插件；利用RabbitMQ须要：
ErLang措辞包RabbitMQ安装包RabbitMQ可以运行在Erlang措辞所支持的平台之上：
Solaris
BSD
Linux
MacOSX
TRU64
Windows NT/2000/XP/Vista/Windows 7/Windows 8
Windows Server 2003/2008/2012
Windows 95, 98
VxWorks
优点：
由于erlang措辞的特性，mq 性能较好，高并发；健壮、稳定、易用、跨平台、支持多种措辞、文档完好；有确认机制和持久化机制，可靠性高；高度可定制的路由；管理界面较丰富，在互联网公司也有较大规模的运用；社区生动度高；缺陷：
只管结合erlang措辞本身的并发上风，性能较好，但是不利于做二次开拓和掩护；实现了代理架构，意味着在发送到客户端之前可以在中心节点上排队。此特性使得RabbitMQ易于利用和支配，但是使得其运行速率较慢，由于中心节点增加了延迟，封装后也比较大；须要学习比较繁芜的接口和协议，学习和掩护本钱较高；4.2 ActiveMQActiveMQ是由Apache出品，ActiveMQ 是一个完备支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。它非常快速，支持多种措辞的客户端和协议，而且可以非常随意马虎的嵌入到企业的运用环境中，并有许多高等功能。
紧张特性：
服从 JMS 规范：JMS 规范供应了良好的标准和担保，包括：同步或异步的分发，一次和仅一次的分发，吸收和订阅等等。屈服 JMS 规范的好处在于，不论利用什么 JMS 实现供应者，这些根本特性都是可用的；连接性：ActiveMQ 供应了广泛的连接选项，支持的协议有：HTTP/S，IP 多播，SSL，STOMP，TCP，UDP，XMPP等等。对浩瀚协议的支持让 ActiveMQ 拥有了很好的灵巧性。支持的协议种类多：OpenWire、STOMP、REST、XMPP、AMQP ；持久化插件和安全插件：ActiveMQ 供应了多种持久化选择。而且，ActiveMQ 的安全性也可以完备依据用户需求进行自定义鉴权和授权；支持的客户端措辞种类多：除了 Java 之外，还有：C/C++，.NET，Perl，PHP，Python，Ruby；代理集群：多个 ActiveMQ 代理可以组成一个集群来供应做事；非常大略的管理：ActiveMQ 因此开拓者思维被设计的。以是，它并不须要专门的管理员，由于它供应了大略又利用的管理特性。有很多中方法可以监控 ActiveMQ 不同层面的数据，包括利用在 JConsole 或者 ActiveMQ 的Web Console 中利用 JMX，通过处理 JMX 的告警，通过利用命令行脚本，乃至可以通过监控各种类型的日志。利用ActiveMQ须要：
Java JDKActiveMQ安装包ActiveMQ可以运行在Java措辞所支持的平台之上。
优点：
跨平台(JAVA编写与平台无关有，ActiveMQ险些可以运行在任何的JVM上)可以用JDBC：可以将数据持久化到数据库。虽然利用JDBC会降落ActiveMQ的性能，但是数据库一贯都是开拓职员最熟习的存储介质。将存到数据库，看得见摸得着。而且公司有专门的DBA去对数据库进行调优，主从分离；支持JMS ：支持JMS的统一接口;支持自动重连；有安全机制：支持基于shiro，jaas等多种安全配置机制，可以对Queue/Topic进行认证和授权。监控完善：拥有完善的监控，包括Web Console，JMX，Shell命令行，Jolokia的REST API；界面友善：供应的Web Console可以知足大部分情形，还有很多第三方的组件可以利用，如hawtio；缺陷：社区生动度不及RabbitMQ高；根据其他用户反馈，会出莫名其妙的问题，会丢失；目前重心放到activemq6.0产品-apollo，对5.x的掩护较少；不适宜用于上千个行列步队的运用处景；4.3 RocketMQRocketMQ出自 阿里公司的开源产品，用 Java 措辞实现，在设计时参考了 Kafka，并做出了自己的一些改进，可靠性上比 Kafka 更好。RocketMQ在阿里集团被广泛运用在订单，交易，充值，流打算，推送，日志流式处理，binglog分发等场景。
紧张特性：
是一个行列步队模型的中间件，具有高性能、高可靠、高实时、分布式特点；Producer、Consumer、行列步队都可以分布式；Producer向一些行列步队轮流发送，行列步队凑集称为Topic，Consumer如果做广播消费，则一个consumer实例消费这个Topic对应的所有行列步队，如果做集群消费，则多个Consumer实例均匀消费这个topic对应的行列步队凑集；能够担保严格的顺序；供应丰富的拉取模式；高效的订阅者水平扩展能力；实时的订阅机制；亿级堆积能力；较少的依赖；利用RocketMQ须要：
Java JDK安装git、MavenRocketMQ安装包RocketMQ可以运行在Java措辞所支持的平台之上。
优点：
单机支持 1 万以上持久化行列步队RocketMQ 的所有都是持久化的，先写入系统 PAGECACHE，然后刷盘，可以担保内存与磁盘都有一份数据，访问时，直接从内存读取。模型大略，接口易用（JMS 的接口很多场合并不太实用）；性能非常好，可以大量堆积在broker中；支持多莳花费，包括集群消费、广播消费等。各个环节分布式扩展设计，主从HA；开拓度较生动，版本更新很快。缺陷：
支持的客户端措辞不多，目前是java及c++，个中c++不成熟；
RocketMQ社区关注度及成熟度也不及前两者；
没有web管理界面，供应了一个CLI(命令行界面)管理工具带来查询、管理和诊断各种问题；
没有在 mq 核心中去实现JMS等接口；
4.4 KafkaApache Kafka是一个分布式发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特性。
紧张特性：
快速持久化，可以在O(1)的系统开销下进行持久化；高吞吐，在一台普通的做事器上既可以达到10W/s的吞吐速率；.完备的分布式系统，Broker、Producer、Consumer都原生自动支持分布式，自动实现负载均衡；支持同步和异步复制两种HA；支持数据批量发送和拉取；zero-copy：减少IO操作步骤；数据迁移、扩容对用户透明；无需停机即可扩展机器；其他特性：严格的顺序、丰富的拉取模型、高效订阅者水平扩展、实时的订阅、亿级的堆积能力、定期删除机制；利用Kafka须要：
Java JDKKafka安装包优点：
客户端措辞丰富，支持java、.net、php、ruby、python、go等多种措辞；性能卓越，单机写入TPS约在百万条/秒，大小10个字节；供应完备分布式架构, 并有replica机制, 拥有较高的可用性和可靠性, 理论上支持无限堆积；支持批量操作；消费者采取Pull办法获取消息, 有序, 通过掌握能够担保所有被消费且仅被消费一次;有精良的第三方Kafka Web管理界面Kafka-Manager；在日志领域比较成熟，被多家公司和多个开源项目利用；缺陷：
Kafka单机超过64个行列步队/分区，Load会发生明显的飙高征象，行列步队越多，load越高，发送相应韶光变长利用短轮询办法，实时性取决于轮询间隔韶光；消费失落败不支持重试；支持顺序，但是一台代理宕机后，就会产生乱序；社区更新较慢；4.5 RabbitMQ/ActiveMQ/RocketMQ/Kafka比拟这里列举了上述四种行列步队的差异比拟：
结论:
Kafka在于分布式架构，RabbitMQ基于AMQP协议来实现，RocketMQ/思路来源于kafka，改成了主从构造，在事务性可靠性方面做了优化。广泛来说，电商、金融等对事务性哀求很高的，可以考虑RabbitMQ和RocketMQ，对性能哀求高的可考虑Kafka。
五、参考资料：
5.1 行列步队：大型网站架构之分布式行列步队 http://blog.csdn.net/shaobingj126/article/details/50585035行列步队的利用场景 https://www.zhihu.com/question/34243607/answer/127666030浅谈异队伍列模型 http://www.cnblogs.com/sunkeydev/p/5248855.html行列步队的两种模式 http://blog.csdn.net/heyutao007/article/details/501310895.2 RabbitMQRabbitMQ主页 https://www.rabbitmq.com/RabbitMQ学习教程 https://www.rabbitmq.com/getstarted.html专栏:RabbitMQ从入门到精通 http://blog.csdn.net/column/details/rabbitmq.htmlRabbitMQ能为你做些什么 http://rabbitmq.mr-ping.com/description.htmlRabbitMQ指南(1)-特性及功能 https://blog.zenfery.cc/archives/79.html5.3 ActiveMQActiveMQ主页 http://activemq.apache.org/Apache ActiveMQ先容 http://jfires.iteye.com/blog/1187688ActiveMQ的简介与安装 http://blog.csdn.net/sl1992/article/details/72824562ActiveMQ 和简介 http://www.cnblogs.com/craftsman-gao/p/7002605.html5.4 RocketMQ主页 https://github.com/alibaba/RocketMQRocketMQ 事理简介 http://alibaba.github.io/RocketMQ-docs/document/design/RocketMQ_design.pdfRocketMQ与kafka比拟（18项差异） http://jm.taobao.org/2016/03/24/rmq-vs-kafka/5.5 Kafka1.Kafka主页： http://kafka.apache.org/
Kafka特性 http://www.cnblogs.com/lsx1993/p/4847719.htmlKafka客户端支持措辞 https://cwiki.apache.org/confluence/display/KAFKA/Clients5.6 RabbitMQ/ActiveMQ/RocketMQ/Kafka比拟RocketMQ，行列步队选型 http://www.zmannotes.com/index.php/2016/01/17/rocketmq/RabbitMQ和Kafka http://www.dongcoder.com/detail-416804.html即时通信RabbitMQ二-性能测试 http://www.jianshu.com/p/d31ae9e3bfb6RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总 http://blog.csdn.net/linsongbin1/article/details/47781187行列步队软件产品大比拼 http://www.cnblogs.com/amityat/archive/2011/08/31/2160293.html总结：行列步队利用高效可靠的通报机制进行平台无关的数据互换，并基于数据通信来进行分布式系统的集成。目前业界有很多的MQ产品，例如RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，也有直策应用数据库redis充当行列步队的案例。而这些行列步队产品，各有侧重，在实际选型时，须要结合自身需求及MQ产品特色，综合考虑。
原文链接：https://cloud.tencent.com/community/article/129032
参考原文：https://www.cnblogs.com/Terry-Wu/p/7644279.html
