phpcanal技巧_MySQL日志解析对象Canal的运用

文章目录 [+]

canal伪装为slave存在吸收master的同步日志

什么是Canal

大略来说便是MySQL数据同步工具，通过canal可以实现对MySQL数据变更的监听，获取数据变更情形，并运用到业务中，举个栗子，我们的订单数据一样平常存放在MySQL中，而常见的订单列表搜索则须要通过elasticsearch来赞助完成，那么如何将订单数据从MySQL刷入到es中呢，方案有很多比如脚本同步等，我们也可以通过canal来进行，通过监听某个表数据变更之后，将变更数据更新到es，这是非常方便的。
阿里云官方也供应了DTS做事，非常强大但是收费啊

phpcanal技巧_MySQL日志解析对象Canal的运用

Canal的实现事理（来自官网）canal 仿照 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议MySQL master 收到 dump 要求，开始推送 binary log 给 slave (即 canal )canal 解析 binary log 工具(原始为 byte 流)php版的client

官方供应了Java版的client包，当然有很多其他措辞的client也已经被开拓出来，这里我们根据Java版本进行剖析后，开拓一个php版本的client。
以加深对付canal的理解

（图片来自网络侵删）

完全代码： https://github.com/nobody05/canal_php

安装protoc 下载地址：https://github.com/protocolbuffers/protobuf/tags将canal官网的CanalProtocol.proto、EntryProtocol.proto 文件复制到项目目录，地址：https://github.com/alibaba/canal/tree/master/protocol/src/main/java/com/alibaba/otter/canal/protocol实行 protoc CanalProtocol.proto --php_out=./ 分别去天生php的类文件安装PHP protocol 依赖 composer require google/protobuf利用swoole client供应tcp client 功能理解canal_server的tcp包处理逻辑重点攻破

实在大略来说我们要做的便是完全与canal_server的数据交互，那么紧张有以下几个步骤

如何完成client-server的网络连接，也便是TCP的处理，这个很明白了便是connect、read、write那几步处理TCP的粘包、拆包问题，这里我们须要理解，canal_server的实现，内部利用netty供应网络做事，netty采取固定包头(4字节)第四个字节表示包体长度+包体进行包处理，这里须要去看一下下面的代码，那么我们在client进行相应的解包的时候就须要把稳了，先要去除包头的内容，再去获取包体内容，然后再反序列化奥再一个须要理解的是数据序列化办法，这里采取protocolBuf进行序列化，这是一个跨措辞的工具，可以根据定义好的构造，天生不同的措辞包，直策应用就可以了对付client的利用，这里用swoole供应的client既可以了

netty处理粘包

canal包体，第四个字节表示包体长度

解包时要去掉包头

client的干系配置

启动client

等待

修正干系表

打印数据变更

干系文档

canal: https://github.com/alibaba/canalprotocolBuf利用：https://www.jianshu.com/p/ce098058edf0

干系代码

client代码: https://github.com/nobody05/canal_php