自动秒收录

淘东电商项目怎么样 (淘东电商项目 22)


文章编号:445 / 更新时间:2023-11-08 11:16:05 / 浏览:
数据库

引言

在上一节《淘东电商项目(21) -Redis如何与数据库状态保持一致?》,主要通过了Redis事务与数据库事务同步来实现数据同步。

那MySQL与Redis数据同步,除了上一节课的方式,还有其它方式来实现吗?其实阿里巴巴已经有推出一款框架解决了,就是本文要将的Canal。

本文目录结构:

l____引言

l____ 1.Canal产生背景

l____ 2.Canal特性

l____ 3.Canal原理

l____总结

1.Canal产生背景

早期,阿里巴巴B2B公司需要在美国和中国杭州之间同步服务器的数据。以前的数据库同步机制是基于trigger以获得增量更新的。从2010年开始,阿里巴巴集团开始使用数据集二进制日志获取增量更新并跨服务器同步数据,这催生了我们的增量订阅和消费服务(现已在阿里云中提供)并开始了一个新时代。

2.Canal特性

Canal是基于MySQL二进制日志的高性能数据同步系统。Canal在阿里巴巴集团(包括https://www.taobao.com)中被广泛使用,以提供可靠的低延迟增量数据管道。

Canal Server能够解析MySQL Binlog并订阅数据更改,而Canal Client可以实现将更改广播到任何地方,例如数据库和Apache Kafka。

具有以下特点:

  • 支持所有平台。
  • 支持由Prometheus支持的细粒度系统监视。
  • 支持通过不同方式(例如通过GTID)解析和预订MySQL Binlog。
  • 支持高性能,实时数据同步。(查看更多的性能)
  • Canal Server和Canal Client均支持由Apache ZooKeeper支持的HA /可伸缩性
  • Docker支持。

3.Canal原理

Canal利用的是MySQL主从复制的原理实现:

复制遵循三步过程:

  • 主服务器将更改记录到binlog中(这些记录称为binlog事件,可以通过来查看show binary events)
  • 从服务器将主服务器的二进制日志事件复制到其中继日志。
  • 中继日志中的从服务器重做事件将随后更新其旧数据。

最后演变成如下架构了:


相关标签: canal关系型数据库NoSQL数据库MySQL

本文地址:https://www.0558.la/article/301f300f2883b620a747.html

上一篇:淘东多现状21淘东电商项目...
下一篇:新注册的域名多久可以备案新注册的域名要如...

温馨提示

做上本站友情链接,在您站上点击一次,即可自动收录并自动排在本站第一位!
<a href="https://www.0558.la/" target="_blank">自动秒收录</a>