阿里魔镜:海量数据同步的实时检测系统
袁康(阿里巴巴)
2014-08-13 16:50
永泰大宴会厅A

英文全称是Ali Magic Glass,中文名称:阿里魔镜。正如名字所代表的含义,AMG要像放大镜一样将数据库中数据异常情况(数据不一致、数据损坏)等等危害数据正确性的问题实时精准地查找出来。将可能发生的损失降到最低,并在异常发生后提供给DBA一个复盘异常并恢复异常的利器。阿里巴巴海量数据库同步的实时检测可以在秒级别发现不一致的地方。并且可以找出那些不一样,可能是由于什么引起的。

袁康
阿里巴巴

专注研究分布式系统。09年开始接触hadoop生态系统,mapreduce、hive等。先后供职于新浪、阿里。涉猎于nosql领域、实时计算领域研究。在hbase开发领域参与社区并提交patch;在新浪开发实时计算平台并应用于地震信息侦测、微博之夜、微博口碑系统、广告实时点击系统等;目前在阿里利用实时计算在数据库领域解决数据正确性问题:

  1. 开发OBCC(OB对比平台)来检测ob上交易过程中数据一致性问题。
  2. 开发AMG(阿里魔镜)来检测alisql数据库中的数据正确性、一致性问题。