工具介绍：

reverse_sql是一个用于解析和转换MySQL二进制日志(binlog)的工具。它可以将二进制日志文件中记录的数据库更改操作(如插入、更新、删除)转换为反向的SQL语句,以便进行数据恢复。其运行模式需二进制日志设置为ROW格式。

关于reverse_sql,主要功能和特点如下:

1、它能够解析MySQL的二进制日志文件,并还原出其中的SQL语句,实现二进制日志的解析。

2、它可以生成原始SQL和反向SQL两种可读的SQL语句。

3、它支持根据时间范围、表、DML操作等条件来过滤出具体的误操作SQL语句,实现过滤和筛选功能。

4、它支持多线程并发解析binlog事件,可以提高解析效率。

需要注意的是,reverse_sql只是将二进制日志还原为SQL语句,而不会执行这些SQL语句来修改数据库。

关于reverse_sql的原理如下:

它调用了官方的python-mysql-replication库来实现,通过指定的时间范围,转换为timestamp时间戳,然后将整个时间范围平均分配给每个线程。

因为BinLogStreamReader并不支持指定时间戳来进行递增解析,所以在每个任务开始之前,使用上一个任务处理过的binlog_file和binlog_pos,这样后续的线程就可以获取到上一个线程处理过的binlog文件名和position,然后进行后续的并发处理。

假设开始时间戳start_timestamp是1625558400,线程数量num_threads是4,那么整个时间范围会被平均分配给每个线程。对于第一个线程(i=0),start_time是1625558400。对于第二个线程(i=1),start_time是1625558400 + time_range。依此类推,最后一个线程的start_time是1625558400 + 3 * time_range。这样,每个线程的开始时间都会有所偏移,既确保处理的时间范围没有重叠,又覆盖了整个时间范围。最后,将结果保存在一个列表里,并对列表做升序排序,取得最终结果。

reverse_sql的使用方式如下:

首先修改权限:

shell> chmod 755 reverse_sql

然后查看帮助信息:

shell> ./reverse_sql --help

接着举例说明用法:

shell> ./reverse_sql -ot table1 -op delete -H 192.168.198.239 -P 3336 -u admin -p password -d hcy --binlog-file mysql-bin.000124 --start-time "2023-07-06 10:00:00" --end-time "2023-07-06 22:00:00"

当出现误操作时,只需指定误操作的时间段,对应的binlog文件(可以通过show master status得到当前的binlog文件名)以及误操作的表和DML命令(如update或delete)。

工具运行时,会先检查MySQL的环境(binlog格式和row image设置)。之后会生成一个{db}_{table}_recover.sql文件,包含原生SQL和反向SQL。可以用--print选项将结果输出到终端。

如果要把update转换为replace,可以指定--replace选项,同时会生成一个{db}_{table}_recover_replace.sql文件。

MySQL用户权限需要授予replication slave、replication client、select权限。

恢复数据

找到误操作的DML语句,在MySQL数据库中执行逆向工程后的SQL以恢复数据。可以通过awk分割recover文件以便排查。

drop和truncate无法恢复,需要通过历史备份恢复。

reverse_sql支持MySQL 5.7/8.0和MariaDB,适用于CentOS 7。

2023年7月12日更新了分之版本,可以实现处理binlog的事件数量和耗时的进度条展示。

下载地址：

https://github.com/hcymysql/reverse_sql/