pg_lightool基于basebackup的单表恢复和块恢复

Download

2019/12/05

李传成Contributor

瀚高乐虎国际官网登录内核研发工程师,主要的研究wal日志,并基于对wal日志的理解开发了wal相关的开源项目walminer和pg_lightool

在大象的世界里,砥砺前行,move ahead。

博客:https://my.oschina.net/lcc1990

 开源乐虎国际官网登录pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool

      工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。

一、实验数据准备

1.初始化数据库后设置归档目录

2.创建表插入测试数据

3.如下闭库后删除刚才产生的wal日志。用于保证数据是从basebackup获取的。

4.启动数据库做基础备份

5.测试数据修改(涂掉的地方是log输出有点串行,忽略即可)

 

二、基于basebackup和wal日志的单表完全恢复

1.关闭数据库,模拟表破坏 

2.闭库,执行恢复命令后查看数据

说明:

使用-b 参数为-1即为全表恢复。

使用-r参数指定basebackup的路径。

命令执行成功后,在数据文件所在的目录生成wtrbk_*_*目录保存旧的数据

说明:表完全恢复的数据正确。

 

三、基于basebackup和wal日志的单表不完全恢复

在修改测试数据的时候,有一个delete语句,假设这个delete语句是误操作。我们想把数据恢复到这个delete语句之前,应该怎么办?如下是使用pg_lightool工具的不完全恢复演示过程。

1.使用pg_waldump到wal日志中查看这个delete语句的之前成功的一个事务提交,如下结果可以看出delete语句的xid是581,前一个提交的事务是580

2.闭库执行恢复,并查看结果

说明:

使用了-x参数指定停止wal日志redoxid,还可以替换为使用-e参数指定时间。

假设delete为误操作,此时误操作数据已恢复,不完全恢复出的数据正确。

 

四、基于basebackup和wal日志的单block完全恢复

1.闭库删除t2的数据,并执行恢复命令

说明:-b参数指定要恢复的page0,1,2

2.查看数据

说明:表完全恢复的数据正确。

 

五、基于basebackup和wal日志的单block不完全恢复

1.闭库删除t2的数据,并执行恢复命令

2.查看数据

说明:表不完全恢复的数据正确。

 

六、后记

1.此恢复操作没有计入wal日志,因此执行恢复后,需要立即备份。

2.目前代码只适用pg10以及之前的版本。

3.如有bug请issue或联系我(lchch1990@sina.cn)

44.1K