逻辑备份mysqldump
本地备份链接方式
mysqldump -uroot -p123456 -S /tmp/mysql.sock
远程备份的链接方式
mysqldump -uroot -p123456 -h xxxxxxx -P xxxxx
基本备份参数
-A 全库备份
例子：实现全库备份
mkdir -p /data/backup
mysqldump -uroot -p123456 -A -S /tmp/mysql.sock > /data/backup/full.sql-B 备份 单个库或者多个库数据
mysqldump -uroot -p123456 -B order cms -S /tmp/mysql.sock > /data/backup/full.sql
建库+建表库名 表名 ： 备份某个库下的1张或者多上表
备份 world数据库下的city和country表
mysqldump -uroot -p123456 world city country -S /tmp/mysql.sock > /data/backup/tab.sqlmysqldump -uroot -p123456 world -S /tmp/mysql.sock > /data/backup/tab.sql #只建表 没有建库语句
备份msyql所有库和表 –A -B
Mysqldump –uroot –p’oldboy123’ –A –B –events|gzip > /opt/a.sql.gz
备份所有库
mysqldump -uroot -poldboy -S /data/3306/mysql.sock -F -B -A|gzip > /server/backup/mysqlbak_$(date+%F).sql.gz
备份一个库
mysqldump -uroot -poldboy -S /data/3306/mysql.sock -F -B oldboy|gzip > /server/backup/mysqlbak_$(date+%F).sql.gzmysqldump -uroot -p123456 -R -E –triggers –master-data=2 –single-transaction —set-gtid-purged=OFF -B ichuntcms > /data/backup/ichuntcms.sql
备份一个库ichuntcms必须加的参数1）:
-R 在备份时，同时备份存储过程和函数，如果没有就会自动忽略
-E 在备份时，同时备份实践EVENT 如果没有就会自动忽略
–triggers 在备份时，同时备份触发器，如果没有就会自动忽略
必须加的参数2）:
–master-data=2
记录备份时的position自动锁表配合–single-transaction 减少锁的（innode引擎）
以注释的形式,保存备份开始时间点的binlog的状态信息
mysqldump -uroot -p -A -R –triggers –master-data=2 >/back/world.sql
[root@db01 ~]# grep CHANGE /backup/world.sql
— CHANGE MASTER TO MASTER_LOG_FILE=mysql-bin.000035, MASTER_LOG_POS=194;
功能：
（1）在备份时，会自动记录，二进制日志文件名和位置号
0 默认值
1 以change master to命令形式，可以用作主从复制
2 以注释的形式记录，备份时刻的文件名+postion号
（2） 自动锁表
（3）如果配合–single-transaction，只对非InnoDB表进行锁表备份，InnoDB表进行“热“”备，实际上是实现快照备份。
–single-transaction
对于innode的表实现快照备份，不锁表
innodb 存储引擎开启热备(快照备份)功能
master-data可以自动加锁
（1）在不加–single-transaction ，启动所有表的温备份，所有表都锁定
（1）加上–single-transaction ,对innodb进行快照备份,对非innodb表可以实现自动锁表功能
例子6: 备份必加参数
mysqldump -uroot -p -A -R -E –triggers –master-data=2 –single-transaction —set-gtid-purged=OFF >/data/backup/full.sql
–set-gtid-purged=auto
没主从情况下： –set-gtid-purged=OFF
有主从情况下 –set-gtid-purged=ON
auto , on
off
使用场景:
1. —set-gtid-purged=OFF,可以使用在日常备份参数中.
mysqldump -uroot -p -A -R -E –triggers –master-data=2 –single-transaction —set-gtid-purged=OFF >/data/backup/full.sql
2. auto , on:在构建主从复制环境时需要的参数配置
mysqldump -uroot -p -A -R -E –triggers –master-data=2 –single-transaction —set-gtid-purged=ON >/data/backup/full.sql
–max-allowed-paxket=128M
–表特别大的时候，可以设置
mysqldump -uroot -p -A -R -E –triggers –master-data=2 –single-transaction —set-gtid-purged=OFF –max-allowed-packet=256M >/data/backup/full.sql
–max-allowed-packet=#
The maximum packet length to send to or receive from server.
生产场景：增加binlog日志文件和对应位置点，锁表
备份恢复案例
1,进行全备
mysqldump -uroot -p123456 -A -R –triggers -E –master-data=2 –single-transaction > /data/backup/full.sqlmaster-data=2在备份文件中增加了binlog文件和pos位置，好处：恢复全备，恢复日志
vim /data/backup/full.sql
2，模拟全备之后的操作
3，模拟损坏
4，初始化数据
mysqld –initialize-insecure –user=mysql –basedir=/application/mysql –datadir=/data/mysql/data
/etc/init.d/mysqld start5,进行全备恢复
mysql登录
set sql_log_bin=0;#不记录binlog
source /data/backup/full.sql
flush privileges;
set sql_log_bin=1;6，找日志起点和终点
show binlog events in “mysql-bin.000045”;
实战案例：
vim ./ichuntcms.sql
找到gtid位置导出binlog sql文件
mysqlbinlog –skip-gtids —include-gtids=efbb4db6-2148-11ed-8b49-000c29281610:2 /data/binlog/3306/mysql-bin.000001 > /tmp/bin.sql7,恢复binlog日志
set sql_log_bin = 0;
source /data/backup/bin.sql;
set sql_log_bin = 1;扩展：
[root@localhost backup]# sed -e /./{H;$!d;} -e x;/CREATE TABLE `user_info`/!d;q ./ichuntcms.sql
DROP TABLE IF EXISTS `user_info`;
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `user_info` (
`userId` int(11) NOT NULL COMMENT 用户Id,
`name` varchar(32) NOT NULL DEFAULT COMMENT 中文名,
`engName` varchar(32) NOT NULL COMMENT 英文名,
`email` varchar(64) NOT NULL DEFAULT COMMENT 用户邮箱,
`code_sn` varchar(10) NOT NULL DEFAULT COMMENT 员工编码,
`workNumber` varchar(11) NOT NULL DEFAULT COMMENT 工号,
`mobile` varchar(32) NOT NULL DEFAULT COMMENT 手机号码,
`gender` tinyint(4) NOT NULL DEFAULT 0 COMMENT 性别: 1 男性，2女性,
`idCard` varchar(32) NOT NULL DEFAULT COMMENT 身份证号,
`tel` varchar(16) NOT NULL DEFAULT COMMENT 座机号,
`workAddr` varchar(128) NOT NULL DEFAULT COMMENT 办公地点,
`fax` varchar(32) NOT NULL DEFAULT COMMENT 传真号码,
`degree` varchar(16) NOT NULL DEFAULT COMMENT 最高学历,
`schoole` varchar(32) NOT NULL DEFAULT COMMENT 毕业院校,
`qq` varchar(20) NOT NULL DEFAULT COMMENT QQ号,
`wechat` varchar(64) NOT NULL DEFAULT COMMENT 微信号,
`dingtalk` varchar(64) NOT NULL DEFAULT COMMENT 钉钉,
`header` varchar(128) NOT NULL DEFAULT COMMENT 头像,
`country` varchar(20) NOT NULL DEFAULT COMMENT 国家,
`province` varchar(20) NOT NULL DEFAULT COMMENT 省份,
`city` varchar(20) NOT NULL DEFAULT COMMENT 城市,
`address` varchar(128) NOT NULL DEFAULT COMMENT 家庭地址,
`abo` varchar(4) NOT NULL DEFAULT COMMENT 血型,
`jobLevel` varchar(32) NOT NULL DEFAULT COMMENT 职级,
`department_id` int(10) unsigned NOT NULL DEFAULT 0 COMMENT 部门ID,
`department_name` varchar(128) NOT NULL DEFAULT COMMENT 部门名称,
`position_id` int(10) unsigned NOT NULL DEFAULT 0 COMMENT 职位ID,
`position_name` varchar(128) NOT NULL DEFAULT COMMENT 职位,
`birthday` varchar(10) NOT NULL DEFAULT COMMENT 生日,
`superior` varchar(64) NOT NULL DEFAULT COMMENT 直接上级,
`unemployDate` varchar(10) NOT NULL DEFAULT COMMENT 离职日期,
`entryDate` varchar(10) NOT NULL DEFAULT COMMENT 入职日期,
`personSite` varchar(128) NOT NULL DEFAULT COMMENT 个人主页,
`resume` varchar(60) NOT NULL DEFAULT COMMENT 简历文件,
`introduction` varchar(512) NOT NULL DEFAULT COMMENT 个人说明,
`emergencyPeople` varchar(30) NOT NULL DEFAULT COMMENT 紧急联系人,
`emergencyPhone` varchar(18) NOT NULL DEFAULT COMMENT 紧急联系电话,
`status` tinyint(4) NOT NULL DEFAULT 0 COMMENT 状态，0-正常，4-离职,
`ctime` datetime NOT NULL COMMENT 创建时间,
`mtime` datetime NOT NULL COMMENT 修改时间,
`wechat_unionid` char(64) NOT NULL DEFAULT COMMENT 用户微信登陆的unionid,
PRIMARY KEY (`userId`),
KEY `email` (`email`),
KEY `engName` (`engName`),
KEY `mobile` (`mobile`),
KEY `name` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT=用户信息表;
/*!40101 SET character_set_client = @saved_cs_client */;
[root@localhost backup]# grep -i INSERT INTO `users` ./ichuntcms.sql
INSERT INTO `users` VALUES (1,周三,2@3.com,123456,qwert,2022-09-12 04:27:36,2022-09-29 04:27:39);
1、获得表结构
# sed -e/./{H;$!d;} -e x;/CREATE TABLE `city`/!d;q full.sql>createtable.sql
2、获得INSERT INTO 语句，用于数据的恢复
# grep -i INSERT INTO `city` full.sqll >data.sql &
3.获取单库的备份
# sed -n /^– Current Database: `world`/,/^– Current Database: `/p all.sql >world.sql
（1）每天全备
（2）binlog日志是完整
（3）模拟白天的数据变化
（4）模拟下午两点误删除数据库
需求： 利用全备+binlog回复数据库误删除之前。
故障模拟及恢复：
1. 模拟周一23:00的全备
mysqldump -uroot -p -A -R -E –triggers –master-data=2 –single-transaction —set-gtid-purged=OFF >/data/backup/full.sql
2. 模拟白天的数据变化
Master [(none)]>create database day1 charset utf8;
Master [(none)]>use day1
Master [day1]>create table t1(id int);
Master [day1]>insert into t1 values(1),(2),(3);
Master [day1]>commit;
Master [world]>update city set countrycode=CHN;
Master [world]>commit;
模拟磁盘损坏：
[root@db01 data]# \rm -rf /data/mysql/data/*
3. 恢复故障
[root@db01 data]# pkill mysqld
[root@db01 data]# \rm -rf /data/mysql/data/*
4. 恢复思路
1.检查备份可用性
2.从备份中获取二进制日志位置
3.根据日志位置截取需要的二进制日志
4.初始化数据库,并启动
5.恢复全备
6.恢复二进制日志
例子：
mysqldump -uroot -p123 -A -R –triggers –master-data=2 –single-transaction|gzip > /backup/full_$(date +%F).sql.gz
mysqldump -uroot -p123 -A -R –triggers –master-data=2 –single-transaction|gzip > /backup/full_$(date +%F-%T).sql.gz
mysqldump备份的恢复方式（在生产中恢复要谨慎，恢复会删除重复的表）
set sql_log_bin=0;
source /backup/full_2018-06-28.sql
注意：
1、mysqldump在备份和恢复时都需要mysql实例启动为前提。
2、一般数据量级100G以内，大约15-45分钟可以恢复，数据量级很大很大的时候（PB、EB）
3、mysqldump是覆盖形式恢复的方法。
一般我们认为，在同数据量级，物理备份要比逻辑备份速度快.
逻辑备份的优势:
1、可读性强
2、压缩比很高
故障模拟演练
准备数据
create database backup;
use backup
create table t1 (id int);
insert into t1 values(1),(2),(3);
commit;
rm -rf /backup/*
周二 23：00全备
mysqldump -uroot -p123 -A -R –triggers –set-gtid-purged=OFF –master-data=2 –single-transaction|gzip > /backup/full_$(date +%F).sql.gz
模拟周二 23：00到周三 10点之间数据变化
use backup
insert into t1 values(11),(22),(33);
commit;
create table t2 (id int);
insert into t2 values(11),(22),(33);
模拟故障,删除表(只是模拟，不代表生产操作)
drop database backup;
恢复过程
准备临时数据库（多实例3307）
systemctl start mysqld3307
准备备份
（1）准备全备：
cd /backup
gunzip full_2018-10-17.sql.gz
（2）截取二进制日志
— CHANGE MASTER TO MASTER_LOG_FILE=mysql-bin.000036, MASTER_LOG_POS=793;
mysqlbinlog –skip-gtids –include-gtids=3ca79ab5-3e4d-11e9-a709-000c293b577e:6-7 /data/binlog/mysql-bin.000036 >/backup/bin.sql
恢复备份到临时库
mysql -S /data/3307/mysql.sock
set sql_log_bin=0;
source /backup/full_2018-10-17.sql
source /backup/bin.sql
将故障表导出并恢复到生产
mysqldump -S /data/3307/mysql.sock backup t1 >/backup/t1.sql
mysql -uroot -p123
set sql_log_bin=0
use backup
source /backup/t1.sql;
备份时优化参数:
(1) max_allowed_packet 最大的数据包大小
mysqldump -uroot -p123 -A -R –triggers —set-gtid-purged=OFF –master-data=2 max_allowed_packet=128M –single-transaction|gzip > /backup/full_$(date +%F).sql.gz
(2) 增加key_buffer_size (临时表有关)
(3) 分库分表并发备份 (作业)
(4) 架构分离,分别备份 (架构拆分,分布式备份)
MySQL物理备份工具-xtrabackup(XBK、Xbackup)
安装依赖包：
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev下载软件并安装
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24–2.4.12–1.el7.x86_64.rpm
https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24–2.4.4–1.el6.x86_64.rpm
yum -y install percona-xtrabackup-24–2.4.4–1.el7.x86_64.rpm备份命令介绍:
xtrabackup
innobackupex ******
备份方式——物理备份
（1）对于非Innodb表（比如 myisam）是，锁表cp数据文件，属于一种温备份。
（2）对于Innodb的表（支持事务的），不锁表，拷贝数据页，最终以数据文件的方式保存下来，把一部分redo和undo一并备走，属于热备方式。xbk 在innodb表备份恢复的流程
0、xbk备份执行的瞬间,立即触发ckpt,已提交的数据脏页,从内存刷写到磁盘,并记录此时的LSN号
1、备份时，拷贝磁盘数据页，并且记录备份过程中产生的redo和undo一起拷贝走,也就是checkpoint LSN之后的日志
2、在恢复之前，模拟Innodb“自动故障恢复”的过程，将redo（前滚）与undo（回滚）进行应用
3、恢复过程是cp 备份到原来数据目录下
innobackupex使用
全备
[root@db01 backup]# innobackupex –user=root –password=123 /data/backup
注意：备份工具依赖于/etc/my.cnf
如果说配置文件没有在/etc/,可以如下操作
innobackupex –defaults-file=xxxxx –user=root –password=123 /data/backup自主定制备份路径名
[root@db01 backup]# innobackupex –user=root –password=123 –no-timestamp /data/backup/full
备份集中多出来的文件：
-rw-r—– 1 root root 24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r—– 1 root root 119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r—– 1 root root 489 Jun 29 09:59 xtrabackup_info
-rw-r—– 1 root root 2560 Jun 29 09:59 xtrabackup_logfile
xtrabackup_binlog_info ：（备份时刻的binlog位置）
[root@db01 full]# cat xtrabackup_binlog_info
mysql-bin.000003 536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
记录的是备份时刻，binlog的文件名字和当时的结束的position，可以用来作为截取binlog时的起点。
xtrabackup_checkpoints ：
backup_type = full-backuped
from_lsn = 0 上次所到达的LSN号(对于全备就是从0开始,对于增量有别的显示方法)
to_lsn = 160683027 备份开始时间(ckpt)点数据页的LSN
last_lsn = 160683036 备份结束后，redo日志最终的LSN
compact = 0
recover_binlog_info = 0
（1）备份时刻，立即将已经commit过的，内存中的数据页刷新到磁盘(CKPT).开始备份数据，数据文件的LSN会停留在to_lsn位置。
（2）备份时刻有可能会有其他的数据写入，已备走的数据文件就不会再发生变化了。
（3）在备份过程中，备份软件会一直监控着redo的undo，如果一旦有变化会将日志也一并备走，并记录LSN到last_lsn。
从to_lsn —-》last_lsn 就是，备份过程中产生的数据变化.
全备的恢复
准备备份（Prepared）
将redo进行重做，已提交的写到数据文件，未提交的使用undo回滚掉。模拟了CSR的过程
[root@db01 ~]# innobackupex –apply-log /backup/full
恢复备份
前提：
1、被恢复的目录是空
2、被恢复的数据库的实例是关闭
systemctl stop mysqld
创建新目录
[root@db01 backup]# mkdir /data/mysql1
数据授权
chown -R mysql.mysql /data/mysql1恢复备份
[root@db01 full]# cp -a /backup/full/* /data/mysql1/
启动数据库
vim /etc/my.cnf
datadir=/data/mysql1
[root@db01 mysql1]# chown -R mysql.mysql /data/mysql1
systemctl start mysqldinnobackupex 增量备份(incremental)
（1）增量备份的方式，是基于上一次备份进行增量。
（2）增量备份无法单独恢复。必须基于全备进行恢复。
（3）所有增量必须要按顺序合并到全备中。增量备份命令
（1）删掉原来备份
略.
（2）全备（周日）
[root@db01 backup]#
innobackupex –user=root –password –no-timestamp /backup/full >&/tmp/xbk_full.log
或者 innobackupex –user=root –password –no-timestamp /backup/full_$(date +%F) >&/tmp/xbk_full.log
（3）模拟周一数据变化
db01 [(none)]>create database cs charset utf8;
db01 [(none)]>use cs
db01 [cs]>create table t1 (id int);
db01 [cs]>insert into t1 values(1),(2),(3);
db01 [cs]>commit;
（4）第一次增量备份（周一）
innobackupex –user=root –password=123 –no-timestamp –incremental –incremental-basedir=/backup/full /backup/inc1 &>/tmp/inc1.log
–incremental-basedir=原始全备目录 当天增量目录
（5）模拟周二数据
db01 [cs]>create table t2 (id int);
db01 [cs]>insert into t2 values(1),(2),(3);
db01 [cs]>commit;
（6）周二增量
innobackupex –user=root –password=123 –no-timestamp –incremental –incremental-basedir=/backup/inc1 /backup/inc2 &>/tmp/inc2.log
–incremental-basedir=上一天的增量备份目录 当天增量目录
（7）模拟周三数据变化
db01 [cs]>create table t3 (id int);
db01 [cs]>insert into t3 values(1),(2),(3);
db01 [cs]>commit;
db01 [cs]>drop database cs;
检查下备份文件的lsn号
模拟删除数据库
pkill mysqld
\rm -rf /data/mysql/data/*
恢复到周三误drop之前的数据状态
恢复思路：
1. 挂出维护页，停止当天的自动备份脚本
2. 检查备份：周日full+周一inc1+周二inc2，周三的完整二进制日志
3. 进行备份整理（细节），截取关键的二进制日志（从备份——误删除之前）
4. 测试库进行备份恢复及日志恢复
5. 应用进行测试无误，开启业务
6. 此次工作的总结
恢复过程
1. 检查备份
1afe8136-601d-11e9–9022–000c2928f5dd:7–9
2. 备份整理（apply-log）+合并备份（full+inc1+inc2）
(1) 全备的整理
[root@db01 one]# innobackupex –apply-log –redo-only /data/backup/full
(2) 合并inc1到full中
[root@db01 one]# innobackupex –apply-log –redo-only –incremental-dir=/data/backup/inc1 /data/backup/full
(3) 合并inc2到full中
最后一次增量恢复不需要 —redo-only参数，上面过程都需要添加–redo-only[root@db01 one]# innobackupex –apply-log –incremental-dir=/data/backup/inc2 /data/backup/full
(4) 最后一次整理全备
[root@db01 backup]# innobackupex –apply-log /data/backup/full
3. 截取周二 23:00 到drop 之前的 binlog
[root@db01 inc2]# mysqlbinlog –skip-gtids –include-gtids=1afe8136-601d-11e9-9022-000c2928f5dd:7-9 /data/binlog/mysql-bin.000009 >/data/backup/binlog.sql
4. 进行恢复
[root@db01 backup]# mkdir /data/mysql/data2 -p
[root@db01 full]# cp -a * /data/mysql/data2
[root@db01 backup]# chown -R mysql. /data/*
[root@db01 backup]# systemctl stop mysqld
vim /etc/my.cnf
datadir=/data/mysql/data2
systemctl start mysqld
Master [(none)]>set sql_log_bin=0;
Master [(none)]>source /data/backup/binlog.sql
上述3中截取binlog日志
—–找到最后一次增量备份的文件
mysqlbinlog –skip-gitds –include-gtids=xxxx:5 /data/binlog/mysql-bin.000050 >data/bak/bin.sql
登录mysql客户端
source /data/bak/bin.sql扩展：
innobackupex –user=root –password=123 –defaults-file=/etc/my.cnf –no-timestamp –stream=tar —use-memory=256M –parallel=8 /data/mysql_backup | gzip | ssh root@10.0.0.52 ” cat -> /data/mysql_backup.tgz “
–stream=tar #启用压缩方式备份
—use-memory=256M #单独占用一块内存
–parallel=8 #开启并发备份 一般设置为cpu核数的一半
备份如何配合binlog找到起点和终点
mysqldump
起点：找到全备脚本，找到change master to
终点：通过看events 或者 文件内容 找到故障点的位置
xtrabackup：
起点：找到增强备份，备份路径下xtrabackup_binlog_info
终点：通过看events 或者 文件内容 找到故障点的位置
备份集中单独恢复表
思考:在之前的项目案例中,如果误删除的表只有10M,而备份有500G,该如何快速恢复误删除表?
提示：
drop table city;
create table city like city_bak;
alter table city discard tablespace;
cp /backup/full/world/city.ibd /application/mysql/data/world/
chown -R mysql.mysql /application/mysql/data/world/city.ibd
alter table city import tablespace;
从mysqldump 全备中获取库和表的备份
1、获得表结构
# sed -e/./{H;$!d;} -e x;/CREATE TABLE `city`/!d;q full.sql>createtable.sql
2、获得INSERT INTO 语句，用于数据的恢复
# grep -i INSERT INTO `city` full.sqll >data.sql &
3.获取单库的备份
# sed -n /^– Current Database: `world`/,/^– Current Database: `/p all.sql >world.sql
已经修复
不能搜索
所有模板都没有后台 本站不提供有后台模板
没有模板后台？
v10为正版 原版github官网：www.maccms.al更新 pro为其他人二次开发版本 建议使用v10版本