月度归档:2016年02月

FAQ系列 | 修改事务隔离级别的暗门

0、导读

我们知道,MySQL里可以动态修改事务隔离级别(TRANSACTIOIN ISOLATION LEVEL),既可以加 GLOBAL 关键字直接修改全局的设置,也可以加 SESSION 关键字只修改当前会话的设置。那么,如果两个关键字都不加,会出现什么情况呢?

1、调整事务隔离级别

MySQL里,可以直接用 SET 指令调整事务隔离级别,既可以对全局调整,也可以只调整当前会话,其用法见下:

SET [GLOBAL | SESSION] TRANSACTION

[ REPEATABLE READ

| READ COMMITTED

| READ UNCOMMITTED

| SERIALIZABLE ]

我们都知道指定 GLOBAL 关键字是可以修改全局的设置,用这个方式修改完后,已经存在的连接还不会生效,只有对新建立的连接才会起作用。

而指定 SESSION 关键字则是只修改当前连接会话的设置,修改完后立即生效,再次连接后会恢复成全局的设置,对其他连接/会话也不起作用。

另外,如果都不指定 GLOBAL、SESSION 关键字,会发生什么情况呢?官方文档给出的解释是这样的:

Without any SESSION or GLOBAL keyword, the statement applies to the next (not started) transaction performed within the current session. Subsequent transactions revert to using the SESSION isolation level.

原文详见手册:13.3.6 SET TRANSACTION Syntax,出处链接:https://dev.mysql.com/doc/refman/5.6/en/set-transaction.html

意思是说:采用这种方式设置后,本次连接当前事务还未起作用,要到下一个(尚未启动的)新事务才起作用,下一个事务结束后,又将恢复成本次 SESSION中原先的设置

2、实验演示

为了证实上面的说法,我们可以做一个演示,详细过程见下:

T1 T2
select @@tx_isolation;

READ-COMMITTED

select @@tx_isolation;

READ-COMMITTED

set transaction isolation level SERIALIZABLE;

select @@tx_isolation;

+—————-+
| @@tx_isolation |
+—————-+
| READ-COMMITTED |

这种方式调整完后,可以看到隔离级别还是RC

select @@tx_isolation;

READ-COMMITTED

begin;

select * from t;
| a | b | c | d |
+—+—+—+—+
| 1 | 2 | 3 | 4 |

begin;

select * from t;
| a | b | c | d |
+—+—+—+—+
| 1 | 2 | 3 | 4 |

update t set d = 5 where a = 1;

被阻塞了,耐心等待中~

rollback;
Query OK, 1 row affected (13.13 sec)

Rows matched: 1  Changed: 1  Warnings: 0

等到T1执行rollback后才能继续,等了10多秒

rollback;
当前连接再次启动新事务测试
select @@tx_isolation;

READ-COMMITTED

可以看到隔离级别还是RC

select @@tx_isolation;

READ-COMMITTED

begin;

select * from t;

| a | b | c | d |
+—+—+—+—+
| 1 | 2 | 3 | 4 |

begin;

select * from t;

| a | b | c | d |
+—+—+—+—+
| 1 | 2 | 3 | 4 |

update t set d = 20 where a = 1;

Query OK, 1 row affected (0.00 sec)

Rows matched: 1  Changed: 1  Warnings: 0

立即完成,没有阻塞

rollback;
rollback;

其中,测试表t的建表DDL:

CREATE TABLE `t` (
`a` int(11) NOT NULL,
`b` int(11) NOT NULL,
`c` int(11) NOT NULL,
`d` int(11) NOT NULL,
PRIMARY KEY (`a`,`b`),
KEY `i_c` (`c`)
) ENGINE=InnoDB;

该表中只有一条记录:

SELECT * FROM t;

+—+—+—+—+
| a | b | c | d |
+—+—+—+—+
| 1 | 2 | 3 | 4 |
+—+—+—+—+

3、建议

如果需要全局调整事务隔离级别,最好是在 my.cnf 全局配置文件中直接设置好。

而如果是要在当前会话中临时调整,可以不要加上 SESSION 关键字,这样的话,当前事务结束下一个新事务开始后,会自行恢复 SESSION 的设置,无需人为调整,更加方便。

 

关于MySQL的方方面面大家想了解什么,可以直接留言回复,我会从中选择一些热门话题进行分享。 同时希望大家多多转发,多一些阅读量是老叶继续努力分享的绝佳助力,谢谢大家 :)

最后打个广告,运维圈人士专属铁观音茶叶微店上线了,访问:http://yejinrong.com 获得专属优惠

FAQ系列 | MySQL DBA修炼秘籍

0、导读

本文主要写给那些立志成为MySQL DBA,以及正在学习MySQL的同行们,结合个人及业内其他同行的职业发展经历给大家一些参考,如何成为合格的MySQL DBA。

1、什么是MySQL DBA

首先,DBA是database administrator(数据库管理员)的简称,在一些招聘网站上,也可能会把职位写成数据库[管理]工程师,MySQL DBA是目前互联网企业中最为炙手可热的岗位需求之一,前(钱)景大好,快到碗里来吧。

下面是拉勾网的MySQL DBA招聘需求(若无“MySQL中文网水印”的二维码请勿打开):
20160217-lagou-mysql

2、MySQL DBA的职责

传统意义上的DBA基本上只要管好database system就可以,一般无需关注操作系统、硬件、网络、安全、NOSQL等相关技术细节,在一些传统企业或者操作集成商里的ORACLE DBA就是这样的,最多关注到主机(小机为主)及相应的存储设备。

而MySQL一般在互联网业务中使用,MySQL DBA需要关注的方面也相应更多了,主要就是上面提到的主机硬件、OS、网络、安全、NOSQL,以及一些MySQL运维自动化开发(这不奇怪,一个好平台,通常都要自己亲自开发才顺手)的工作。

此外,随着企业规模的变化,可能在公司初期是由一些比较资深的开发工程师负责所有服务器大小事宜,当然也包括MySQL的管理及优化。随着规模的扩大,可能改由运维工程师来负责这些事了。更进一步的话,就开始需要专职的MySQL DBA了,随着业务发展,形成DBA team,同时负责和数据及存储相关的事务,比如存储设备、NOSQL、日志存储&分析,甚至大数据平台。

在一线的大型互联网公司里,甚至还区分运维DBA开发DBADB架构师等不同岗位,为的就是能做到术业有专攻,让专业的人专注做专业的事

比较理想的MySQL DBA工作状态应该是这样的:

  • 例如MySQL实例安装、备份&恢复、SLAVE搭建、权限管理、DDL&DML变更上线等基础的工作,通过DB平台鼠标点点点即可完成,大概占用10%的时间;
  • 关键业务的SQL审核也可采用DB平台来完成,尤其是一些常规的SQL规范规则,DDL相对好办,DML可能需要进一步完善的评估,个别SQL再采用人工审核,平时经常和业务部门进行沟通,了解下阶段的业务目标,预估DB端可能需要承载的压力,大概占用20-30%的时间;
  • 通过监控系统来完成可用性及性能监控,发现异常时,再进行人工干预处理,一些容易引发性能问题的常见情景,也可以固化到自动化处理机制中,比如自动探测超过N秒的纯SELECT查询,避免这种慢SQL产生连锁反应,或者自动杀掉一些有SQL注入风险的请求,大概占用10%的时间;
  • 数据库主动优化,一个有丰富经验的DBA,看到数据库的一些现场情况时,一般即可预感到是否需要进一步深入优化工作。而SQL开发规范推送也很重要,可以在开发阶段让程序猿做好基本的SQL优化,这样上线后不会手忙脚乱,反复的出现一些低级SQL性能问题,大概占用20-30%的时间;
  • 其余的时间可以用来充电学习,以及圈内的交流扯淡了,扩展知识面。

3、如何成为MySQL DBA

事实上,MySQL DBA的入门并不难,但若想要成为高级、资深的DBA就有一定难度了。

如果是在校生,最起码要先把《数据库概论》那门课程给学一遍,其实如果是已经在职但对数据库还没什么概念的人,最好也要学习下这本书,对数据库基本概念有一定理解。

此外,最好还要对Linux有一定了解,现如今在互联网公司中,如果想从事和技术相关的岗位,你告诉面试官不懂Linux为何物的话,估计直接就被pass了。想学习Linux,可以买本《鸟哥linux私房菜》或者参加专业培训(花钱参加培训并不是什么丢人的事,关键是要找到一个靠谱的机构,靠谱的老师,学习效率会更高,知识也更为系统化,而自学毕竟要消耗更多时间,也可能比较零散,花钱买时间学会后,可以更快获得回报)。

有了基础概念后,可以再买一本MySQL相关的基础入门书籍,比如《MySQL必知必会》、《深入浅出MySQL》等,其实我更建议把MySQL官方手册中的关键章节完整看一遍(关注公众号imysql_wx,发送“章节”获得推荐),并结合里面的案例进行测试,或者自己用wordpress搭一个博客站,平时可以自己做些实践演练。

如果能专注把上面的内容学习完毕,我相信你已经可以成为一个合格的初级MySQL DBA了。接下来就是找到一个合适的工作机会(可以把简历给我,我根据情况可帮忙进行推荐),进行真正的实操,获得正式从业经验。

4、MySQL DBA如何提升

事实上,如果你已经获得了MySQL DBA工作机会之后,如何进行自我提升通常来说已经不需要我来说了,可以参考公司里的同事以及其他同行的提升发展道路模式。

通常来说,在这个阶段需要深入学习的是某些关键知识点,比如数据库原理、并发事务、锁控制、存储引擎、主机硬件优化等知识。有些不错的书可以推荐,比如:《高性能MySQL》、《数据库系统实现/概念》、《数据库与事务处理》、《数据库索引设计与优化》等等。

5、后记

后记一

从目前的行业情况来看,MySQL DBA还是个很热门的职位,现在加入还不算晚。除了自学成才外,还可以考虑参加我和吴炳锡合作的“知数堂MySQL DBA实战优化”培训课程,截止目前已经举办了六期两百多名同学,个别优秀学员成功加入支付宝、京东、去哪儿、畅游、美菜网、37游戏等各大互联网公司。

后记二

关于MySQL DBA求职面试的一些关键知识点,可以查看我的这篇历史分享:MySQL DBA面试全揭秘。扫描二维码直达(若无“MySQL中文网水印”的二维码请勿打开):
20160218-3wedu

此外,也可以关注公众号imysql_wx,发送“新手”获得学习资料推荐。

后记三

此前有朋友让我推荐一些MySQL相关的技术资源,自己收藏吧:

 

关于MySQL的方方面面大家想了解什么,可以直接留言回复,我会从中选择一些热门话题进行分享。 同时希望大家多多转发,多一些阅读量是老叶继续努力分享的绝佳助力,谢谢大家 :)

最后打个广告,运维圈人士专属铁观音茶叶微店上线了,访问:http://yejinrong.com 获得专属优惠

FAQ系列 | SLAVE为什么一直不动了

导读

遇到SLAVE延迟很大,binlog apply position一直不动的情况如何排查?

问题描述

收到SLAVE延迟时间一直很大的报警,于是检查一下SLAVE状态(无关状态我给隐去了):

          Slave_IO_State: Waiting for master to send event
         Master_Log_File: mysql-bin.000605
     Read_Master_Log_Pos: 1194
          Relay_Log_File: mysql-relay-bin.003224
           Relay_Log_Pos: 295105
   Relay_Master_Log_File: mysql-bin.000604
        Slave_IO_Running: Yes
       Slave_SQL_Running: Yes
              Last_Errno: 0
              Last_Error: 
     Exec_Master_Log_Pos: 294959
         Relay_Log_Space: 4139172581
   Seconds_Behind_Master: 10905

可以看到,延迟确实很大,而且从多次show slave status的结果来看,发现binlog的position一直不动。

     Read_Master_Log_Pos: 1194
          Relay_Log_File: mysql-relay-bin.003224
           Relay_Log_Pos: 295105
   Relay_Master_Log_File: mysql-bin.000604
     Exec_Master_Log_Pos: 294959
         Relay_Log_Space: 4139172581

从processlist的中也看不出来有什么不对劲的SQL在跑:

******************** 1. row ******************
     Id: 16273070
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 4828912
  State: Waiting for master to send event
   Info: NULL
********************* 2. row *****************
     Id: 16273071
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 9798
  State: Reading event from the relay log
   Info: NULL

在master上查看相应binlog,确认都在干神马事:

[yejr@imysql.com]# mysqlbinlog -vvv --base64-output=decode-rows -j 294959 mysql-bin.000604 | more

/*!40019 SET @@session.max_insert_delayed_threads=0*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
**# at 294959**
#160204  6:16:30 server id 1  end_log_pos 295029     **Query    thread_id=461151**    **exec_time=2144**    error_code=0
SET TIMESTAMP=1454537790/*!*/;
SET @@session.pseudo_thread_id=461151/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=0/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C latin1 *//*!*/;
SET @@session.character_set_client=8,@@session.collation_connection=8,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 295029
# at 295085
# at 296040
# at 297047
# at 298056
# at 299068
# at 300104

上面这段内容的几个关键信息:

# at 294959   — binlog起点
thread_id=461151    — master上执行的线程ID
exec_time=2144    — 该事务执行总耗时

再往下看都是一堆的binlog position信息,通过这种方式可读性不强,我们换一种姿势看看:

[yejr@imysql.com (test)]> show binlog events in 'mysql-bin.000604' from 294959 limit 10;
+------------------+--------+-------------+-----------+-------------+----------------------------+
| Log_name         | Pos    | Event_type  | Server_id | End_log_pos | Info                       |
+------------------+--------+-------------+-----------+-------------+----------------------------+
| mysql-bin.000604 | 294959 | Query       |         1 |      295029 | BEGIN                      |
| mysql-bin.000604 | 295029 | Table_map   |         1 |      295085 | table_id: 84 (bacula.File) |
| mysql-bin.000604 | 295085 | Delete_rows |         1 |      296040 | table_id: 84               |
| mysql-bin.000604 | 296040 | Delete_rows |         1 |      297047 | table_id: 84               |
| mysql-bin.000604 | 297047 | Delete_rows |         1 |      298056 | table_id: 84               |
| mysql-bin.000604 | 298056 | Delete_rows |         1 |      299068 | table_id: 84               |
| mysql-bin.000604 | 299068 | Delete_rows |         1 |      300104 | table_id: 84               |
| mysql-bin.000604 | 300104 | Delete_rows |         1 |      301116 | table_id: 84               |
| mysql-bin.000604 | 301116 | Delete_rows |         1 |      302147 | table_id: 84               |
| mysql-bin.000604 | 302147 | Delete_rows |         1 |      303138 | table_id: 84               |

+—————————+————+——————-+—————-+——————-+——————————————+

可以看到,这个事务不干别的,一直在删除数据。
这是一个Bacula备份系统,会每天自动删除一个月前的过期数据。
事实上,这个事务确实非常大,从binlog的294959开始,一直到这个binlog结束4139169218,一直都是在干这事,总共大概有3.85G的binlog要等着apply。

-rw-rw---- 1 mysql mysql 1.1G Feb  3 03:07 mysql-bin.000597
-rw-rw---- 1 mysql mysql 1.1G Feb  3 03:19 mysql-bin.000598
-rw-rw---- 1 mysql mysql 2.1G Feb  3 03:33 mysql-bin.000599
-rw-rw---- 1 mysql mysql 1.4G Feb  3 03:45 mysql-bin.000600
-rw-rw---- 1 mysql mysql 1.8G Feb  3 04:15 mysql-bin.000601
-rw-rw---- 1 mysql mysql 1.3G Feb  3 04:53 mysql-bin.000602
-rw-rw---- 1 mysql mysql 4.5G Feb  4 06:16 mysql-bin.000603
-rw-rw---- 1 mysql mysql 3.9G Feb  4 06:52 mysql-bin.000604
-rw-rw---- 1 mysql mysql 1.2K Feb  4 06:52 mysql-bin.000605

可以看到上面的历史binlog,个别情况下,一个事务里一次性要删除数据量太大了,导致binlog文件远超预设的1G,最大的达到4.5G之多。

怎么解决

由于这是Bacula备份系统内置生成的大事务,除非去修改它的源码,否则没有太好的办法。

对于我们一般的应用而言,最好是攒够一定操作后,就先提交一下事务,比如删除几千条记录后提交一次,而不是像本例这样,一个删除事务消耗了将近3.9G的binlog日质量,这种就非常可怕了。

除了会导致SLAVE看起来一直不动以外,还可能会导致某些数据行(data rows)被长时间锁定不释放,而导致大量行锁等待发生。

 

关于MySQL的方方面面大家想了解什么,可以直接留言回复,我会从中选择一些热门话题进行分享。 同时希望大家多多转发,多一些阅读量是老叶继续努力分享的绝佳助力,谢谢大家 :)

最后打个广告,运维圈人士专属铁观音茶叶微店上线了,访问:http://yejinrong.com 获得专属优惠