《叶问》第9期,当MySQL数据库服务器发现系统已经用到了swap,该怎么处理?

首发:微信公众号「知数堂」
出处:https://mp.weixin.qq.com/s/idTW2BOy6eHs62_SrsdSgw

叶问
《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。

2018年10月23日,周二
MongoDB服务器CPU一直很高,最高达到900%,可能是哪些原因?

答:可能原因如下:

1、高并发场景下,服务器开启numa
2、mongo查询无索引,消耗大量内存和io
3、服务器硬件故障,例如CPU 内存 raid卡等
3、高并发写入下开启读写分离+oplog应用加锁
4、高并发短链接+最新SCRAM-SHA-1认证的情况

2018年10月30日,周二

MySQL运行环境中,当发现系统已经用到了swap,该怎么处理?

答:一般来说,发生swap的原因是系统认为内存不够了。

那么,当物理内存真的不够了,或者著名的NUMA都是引起swap的可能原因。通常的应对方法有几种:
1、通过BIOS、系统内核参数关闭NUMA,或者在mysqld启动时,利用numactl关闭NUMA的使用
2、调低系统使用swap的权重,设置内核参数 参数 vm.swappiness 不高s 不高于10
3、Linux下使用free命令查看内存使用情况,确认是否发生了内存泄露,可以去微信公众号「老叶茶馆」中发送“OOM”
4、修改MySQL参数innodb_flush_method = O_DIRECT,这样InnoDB在读写物理数据的时候会绕过cache来访问磁盘
5、优化SQL效率,避免产生额外的分组、排序、临时表情况发生,参考文章:文章:http://t.cn/EwLIuFv
6、在【夜间或业务不繁忙】时适合执行 swapoff -a,并执行sync刷新操作系统内存脏页到硬盘

2018年11月1日,周四
大量SQL语句文本,如何快速导入到MySQL中?

答:

1、可在SQL文本前,添加set session sql_log_bin=0(需要在从库也导入一次)。
2、导入期间临时修改参数sync_binlog=10000、innodb_flush_log_at_trx_commit=0、innodb_autoinc_lock_mode=2。
3、导入前,根据业务情况看能否删除除了自增列主键外的其他索引。
4、将SQL文件切割成多份,再并发多线程导入。
5、若该SQL文件是每个INSERT一行,需要先行将多行合并成一行,即启用extended-insert模式。
6、以上建议,在线上环境请谨慎评估该骚操作的风险性。
7、以上建议,仅考虑尽快导入,涉及到和具体业务需求相冲突时(例如太快导入反倒会影响在线数据库性能),以实际情况为主。

This post has already been read 3840 times!

叶金荣

Oracle MySQL ACE Director,腾讯云TVP成员

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

To create code blocks or other preformatted text, indent by four spaces:

    This will be displayed in a monospaced font. The first four 
    spaces will be stripped off, but all other whitespace
    will be preserved.
    
    Markdown is turned off in code blocks:
     [This is not a link](http://example.com)

To create not a block, but an inline code span, use backticks:

Here is some inline `code`.

For more help see http://daringfireball.net/projects/markdown/syntax

Time limit is exhausted. Please reload CAPTCHA.