[InnoDB系列系列] -- 大数据量的导出导入方法比较

硬件: Intel(R) Xeon(R) CPU 5130 @ 2.00GHz * 2, 4G RAM, 564G SAS
软件: Red Hat Enterprise Linux AS release 4 (Nahant Update 4) 2.6.9 42.ELsmp (32-bit), MySQL 5.0.27-standard-log
总记录数: 1016126, 每行平均大小 46822

1. 导出测试

1.1 导出成文本

方法: SELECT * INTO OUTFILE '/backup/yejr.txt' FROM yejr;
耗时: 3252.15 秒

1.2 导出成 .sql 文件

方法: mysqldump -t -n --default-character-set=latin1 test yejr > /backup/yejr.sql
耗时: 2124 sec

结论: 用 mysqludmp 导出数据是相对较快的方法.

2. 导入测试

2.1 导入 txt 文件

方法: mysql test < /backup/yejr.txt
耗时: 3317.62 sec

2.2 导入 sql 文件

方法: mysql test < /backup/yejr.sql
耗时: 4706.618 sec

结论:
1. 用 load data 是较快的方法
2. 大数据量情况下, 最好是创建好表之后, 同时也要创建好相关的索引. 虽然说没有索引时导入更快, 但是数据导入完成之后再创建索引总共的耗时比事先创建好了再导入要来的多多了.

另外,如果是myisam表,则最好是导入之前先禁用表的索引,导完之后再启用;或者是一开始不创建索引,导完之后再创建,都会比导入的同时更新索引来的快很多.

评论

作者的结论的第二点不太准确。如果表是MYISAM类型,导入的时候当然要先disable keys, 然后在enable keys是可以节省好多时间的。不过是INNODB引擎的话就不一定了。

呵呵,你没看到标题写着"[InnoDB系列系列]"啊?
myisam的等以后有机会再测试吧

MySQL方案、培训、支持
MySQL 用户组

如果是DELETE大量数据呢?怎么能更快?
今天在一个3000w数据的MyISAM表里面删除570w数据,花了2个半小时
直接删除的,没禁用索引之类的。

如何使用最简单的方法删除多条记录???
我的情况是:
由于导入数据的shell脚本当时出了点小错,需要在一个18亿多记录的表里删除1800万条记录;
是使用sql脚本,每删除若干行就提交一次事务呢? 还是说使用delete limit这样循环删除?

如果直接delete的话,首先就是lock不够用的问题! 另外还要考虑效率问题.

希望可以回复邮件,或者使用邮件加MSN .... 多多交流 ^=^