[MySQL FAQ]系列 -- utf8表存储latin1乱码字符转换

线上有个数据表,字符集是utf8,但由于环境不统一的原因,导致实际上数据表存储的内容是latin1内码的数据。
也就是说,借着utf8的壳子,实际存储着latin1字符集的数据。
在这种情况下,需要注意几个字符集配置:

  • 客户端终端工具(SecureCRT)的显示字符集设置为:utf-8,
  • Linux终端(TERM)下,设置LANG环境变量为:en_US.UTF-8,或者zh_CN.UTF-8,
  • 连接到MySQL后,设置client/connect字符集为:latin1 (set names latin1)。

完成上述设置后,在Linux命令行的mysql cli客户端中才能正常显示中文。
为了统一,需要将这些数据的内码也转成utf8才行,可以按以下几个步骤完成:

  • 用latin1字符集将原始数据导出,确保在本地客户端(中文环境)下用文本编辑器可以正常查看,
  • 用文本编辑器另存为utf-8字符集后上传到server端 或者 把数据直接拷贝到
  • Linux终端下,新建一个文件,直接将数据粘贴进去,
  • 清空数据表(truncate),修改字符集(alter table xx default charset = utf8),
  • 将文本导入到数据表中。

上面是比较笨的手工操作方法,以演示整个过程。
如果表里存储比较复杂的数据时,建议写程序进行转换,毕竟内码不同,无法直接在线转换。

其他参考文章:
小谈MySQL字符集
[MySQL FAQ]系列-字符集兼容性测试

技术相关: