MySQL数据中有很多换行符和回车符!!该咋办?

今天一大早客户给我打电话:“小陈儿,昨晚我往数据库导了几十万条数据,然后在web界面很多都搜不到,你们系统做的啥玩意儿啊?这么多BUG!得啵得啵得…”(省略2000字)又习惯性的喷了一遍我们这个项目做的辣鸡~~
  得得得,客户随便喷,我就当吃了个早饭了🙂🙂🙂嗝儿~嗯,真饱;

对了,没时间废话,等米下锅的朋友请点击目录直接跳转到方法操作区

我到公司后先测试一下客户给我的错误示例(果然搜不到),然后排查一下昨天的数据是否有问题,发现昨天客户用excel导入的数据中,存在很多\r\n这种换行符和回车符。

如:库中数据为:“换行符\n换行符\n换行符”,然后在界面通过如下SQL查询,那自然是搜不到咯!

SELECT * from `LOL` where name = '换行符换行符换行符';
  • 换行符:CHAR(10) = "\n"

  • 回车符: CHAR(13) = "\r"

在MySQL中,回车符、换行符都属于char类型,放到varchar中时,在navcat等插件上是不显示的,需要在mysql终端和navcat对比才能看出来(坑啊~)

navcat插件显示如下:


image.png

MySQL终端显示如下:
(回车符\r还导致数据结果直接返回了,只显示了一部分,MySQL你让我说你啥好😰😰)

mysql> select * from `LOL`;
+----+-------------------------------+-----------+-------+
| id | hero_title                    | hero_name | price |
+----+-------------------------------+-----------+-------+
|  1 | D刀锋之影                     | 泰隆      |  6300 |
|  2 | X迅捷斥候                     | 提莫      |  6300 |
|  8 | 换行符
换行符
换行符          | 换行符    |   450 |
回车符          | 回车符    |   450 |
+----+-------------------------------+-----------+-------+
4 rows in set (0.00 sec)

1、如何去掉换行符、回车符

如果条件允许,建议直接通过语句清除掉换行符和回车符,如下:

去除"hero_title"列中所有换行符 (通过以下两种方式都可以)

-- 去除"hero_title"列中所有换行符 (通过以下两种方式都可以)
update `LOL` set hero_title =  REPLACE(hero_title, '\n', '');
update `LOL` set hero_title =  REPLACE(hero_title, char(10), '');

– 去除"hero_title"列中所有回车符(通过以下两种方式都可以)

-- 去除"hero_title"列中所有回车符
update `LOL` set hero_title =  REPLACE(hero_title, '\r', '');
update `LOL` set hero_title =  REPLACE(hero_title, char(13), '');

2、SELECT如何忽略"换行符、回车符"进行查询

如果条件不允许,比如客户“很激动”并向你吼道:不能动库里的数据!…我笑了~

那怎么办呢?可以通过修改SQL来过滤掉换行符、回车符,但一定程度上会影响查询效率,而且要改很多代码,你懂得。

铭记鲁迅先生说的:哪里有压迫,哪里就得有反抗!


image.png

示例如下:

-- 忽略掉换行符查询
SELECT * from `LOL` where REPLACE(hero_title, char(10), '')  = '换行符换行符换行符';
-- 忽略掉回车符查询
SELECT * from `LOL` where REPLACE(hero_title, char(13), '')  = '回车符回车符回车符';
-- 忽略掉换行符 & 回车符查询
SELECT * from `LOL` where REPLACE(REPLACE(hero_title, char(13), ''), char(10), '')  = '回车符回车符回车符';

3、经验总结

类似的符号一般要求入库时就清理掉,如果必须保留也建议用其他自定义标识代替(如自创的唯一标识,我叫它大眼瞪小眼: o_O),后台程序中做替换处理,免得影响到索引效率。
  好了,希望这篇文章能帮到你,或许你可以mark一下,当同事遇到该问题时,甩她脸上~