Python 爬虫过程中的中文乱码问题

python+mongodb

在爬虫的过程中，抓到一个中文字段，encode和decode都无法正确显示

注：以下print均是在mongodb中截图显示的，在pythonshell中可能会有所不同

比如中文 “余年”，假设其为变量a文章来源地址:https://www.yii666.com/article/756163.html

1. print a 结果如下：

使用type查询之后，显示的确是unicode编码（正常情况下讲unicode编码内容直接存入mongodb中是可以正常显示的）

2. print type(a) 结果如下：

3. print a.encode('utf-8') 结果如下：

网址:yii666.com

然后查看a的unicode编码，是这种格式  u''\xe4\xbd\x99\xe5\xb9\xb4"

解决办法：

a = a.encode('ISO 8859-1')

这样将a的由unicode的type变成了str类型的type网址:yii666.com<

然后就可以正确的保存到mongodb中了

Reference:文章来源地址https://www.yii666.com/article/756163.html文章地址https://www.yii666.com/article/756163.html

http://blog.csdn.net/myheadfirst/article/details/46635197