会员

贴心博客(Imblog)

基于`Imcat(贴心猫)+(微样式)Weys`开发

Python模块Requests的中文乱码问题

2019-09-06 08:02 学习

Python模块Requests的中文乱码问题

终极解决方法
以上的方法虽然不会出现乱码,但是保存下来的网页,图片不显示,只显示文本。而且打开速度慢,找到了一篇博客,提出了一个终极方法,非常棒。

来自博客 
http://blog.chinaunix.net/uid-13869856-id-5747417.html的解决方案:

def page(url, head={}, proxy={}):
    agent = {"User-Agent": "Mozilla/5.0 (Window 7) Chrome/72.0"}
    if head:
        head = dict(agent, **head)
    r = requests.get(url)
    if r.encoding == 'ISO-8859-1':
        encodes = requests.utils.get_encodings_from_content(r.text)
        if encodes:
            encode = encodes[0]
        else:
            encode = r.apparent_encoding
        html = r.content.decode(encode, 'replace') #如果设置为replace,则会用?取代非法字符;
        return html;
        '''
        c = re.search(r'charset=["\']?([^\'"]*)', r.text)
        if c:
            r.encoding = c.group(1)
        '''
    html = r.text
    return html


来源:(原创) 编辑:peace 关键词:Python,Requests,中文乱码

    More 心情墙

  • 1 我吹过你吹过的风,这算不算相拥; 我走过你走过的路,这算不算相逢。 某小卫:算,都算!拉走隔离! (from某公众号留言)
  • 0 我的要求并不高… Sqlite一样好, cli命令行一样好, PyQuery一样好, …
  • 32 Win7-64bit + Python-3.7.4: Django-2.2.24 安装失败 ... Django-3.2.9 安装失败 ... Django-2.1.15 安装成功! 为啥 Django-2.2+ 安装失败?
  • 23 文学的力量:鲁迅先生,弃医学文;结果他这业余文学成就比他专业医学成就还高; 李彦宏同志,IT终于疲惫了;也拿起笔写起了书:《智能交通》…
  • 有所为,有所不为,是为华为! 凝心聚力,中华有为!

    22 2019-06-02

  • 2019愿望: 1.多健身少生病;2.学习英语,心理学;3.发布`贴心博客`,`贴心企业网`,`贴心房产网`(部分合作开发)...

    37 2018-12-31

  • 愿与[企业,客户]三方利益达到最佳平衡!

    4 2018-12-16

    More 和平鸽小语

  • 1 HI,2022!今天看到的朋友圈,如无特别忌讳,我一律点赞!
  • 33 如果觉得活得太艰难,那就考虑怎样轻松去死! (笔者此时积极生活,热爱生命;没毛病,无需进精神病医院。)
  • 236 不晒妻娃,那是家庭隐私; 不晒工作,那是商业机密。
  • 26 健康第一,X无止境,努力YY,积极ZZ !
导航
博客文章
便笺墙
家族亲友树
联系我们
地址:银河县太阳镇地球村
电话:135-37****47
邮箱:80893510@qq.com

Copyright@贴心博客(Imblog)

Run:47.758/136.229(ms); 6(sql)/2.103(MB); comm:info/detail; Upd:2024-04-20 15:54:16