python爬虫学习（3）——requests实战1（UA检测和UA伪装）

发布于

520那天我向心仪的女孩要微信：“女神，能给我你的微信号吗？” 女神：“给我——爬！！！！” 从那天开始，我就决定要学好爬虫，爬到女神微信号！！！

文章目录
  • 一、UA检测和UA伪装是什么？
    • UA检测：
    • UA伪装：
  • 二、使用步骤
    • 1.引入库
    • 2、完整代码（web采集器）
    • `

一、UA检测和UA伪装是什么？

UA检测：

UA检测是指服务器端对客户端请求中的User-Agent字段进行分析，以识别客户端使用的浏览器类型、版本、操作系统等信息。

UA伪装：

UA伪装则是指修改或伪造请求中的User-Agent字段，使服务器端识别为另一款浏览器或设备。 就是模拟浏览器；

二、使用步骤

1.引入库

import requests ``

2、完整代码（web采集器）

该处使用的url网络请求的数据。

代码语言：javascript
复制
if __name__=="_main__":
    #UA伪装：将对应的user-agent信息封装到headers(字典)中
    headers={
        'User-Agent':' 伪装网站的'
    }
    url =' +想弄的网站 '
    #处理url携带的参数：封装到字典中
    kw=input("enter a word:")
    param={
        'query':kw
    }
    #对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数（三个参数）
    response=requests.get(url=url,params=param,headers=headers)
    page_text = response.text
    fileName =kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功')

`

#微信#python爬虫#requests#浏览器#网站