Python基础教程（二十七）：urllib模块

引言

在Python中，urllib模块是一组用于处理URLs的标准库，它提供了发送网络请求、解析URLs、处理重定向和错误等功能。对于进行Web爬虫开发、数据抓取和API调用等任务，urllib模块是非常实用的工具。本文将深入探讨urllib模块的各个组成部分，包括urllib.request, urllib.parse和urllib.error，并通过具体案例帮助你掌握如何使用这些模块进行网络请求和数据处理。

一、urllib.request：发送网络请求

urllib.request模块提供了多种方法来发送网络请求，最常用的是urlopen()函数，它可以打开一个URL并返回一个类似文件的对象，从中可以读取响应数据。

1.1 基本使用

代码语言：javascript

复制

from urllib.request import urlopen
打开URL
response = urlopen('https://www.example.com')
读取响应数据
data = response.read()

print(data.decode('utf-8'))  # 解码响应数据

1.2 发送GET请求

代码语言：javascript

复制

from urllib.request import Request, urlopen
url = 'https://api.example.com/data'

req = Request(url)

response = urlopen(req)

data = response.read().decode('utf-8')

print(data)

1.3 发送POST请求

代码语言：javascript

复制

from urllib.request import Request, urlopen

from urllib.parse import urlencode
url = 'https://api.example.com/login'

data = {'username': 'user', 'password': 'pass'}

data = urlencode(data).encode('ascii')  # 对数据进行编码

req = Request(url, data=data)

response = urlopen(req)

print(response.read().decode('utf-8'))

二、urllib.parse：解析和构建URLs

urllib.parse模块提供了用于解析和构建URLs的函数，这对于处理动态生成的URLs非常有用。

2.1 解析URL

代码语言：javascript

复制

from urllib.parse import urlparse
url = 'https://www.example.com/path?query=1#fragment'

parsed_url = urlparse(url)

print(parsed_url)  # 输出：ParseResult(scheme='https', netloc='www.example.com', path='/path', params='', query='query=1', fragment='fragment')

2.2 构建URL

代码语言：javascript

复制

from urllib.parse import urlunparse
parts = ('https', 'www.example.com', '/path', '', 'query=1', 'fragment')

url = urlunparse(parts)

print(url)  # 输出：https://www.example.com/path?query=1#fragment

三、urllib.error：处理网络错误

urllib.error模块包含了处理网络请求过程中可能出现的各种错误的异常类，如HTTPError和URLError。

3.1 捕获HTTP错误

代码语言：javascript

复制

from urllib.request import urlopen

from urllib.error import HTTPError
try:

response = urlopen('https://www.example.com/nonexistent')

except HTTPError as e:

print(e.code)  # 输出：404

3.2 捕获其他网络错误

代码语言：javascript

复制

from urllib.request import urlopen

from urllib.error import URLError
try:

response = urlopen('https://www.example.com', timeout=1)

except URLError as e:

print(e.reason)  # 输出：[Errno 110] Connection timed out

四、案例展示：网络爬虫

假设我们要从一个网站上抓取所有的图片链接，可以使用urllib模块来实现。

代码语言：javascript

复制

from urllib.request import urlopen

from bs4 import BeautifulSoup
url = 'https://www.example.com'

response = urlopen(url)

soup = BeautifulSoup(response, 'html.parser')

images = soup.find_all('img')

for img in images:

print(img.get('src'))