【完整】Python爬虫请求模块Urllib|Requests库安装/使用教程

摘要： requests和urllib都是Python中常用的HTTP请求库，使用时需要根据实际情况选择。如果要求使用简单、功能完善、性能高的HTTP请求库，可以选择requests；如果需要兼容性更好、功能更加灵活的HTTP请求库，可以选择urllib。

一、Python爬虫请求模块有哪些？

Python中常用的爬虫请求模块有以下几种：

requests：requests是Python中使用最广泛的HTTP请求库，可以发送HTTP/HTTPS请求，同时支持Cookie、文件上传等功能。
urllib：urllib是Python内置的HTTP请求库，支持发送HTTP/HTTPS请求，可以设置请求头、代理等参数。
aiohttp：aiohttp是基于asyncio的异步HTTP请求库，适用于高并发场景，可以同时处理多个请求。
httplib：httplib是Python内置的HTTP请求库，可以发送HTTP/HTTPS请求，支持cookie和HTTPS证书验证等功能。

二、详细介绍一下requests和urllib

requests模块

requests是Python中最常用的HTTP请求库之一，它简化了HTTP请求的过程，提供了更加友好和直观的接口。

1.requests可以使用pip安装：

pip install requests

2.使用requests发送HTTP请求，一般需要以下步骤：

构造请求参数，如请求URL、请求头、请求体等。
发送HTTP请求，获取响应对象。
解析响应对象，提取所需信息。

3.以下是使用requests发送GET请求的示例代码：

import requests

url = 'http://www.wakey.com.cn/'
response = requests.get(url)
print(response.text)

以上代码中，我们首先构造了请求URL，然后调用requests.get()方法发送GET请求，获取响应对象response。最后，我们通过response.text属性获取响应内容，并打印出来。

4.以下是使用requests发送POST请求的示例代码：

import requests

url = 'http://www.wakey.com.cn'
data = {'username': 'test', 'password': '123456'}
response = requests.post(url, data=data)
print(response.text)

以上代码中，我们首先构造了请求URL和请求体，然后调用requests.post()方法发送POST请求，获取响应对象response。最后，我们通过response.text属性获取响应内容，并打印出来。

requests支持的HTTP请求方法有get、post、put、delete、head、options等。

urllib模块

urllib是Python内置的HTTP请求库，支持发送HTTP/HTTPS请求，可以设置请求头、代理等参数。

1.使用urllib发送HTTP请求，一般需要以下步骤：

构造请求参数，如请求URL、请求头、请求体等。
发送HTTP请求，获取响应对象。
解析响应对象，提取所需信息。

2.以下是使用urllib发送GET请求的示例代码：

from urllib import request

url = 'http://www.wakey.com.cn'
response = request.urlopen(url)
print(response.read())

以上代码中，我们首先构造了请求URL，然后调用urlopen()方法发送GET请求，获取响应对象response。最后，我们通过response.read()方法获取响应内容，并打印出来。

3.以下是使用urllib发送POST请求的示例代码：

from urllib import request, parse

url = 'http://www.wakey.com.cn'
data = {'username': 'test', 'password': '123456'}
data = parse.urlencode(data).encode('utf-8')
req = request.Request(url, data=data)
response = request.urlopen(req)
print(response.read())

以上代码中，我们首先构造了请求URL和请求体，然后使用parse.urlencode()方法将请求体编码为URL格式，再使用request.Request()方法构造请求对象。最后，调用urlopen()方法发送POST请求，获取响应对象response。最后，我们通过response.read()方法获取响应内容，并打印出来。

urllib支持的HTTP请求方法有urlopen、urlretrieve、Request等。其中，urlopen方法可以发送GET、POST、PUT、DELETE等请求。

三、requests和urllib对比，优劣势

requests和urllib都是Python中常用的HTTP请求库，它们在使用方式、功能特性、性能等方面都有一些差别。以下是两者的优劣势对比：

requests的优势

使用更加简单：requests提供了更加直观和友好的接口，使用更加方便。
功能更加完善：requests内置了Cookie、文件上传、会话维持等功能，能够满足大部分HTTP请求场景。
性能更高：requests使用C语言实现了部分关键模块，如解析器、连接池等，相比urllib能够更加高效地处理HTTP请求。

urllib的优势

内置Python标准库：urllib是Python标准库中的一部分，不需要额外安装依赖，使用更加方便。
功能更加灵活：urllib支持更多的HTTP请求方法，如HEAD、OPTIONS等，同时也支持更加灵活的请求参数设置。
兼容性更好：urllib能够更好地处理一些特殊的HTTP请求场景，如URL编码、重定向等。

requests和urllib都是Python中常用的HTTP请求库，使用时需要根据实际情况选择。如果要求使用简单、功能完善、性能高的HTTP请求库，可以选择requests；如果需要兼容性更好、功能更加灵活的HTTP请求库，可以选择urllib。