9 Requests库介绍

在上一篇中，我们对CSS选择器和XPath进行了基本的介绍，这些工具可以帮助我们从网页中提取所需的数据。而在进行数据提取之前，我们首先需要能够访问这些网页。这里，Requests库是一个非常强大的Python库，用于发起HTTP请求并与网络进行交互。本篇文章将详细介绍Requests库的基本概念及其使用方法。

什么是Requests库？

Requests是一个简洁而强大的Python库，使得发起HTTP请求变得非常简单。无论是获取网页内容、发送表单数据，还是下载文件，Requests都能够处理得非常顺利。该库提供了简单易用的API，支持多种HTTP方法，包括GET、POST、PUT、DELETE等。

安装Requests库

在使用Requests库之前，我们需要先安装它。在你的Python环境中运行以下命令来进行安装：

pip install requests

Requests库的基本用法

在我们正式进行案例之前，让我们先了解一下Requests库的基本使用方法。以下是Requests库的一些核心功能：

• 发起GET请求
• 发起POST请求
• 处理响应
• 处理请求参数

1. 发起GET请求

最常见的用例是我们需要从一个网页获取数据，这时可以使用GET请求。以下是一个基本示例：

import requests

# 发起GET请求
response = requests.get('https://httpbin.org/get')

# 打印响应内容
print(response.text)

在上述代码中，我们使用requests.get方法向指定的URL发起了一个GET请求，返回的响应保存在response对象中。response.text可以获取到网页的内容。

2. 发起POST请求

在某些情况下，我们需要向服务器提交数据，这时使用POST请求。以下是一个提交表单的例子：

import requests

# 要提交的数据
data = {
    'username': 'your_username',
    'password': 'your_password'
}

# 发起POST请求
response = requests.post('https://httpbin.org/post', data=data)

# 打印响应内容
print(response.json())

在这个例子中，我们使用requests.post方法向指定的URL提交了一组数据，响应内容使用response.json()方法将其转换为JSON格式，方便进一步处理。

3. 处理请求参数

有时候，我们需要附加查询参数到GET请求URL。在Requests库中，可以使用字典传递这些参数。例如：

import requests

# 查询参数
params = {'q': 'Python', 'sort': 'relevance'}

# 发起GET请求并附加查询参数
response = requests.get('https://httpbin.org/get', params=params)

# 打印响应内容
print(response.json())

在这个代码中，我们通过params字典附加了查询参数到请求URL中，Requests库会自动为我们构造完整的URL。

总结

在本篇中，我们对Requests库进行了初步介绍，涵盖了如何发送GET和POST请求，并处理响应与请求参数。这些基本的用法将为我们后续的网络爬虫与数据抓取打下基础。

在下一篇中，我们将详细探讨如何使用Requests库发起GET请求，并进行一些具体的示例应用。希望大家能够在使用Requests库的过程中保持积极的探索精神，深入了解这个强大的工具。