7 逆向分析工具之Fiddler使用

在上一篇中，我们讨论了常见的反爬手段之一——动态内容加载。这种技术使得网站可以动态更新内容，从而增加爬取的难度。接下来，我们将介绍一个强大的逆向分析工具——Fiddler。Fiddler 能够帮助我们拦截和分析 HTTP/HTTPS 流量，从而深入了解应用程序的请求与响应。

Fiddler 概述

Fiddler 是一个免费的 Web 调试代理工具，用于监视 HTTP 和 HTTPS 流量。它能够捕获来自浏览器或任何其他应用程序的流量，帮助开发者和网络分析人员调试和分析 Web 应用和 API。

安装与设置

1. 下载与安装: 前往 Fiddler 官方网站，下载并安装适合你操作系统的版本。
2. 配置代理: 安装完成后，Fiddler 默认会将自己设置为系统的 HTTP 和 HTTPS 代理。我们可以通过浏览器访问任意网站，Fiddler 会自动捕获流量。

使用 Fiddler 进行逆向分析

通过 Fiddler 进行逆向分析可以分为几个步骤：

1. 捕获流量

在 Fiddler 的主界面上，可以看到“Web Sessions”窗口。当你在浏览器中打开某个网站时，所有的请求和响应都会显示在这里。

比如，访问一个动态内容加载的网站时，你会看到很多的请求入口。以下是一个示例请求的截图：

GET https://example.com/api/data

2. 分析请求和响应

点击任一请求，我们可以在 Inspectors 选项卡中查看详细信息。

• 请求 (Request): 查看请求的 URL、Headers、Body 等信息，通常，我们需要关注 Authorization 和 Cookie 等字段，它们可能包含身份验证信息。

  GET https://example.com/api/data HTTP/1.1
  Host: example.com
  Authorization: Bearer your_token_here

• 响应 (Response): 分析返回的数据，尤其是当响应内容是 JSON 格式时，可以直接在 Fiddler 中查看。

  {
      "data": [
          {"id": 1, "name": "Item1"},
          {"id": 2, "name": "Item2"}
      ]
  }

3. 修改请求

Fiddler 允许你直接修改请求并重新发送。这对于测试不同的参数或检查接口的响应非常有用。

例如，我们可以将请求的 id 参数从 1 改为 2，并通过 右键 -> Replay -> Reissue request 来发送修改后的请求。

4. 使用 Fiddler Script

Fiddler 提供了一个脚本功能，可以通过 FiddlerScript 对请求和响应进行更复杂的控制。

// 在 FiddlerScript 中，你可以添加自定义逻辑，例如更改请求头或全局设置
if (oSession.host == "example.com")
{
    oSession.oRequest.headers["Authorization"] = "Bearer new_token";
}

Fiddler 的高级功能

• HTTPS 解密: 默认情况下，Fiddler 能够捕获 HTTPS 流量，但需要在设置中启用 SSL 解密。
• 断点调试: 你可以在接收或发送请求前设置断点，以便在特定请求时进行更深入的分析。
• 请求重放: Fiddler 允许你将请求保存并重放，这对于测试 API 非常有用。

案例：动态内容加载的逆向分析

接下来，让我们结合上篇文章中提到的动态内容加载案例，实践一下如何使用 Fiddler 进行逆向分析。

假设你访问一个需要使用 Ajax 请求加载数据的网站。通过 Fiddler，你可以捕获到如下请求：

GET https://example.com/api/fetchData?timestamp=1681234567890

此请求返回的数据可能会随着时间变化而变化。你可以在 Inspectors 中观察到返回的 JSON 格式数据。

分析并抓取数据

通过分析请求的参数，你可能会开始怀疑 timestamp 是否真的必要。你可以尝试去掉这个参数，并观察服务端的响应，看看是否依然能够获取正确的数据。

这种操作能够帮助我们了解哪些参数是必需的，哪些可以被忽略，这对于爬虫开发非常重要。

结论

Fiddler 是一个强大的工具，可以极大地简化 HTTP/HTTPS 流量的调试与分析。通过合适的配置和灵活的使用，它能够帮助我们有效地理解被保护的接口，虽然在面对动态内容加载时，仍需深入分析每个请求的细节。下一篇中，我们将介绍另一款流行的逆向分析工具——Burp Suite，进一步拓展我们的分析技术。