Web
开发者经常需要通过查看页面被打开之后所发送的请求来调试自己开发的程序,现代浏览器,包括
Firefox, Chrome, Safari 都自带了开发工具,可以帮助开发者监控 HTTP
请求。但是有时候这些工具仍不能满足我们的需求,例如在做某些古老的浏览器(IE)上的兼容性调试时,就需要一个专门用于监控
HTTP 请求的工具才行。最近发现了一个强大的 HTTP 请求监控工具 ————
mitmproxy Home
Page

点击访问原文
您还可以加入全栈技术交流群(QQ群号:254842154)

1. 介绍

mitmproxy 是用 Python 和 C 开发的一个中间人代理软件(man-in-the-middle
proxy),它可以用来拦截、修改、重放和保存 HTTP/HTTPS 请求。

它提供了两个命令行工具:

  • mitmproxy 具备交互界面
  • mitmdump 不具备交互界面,类似 tcpdump

本文只介绍 mitmproxy

mitmproxy 支持两种工作模式:

  • HTTP 代理模式,也就是 mitmproxy 作为一个 HTTP 代理运行,类似于
    HTTPSpy。
  • 透明模式,mitmproxy 通过 iptables/pf 作为一个 TCP
    层代理运行,好处是不需要修改 HTTP 客户端的配置。

本文只介绍 HTTP 代理模式。


2. 安装

使用 pip 进行安装:

pip install mitmproxy

考虑到包括我朝在内的四大文(读作:zhuān)明(读作:zhì)国家所特有的网络环境,pip可能会出现网络连接超时等错误,可以加上
--proxy 选项:

pip install mitmproxy --proxy=127.0.0.1:8087

我在 OS X Mavericks 上安装还会遇到一个编译错误,可以通过添加 ARCHFALGS
环境来忽略此错误:

ARCHFLAGS=-Wno-error=unused-command-line-argument-hard-error-in-future pip install mitmproxy --proxy=127.0.0.1:8087

HTTP抓包分析工具有比较多,如Fiddler,FireBug,HttpWatch,Tcpdump,PAW(mac)等。在做移动开发时,找到一款合适自己的能进行移动设备HTTP抓包的工具也是非常重要的。正所谓,工欲善其事必先利其器。

3. HTTP 客户端配置

mitmproxy 安装完成之后,默认以 HTTP 代理模式工作,就需要 HTTP
客户端将代理配置修改为 mitmproxy 的地址。

# 启动 mitmproxy:
# 使用 -p 选项指定 HTTP 代理所监听的端口号,默认为 8080
mitmproxy -p 8080

以 Firefox + AutoProxy 插件为例,客户端的配置如下:

bifa88唯一官网 1

1.png

个人非常喜欢Fiddler,功能强大,而且还支持替换文件,对于调试线上的js/css文件非常方便。可惜,没有MAC版本。于是我只能另寻利器。

4. 请求列表

在 Firefox
中打开一个网页,如:http://ruby-china.org/topics

bifa88唯一官网 2

2.png

可以在 mitmproxy 中看到一个 HTTP 请求的列表:

bifa88唯一官网 3

3.png

在 mitmproxy 中可以按 ? 进入到帮助信息界面,如需返回到请求列表界面则按
q

在请求列表界面,黄色的箭头 >> 指示当前选择的请求,可以使用 vi 的快捷键
k, j 来移动箭头,PgUpPgDown
为上下翻页,此外空格键也可用来向下翻页。

如要清空列表,则按大写的 C

今天给大家介绍一款强大的支持手机端抓包的工具:mitmproxy。官网地址:http://mitmproxy.org/
。这是mitmproxy官网的自述:

5. 过滤请求列表

如果请求列表页面中的请求数量太多,则可以使用 mitmproxy 提供的过滤功能。

在请求列表界面按 l,此时列表界面的左下方会提示
Limit:,需要在此输出过滤表达式,过滤表达式的语法列在帮助信息界面,可以按
? 进行查看。

例如,只显示所有的 JS 文件的请求,即请求的 URL 匹配 \.js
的请求,则此处应该输入:~u \.js

如需清除过滤,则同样按 l,然后删除过滤表达式即可。

an interactive, SSL-capable man-in-the-middle proxy for HTTP with a console interface

6. 查看请求的具体信息

若要查看某个请求的具体信息,则在请求列表界面选中此请求后,按回车即可进入到查看请求的详细信息的界面:

bifa88唯一官网 4

4.png

详细信息界面包括了 RequestResponse 两个 Tab,可以按 tab
键切换,分别查看 Request 和 Response 的详细信息。

界面的左上方还显示了此次请求的发送时间。

mitmproxy 会使用合适的方式显示Request 和 Response 的 body
部分,例如对于压缩过的 JS ,mitmproxy
会解压缩后显示。如需要切换显示方式,可以在此界面按 m
来选择不同的显示方式。例如,对于包含了中文的 HTML
页面,如需要显示中文,可以使用 urlencoded 模式。

在详细信息界面可以按 / 对 body 部分进行搜索。

它是开源的,托管在github上,使用python开发,跨平台。
https://github.com/mitmproxy/mitmproxy

7. 拦截请求

mitmproxy 支持对请求进行拦截,拦截后还可以修改 Request 或 Response
的内容。

在请求列表界面按 i,在左下角会显示
Intercept filter:,要求输入过滤表达式,用于指示拦截哪些请求,此处的过滤表达式的语法同请求列表过滤表达式相同。

例如,如要拦截所有的 JS 文件的请求,则在此处输入 ~u \.js

再次访问
http://ruby-china.org/topics
页面,在 mitmproxy 的请求列表界面中可以看到对 JS
的请求都显示为橙色,表示这些请求被拦截了。

请求被拦截后,可以进入到该请求的详细信息界面,然后按
e,对请求进入编辑,编辑完成后按 ESC 退出编辑界面。按 a
放行该请求(也可以按大写的
A来放行所有被拦截的请求),请求被放行后,Server 收到的将是被编辑过的
Request。

当 Server 的 Response 返回到 mitmproxy
时,将再次被拦截,此时在详细信息界面按 e 可以对 Response
进行编辑,编辑完成后,同样按 ESC 退出编辑,同样按 aA 放行
Response,客户端收到的 Response 将是被编辑过的 Response。

关于 mitmproxy
的更多用法,请参照其官网的文档:http://mitmproxy.org/doc/index.html

下面以android为例做介绍,iOS的调试类似,关键是设置好代理。

下载

下载地址:

http://mitmproxy.org/download/osx-mitmproxy-0.11.3.tar.gz

喜欢折腾的可以自己编译安装。

电脑端设置

电脑和手机连接到同一个wifi环境下。运行时,需要指定电脑的ip地址,并约定一个端口号:

/Applications/ProgramFiles/mitmproxy-0.11.3/mitmproxy -b 10.0.1.6 -p 2386

手机端设置

手机和电脑连接同一个wifi,然后设置代理。进入WLAN,找到当前连接的wifi,长按,弹出的框中选择“修改网络”,进入后,选择“显示高级选项”,代理选择为“手动”,代理服务器主机名设置为mac端的ip地址,端口号是跟刚刚设置的2386,设好后保存。如下图:

Screenshot_2015-02-03-17-35-53.jpeg

此时,手机端的所有http请求都会被mitmproxy检测到,并显示在控制台中。键盘的上下键可以控制黄色箭头
>> 的移动,回车直接进入请求详情。

3.pic_hd.jpg

mitmproxy基本操作

详细操作在这里可以找到:http://mitmproxy.org/doc/mitmproxy.html
。我在这里只列出一些经常用到的命令。

其实命令基本和vi一致。

C 清空控制台
tab 请求/响应切换
q 返回上一个界面
m 在响应结果中,输入m可以选择body的呈现方式,比如json,xml等
e 编辑请求、响应
a 发送编辑后的请求、响应

拦截HTTP请求

mitmproxy是一个支持SSL的HTTP中间人代理工具,它允许你检查HTTP和HTTPS流量并支持直接改写请求。它位于客户端和Server端之间,它可以获取客户端的Request,然后修改再发送给Server端;Server端得到Request之后再发出相应的Response,又会被mitmproxy拦截,如果你想修改response,便可修改后再发给客户端。

这个强大的功能曾经在一些有关iOS应用的隐私丑闻中都出现过,包括Path的地址簿上传丑闻。它的直接改写请求的能力也被用来针对iOS平台,其应用包括在GameCenter中伪造一个虚假的高分数值。感兴趣的可以阅读:

http://mitmproxy.org/doc/tutorials/gamecenter.html

下面我要做的就是拦截android的http请求,然后修改请求url,等待服务器返回后再修改响应体。

在默认情况下mitmproxy是过滤抓包的URL,例如我想拦截所有url中含有cmd=200的请求,操作如下:

在请求列表界面,输入i(代表Intercept filter)进入命令行,输入cmd=200

8.pic.jpg

然后在android客户端发起请求,我们可以看到被拦截的请求被标红高亮了

5.pic.jpg

使用键盘的上下箭头移动黄色的>>,到被拦截的请求那一行,回车进入详情,使用tab键切换Request和Response,现在请求还没有发出去。输入e,按提示可以编辑相应的请求体。编辑完毕后回车,然后输入a(accept)发送给服务器。

6.pic_hd.jpg

服务器响应后,会有Response,此时,响应还没有发给android客户端,可以看到是Response
intercepted,代表是被拦截了。假如想编辑响应,一样是输入e编辑,进入编辑模式后,就是跟vi的操作一样了,编辑完后需要wq保存退出。然后再输入a,这时android客户端就会收到响应了。

7.pic_hd.jpg

其他拦截命令:
~q 拦截所有的请求

~c 404 拦截特定的响应码404

~m POST 拦截所有POST请求

更多拦截命令看这里:
https://mitmproxy.org/doc/features/filters.html

更详细的抓包过程也可以看这里:
http://greenrobot.me/devpost/how-to-debug-android-http-get-started/

HTTPS抓包

调试https请求稍微麻烦一点,需要安装自定义的SSL证书。可以参考官网的这篇文章:
https://mitmproxy.org/doc/certinstall/android.html

3G/4G抓包

官方没有给出解决方案,在网上找了一下,有人通过手机的移动热点来实现,需要用到两台安卓手机,假如为A和B,电脑为C。现在要对A手机的HTTP进行抓包。
①在B中启用WLAN热点功能
②A和C连接到B
③在A中设置代理IP(A的IP地址,通常是192.168.43.xxx )

参考:
http://greenrobot.me/devpost/how-to-debug-http-and-https-traffic-on-android/

相关文章