网络分析学习资料

HTTP网页访问应用分析

一、HTTP协议简介

1.什么是HTTP协议

HTTP，全称Hyper Text Transfer Protocol，中文名为超文本传输协议。

HTTP是一种用于从Web服务器端传送超文本标记语言（HTML－Hyper Text Markup Language）文件到客户端浏览器的传送协议，它是Internet上最常见的协议之一。我们通常访问的网页，就是通过HTTP协议进行传送的。

2.HTTP协议的工作原理

HTTP用名字标识某一资源时（即在浏览器中输入网址），遵循统一资源名（URN－Uniform Resource Name）的规则，当前网络中最常用的URN是统一资源定位符（URL－Uniform Resource Locator），当客户端在浏览器中输入一个URL或单击一个URL超链接时，就确定了要访问的地址。

以https://www.colasoft.com.cn/resource/index.html为例介绍URL的组成：

http://：表示使用超文本传输协议，通知Web服务器显示Web页，客户端可不输入；
www：代表1个Web服务器；
com.cn/：Web服务器的域名，或站点服务器的名称；
resource/：Web服务器上的子目录，类似机器中的文件夹；
html：Web服务器上resource子目录中的一个网页文件，即Web服务器传送给客户端浏览器的文件。

HTTP使用TCP协议的80端口进行可靠数据传输，一个HTTP会话由客户端开始发起，包括以下步骤：

客户端在浏览器中标识希望获取信息的URL；
发起HTTP连接请求，启动客户端（UA）和一个初始WWW服务器或代理服务器之间的一个HTTP会话；
WWW服务器或代理服务器根据客户端的URL请求将内容传送给客户端。

3.HTTP协议的工作方式

宏观工作方式：

客户端（UA）直接连接到Web服务器的通讯路径如图1所示，客户端与Web服务器之间的通讯不需要任何的中介服务器，这是最简单的情况。

图1　客户端与Web服务器直接连接

客户端（UA）通过中介服务器连接到Web服务器的通讯路径如图2所示，客户端与Web服务器之间的通讯通过中介服务器进行转发，中介服务器可能有1个，也可能有多个。

图2　客户端通过中介服务器与Web服务器连接

客户端（UA）到中介服务器的通讯路径如图3所示，客户端将请求发送给中介服务器1，中介服务器1将其发送中介服务器2，中介服务器2再发给Web服务器，最后客户端收到的内容由中介服务器1发送给它，而不是Web服务器。

图3　客户端与中介服务器通讯过程

内部操作过程：

如图4所示，它分为四个步骤：建立连接、发出请求信息、发出响应信息、关闭连接。

图4　HTTP协议内部操作过程

4.HTTP协议的报文格式

客户端发送的HTTP报文，我们称为请求链；中介服务器或Web服务器发送的HTTP报文，称为响应链。两种报文都遵循以下格式：

一般开始行，即请求报文的请求行和应答报文的状态行；
总头；
报文头；
一个空行；
报文体。

二、分析HTTP通讯

1. 分析HTTP访问的具体流程

我们使用科来网络分析系统捕获并分析一个HTTP通讯过程，客户端主机名为“wangym”，客户端浏览器是IE6.0，请求的域名是“www.colasoft.com.cn”。

在客户端上打开科来网络分析系统。为避免数据干扰，可以设定一个过滤器，只捕获本机的数据通讯。设定好后开始数据捕获，同时在本机的浏览器中输入www.colasoft.com.cn，待网页全部打开后，停止捕获。

注意：此文里提到的HTTP访问均指标准80端口的通信，对于非80端口的HTTP访问，用户可在“工程->高级分析模块->HTTP分析模块->常规设置->端口”处进行更改，系统默认为80，当HTTP服务有多个端口时，多个端口之间用分号分隔，如80;8080。

1) HTTP请求

图5所示的是科来网络分析系统对上面访问www.colasoft.com.cn的操作的HTTP请求报文跟踪。

图5　　HTTP GET请求操作

从图5中的数据包列表可知，上述操作中HTTP请求的原始信息如下：

第1个数据包是DNS查询数据包，本机通过DNS查询获得colasoft.com.cn对应的IP地址。
第2个数据包是DNS回应数据包，DNS服务器查询到域名colasoft.com.cn对应的IP是64.246.27.237，并将查询结果传送给客户端。
3、4、5数据包是TCP连接的三次握手数据包，连接的双方是本机与域名colasoft.com.cn对应的IP地址64.246.27.237。
第6个数据包是客户端发起的HTTP GET请求，向Web服务器处请求获得内容，第7帧的解码包含了GET请求的各参数信息。

上述HTTP访问的HTTP请求方法是GET，而GET仅仅是HTTP众多方法中的一种，HTTP通过不同的方法实现不同的功能，下表列出了HTTP常见的请求方法。

方法	描述
GET	向Web服务器请求一个文件
POST	向Web服务器发送数据让Web服务器进行处理
PUT	向Web服务器发送数据并存储在Web服务器内部
HEAD	检查一个对象是否存在
DELETE	从Web服务器上删除一个文件
CONNECT	对通道提供支持
TRACE	跟踪到服务器的路径
OPTIONS	查询Web服务器的性能

（表1　HTTP常见请求方法）

每个HTTP请求都包含两个部分：

HTTP请求行，大多情况下为GET或POST；
HTTP请求中的可选消息头，这些消息头会由于使用的HTTP客户端浏览器或客户端浏览器配置选项的不同而不同。

具体分析图5中第6个数据包的HTTP请求解码，可以得到如下信息：

HTTP请求：请求的方法是GET，“/”表示请求Web服务器的根目录，“HTTP/1.1”表示的是URI（Uniform Resource Identifier，统一资源标识符）及其版本；
Accept：指定客户端能够接收的内容类型，内容类型中的先后次序表示客户端接收的先后次序。这里可以看到客户端能够接收的类型有gif、bitmap、jpeg等等。
Accept-Language：指定优先选择的语言是中文；
Accept-Encoding：指定内容编码类型为gzip或deflate；
User-Agent：包含HTTP客户端运行的浏览器类型；
Host：包含的主机信息为colasoft.com.cn。
Connection：指定的连接类型为Keep-Alive。

注意：在传送一个网页时，Web服务器会同时打开多个TCP连接，如每一张图片都单独使用一个TCP连接进行传送。

2) HTTP响应

Web服务器在收到HTTP请求后，会向HTTP客户端发送一个应答响应。

图6所示的是科来网络分析系统对上面访问www.colasoft.com.cn的操作的HTTP响应报文跟踪。

图6　HTTP响应

图6中第8个数据包即是Web服务器返回给客户端的HTTP响应数据包，详细查看其解码，可以得到如下信息：

HTTP响应：“HTTP/1.1”表示的是URI（Uniform Resource Identifier，统一资源标识符）及其版本，“200 OK”是HTTP响应的状态码，表示客户端请示的页面存在，且状态正常。
Date：显示当前的时间。
Server：显示支持当前请求页面的Web服务器的类型。
X-Powered-By：显示当前请求页面的脚本类型。
Set-Cookie：显示此HTTP连接的Cookie信息。
Keep-Alive：显示此HTTP连接的Keep-Alive时间。
Connection：显示此HTTP连接的类型为Keep-Alive。
Transfer-Encoding：显示此HTTP连接的传输编码。
Content-Type：显示此HTTP连接的内容类型。
Line1-N：Web服务器传送给客户端浏览器的HTML代码。

在以太网中，数据包的大小在64-1518字节之间，如果客户端请求的页面大于1518字节，则会将请求的页面分段传送给客户端，客户端浏览器接收到Web服务器传送给自己的HTML代码后，便开始读取数据并将其显示为网页。

HTTP的不同状态码表示HTTP响应的不同类型，主要包括：

代码	描述
1xx	信息
2xx	成功
3xx	重定向
4xx	客户端错误
5xx	服务器端错误

表2　HTTP响应状态码

3) HTTP访问流程

通过上面对访问www.colasoft.com.cn的报文进行跟踪分析，我们可以总结出HTTP的工作流程图如图7所示。

注意：HTTP访问可以使用域名，也可直接使用IP地址，在使用IP进行访问时，将不会产生图5中第1和第2个所表示的DNS数据包，故此HTTP流程图里未包括DNS部分，而直接从TCP的三次握手开始。

图7　HTTP访问流程图

图7表示HTTP的访问流程如下：

客户端向服务器发送一个TCP连接的SYN请求（1），服务器在收到此请求后使用一个SYN/ACK的数据包对其进行响应（2），而客户端在收到此响应后再次向其发送一个ACK数据包进行确认（3），此时，TCP连接成功建立。在连接建立后，客户端立即使用请求方法（通常为GET或POST）向服务器请求数据（4），一般情况下这时服务器会向客户端回应其相应的HTTP报头和数据（5），但在某些情况下（脚本比较复杂，需耗费大量时间执行）开始的时候只能返回HTTP的报头，而数据（6、7、N）可能会在相隔一段时间后再单独地分组进行传输，当数据传输完后，客户端发送FIN数据包关闭连接。

对应图7中的标识，1－2的时间表示客户端和服务器之间路由所用的时间，4－5的时间为服务器的响应时间、5－N（此时5只返回了HTTP报头）所用的时间为服务器上脚本程序所用的时间。科来网络分析系统中，对于每个数据包都可查看其绝对时间和相对时间（设定某个数据包为基准），在遇到访问网页速度慢的情况时，捕获HTTP的访问并查看相应的时间，即可确定访问速度慢的原因并排查故障。

三、总结

以上简单介绍了HTTP协议，并使用科来网络分析分析系统跟踪分析了访问一个网页的具体流程。据此，用户在遇到网页访问故障时，即可结合上述的HTTP相关知识，使用网络检测分析软件（科来网络分析系统）对HTTP访问的报文进行跟踪分析，以完成对此类故障的快速排查。