网络分析学习资料

HTTP网页访问应用分析

一、HTTP协议简介

1.什么是HTTP协议

HTTP,全称Hyper Text Transfer Protocol,中文名为超文本传输协议。

HTTP是一种用于从Web服务器端传送超文本标记语言(HTML-Hyper Text Markup Language)文件到客户端浏览器的传送协议,它是Internet上最常见的协议之一。我们通常访问的网页,就是通过HTTP协议进行传送的。

2.HTTP协议的工作原理

HTTP用名字标识某一资源时(即在浏览器中输入网址),遵循统一资源名(URN-Uniform Resource Name)的规则,当前网络中最常用的URN是统一资源定位符(URL-Uniform Resource Locator),当客户端在浏览器中输入一个URL或单击一个URL超链接时,就确定了要访问的地址。

以http://www.colasoft.com.cn/resource/index.html为例介绍URL的组成:

  • http://:表示使用超文本传输协议,通知Web服务器显示Web页,客户端可不输入;
  • www:代表1个Web服务器;
  • com.cn/:Web服务器的域名,或站点服务器的名称;
  • resource/:Web服务器上的子目录,类似机器中的文件夹;
  • html:Web服务器上resource子目录中的一个网页文件,即Web服务器传送给客户端浏览器的文件。

HTTP使用TCP协议的80端口进行可靠数据传输,一个HTTP会话由客户端开始发起,包括以下步骤:

  • 客户端在浏览器中标识希望获取信息的URL;
  • 发起HTTP连接请求,启动客户端(UA)和一个初始WWW服务器或代理服务器之间的一个HTTP会话;
  • WWW服务器或代理服务器根据客户端的URL请求将内容传送给客户端。

3.HTTP协议的工作方式

宏观工作方式:

  • 客户端(UA)直接连接到Web服务器的通讯路径如图1所示,客户端与Web服务器之间的通讯不需要任何的中介服务器,这是最简单的情况。

图1 客户端与Web服务器直接连接

  • 客户端(UA)通过中介服务器连接到Web服务器的通讯路径如图2所示,客户端与Web服务器之间的通讯通过中介服务器进行转发,中介服务器可能有1个,也可能有多个。

图2 客户端通过中介服务器与Web服务器连接

  • 客户端(UA)到中介服务器的通讯路径如图3所示,客户端将请求发送给中介服务器1,中介服务器1将其发送中介服务器2,中介服务器2再发给Web服务器,最后客户端收到的内容由中介服务器1发送给它,而不是Web服务器。

图3 客户端与中介服务器通讯过程

内部操作过程:

如图4所示,它分为四个步骤:建立连接、发出请求信息、发出响应信息、关闭连接。

图4 HTTP协议内部操作过程

4.HTTP协议的报文格式

客户端发送的HTTP报文,我们称为请求链;中介服务器或Web服务器发送的HTTP报文,称为响应链。两种报文都遵循以下格式:

  • 一般开始行,即请求报文的请求行和应答报文的状态行;
  • 总头;
  • 报文头;
  • 一个空行;
  • 报文体。

二、分析HTTP通讯

1. 分析HTTP访问的具体流程

我们使用科来网络分析系统捕获并分析一个HTTP通讯过程,客户端主机名为“wangym”,客户端浏览器是IE6.0,请求的域名是“www.colasoft.com.cn”。

在客户端上打开科来网络分析系统。为避免数据干扰,可以设定一个过滤器,只捕获本机的数据通讯。设定好后开始数据捕获,同时在本机的浏览器中输入www.colasoft.com.cn,待网页全部打开后,停止捕获。

注意:此文里提到的HTTP访问均指标准80端口的通信,对于非80端口的HTTP访问,用户可在“工程->高级分析模块->HTTP分析模块->常规设置->端口”处进行更改,系统默认为80,当HTTP服务有多个端口时,多个端口之间用分号分隔,如80;8080。

1)  HTTP请求

图5所示的是科来网络分析系统对上面访问www.colasoft.com.cn的操作的HTTP请求报文跟踪。

图5  HTTP GET请求操作

从图5中的数据包列表可知,上述操作中HTTP请求的原始信息如下:

  • 第1个数据包是DNS查询数据包,本机通过DNS查询获得colasoft.com.cn对应的IP地址。
  • 第2个数据包是DNS回应数据包,DNS服务器查询到域名colasoft.com.cn对应的IP是64.246.27.237,并将查询结果传送给客户端。
  • 3、4、5数据包是TCP连接的三次握手数据包,连接的双方是本机与域名colasoft.com.cn对应的IP地址64.246.27.237。
  • 第6个数据包是客户端发起的HTTP GET请求,向Web服务器处请求获得内容,第7帧的解码包含了GET请求的各参数信息。

 

上述HTTP访问的HTTP请求方法是GET,而GET仅仅是HTTP众多方法中的一种,HTTP通过不同的方法实现不同的功能,下表列出了HTTP常见的请求方法。

方 法 描 述
GET 向Web服务器请求一个文件
POST 向Web服务器发送数据让Web服务器进行处理
PUT 向Web服务器发送数据并存储在Web服务器内部
HEAD 检查一个对象是否存在
DELETE 从Web服务器上删除一个文件
CONNECT 对通道提供支持
TRACE 跟踪到服务器的路径
OPTIONS 查询Web服务器的性能

(表1 HTTP常见请求方法)

每个HTTP请求都包含两个部分:

  • HTTP请求行,大多情况下为GET或POST;
  • HTTP请求中的可选消息头,这些消息头会由于使用的HTTP客户端浏览器或客户端浏览器配置选项的不同而不同。

具体分析图5中第6个数据包的HTTP请求解码,可以得到如下信息:

  • HTTP请求:请求的方法是GET,“/”表示请求Web服务器的根目录,“HTTP/1.1”表示的是URI(Uniform Resource Identifier,统一资源标识符)及其版本;
  • Accept:指定客户端能够接收的内容类型,内容类型中的先后次序表示客户端接收的先后次序。这里可以看到客户端能够接收的类型有gif、bitmap、jpeg等等。
  • Accept-Language:指定优先选择的语言是中文;
  • Accept-Encoding:指定内容编码类型为gzip或deflate;
  • User-Agent:包含HTTP客户端运行的浏览器类型;
  • Host:包含的主机信息为colasoft.com.cn。
  • Connection:指定的连接类型为Keep-Alive。

注意:在传送一个网页时,Web服务器会同时打开多个TCP连接,如每一张图片都单独使用一个TCP连接进行传送。

2)  HTTP响应

Web服务器在收到HTTP请求后,会向HTTP客户端发送一个应答响应。

图6所示的是科来网络分析系统对上面访问www.colasoft.com.cn的操作的HTTP响应报文跟踪。

图6 HTTP响应

图6中第8个数据包即是Web服务器返回给客户端的HTTP响应数据包,详细查看其解码,可以得到如下信息:

  • HTTP响应:“HTTP/1.1”表示的是URI(Uniform Resource Identifier,统一资源标识符)及其版本,“200 OK”是HTTP响应的状态码,表示客户端请示的页面存在,且状态正常。
  • Date:显示当前的时间。
  • Server:显示支持当前请求页面的Web服务器的类型。
  • X-Powered-By:显示当前请求页面的脚本类型。
  • Set-Cookie:显示此HTTP连接的Cookie信息。
  • Keep-Alive:显示此HTTP连接的Keep-Alive时间。
  • Connection:显示此HTTP连接的类型为Keep-Alive。
  • Transfer-Encoding:显示此HTTP连接的传输编码。
  • Content-Type:显示此HTTP连接的内容类型。
  • Line1-N:Web服务器传送给客户端浏览器的HTML代码。

在以太网中,数据包的大小在64-1518字节之间,如果客户端请求的页面大于1518字节,则会将请求的页面分段传送给客户端,客户端浏览器接收到Web服务器传送给自己的HTML代码后,便开始读取数据并将其显示为网页。

HTTP的不同状态码表示HTTP响应的不同类型,主要包括:

代码 描述
1xx 信息
2xx 成功
3xx 重定向
4xx 客户端错误
5xx 服务器端错误

表2 HTTP响应状态码

3)  HTTP访问流程

通过上面对访问www.colasoft.com.cn的报文进行跟踪分析,我们可以总结出HTTP的工作流程图如图7所示。

注意:HTTP访问可以使用域名,也可直接使用IP地址,在使用IP进行访问时,将不会产生图5中第1和第2个所表示的DNS数据包,故此HTTP流程图里未包括DNS部分,而直接从TCP的三次握手开始。

图7 HTTP访问流程图

图7表示HTTP的访问流程如下:

客户端向服务器发送一个TCP连接的SYN请求(1),服务器在收到此请求后使用一个SYN/ACK的数据包对其进行响应(2),而客户端在收到此响应后再次向其发送一个ACK数据包进行确认(3),此时,TCP连接成功建立。在连接建立后,客户端立即使用请求方法(通常为GET或POST)向服务器请求数据(4),一般情况下这时服务器会向客户端回应其相应的HTTP报头和数据(5),但在某些情况下(脚本比较复杂,需耗费大量时间执行)开始的时候只能返回HTTP的报头,而数据(6、7、N)可能会在相隔一段时间后再单独地分组进行传输,当数据传输完后,客户端发送FIN数据包关闭连接。

对应图7中的标识,1-2的时间表示客户端和服务器之间路由所用的时间,4-5的时间为服务器的响应时间、5-N(此时5只返回了HTTP报头)所用的时间为服务器上脚本程序所用的时间。科来网络分析系统中,对于每个数据包都可查看其绝对时间和相对时间(设定某个数据包为基准),在遇到访问网页速度慢的情况时,捕获HTTP的访问并查看相应的时间,即可确定访问速度慢的原因并排查故障。

三、总结

以上简单介绍了HTTP协议,并使用科来网络分析分析系统跟踪分析了访问一个网页的具体流程。据此,用户在遇到网页访问故障时,即可结合上述的HTTP相关知识,使用网络检测分析软件(科来网络分析系统)对HTTP访问的报文进行跟踪分析,以完成对此类故障的快速排查。

购买咨询

您的姓名 : *

联系方式 : *

您的邮箱 : *

您的职位 : *

公司全称 : *

公司地址 : *

网络规模 : *

咨询产品: *

购买用途 : *

补充留言: