WEB请求过程

一、一个例子

当用户在浏览器中输入www.xxx.com这个URL时,
首先,DNS会把这个域名解析成IP地址,
然后根据这个IP找到对应的服务器,并发起一个get请求,
对于服务器端而言,
可能会有负载均衡设备来平均分配用户请求,
而请求的数据可能在分布式缓存里,静态文件中,或是数据库中,
当数据返回给浏览器时,浏览器解析数据发现还有些静态文件(CSS、JS、图片...),又会发起另外的HTTP请求,而这些请求,很可能落在CDN上。

例子.png

不过网络架构如何变化,始终有一些固定不变的原则需要遵守:

  • 互联网上所有资源都要用一个URL来表示。
  • 必须基于HTTP与服务端
二、发起Http请求

发起一个Http请求和建立一个Socket连接区别不大,只不过outputStream.write写的二进制字节数据格式要符合HTTP。浏览器在建立Socket连接之前,必须根据地址栏输入的URL的域名DNS解析出IP地址,在根据这个IP地址和默认的80端口与远程服务器建立Socket连接,然后浏览器根据这个URL组装成一个get类型的HTTP请求头,通过outputStream.write发送到目标服务器,服务器等待inputStream.read返回数据,最后断开这个连接。

模拟浏览器发送Http请求:
httpClient
curl

三、Http解析

要理解Http,最重要的就是熟悉Http中的Http Header,Http Header控制着互联网上成千上万的用户的数据的传输。最关键的是,它控制着用户浏览器的渲染行为和服务器的执行逻辑。

** 浏览器缓存机制:**
在我们浏览一个页面发现有异常时,通常考虑是不是浏览器做了缓存,一般做法Ctrl+F5(mac chrome为command+shift+R)重新请求一次这个页面,该页面肯定是最新的页面。

原因:

  1. 浏览器直接向目标Url发送请求,不用浏览器缓存。
  2. 即使应用服务器前端部署缓存服务器,也能看到最新的数据,因为通过Http请求头来控制,具体如下。

请求头新增两个请求项:

  • Pragma:no-cache
  • Cache-Control:no-cache
  1. Cache-Control/Pragma
    这个Http Head字段用于指定所有缓存机制在整个请求/响应链中必须服从的指令
Http Head 字段可选值
  1. Expires
    Expires通常的使用格式是Expires:Sat, 25 Feb 2012 12:22:17 GMT, 后面跟着一个日期和时间,超过这个时间后,缓存的内容将失效,也就是浏览器在发请求之前接着页面的这个字段,看页面是否过期,过期就重新向服务器发送请求。

  2. Last-Modified/Etag
    Last-Modified字段用于表示一个服务器上的资源的最后修改时间,一般服务端在响应头中返回该字段,浏览器再次请求shi时在请求头中增加一个If-Modified-since字段,询问当前缓存页面是否最新,若是,返回304状态码,告诉浏览器是最新,服务器也不会传输新的数据。

Etag与上述字段相似,让服务端给每个页面分配一个唯一的编号,通过编号来区分这个页面是否最新。

四、DNS域名解析
  1. 解析过程
DNS域名解析

当用户在浏览器中输入域名按下回车:
(1)浏览器先查缓存,若缓存中有域名对应IP地址,则解析结束。(存活时间TTL)
(2)若浏览器缓存中没有,浏览器会查询操作系统中缓存缓存是否有这个域名对应的DNS解析结果。(hosts 文件)
(3)如果在本机中仍然无法完成域名的解析,则会真正请求域名服务器来解析这个域名了。操作系统会把域名发送给设置的LDNS(cat /etc/resolv.conf)。
(4)若LDNS没有命中,就直接到Root Server域名服务器请求解析。
(5)根域名服务器返回本地域名服务器一个所查询域的主域名服务器(gTLD Server)地址。GTLD是国际顶级域名服务器,如.com、.cn、.org等,全球只有13台左右。
(6)本地域名服务器(Local DNS Server)再向上一步返回的GTLD服务器发送请求。
(7)接受请求的GTLD服务器查找并返回此域名对应的Name Server域名服务器,这个Name Server通常就是你注册的域名服务器,例如你在某个域名服务提供商申请的域名,那么这个域名解析任务就有这个域名提供商的服务器来完成。
(8)Name Server返回IP记录和TTL(缓存时间)。
(9)LDNS缓存该记录,缓存时间有TTL控制。
(10)解析结果返回给用户,用户根据TTL值缓存在本地系统缓存中,域名解析过程结束。

在实际的DNS解析过程中,可能不止这10步,如Name Server可能有多级,或者有一个GTM来负载均衡控制等。

可通过nslookup、dig 命令来跟踪域名解析过程。

五、CDN工作机制

CDN即内容分发网络(Content Delivery Network),目的是通过现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络边缘,使用户可以就近取得所需内容,提高用户访问网站响应速度。

CDN = 镜像(Mirror)+ 缓存(Cache)+ 整体负载均衡(GSLB)

目前CDN都已缓存网站中静态数据为主。

**CDN 架构: **

CDN架构

** CDN动态加速 **

CDN的动态加速技术也是当前比较流行的一种优化技术,是在CDN的DNS解析中通过动态的链路探测来寻找回源最好的一条路径,然后通过DNS的调度将所有请求调度到选定的这条路径上回源,从而加速用户的访问。

CDN动态加速
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,387评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,845评论 1 298
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,091评论 0 246
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,308评论 0 214
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,662评论 3 288
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,795评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,008评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,743评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,466评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,687评论 2 249
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,181评论 1 262
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,531评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,177评论 3 239
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,126评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,902评论 0 198
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,862评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,734评论 2 274

推荐阅读更多精彩内容