基本常识

HTTP协定

我们浏览网页的浏览器和手机应用客户端与办事器通信几乎都是基于HTTP协定，而爬虫可以看作是一个另类的客户端，它把本身假装成浏览器或者手机应用客户端，按照本身的逻辑贪婪的向办事器索取数据，若何向办事器索取数据，所以懂得HTTP协定就显得很有须要了。

HTTP协定中文名称是超文本传输协定，是一个基于请求与锾螃模式的、无状况的、应用层的协定，常基于TCP的连接方法。要乞降响应模式很好懂得，客户端发送请求，办事器响应客户端的请求，就像黉舍食堂打菜一样，你和打菜阿姨说要哪份菜，她才会给你盛哪份菜。

然则经由过程谷歌浏览器右键查看页面源码，没有大年夜html中找到这些视频的播放信息，独一的可能就是视频数据是经由过程js脚本调用办事器获取，然后生成的┞封张页面。爬虫小白可能会疑问，难道我须要像浏览器一样分析js脚本，然后模仿js履行吗?其实不消这么复杂，只须要简单的分析抓包构造，就可以找到请求URL了。

无状况是指协定对于事务处理没有记忆才能。缺乏状况意味着如不雅后续处理须要前面的信息，则它必须重传，如许可能导致每次连接传送的数据量增大年夜。另一方面，在办事器不须要先前信息时它的应答就较快。形象点说，可以把办事器算作是没有记忆的大年夜学食堂打饭打菜，在每次请求中，阿姨并不知道你之前有没有打过菜，也不知道你是不是合法的学生，所以你只能一边举着学生证一边和阿姨说我要这个菜，阿姨看到你的学生证后才会给你打菜，而这个学生证就是你每次须要重传的数据信息。

当我们在浏览器地址栏中输入http://www.bilibili.com 并敲入回车后，浏览器会构造HTTP请求发送到办事器，在收到办事器的HTTP响应后，浏览器会解析页面，持续向办事器请求图片、视频、js脚本等数据，直到页面加载完成，最终展示给我们的就是B站主页了。这是我用Fiddler抓的包，展示的是HTTP最原生的面孔，接下来我就根据这张图具体的讲解HTTP协定，以及写爬虫须要存眷的一些点。

HTTP请求由三部分构成，分别是: 请求行、消息报头、请求正文。 在接收和解释请求消息后，办事器返回一个HTTP响应消息，HTTP响应也是由三个部分构成，分别是：状况行、消息报头、响应正文。

HTTP办法

HTTP请求的请求行以一个办法符号开首，以空格分开，后面跟着请求的URI和协定的版本。请求办法都是大年夜写，有很多种，常见的有GET POST DELETE PUT，各类办法之间的差别不大年夜。

报头字段

重点讲解几个写爬虫须要存眷的字段

• User-Agent 涌如今请求报头中，表示客户端的操作体系、浏览器型号版本等信息。办事器可以根据此报头向客户端返回不合的页面以适应客户端。有些网站(知乎)会校验此报头，不填写或者不主流的报头都不克不及拿到正常的页面。是以本身在写爬虫的时刻最好将大年夜浏览器中拷贝到代码中。
• Cookie 涌如今请求抱头中，前面我们说过HTTP是基于请求与锾螃模式并且无状况的协定，之前举了打菜阿姨的例子，Cookie就相当于每次请求中的学生证，它可以记录用户的身份信息。当我们本身写爬虫的时刻，如不雅须要上岸，并且上岸又有验证码或者短信验证时，最简单的办法就是大年夜浏览器中把cookie拷贝到爬虫中，就可以骗过办事器了。
• Set-Cookie 涌如今响应抱头中，让客户端更新页面接洽关系的Cookie，照样拿食堂阿姨的例子，如不雅你的响应报头有这个字段，意思就是阿姨从新给你了一个学生证，下次打饭你得用最新的学生证，本来的学生证不好使。如不雅你在模仿浏览器或者客户端上岸，须要将此报头更新已有的Cookie，不过Scrapy和requests都可以主动更新，是以不须要你再手动设置。
• Content-Type 标明请求正文或者响应正文的格局，客户端或者办事器会根据此字段选择合适的方法解析正文内容，以下是一些常见的值

• Content-Length 标明请求正文或者响应正文的长度，在应用requests构造请求的时刻，我们不须要显式的加上此字段，requests会根据请求正文主动计算添加。
• Content-Encoding 在某些情况下，正文会讲过紧缩后传输，此字段会指明紧缩的类型(gzip和紧缩参数)
• Transfer-Encoding 如不雅正文内容过长，HTTP协定许可将此字段设置为chunked，然后分块传输响应正文
• Connection 在HTTP1.1之前的版本，不支撑持久连接，所谓的持久链接意思就是：HTTP协定一般经由过程TCP协定实现，客户端和办事器经由TCP三次握手建立连接，在要乞降响应停止之后，此连接持续保持，当之后还有请求的时刻，就不须要从新经由过程三次握手再建立连接，如许可以极大年夜的降低客户端和办事器的IO负载。

在本身写爬虫的时刻，我们可以根据浏览器的抓包数据有选择的添加一些请求报头，其实大年夜部分情况下都可以直接应用浏览器中的请求头，为了避免不须要的麻烦，尽可能像的模仿浏览器老是没有错的。

响应码