Python基础知识进阶之数据爬虫

 一、爬虫概述

       爬虫是指利用网络抓取模块对某个网站或者某个应用中有价值的信息进行提取。还可以模拟用户在浏览器或者APP应用上的操作行为，实现程序自动化。简单来说就是我们把互联网有价值的信息都比喻成大的蜘蛛网，而各个节点就是存放的数据，而蜘蛛网的上蜘蛛比喻成爬虫，而爬虫是可以自动抓取互联网信息的程序，从互联网上抓取一切有价值的信息，并且把站点的信息爬到本地并且存储方便使用。

二、爬虫构架

       Python爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。

       1.调度器：相当于一台电脑CPU，主要负责调度URL管理器、下载器、解析器之间协调工作。

       2.URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。 

       URL（外文名：Uniform Resource Locator，中文名：统一资源定位符），统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。通常由网络协议、服务器域名、资源在服务器中位置组成。例如我们最熟悉的豆瓣电影排行榜TOP250 https://movie.douban.com/top250。

http – – 网络协议         movie.douban.com – – 服务器域名        top250 – – 资源在服务器中位置

       3.网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)。

       4.网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。

       5.应用程序：就是从网页中提取的有用数据组成的一个应用。

三、爬虫流程

       1.发起请求：通过htttp协议向目标站点服务器发送发送一个包含headers（标头）、data（数据）等信息的request（请求），等待服务器响应。这个请求的过程就像我们打开浏览器，在浏览器地址栏输入一个网址然后点击回车。

       HTTP 协议是 Hyper Text Transfer Protocol（超文本传输协议）的缩写，是用于从万维网（ World Wide Web ）服务器传输超文本到本地浏览器的传送协议。

        万维网是一个由许多互相链接的超文本组成的系统，通过互联网访问。在这个系统中，每个有用的事物，称为一样“资源”；并且由一个全局“统一资源标识符”（URI）标识；这些资源通过HTTP（Hypertext Transfer Protocol）传送给用户，而后者通过点击链接来获得资源。

       HTTP 是一个基于 TCP/IP 通信协议来传递数据（HTML 文件、图片文件、查询结果等）。

       HTTPS 协议是 HyperText Transfer Protocol Secure（超文本传输安全协议）的缩写，是一种通过计算机网络进行安全通信的传输协议。

       HTTPS 经由 HTTP 进行通信，但利用 SSL/TLS 来加密数据包，HTTPS 开发的主要目的，是提供对网站服务器的身份认证，保护交换资料的隐私与完整性。

       HTTP 的 URL 是由 http:// 起始与默认使用端口 80，而 HTTPS 的 URL 则是由 https:// 起始与默认使用端口443。

       2.获取响应： 如果服务器能正常响应，我们会得到一个response（请求），response（请求）的内容便是所要获取的内容，类型可能有html、json字符串，二进制数据(图片，视频等）等类型。这个过程就是服务器接收客户端的请求，进过解析发送给浏览器的网页html文件。  

       3.解析内容： 得到的内容可能是html，可以使用正则表达式，网页解析库进行解析。也可能是json，可以直接转为json对象解析。可能是二进制数据，可以做保存或者进一步处理。这一步相当于浏览器把服务器端的文件获取到本地，再进行解释并且展现出来。  

       4.保存数据： 保存的方式可以是把数据存为文本，也可以把数据保存到数据库，或者保存为特定的jpg、mp4 等格式的文件。这就相当于我们在浏览网页时，下载网页上的图片或者视频。

四、请求状态

       当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含 HTTP 状态码的信息头（server header）用以响应浏览器的请求。

       1**  信息，服务器收到请求，需要请求者继续执行操作（100 – 客户端应继续请求）；

       2**  成功，操作被成功接收并处理（200 – 请求成功）；

       3**  重定向，需进一步的操作以完成请求（301 – 资源（网页等）被永久转移到其它URL）；

       4**  客户端错误，请求包含语法错误或无法完成请求（404 – 请求资源（网页等）不存在）；

       5**  服务器错误，服务器在处理请求的过程中发生了错误（500 – 内部服务器错误）。

五、请求方法

         HTTP 请求方式一共有 9 种，分别为 POST 、GET 、HEAD、PUT 、PATCH 、 OPTIONS 、DELETE 、CONNECT 、 TRACE 。其中前三种 POST 、GET 、HEAD 是 HTTP 1.0 定义的，后六种 PUT 、PATCH 、 OPTIONS 、DELETE 、CONNECT 、 TRACE 是 HTTP 1.1 定义的。

       1.GET请求指定的页面信息，并返回实体主体；

       2.HEAD类似于 GET 请求，只不过返回的响应中没有具体的内容，用于获取报头；

       3.POST向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST 请求可能会导致新的资源的建立和/或已有资源的修改；

       4.PUT从客户端向服务器传送的数据取代指定的文档的内容；

       5.DELETE请求服务器删除指定的页面；

       6.CONNECTHTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器；

       7.OPTIONS允许客户端查看服务器的性能；

       8.TRACE回显服务器收到的请求，主要用于测试或诊断；

       9.PATCH是对 PUT 方法的补充，用来对已知资源进行局部更新 。

六、网页构成

       1、HTML（超文本标记语言）:网页的本质就是超文本标记语言，他是将网页的各个部分标记出来让浏览器进行解析的。

       2、CSS（层叠样式表）:HTML用来进行标记，但是标记出来的网页比较混乱，美观程度比较差，CSS就是将HTML标记出来的内容合理摆放，并且对网页中的内容进行美化用的。即：HTML用来搭建一个框架，CSS用来美化这个框架。

       3、客户端脚本语言（JavaScript）:JavaScript是一种基于对象和事件驱动并具有相对安全性的客户端脚本语言。同时也是一种广泛用于客户端Web开发的脚本语言，常用来给HTML网页添加动态功能，用来进行网站和客户的交互。

       HTML、CSS、JavaScript关系：HTML用来进行标记，CSS让页面更加美化、JavaScript来进行交互，分工很明确。

       4、web服务器:一般指网站服务器，是指驻留于因特网上某种类型计算机的程序，可以处理浏览器等Web客户端的请求并返回相应响应，也可以放置网站文件，让全世界浏览;可以放置数据文件，让全世界下载。目前最主流的三个Web服务器是Apache、 Nginx 、IIS。

       5、数据库:数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度的特点、是与应用程序彼此独立的数据集合。在web里面他是用来让服务器端脚本语言来调用的。常用的数据库：Oracle、MySQL、SQL Server、DB2、MariDB。

       冗余度就是从安全角度考虑多余的一个量，这个量就是为了保障仪器、设备或某项工作在非正常情况下也能正常运转。

七、网页文档

​

                    声明为 HTML文档 

       ..                   网页的根元素

       ..                元素包含了文档的元数据

              定义网页编码格式为 utf-8。