爬虫系列 | 3、谷歌浏览器的基本使用

你要问程序员最喜欢的浏览器是什么?

基本都会说当然是谷歌浏览器,它完全遵守了W3C的标准,是最最最受程序员欢迎的浏览器

其次火狐浏览器,安全性高。可以作为备用浏览器。

Edge是微软最新发布的浏览器,和谷歌浏览器内核一样。也是非常不错的

那IE呢? 对不起,打扰了!

在进行爬虫时,不可避免的会用到浏览器的调试功能,需要去查看请求的地址、参数、响应,有时候还需要进行JS调试。

下面呢就给大家介绍一下谷歌浏览器的调试技巧。

谷歌浏览器中打开调试工具的快捷键是F12 或者 Ctrl + Shift + i。 当然也可以按照下图的步骤去打开

按照上图的标注所示

1、用于选择页面中的某个元素来审查或查看相关的信息。 同样在Elements页面下,点击某个Dom元素时,箭头按钮会变成选择状态,页面中也会标识出对应的元素

2、设备按钮,可以进行移动端和PC端的切换。选择不同的移动端设备,并且可以选择不同的尺寸比例。

3、Elements,用于查看修改页面中的元素。包括DOM标签,CSS样式等。修改完之后页面立即生效

比如我通过Elements修改了我的支付宝余额

4、Console,用于打印和输出相关的信息。比如输出错误日志,除此之外还可以执行一些简单的代码

5、Sources,js资源页面,可以在页面中找到浏览器中的js源文件。方便我们进行查看和调试

6、NetWork,网络请求的标签页。可以看到所有的资源请求,并且可以进行请求的筛选

从上图可以看到,请求的状态码、类型、时间、大小等信息

如果点击XHR则只显示异步请求资源,点击具体的请求可以看到请求头信息,参数、请求方法等信息

PreviewResponse中还可以看到具体的响应信息

大部分情况,爬虫的时候只需要通过调试工具去分析请求的方式(POST/GET/..),请求的URL,请求的参数,请求头信息以及响应信息即可。

在这里插入图片描述