什么是爬虫
通过编写程序,“模拟”浏览器上网,然后让其在互联网中“抓取”数据的过程。
-
模拟:浏览器本身就是一个纯天然的爬虫工具。爬虫相关的操作都是模拟/基于浏览器为基础开发实现出来的。
-
抓取:
- 一种是抓取一张页面中所有的数据
- 一种是抓取页面中局部的数据
-
如果爬虫程序没有爬取到想要的数据,why?
- 你的程序模拟浏览器的力度不够!
-
爬虫在应用场景的分类
- 通用爬虫:将一整张页面源码数据进行爬取。
- 聚焦爬虫:将一张页面中局部/指定的数据进行抓取。建立在通用爬虫的基础上。
-
爬虫的矛与盾(重点)
- 反爬机制:对应门户网站,网站可以指定相关的机制阻止爬虫对其网站数据的采集
- 反反爬策略:对应爬虫程序,爬虫可以制定相关的策略将网站的反爬机制破解,从而爬取到指定的数据
准备知识
HTML
Web 爬虫基础
js 基础到进阶
爬虫逆向(重点)
app 爬虫
实用网站
curl 请求转换成 Python 请求
https://curlconverter.com/