1、网络爬虫概述
网络爬虫（Web Crawler），也称为网页蜘蛛（spider）或机器人（bot），是一种自动浏览互联网的程序。它的主要任务是从一个或多个起始网页开始，递归地访问网页，收集信息，并将其存储在本地数据库中，以供搜索引擎索引或进行其他类型的分析。
2、网络爬虫的类型：
- 通用爬虫：爬取互联网上广泛的网页，用于构建大型搜索引擎的索引。
- 聚焦爬虫：专注于特定主题或领域的网页，用于构建特定领域的搜索引擎或数据库。
- 增量爬虫：定期爬取网页，只更新那些自上次爬取以来发生变化的网页。
3、网络爬虫的工作原理：
- 选择起始点：爬虫从预定义的URL列表或种子URL开始。
- 发送请求：爬虫向目标网页发送HTTP请求。
- 接收响应：服务器响应请求，返回网页内容。
- 解析内容：爬虫解析网页内容，提取有用的信息，如文本、图片、链接等。
- 存储数据：将提取的信息存储到数据库中。
- 发现新链接：分析网页中的链接，将新的URL添加到待爬取的队列中。
- 重复过程：对新发现的链接重复上述过程。
4、网络爬虫的设计考虑：
- 爬取策略：如何决定访问哪些网页，常见的策略有广度优先、深度优先等。
- 重复内容的处理：避免爬取重复内容，节省资源。
- 用户体验：尊重网站的robots.txt文件，遵守爬取规则，减少对服务器的压力。
- 数据质量：确保收集的数据准确、完整。
- 法律和道德问题：遵守相关法律法规，尊重版权和隐私。
5、搭建开发环境
我使用用conda来管理python环境；使用VScode/pycharm取决于你；
