python爬虫学习(1)——初识爬虫

1、网络爬虫概述

网络爬虫(Web Crawler),也称为网页蜘蛛(spider)或机器人(bot),是一种自动浏览互联网的程序。它的主要任务是从一个或多个起始网页开始,递归地访问网页,收集信息,并将其存储在本地数据库中,以供搜索引擎索引或进行其他类型的分析。

2、网络爬虫的类型:

  1. 通用爬虫:爬取互联网上广泛的网页,用于构建大型搜索引擎的索引。
  2. 聚焦爬虫:专注于特定主题或领域的网页,用于构建特定领域的搜索引擎或数据库。
  3. 增量爬虫:定期爬取网页,只更新那些自上次爬取以来发生变化的网页。

3、网络爬虫的工作原理:

  1. 选择起始点:爬虫从预定义的URL列表或种子URL开始。
  2. 发送请求:爬虫向目标网页发送HTTP请求。
  3. 接收响应:服务器响应请求,返回网页内容。
  4. 解析内容:爬虫解析网页内容,提取有用的信息,如文本、图片、链接等。
  5. 存储数据:将提取的信息存储到数据库中。
  6. 发现新链接:分析网页中的链接,将新的URL添加到待爬取的队列中。
  7. 重复过程:对新发现的链接重复上述过程。

4、网络爬虫的设计考虑:

  1. 爬取策略:如何决定访问哪些网页,常见的策略有广度优先、深度优先等。
  2. 重复内容的处理:避免爬取重复内容,节省资源。
  3. 用户体验:尊重网站的robots.txt文件,遵守爬取规则,减少对服务器的压力。
  4. 数据质量:确保收集的数据准确、完整。
  5. 法律和道德问题:遵守相关法律法规,尊重版权和隐私。

5、搭建开发环境

我使用用conda来管理python环境;使用VScode/pycharm取决于你;