Scrapy 爬虫模板--SitemapSpider

发布于

SitemapSiper 允许我们通过网站的 Sitemap 文件中的 URL 来爬取一个网站。Sitemap 文件包含整个网站的每个网址链接，其中包含了上次更新时间、更新频率以及网址的权重（重要程度）。常见的 Sitemap 文件格式有 TXT 、 XML 和 HTML 格式，大部分网站是以 XML 格式来显示的。下面我们来看一下 CSDN 网站的 Sitemap 文件格式。

CSDN 网站 Sitemap 文件

我们来讲解一下上图中各个节点的意思：

  1. loc：完整的网址；
  2. lastmod：最后修改时间；
  3. changefreq：更新频率；
  4. priority：链接的权重。

下面我们来讲解一下 SitemapSiper 中常用的属性：

  1. sitemap_urls：包含待爬取 url 的 Sitemap 列表；
  2. sitemap_rules：元组列表，包含正则表达式和回调函数，格式是这样的 (regex,callback)。regex 可以是正则表达式，也可以是一个字符串。 callback 用于处理 url 的回调函数；
  3. sitemap_follow：指定需要跟进 Sitemap 的正则表达式列表；
  4. sitemap_alternate_link：当指定的 url 有可选的链接时是否跟进，默认不跟进。这里所谓的可选链接指的是备用网址，一般的格式如下：
代码语言：javascript
复制
<url>
  <loc>http://aaa.com</loc>
  <!--备用网址/可选链接-->
  <xhtml:link rel="alternate" hreflang="en" href="http://aaa.com/en"/>
</url>
零、例子

下面我们通过爬取 CSDN 的 Sitemap 来看一下怎么使用 SitemapSiper 。

代码语言：javascript
复制
from scrapy.spiders import SitemapSpider
from ..items import CsdnItem

class csdnspider(SitemapSpider):

name = 'csdn_spider'

sitemap_urls = ['https://www.csdn.net/sitemap.xml']

sitemap_rules = [

('beautifulsoup4', 'parse')

]


def parse(self, response):
    docs = response.css(&#39;.local-toc li&#39;)
    for doc in docs:
        item = CsdnItem()
        item[&#34;title&#34;] = doc.css(&#34;.reference::text&#34;).extract_first()
        item[&#34;url&#34;] = doc.css(&#34;.reference::attr(href)&#34;).extract_first()
        yield item</code></pre></div></div><div class="rno-markdown-code"><div class="rno-markdown-code-toolbar"><div class="rno-markdown-code-toolbar-info"><div class="rno-markdown-code-toolbar-item is-type"><span class="is-m-hidden">代码语言：</span>javascript</div></div><div class="rno-markdown-code-toolbar-opt"><div class="rno-markdown-code-toolbar-copy"><i class="icon-copy"></i><span class="is-m-hidden">复制</span></div></div></div><div class="developer-code-block"><pre class="prism-token token line-numbers language-javascript"><code class="language-javascript" style="margin-left:0">import scrapy



class CsdnItem(scrapy.Item):

title = scrapy.Field()

url = scrapy.Field()

#php#正则表达式#网站#xml#regex