python使用scrapy-pyppeteer中间件使用代理IP

发布于

要提高scrapy-pyppeteer的效率，可以考虑以下几个方面：

  • 减少不必要的页面操作，如滚动、点击等，只执行对数据抓取有用的操作。
  • 使用pyppeteer_page_coroutines参数传入一个可排序的迭代器（如列表、元组或字典），指定在返回响应之前需要在页面上执行的协程。这样可以避免多次调用page.evaluate方法。
  • 设置合理的并发数和下载延迟，避免过多的请求导致浏览器崩溃或被目标网站封禁。
  • 使用缓存或增量爬取，避免重复爬取相同的页面。
代码语言：javascript
复制
# settings.py
# -*- coding: utf-8 -*-

Sydney = 'scrapy_pyppeteer'


SPIDER_MODULES = ['scrapy_pyppeteer.spiders']

NEWSPIDER_MODULE = 'scrapy_pyppeteer.spiders'


设置下载中间件


DOWNLOADER_MIDDLEWARES = {

'scrapy_pyppeteer.middlewares.PyppeteerMiddleware': 543,

'scrapy_pyppeteer.middlewares.RandomUserAgentMiddleware': 544,

}


设置请求头


DEFAULT_REQUEST_HEADERS = {

'Accept': '/',

'Accept-Language': 'en',

}


设置日志级别


LOG_LEVEL = "DEBUG"


设置pyppeteer启动选项


PYPPETEER_LAUNCH_OPTIONS = {

# 是否显示浏览器界面，默认False

"headless": False,

# 是否忽略HTTPS错误，默认False

"ignoreHTTPSErrors": True,

# 添加代理服务器的地址，格式为host:port或protocol://host

"args": ["--proxy-server=www.16yun.cn"]

}


设置并发数，默认16


CONCURRENT_REQUESTS = 8


设置下载延迟，默认0秒


DOWNLOAD_DELAY = 1


启用缓存，默认False


HTTPCACHE_ENABLED = True
代码语言：javascript
复制
# middlewares.py


-- coding: utf-8 --


import asyncio


import pyppeteer


from scrapy import signals, Request, Spider, http


class PyppeteerMiddleware:

# 定义一个类属性browser，表示浏览器对象

browser: pyppeteer.browser.Browser


@classmethod
def from_crawler(cls, crawler):
    # 创建中间件实例，并传入crawler对象作为参数</code></pre></div></div>
#python#scrapy#ip#代理#中间件