从网页中提取结构化数据:Puppeteer和Cheerio的高级技巧

亿牛云代理

导语

网页数据抓取是一种从网页中提取有用信息的技术,它可以用于各种目的,如数据分析、竞争情报、内容聚合等。然而,网页数据抓取并不是一件容易的事情,因为网页的结构和内容可能会随时变化,而且有些网站会采用反爬虫措施,阻止或限制爬虫的访问。因此,我们需要使用一些高级的技巧,来提高爬虫的效率和稳定性。

概述

在本文中,我们将介绍两个常用的网页数据抓取工具:Puppeteer和Cheerio。Puppeteer是一个基于Node.js的无头浏览器库,它可以模拟浏览器的行为,如打开网页、点击元素、填写表单等。Cheerio是一个基于jQuery的HTML解析库,它可以方便地从HTML文档中提取数据,如选择器、属性、文本等。我们将结合这两个工具,展示如何从网页中提取结构化数据,并给出一些高级技巧,如使用代理IP、处理动态内容、优化性能等。

正文

使用代理IP提高爬虫效果

代理IP是一种隐藏真实IP地址的方法,它可以让爬虫伪装成不同的用户或地区访问网站,从而避免被封禁或限速。使用代理IP的方法有很多,例如使用第三方服务、自建代理池等。在本文中,我们将使用亿牛云爬虫代理作为示例,它提供了稳定、快速、安全的代理IP服务,并支持多种协议和认证方式。

要使用亿牛云爬虫代理,我们需要先注册一个账号,并获取域名、端口、用户名和密码。然后,在Puppeteer中,我们可以通过设置launch方法的args参数,来指定代理IP地址和认证信息。例如:

代码语言:javascript
复制
// 引入puppeteer模块
const puppeteer = require('puppeteer');

// 定义亿牛云 爬虫加强版代理的域名、端口、用户名和密码
const proxyDomain = 'www.16yun.cn';
const proxyPort = '9020';
const proxyUser = '16YUN';
const proxyPass = '16IP';

// 启动无头浏览器,并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
args: [
--proxy-server=${proxyDomain}:${proxyPort},
--proxy-auth=${proxyUser}:${proxyPass}
]
});

这样,我们就可以通过亿牛云爬虫代理访问任何网站了。

处理动态内容

动态内容是指那些不是在网页加载时就存在的内容,而是通过JavaScript或Ajax等技术在运行时生成或更新的内容。例如,有些网站会使用分页或滚动加载来显示更多数据,或者使用下拉菜单或按钮来切换不同的视图。这些动态内容对于普通的HTML解析器来说是不可见的,因此我们需要使用Puppeteer来模拟浏览器的交互行为,来触发或获取这些内容。

在Puppeteer中,我们可以使用page对象来操作网页。page对象提供了很多方法和事件,来模拟用户的输入和反馈。例如:

  • page.goto(url):打开一个网页
  • page.waitForSelector(selector):等待一个元素出现
  • page.click(selector):点击一个元素
  • page.evaluate(function):在网页中执行一个函数
  • page.on(event, handler):监听一个事件

使用这些方法,我们可以实现很多复杂的交互逻辑,来处理动态内容。例如,假设我们要从一个电商网站中提取商品的名称、价格和评分,但是这些数据是通过滚动加载的,我们可以使用以下代码:

代码语言:javascript
复制
// 引入puppeteer和cheerio模块
const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

// 定义目标网址
const url = 'https://www.amazon.com/s?k=iphone';

// 启动无头浏览器,并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
args: [
--proxy-server=${proxyDomain}:${proxyPort},
--proxy-auth=${proxyUser}:${proxyPass}
]
});

// 打开一个新的页面
const page = await browser.newPage();

// 打开目标网址
await page.goto(url);

// 定义一个空数组,用于存储提取的数据
let data = [];

// 定义一个循环,用于滚动加载更多数据
while (true) {
// 等待商品列表出现
await page.waitForSelector('.s-result-list');

// 获取网页的HTML内容
const html = await page.content();

// 使用cheerio加载HTML内容,并提取数据
const $ = cheerio.load(html);
$('.s-result-item').each((index, element) => {
// 获取商品的名称、价格和评分
const name = $(element).find('.a-size-medium').text().trim();
const price = $(element).find('.a-price-whole').text().trim();
const rating = $(element).find('.a-icon-alt').text().trim();

// 如果数据不为空,就添加到数组中
if (name && price && rating) {
  data.push({ name, price, rating });
}

});

// 打印当前提取的数据数量
console.log(当前提取了${data.length}条数据);

// 判断是否有下一页的按钮
const nextButton = await page.$('.a-last a');

// 如果有下一页的按钮,就点击它,并继续循环
if (nextButton) {
await nextButton.click();
} else {
// 如果没有下一页的按钮,就退出循环
break;
}
}

// 关闭无头浏览器
await browser.close();

// 打印最终提取的数据
console.log(data);

这样,我们就可以从动态内容中提取结构化数据了。

优化性能

性能是指爬虫的运行速度和资源消耗。性能优化是指通过一些方法,来提高爬虫的运行效率和稳定性。性能优化的方法有很多,例如:

  • 减少无用的请求:有些网页会加载很多不相关的资源,如图片、视频、广告等,这些资源对于数据抓取来说是没有用的,而且会增加网络流量和内存占用。我们可以通过设置page.setRequestInterception(true)page.on('request', callback)来拦截和过滤这些请求。例如:
代码语言:javascript
复制
// 启用请求拦截
await page.setRequestInterception(true);

// 监听请求事件,并过滤不需要的请求类型
page.on('request', request => {
const type = request.resourceType();
if (type === 'image' || type === 'media' || type === 'font') {
request.abort();
} else {
request.continue();
}
});

  • 并发多个任务:有些时候,我们需要抓取多个网页或多个网站的数据,如果我们按照顺序一个一个地抓取,那么会花费很多时间。我们可以通过使用Promise.all()Promise.map()等方法,来并发多个任务,从而提高爬虫的速度。例如,假设我们要从三个不同的网站中提取新闻标题,我们可以使用以下代码:
代码语言:javascript
复制
// 引入puppeteer和cheerio模块
const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

// 定义三个目标网址
const urls = [
'https://www.bbc.com/news',
'https://www.cnn.com',
'https://www.nytimes.com'
];

// 启动无头浏览器,并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
args: [
--proxy-server=${proxyDomain}:${proxyPort},
--proxy-auth=${proxyUser}:${proxyPass}
]
});

// 定义一个函数,用于从一个网址中提取新闻标题
const getNewsTitles = async (url) => {
// 打开一个新的页面
const page = await browser.newPage();

// 打开目标网址
await page.goto(url);

// 获取网页的HTML内容
const html = await page.content();

// 使用cheerio加载HTML内容,并提取数据
const $ = cheerio.load(html);
const titles = [];
$('h1, h2, h3').each((index, element) => {
// 获取新闻标题,并去除空白字符
const title = $(element).text().trim();

// 如果标题不为空,就添加到数组中
if (title) {
  titles.push(title);
}

});

// 返回提取的数据
return titles;
};

// 使用Promise.all()并发执行三个任务,并获取结果
const results = await Promise.all(urls.map(getNewsTitles));

// 关闭无头浏览器
await browser.close();

// 打印最终提取的数据
console.log(results);

这样,我们就可以同时从三个网站中提取新闻标题了。

案例

为了更好地理解和应用Puppeteer和Cheerio的高级技巧,我们将以一个具体的案例来进行演示。我们的目标是从豆瓣电影网站中提取最新上映的电影的名称、评分、类型和简介,并保存到一个CSV文件中。

首先,我们需要安装puppeteer、cheerio和csv-writer这三个模块:

代码语言:shell
复制
npm install puppeteer cheerio csv-writer --save

然后,我们需要编写以下代码:

代码语言:javascript
复制
// 引入puppeteer、cheerio和csv-writer模块
const puppeteer = require('puppeteer');
const cheerio = require('cheerio');
const csvWriter = require('csv-writer');

// 定义目标网址
const url = 'https://movie.douban.com/cinema/nowplaying';

// 启动无头浏览器,并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
args: [
--proxy-server=${proxyDomain}:${proxyPort},
--proxy-auth=${proxyUser}:${proxyPass}
]
});

// 打开一个新的页面
const page = await browser.newPage();

// 打开目标网址
await page.goto(url);

// 获取网页的HTML内容
const html = await page.content();

// 使用cheerio加载HTML内容,并提取数据
const $ = cheerio.load(html);
const data = [];
$('#nowplaying .list-item').each((index, element) => {
// 获取电影的名称、评分、类型和简介
const name = $(element).data('title');
const rating = $(element).data('score');
const genre = $(element).data('category');
const summary = $(element).find('.stitle a').attr('title');

// 如果数据不为空,就添加到数组中
if (name && rating && genre && summary) {
data.push({ name, rating, genre, summary });
}
});

// 关闭无头浏览器
await browser.close();

// 定义CSV文件的列名和路径
const columns = [
{ id: 'name', title: '名称' },
{ id: 'rating', title: '评分' },
{ id: 'genre', title: '类型' },
{ id: 'summary', title: '简介' }
];
const path = './movies.csv';

// 创建一个CSV文件写入器,并写入数据
const writer = csvWriter.createObjectCsvWriter({ path, columns });
await writer.writeRecords(data);

// 打印完成的提示
console.log('数据已保存到movies.csv文件中');

最后,我们可以运行以下命令,来执行我们的代码:

代码语言:shell
复制
node index.js

这样,我们就可以从豆瓣电影网站中提取最新上映的电影的数据,并保存到一个CSV文件中了。

结语

在本文中,我们介绍了如何使用Puppeteer和Cheerio来从网页中提取结构化数据,并给出了一些高级技巧,如使用代理IP、处理动态内容、优化性能等。我们还以一个具体的案例来进行演示,从豆瓣电影网站中提取最新上映的电影的数据,并保存到一个CSV文件中。我们希望这些技巧和案例能够对您有所启发和帮助,让您能够更好地利用网页数据抓取的技术,来实现您的目标和需求。