手机bd tb爬虫教程

这几天琢磨怎么从手机app爬取帖子数据。因为网上的很多教程年久失效了,所以自己花了好些功夫才弄明白bd的请求机制。

PC端的爬取方法

在阐述手机版bd的爬取方法前,首先阐述下PC端的做法。访问孙笑川吧的urlhttps://tieba.baidu.com/f?kw=%E5%AD%99%E7%AC%91%E5%B7%9D,得到如下页面,

image

在python程序中使用requests+bs4访问该网页,

代码语言:javascript
复制
# 使用requests
import requests
from bs4 import BeautifulSoup
import os

html_doc = requests.get("https://tieba.baidu.com/f?kw=%E5%AD%99%E7%AC%91%E5%B7%9D", verify=False)
soup = BeautifulSoup(html_doc.content, 'lxml')
print(soup)

得到以下响应,可以看到,响应有完整的html格式,还有"回复"一栏:

image

之后用bs4解析html元素即可获取想要的信息。但本文希望爬取帖子的点赞数,而这个信息只存在于手机端bd的响应中。

手机端的爬取方法

参考爬虫(六)爬取任意,获取标题、详情页地址及图片(手机版)

如何在chrome访问网页的手机版本

按F12,点击图中箭头所示标记,然后F5刷新网页,即可访问手机版本。

image

找到的帖子信息

在F12->网络下可以找到该标签页发出的所有网络请求,其中界面的URLhttps://tieba.baidu.com/f?kw=%E5%AD%99%E7%AC%91%E5%B7%9D给出的响应中,只看到了加载script的字样,并没有包含主题帖子的各种信息,比如标题、作者、点赞数等等。有理由推测,PC端和手机端bd加载帖子内容的加载机制并不同,手机端并不会在第一次请求中返回内容,而是在后续的请求中再获取。

image

下图是一个帖子的内容,并没在第一次请求中返回。

image

我们清楚,F12的"网络"页包含了标签页的所有网络请求,所以既然要加载帖子内容,它必定是在某次网络请求中获取的。所以顺着看到了下图箭头所指的请求https://tieba.baidu.com/mg/f/getFrsData?kw=%E5%AD%99%E7%AC%91%E5%B7%9D&rn=10&pn=1&is_good=0&cid=0&sort_type=0&fr=&default_pro=1&only_thread_list=0&eqid=&refer=tieba.baidu.com

image

所以,拉取帖子数据的动作就在/f/getFrsData?kw=%E5%AD%99%E7%AC%91%E5%B7%9D这个请求中。

深入到帖子内部,查看"网络"可知,访问帖子域名为https://tieba.baidu.com/p/8234233310#/,拉取内容的域名为https://tieba.baidu.com/mg/p/getPbData?kz=8234233310&obj_param2=chrome&format=json&eqid=&refer=&pn=1&rn=5,其中pn代表回帖页数。