Python爬虫：动态爬取QQ说说并生成词云，分析朋友状况

发布于

今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说，并把这些内容存在txt中，然后读取出来生成云图，这样可以清晰的看出朋友的状况。

这是好友的QQ空间10年说说内容，基本有一个大致的印象了。

爬取动态内容

  1. 因为动态页面的内容是动态加载出来的，所以我们需要不断下滑，加载页面
  2. 切换到当前内容的frame中,也有可能不是frame,这里需要查看具体情况
  3. 获取页面源数据，然后放入xpath中，然后读取
代码语言：javascript
复制
  # 下拉滚动条，使浏览器加载出动态加载的内容，
        # 我这里是从1开始到6结束 分5 次加载完每页数据
        for i in range(1,6):
            height = 20000*i#每次滑动20000像素
            strWord = "window.scrollBy(0,"+str(height)+")"
            driver.execute_script(strWord)
            time.sleep(4)

    # 很多时候网页由多个<frame>或<iframe>组成，webdriver默认定位的是最外层的frame，
    # 所以这里需要选中一下说说所在的frame，否则找不到下面需要的网页元素
    driver.switch_to.frame("app_canvas_frame")
    selector = etree.HTML(driver.page_source)
    divs = selector.xpath(&#39;//*[@id=&#34;msgList&#34;]/li/div[3]&#39;)</code></pre></div></div><p>所有的注释都在代码中，所以也就不作详情说明，</p><p>昨天的模拟登录大家都应该掌握了，没有掌握的自己再去复习一下</p><p>.Python爬虫：学习Selenium并使用Selenium模拟登录知乎</p><h2 id="f711o" name="%E7%88%AC%E5%8F%96%E8%AF%B4%E8%AF%B4%E7%9A%84%E5%AE%8C%E6%95%B4%E4%BB%A3%E7%A0%81">爬取说说的完整代码</h2><div class="rno-markdown-code"><div class="rno-markdown-code-toolbar"><div class="rno-markdown-code-toolbar-info"><div class="rno-markdown-code-toolbar-item is-type"><span class="is-m-hidden">代码语言：</span>javascript</div></div><div class="rno-markdown-code-toolbar-opt"><div class="rno-markdown-code-toolbar-copy"><i class="icon-copy"></i><span class="is-m-hidden">复制</span></div></div></div><div class="developer-code-block"><pre class="prism-token token line-numbers language-javascript"><code class="language-javascript" style="margin-left:0">#coding:utf-8



import time

from selenium import webdriver

from lxml import etree


#这里一定要设置编码格式，防止后面写入文件时报错

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )


friend = 'XXX' # 朋友的QQ号，朋友的空间要求允许你能访问

user = 'XXX'  # 你的QQ号

pw = 'XXXX'  # 你的QQ密码


#获取浏览器驱动

driver = webdriver.Firefox()


浏览器窗口最大化


driver.maximize_window()


浏览器地址定向为qq登陆页面


driver.get("http://i.qq.com")


所以这里需要选中一下frame，否则找不到下面需要的网页元素


driver.switch_to.frame("login_frame")


自动点击账号登陆方式


driver.find_element_by_id("switcher_plogin").click()


账号输入框输入已知qq账号


driver.find_element_by_id("u").send_keys(user)


密码框输入已知密码


driver.find_element_by_id("p").send_keys(pw)


自动点击登陆按钮


driver.find_element_by_id("login_button").click()


让webdriver操纵当前页


driver.switch_to.default_content()


跳到说说的url, friend你可以任意改成你想访问的空间


driver.get("http://user.qzone.qq.com/" + friend + "/311")


next_num = 0  # 初始“下一页”的id

while True:


    # 下拉滚动条，使浏览器加载出动态加载的内容，
    # 我这里是从1开始到6结束 分5 次加载完每页数据
    for i in range(1,6):
        height = 20000*i#每次滑动20000像素
        strWord = &#34;window.scrollBy(0,&#34;+str(height)+&#34;)&#34;
        driver.execute_script(strWord)
        time.sleep(4)

    # 很多时候网页由多个&lt;frame&gt;或&lt;iframe&gt;组成，webdriver默认定位的是最外层的frame，
    # 所以这里需要选中一下说说所在的frame，否则找不到下面需要的网页元素
    driver.switch_to.frame(&#34;app_canvas_frame&#34;)
    selector = etree.HTML(driver.page_source)
    divs = selector.xpath(&#39;//*[@id=&#34;msgList&#34;]/li/div[3]&#39;)

    #这里使用 a 表示内容可以连续不清空写入
    with open(&#39;qq_word.txt&#39;,&#39;a&#39;) as f:
        for div in divs:
            qq_name = div.xpath(&#39;./div[2]/a/text()&#39;)
            qq_content = div.xpath(&#39;./div[2]/pre/text()&#39;)
            qq_time = div.xpath(&#39;./div[4]/div[1]/span/a/text()&#39;)
            qq_name = qq_name[0] if len(qq_name)&gt;0 else &#39;&#39;
            qq_content = qq_content[0] if len(qq_content)&gt;0 else &#39;&#39;
            qq_time = qq_time[0] if len(qq_time)&gt;0 else &#39;&#39;
            print qq_name,qq_time,qq_content
            f.write(qq_content+&#34;\n&#34;)

    # 当已经到了尾页，“下一页”这个按钮就没有id了，可以结束了
    if driver.page_source.find(&#39;pager_next_&#39; + str(next_num)) == -1:
     break

    # 找到“下一页”的按钮，因为下一页的按钮是动态变化的，这里需要动态记录一下
    driver.find_element_by_id(&#39;pager_next_&#39; + str(next_num)).click()

    # “下一页”的id
    next_num += 1

    # 因为在下一个循环里首先还要把页面下拉，所以要跳到外层的frame上
    driver.switch_to.parent_frame()</code></pre></div></div><p>这样所有的说说内容就可以爬取到了。并且存到了同级目录中</p><h2 id="20tg6" name="%E7%94%9F%E6%88%90%E8%AF%8D%E4%BA%91">生成词云</h2><p>生成词云需要用到的库：</p><blockquote><p>wordcloud, 生成词云



matplotlib， 生成词云图片

jieba ，这个库可用可不用，但我因为中文一直显示不出来，后来加上了这个库，就能显示中文了。
代码语言：javascript
复制
#coding:utf-8


"""

使用结巴分词生成云图

说明这里

1.生成词云一定要设置字体样式，否则汉字出现乱码或者不显示

2.我不知道为什么本机一直显示不了中文，后面我加了jieba分词词库就可以显示中文了


"""


from wordcloud import WordCloud

import matplotlib.pyplot as plt

import jieba


#生成词云

def create_word_cloud(filename):

text= open("{}.txt".format(filename)).read()

# 结巴分词

wordlist = jieba.cut(text, cut_all=True)

wl = " ".join(wordlist)


# 设置词云
wc = WordCloud(
    # 设置背景颜色
    background_color=&#34;white&#34;,
     # 设置最大显示的词云数
   max_words=2000,
     # 这种字体都在电脑字体中，一般路径
   font_path=&#39;C:\Windows\Fonts\simfang.ttf&#39;,
   height= 1200,
   width= 1600,
    # 设置字体最大值
   max_font_size=100,
 # 设置有多少种随机生成状态，即有多少种配色方案
   random_state=30,
)

myword = wc.generate(wl)  # 生成词云
# 展示词云图
plt.imshow(myword)
plt.axis(&#34;off&#34;)
plt.show()
wc.to_file(&#39;py_book.png&#39;)  # 把词云保存下



if name == 'main':

create_word_cloud('word_py')
#python#爬虫#html#selenium#xml