# -*- coding:utf-8 -*-
import requests

import json

import jieba

from scipy.misc import imread

from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator

import matplotlib.pyplot as plt
def jd_spider(page):

url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56693&productId=5089253&score=0&sortType=5&page=%d&pageSize=10&isShadowSku=0&fold=1'%(page)

#用于存储单页评论，每页评论保存一次

comment = ''

#无需设置header，直接访问就行了

response = requests.get(url)

data = unicode(response.content,'GBK').encode('utf-8')

'''

接口地址返回的不是标准json数据，需要进行处理

去掉头部的‘fetchJSON_comment98vv56693(’和‘);’两部分

然后再用json包读取数据就可以了

'''

data = data.split('(',1)[1]#根据（进行切片一次处理，取第二部分

data = data[0:len(data)-2]#然后去掉后面的）和；

data_json = json.loads(str(data))['comments']

#循环读取每条评论，通过换行符连接起来

for i in list(range(len(data_json))):

comment = comment+data_json[i]['content'].encode('utf-8')+'\n'

print '****Page %d has been saved****'%(page)

return comment
#将读取的数据保存到本地txt文件

def save_comments(comments):

with open('comments.txt','a') as f:

f.write(comments)

'''

由于京东限制了，只展示前100页评论

循环99次就好了，后面返回的都是空页面

'''

for page in list(range(99)):

page = page+1

comments = jd_spider(page)

save_comments(comments)

print 'jd_spider@Awesome_Tang'
'''

绘制词云部分

'''

back_color = imread('apple.png')  # 解析该图片
wc = WordCloud(background_color='white',  # 背景颜色

max_words=1000,  # 最大词数

mask=back_color,  # 以该参数值作图绘制词云，这个参数不为空时，width和height会被忽略

max_font_size=100,  # 显示字体的最大值

font_path="/Users/tangwenpan/Downloads/simhei.ttf",  # 解决显示口字型乱码问题

random_state=42,  # 为每个词返回一个PIL颜色

# width=1000,  # 图片的宽

# height=860  #图片的长

)
打开保存的评论数据
text = open('comments.txt').read()
def word_cloud(texts):

words_list = []

word_generator = jieba.cut(texts, cut_all=False)  # 返回的是一个迭代器

for word in word_generator:

if len(word) > 1:  #去掉单字

words_list.append(word)

return ' '.join(words_list)
text = word_cloud(text)
wc.generate(text)
基于彩色图像生成相应彩色
image_colors = ImageColorGenerator(back_color)
显示图片
plt.imshow(wc)
关闭坐标轴
plt.axis('off')
绘制词云
plt.figure()

plt.imshow(wc.recolor(color_func=image_colors))

plt.axis('off')
保存图片
wc.to_file('comment.png')

print 'comment.png has bee saved!'