python爬虫实战+数据分析+数据可视化(分析豆瓣 《飞驰人生》影评)

一、概要

     在学习了python爬虫(requests,bs4)以及numpy、pandas、matplotlib库之后,就想试个小项目磨磨刀。之前只会单方面的使用,比如爬取一个网站相关数据 或者 对已经给了的数据进行分析。这个项目将这几个部分串起来了。学过这几个库的人就知道,这个项目很简单嘛。确实不难,但是自己完整的做完还是会出很多意想不到的bug。另:如果有同学只想做数据分析和可视化展示,这也没问题。以下百度网盘链接也提供了已经使用爬虫获取的数据。

    环境:python(anaconda)

    源码:百度网盘链接:https://pan.baidu.com/s/101ck6wc_YyHuFLAZtLgLGA
               提取码:r1n1(包括源代码以及通过爬虫获取的影评内容)

              源码是ipynb文件,使用Jupyter Notebook打开

    忠告:朋友,可以拿我这个项目试试,今天刚出炉的,用的是,配了环境,然后安装下需要的包应就能跑的,要源码的复制上面百度网盘的链接就能获取。需要掌握的知识就是上面写的那几个python库。如有不佳,还请海涵。

    直接上图:这里只显示一部分对影评分析后得到的可视化图片。

    

 二、思路

    1、进入下面url,按F12打开 开发者模式,分析html代码,这里我主要获取了评论人用户名,评论时间,评论内容,评论评星,评论点赞数等,这几个信息。通过分析发现,下一页的链接是https://movie.douban.com/subject/30163509/reviews?start=20 ,没错,这样我们只需要一个for循环就能遍历完所有的评论了。大概3000多条评论左右,数量不算多,爬虫大概跑个4-5分钟就能爬下你需要的数据,爬下的数据存于一个csv文件就好(用excel可以打开)。

https://movie.douban.com/subject/30163509/reviews

    2、爬虫已经获取的数据,这里我们再使用numpy、pandas库对其进行数据分析,使用matplotlib来进行画图操作。就这些步骤,就这么简单。

三、具体实现(上代码)

tips:如果在实战这个项目的同学,建议下载好我分享的源码,以下内容只是将源码解释一遍

 1、爬取数据,存储至csv文件

以下代码是爬虫获取数据并且将其存入pacong.csv文件中,以上也说了,csv文件excel可以打开

其实运行以下代码爬到了大概3000多行数据后会报错。这不要紧,这个时候pacong.csv文件中已经将3000多条评论数据都存下来了。

这里使用csv库来存数据。其实也可以用mongodb数据库来存,但是配环境太烦了,这里就用了csv。这个csv库也简单,几行代码就解决了存储数据的问题。


import csv
import numpy as np
import requests
from bs4 import BeautifulSoup
import time

def getHtmlText(url):
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0',
'Connection': 'close'
}
html = requests.get(url,headers = headers,verify=False).text
return html
def solveAndSave(url,writer):
html = getHtmlText(url)
soup = BeautifulSoup(html,'html.parser')
review_list = soup.find('div','review-list')
# print (review_list.div,'\n\n\n')
# 这个方法遍及儿子节点,每次都会少第一个评论
for div in review_list.div.find_next_siblings()[0:-1]:
# print ('\n\n\n',div)
div = div('div')[0] # print (div)
header = div('header')[0] # print (header)
main_body = div('div')[0] # find header useful
name = header('a')[1].string
stars = header('span')[0].get('title')
if len(header('span'))==1:
time = 'no star'
else:
time = header('span')[1].string
# find main body usefful
title = main_body('h2')[0]('a')[0].string
content = main_body.find('div','short-content').string
action = main_body.find('div','action')
userful_nums = str(action('a')[0]('span')[0].string).replace(' ','')
useless_nums = str(action('a')[1]('span')[0].string.replace(' ',''))
reply_nums = str(action('a')[2].string.replace(' ',''))

data = [(name,stars,time,title,content,userful_nums,useless_nums,reply_nums)] writer.writerows(data) # 多行用writerows
# csvfile.close()
# print (name,stars,time,userful_nums,useless_nums,reply_nums)

def main():

# write in csv
csvfile = open('pacong.csv', 'w',newline='',encoding='utf-8')
# 如果不指定newline='',有时则每写入一行将有一空行被写入
writer = csv.writer(csvfile)
writer.writerow(['评论人姓名', '评价', '评论时间','评论标题','评论主体','赞成数','反对数','回复数']) # 写入一行用writerow
for i in range(0,3980,20):
time.sleep(0.5)
url = 'https://movie.douban.com/subject/30163509/reviews?start='+str(i)
solveAndSave(url,writer)
csvfile.close()

main()

大概csv内容的样子如下:

2、分析数据并画图

这里使用csv文件中评论标题这一列,做个词云来玩玩。词云里面可以不加 ’mask=background_image这个参数,这个主要控制词云生成的形状。当然你也就不用导入cv2的库了

这里上代码:


import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from wordcloud import WordCloud
import jieba
import cv2 as cv
# 读入图片背景
# 对于中文词云首先使用jieba来中文分词,然后还要记得指定font_path设置字体识别
# 想要的话还能设置词云的背景图片

background_image = cv.imread('../image/ciyun.jpg') # 不设置background_image可以不加这行,得到的词云就是矩形了

# with open('pacong.csv','r',encoding='utf-8') as f:
# text = f.read()
# print (text)
yingping = pd.read_csv('pacong.csv')
all_content = ''
for i in range(0,len(yingping['评论标题'])):
all_content= all_content+yingping['评论标题'][i] cut_text = " ".join(jieba.cut(all_content))
# print (cut_text)
# print (all_content)
# yingping.head()
wordcloud = WordCloud(font_path="C:/Windows/Fonts/simfang.ttf",mask=background_image,background_color='white').generate(cut_text)
plt.figure(figsize=(10,10))
plt.imshow(wordcloud,interpolation="bilinear")
plt.axis("off")
plt.show()

效果:

接下来,开始对数据坐下子预处理咯,你看下面代码,就是把赞成数,反对数,回复数这几列处理了下。我们爬下来的csv中,这几列有一些换行和文字,用string的repalce方法替换一下就行。还要将评价的文字转化为评论得分,
这个操作很简单对不对,但是可以说的高大上点,就是做数据挖掘(就是把数据的文本信息提取为我们可分析的数据类型)


# help(yingping.last)
print (yingping.head())
def prepressingData(data1):
data = data1.copy()
zancheng = data['赞成数'] fandui = data['反对数'] huifu = data['回复数'] pingjia = data['评价'] star = [] for i in range(0,len(zancheng)):
zancheng[i] = zancheng[i].replace('\n','')
fandui[i] = fandui[i].replace('\n','')
huifu[i] = huifu[i].replace('回应',' ')
if pingjia[i]=='力荐':
star.append(5)
elif pingjia[i]=='推荐':
star.append(4)
elif pingjia[i]=='还行':
star.append(3)
elif pingjia[i]=='较差':
star.append(2)
elif pingjia[i]=='很差':
star.append(1)
else:
star.append(0)
data['评价得分'] = pd.Series(star)
data = data.drop(axis=1,columns=['评论主体'])
# 删除列,后要赋值过去才算成功
return data
yingping = prepressingData(yingping)

将我们上面通过评价列得到的评价得分列做个直方图,


yingping.head(50)
# yingping['赞成数'][3377] yingping.isnull().any()

# 画图开始
plt.rcParams['font.sans-serif']=['SimHei'] plt.figure(figsize=(10,8))
plt.hist(yingping['评价得分'],bins=20)
plt.xlabel('星级(0表示没有评级)',size=14)
plt.ylabel('人数',size=14)
plt.show()

效果:通过结果可以看出评分4-5颗星占大多数,应该属于一个好评居多的电影。(没看过飞驰人生的人可以康康,毕竟自己分析的这个电影还不错撒)

   然后呢,接下来的代码我就不具体解释了,直接上代码和效果,毕竟大家还有度娘

将以下几种类型转化为数字类型,有NAN(缺失值)的使用fillna进行填充


yingping.head()
def cvtInt(data1):
data = data1.copy()
data['赞成数'] = pd.to_numeric(yingping['赞成数'],errors='ignore')
data['赞成数'] = data['赞成数'].fillna(0)
data['反对数'] = pd.to_numeric(yingping['反对数'],errors='ignore')
data['反对数'] = data['反对数'].fillna(0)
data['回复数'] = pd.to_numeric(yingping['回复数'],errors='ignore')
return data
yingping = cvtInt(yingping)
# yingping.sort_values(by=['赞成数'],ascending=False)
# yingping.sort_values(by=['回复数'],ascending=False)
# yingping.isnull().any()


import numpy as np
# pd.to_numeric(yingping['赞成数'],errors='ignore')
yingping['评论时间'] def dropUselessTime(data):
data1 = data.copy()
index = data1[data1['评论时间']=='no star'].index
data1 = data1.drop(axis=0,index=index)
return data1
yingping = dropUselessTime(yingping)
yingping.index = yingping['评论时间'] yingping

效果:

 接下来:


# help(yingping.drop)
# yingping['year'] = pd.to_datetime(yingping['评论时间']).dt.year
yingping['month'] = pd.to_datetime(yingping['评论时间']).dt.month
yingping['hour'] = pd.to_datetime(yingping['评论时间']).dt.hour
def plotTimeWithData(data):
data1 = data.copy()
cur = data1.groupby('hour').count()
plt.figure(figsize=(10,6))
plt.plot(cur.index,cur['month'])
plt.xlabel('时间/hour',size=16)
plt.ylabel('评论数量',size=16)
plt.title('评论数量随时间段的变化',size=16)
xticks=list(range(0,len(cur.index))) # 这里设置的是x轴点的位置
plt.xticks(xticks)
plt.show()

cur = data1.groupby('hour').mean()
plt.figure(figsize=(10,6))
plt.plot(cur.index,cur['评价得分'])
plt.xlabel('时间/hour',size=16)
plt.ylabel('评论分均值',size=16)
plt.title('评论均值随时间段的变化',size=16)
xticks=list(range(0,len(cur.index))) # 这里设置的是x轴点的位置
plt.xticks(xticks)
plt.show()

plotTimeWithData(yingping)

效果:

 

     分析这两图发现,从凌晨4点-23点评论数量是不断增多的,说明大多数人喜欢在晚上看这部电影并且评论。然后咧,发现在凌晨三点评分的均值相当的低啊,说明在3点中的时候,大家心情都不太好的亚子,所以这也告诉我们,不要去惹经常熬夜的人,他们的心情可不好哦;这六点钟早起的人心情就不错,评分均值达到一天的最高点

四、总结

    当然三千组数据可能还是有点少,但是我们就是学习嘛,能学到东西就好了。还有其实还能通过分析数据画很多有意义的图,有兴趣的同学可以学习以下seaborn库(matplotlib库封装的基础上的库),可以画出能多精美的图哟。可以参考我的另外一篇博客https://blog.csdn.net/weixin_41466575/article/details/104343245

   有问题的伙伴可以在评论区中留言,我会及时回复大家的!!!

   http://liuyishou.site  这是我个人开发的博客网站哦,欢迎大家来参观。

作者:刘一手emm

相关推荐

antd-mobile ListView长列表的数据更新遇到的坑

如何基于layui的laytpl实现数据绑定的示例代码

基于python实现检索标记敏感词并输出

python中shell执行知识点