• python爬虫爬取电影数据并做可视化

    思路：

    1、发送请求，解析html里面的数据

    2、保存到csv文件

    3、数据处理

    4、数据可视化

    需要用到的库：

    1. import requests,csv  #请求库和保存库
    2. import pandas as pd  #读取csv文件以及操作数据
    3. from lxml import etree #解析html库
    4. from pyecharts.charts import *  #可视化库

    注意：后续用到分词库jieba以及词频统计库nltk 

     

    环境：

    解释器: python  3.10.5

    编辑器：VsCode -jupyter-notebook

    使用ipynb文件的扩展名 vscode会提示安装jupyter插件

     

    一、发送请求、获取html

    1. #请求的网址
    2. url='https://ssr1.scrape.center/page/1'
    3.  
    4. #请求头
    5. headers={
    6.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
    7. }
    8.  
    9. #发起请求，获取文本数据  
    10. reponse=requests.get(url,url,headers=headers)
    11. print(reponse)

    二、使用xpath提取html里面的数据并存到csv

    1. #创建csv文件
    2. with open('电影数据.csv',mode='w',encoding='utf-8',newline='') as f:
    3.     #创建csv对象
    4.     csv_save=csv.writer(f)
    5.  
    6.     #创建标题
    7.     csv_save.writerow(['电影名','电影上映地','电影时长','上映时间','电影评分'])
    8.  
    9.  
    10.  
    11.     for page in range(1,11):  #传播关键1到10页的页数
    12.  
    13.         #请求的网址
    14.         url='https://ssr1.scrape.center/page/{}'.format(page)
    15.         print('当前请求页数：',page)
    16.  
    17.         #请求头
    18.         headers={
    19.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
    20.         }
    21.  
    22.  
    23.         response=requests.get(url,url,headers=headers,verify=False)
    24.         print(response)
    25.  
    26.         html_data=etree.HTML(response.text)
    27.  
    28.  
    29.  
    30.         #获取电影名
    31.         title=html_data.xpath('//div[@class="p-h el-col el-col-24 el-col-xs-9 el-col-sm-13 el-col-md-16"]/a/h2/text()')
    32.  
    33.  
    34.         #获取电影制作地
    35.         gbs=html_data.xpath('//div[@class="p-h el-col el-col-24 el-col-xs-9 el-col-sm-13 el-col-md-16"]/div[2]/span[1]/text()')
    36.  
    37.         #获取电影时长
    38.         time=html_data.xpath('//div[@class="m-v-sm info"]/span[3]/text()')
    39.  
    40.         #获取电影上映时间
    41.         move_time=html_data.xpath('//div[@class="p-h el-col el-col-24 el-col-xs-9 el-col-sm-13 el-col-md-16"]/div[3]/span/text()')
    42.  
    43.         #电影评分
    44.         numder=html_data.xpath('//p[@class="score m-t-md m-b-n-sm"]/text()')
    45.  
    46.  
    47.  
    48.         for name,move_gbs,times,move_times,numders in zip(title,gbs,time,move_time,numder):
    49.             print('电影名：',name,'  电影上映地址：',move_gbs,'   电影时长：',times,'   电影上映时间：',move_times,'   电影评分:',numders)
    50.             #name,move_gbs,times,move_times,numders
    51.  
    52.  
    53.             #写入csv文件
    54.             csv_save.writerow([name,move_gbs,times,move_times,numders])

    效果：

    093e20cf4ab3450a83a8ec45f38febd5.png

     

    三、使用pandas打开爬取的csv文件

    1. data=pd.read_csv('电影数据.csv',encoding='utf-8')
    2. print(data)

     

    四、对电影名进行分词以及词频统计

    注意：使用jieba分词，nltk词频统计

    这里的停用此表.txt可以自己创建一个  里面放无意义的字，比如：的、不是、不然这些

    每个字独占一行即可

    1. import jieba
    2.  
    3. title_list=[]
    4.  
    5. for name in data['电影名']:
    6.  
    7.     #进行精准分词
    8.     lcut=jieba.lcut(name,cut_all=False)
    9. #     print(lcut)
    10.     
    11.     for i in lcut :
    12. #         print(i)
    13.         
    14.         
    15.         #去除无意义的词
    16.  
    17.         #打开停用词表文件
    18.         file_path=open('停用词表.txt',encoding='utf-8')
    19.  
    20.         #将读取的数据赋值给stop_words变量
    21.         stop_words=file_path.read()
    22.         
    23.         
    24.         #遍历后的值 如果没有在停用词表里面 则添加到net_data列表里面
    25.         if i not in stop_words:
    26.             title_list.append(i)
    27. # print(title_list)
    28.  
    29.  
    30. #计算词语出现的频率
    31. from nltk import FreqDist #该模块提供了计算频率分布的功能
    32.  
    33. #FreqDist对象将计算net_data中每个单词的出现频率，,并将结果存储在freq_list中
    34. freq_list=FreqDist(title_list)
    35. print(freq_list)  #结果：FreqDist 有1321个样本和5767个结果 
    36.  
    37. #该方法返回一个包含最常出现单词及其出现频率的列表。将该列表赋值给most_common_words变量。
    38. most_common_words=freq_list.most_common()
    39. print(most_common_words)  #结果：('The这个词',出现185次)

    效果：612049265753401d8a3c1e58397d2688.png

     

    五、词云可视化

    1.  
    2.   # 创建一个 WordCloud类（词云） 实例  
    3. word_cloud = WordCloud()  
    4.   
    5. # 添加数据和词云大小范围    add('标题', 数据, word_size_range=将出现频率最高的单词添加到词云图中，并设置单词的大小范围为 20 到 100。)  
    6. word_cloud.add('词云图', most_common_words, word_size_range=[20, 100])  
    7.   
    8. # 设置全局选项，包括标题  
    9. word_cloud.set_global_opts(title_opts=opts.TitleOpts(title='电影数据词云图'))  
    10.   
    11. # 在 Jupyter Notebook 中渲染词云图  
    12. word_cloud.render_notebook()
    13.  
    14. #也可以生成html文件观看
    15. word_cloud.render('result.html')

    运行效果：

    a3aafd61393a4f82ad03e0b8e05d49cc.png

     

    六、对电影时长进行统计并做柱形图可视化

    1. #电影时长   去除分钟和,号这个 转为int  然后再转为列表  只提取20条数据，总共100条
    2. move_time=data['电影时长'].apply(lambda x: x.replace('分钟', '').replace(',', '')).astype('int').tolist()[0:20]
    3. # print(move_time)
    4.  
    5. #电影名   只提取20条数据
    6. move_name=data['电影名'].tolist()[0:20]
    7. # print(move_name)
    8.  
    9. #创建Bar实例
    10. Bar_obj=Bar()
    11.  
    12. #添加x轴数据标题
    13. Bar_obj.add_xaxis(move_name)
    14.     
    15. #添加y轴数据
    16. Bar_obj.add_yaxis('电影时长数据（单位：分钟）',move_time)
    17.  
    18. #设置标题
    19. Bar_obj.set_global_opts(title_opts={'text': '电影时长数据柱形图可视化'})
    20.  
    21.  
    22. # 显示图表
    23. Bar_obj.render_notebook()

    效果：

    24582af6f53d40f3888733789baa25da.png

     

    七、电影时长折线图可视化

    1.  
    2. #去除分钟和,号这个 转为int  然后再转为列表  只提取25条数据
    3. move_time=data['电影时长'].apply(lambda x: x.replace('分钟', '').replace(',', '')).astype('int').tolist()[0:25]
    4. # print(move_time)
    5.  
    6. #电影名   只提取25条数据
    7. move_name=data['电影名'].tolist()[0:25]
    8. # print(move_name)
    9.  
    10. #创建Bar实例
    11. Bar_obj=Line()
    12.  
    13. #添加x轴数据标题
    14. Bar_obj.add_xaxis(move_name)
    15.     
    16. #添加y轴数据
    17. Bar_obj.add_yaxis('电影时长数据（单位：分钟）',move_time)
    18.  
    19. #设置标题
    20. Bar_obj.set_global_opts(title_opts={'text': '电影时长数据折线图可视化'})
    21.  
    22.  
    23. # 显示图表
    24. Bar_obj.render_notebook()

    效果：

    4ebb097fd6a84456a9f2512a34f4cf10.png

     

    八、统计每个国家电影上映的数量

    1. import jieba
    2.  
    3. title_list=[]
    4.  
    5. #遍历电影上映地这一列
    6. for name in data['电影上映地']:
    7.  
    8.     #进行精准分词
    9.     lcut=jieba.lcut(name,cut_all=False)
    10. #     print(lcut)
    11.     
    12.     for i in lcut :
    13. #         print(i)
    14.         
    15.         
    16.         #去除无意义的词
    17.  
    18.         #打开停用词表文件
    19.         file_path=open('停用词表.txt',encoding='utf-8')
    20.  
    21.         #将读取的数据赋值给stop_words变量
    22.         stop_words=file_path.read()
    23.         
    24.         
    25.         #遍历后的值 如果没有在停用词表里面 则添加到net_data列表里面
    26.         if i not in stop_words:
    27.             title_list.append(i)
    28. # print(title_list)
    29.  
    30.  
    31.  
    32. #计算词语出现的频率
    33. from nltk import FreqDist #该模块提供了计算频率分布的功能
    34.  
    35. #FreqDist对象将计算net_data中每个单词的出现频率，,并将结果存储在freq_list中
    36. freq_list=FreqDist(title_list)
    37. print(freq_list)  #结果：FreqDist 有1321个样本和5767个结果 
    38.  
    39. #该方法返回一个包含最常出现单词及其出现频率的列表。将该列表赋值给most_common_words变量。
    40. most_common_words=freq_list.most_common()
    41. print(most_common_words)  #结果：('单人这个词',出现185次)
    42.  
    43.  
    44. #电影名 使用列表推导式来提取most_common_words中每个元素中的第一个元素，即出现次数，然后将它们存储在一个新的列表中
    45. map_data_title = [count[0] for count in most_common_words]  
    46. print(map_data_title)
    47.  
    48. #电影数
    49. map_data=[count[1] for count in most_common_words]  
    50. print(map_data)

    效果：

    223284609b074173895d500e641637b3.png

     

    九、对每个国家电影上映数量饼图可视化

    1. #获取map_data_title的长度，决定循环次数，赋值给遍历i 在通过下标取值 
    2. result = [[map_data_title[i], map_data[i]] for i in range(len(map_data_title))]
    3. print(result)
    4.  
    5. # 创建Pie实例
    6. chart=Pie()
    7.  
    8. #添加标题和数据   radius=['圆形空白处百分比','色块百分比（大小）'] 可不写
    9. chart.add('电影上映数饼图（单位：个）',result,radius=['50%','60%'])
    10.  
    11. #显示
    12. chart.render_notebook()

    效果：

    04b17f4c7f0c49299ed9a142a0374ec8.png

     

    觉得有帮助的话，点个赞！

     

     

  • 相关阅读:
    powershell批量修改后缀名
    PAM从入门到精通（二十一）
    苹果cms大橙子vfed 5.0去授权完美破解主题模板
    Huggingface Transformers各类库介绍（Tokenizer、Pipeline）
    Java基础——了解进制和位运算
    超宽带uwb精准定位，厘米级室内定位技术，实时高精度方案应用
    多线程编程——基础语法篇
    C++知识精讲15 | 三类基于贪心思想的区间覆盖问题【配套资源详解】
    Grpc 通信模式
    【车载开发系列】CAN总线知识入门篇
  • 原文地址：https://blog.csdn.net/m0_63533079/article/details/132974575