通过Python爬虫技术获取小说信息

资源下载地址：https://download.csdn.net/download/sheziqiong/85673772

实验目的

使用Python爬虫技术获取小说信息，包括小说名称、小说作者以及小说简介等作品信息！在实验中掌握Python的第三方库requests和lxml

实验内容

1. 明确实验需求——获取小说页面的相关小说信息
2. 使用Python的requests库获取响应信息
3. 使用python的lxml库进行必要信息的提取
4. 保存信息到txt文件中！
5. 进行多页信息提取，找到规律

主要仪器设备（必填）

1. python编译器Pycharm
2. Chrome浏览器F12进行网页的分析

操作方法和实验步骤

1. 确定网页URL链接：http://www.ijjxsw.com/txt/Xuanhuan/index_1.html
2. 确定爬取的信息：小说名称、作者以及简介

3. 进行网页的分析，在Chrome浏览器打开网页之后，按快捷键F12开始分析网页，得到要爬取得信息的标签和属性信息！

4. 编写代码，逐步实现需求！

实验结果和分析

实验结果：通过编写代码，并合理解析页面以及多次调试解决爬虫过程中出现的问题，代码运行成功，获取到了第一页的10本小说的作者名、小说简介以及小说名称！

运行截图如下：

得到的txt文件截图：

实验分析：

本次实验通过编写爬虫代码，从网页中之间抓取信息，保存到本地文件中！较好的达到了实验前的需求！

讨论、心得

1. Python爬虫技术能大大方便人们的生活，很多手工操作需要大量时间，但是通过编写python爬虫代码很快就能从网页中获取信息

2. Txt文件保存信息有缺陷，格式方面很不美观，建议用excel替代

3. 爬虫能获取大量数据，因此了解到了有反爬的相关内容

资源下载地址：https://download.csdn.net/download/sheziqiong/85673772