前言

嗨喽，大家好呐，这里是魔王呀~

相信很多人都看过漫画叭， 今天我们来看一下这个网站

这个网站，如果你是新用户会给你送15天的vip

我们领了它，可以把我们想看的漫画通通爬下来，慢慢看~

话不多说，我们直接开始撸代码

---

---

本篇代码提供者: 青灯教育-自游老师

---

环境使用:

• Python 3.8
• Pycharm

版本尽量保持一致哦~

---

模块使用:

• requests >>> pip install requests
• parsel >>> pip install parsel

---

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

---

安装失败原因:

失败一: pip 不是内部命令

解决方法: 设置环境变量

失败二: 出现大量报红 (read time out)

解决方法: 因为是网络链接超时, 需要切换镜像源

例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名

失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好

或者你pycharm里面python解释器没有设置好

---

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
2. 点击齿轮, 选择add
3. 添加python安装路径

---

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
3. 选择相应的插件点击 install(安装) 即可
4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
   

---

基本思路流程<通用>:

一. 数据来源分析

1. 明确需求
2. 通过开发者工具进行抓包分析, 分析manhua数据内容来于那里

一张manhua图片<url地址> ----> 获取本章节所有manhua内容来自于哪里

二. 代码实现步骤过程

1. 发送请求, 对于刚刚分析得到图片数据包url地址发送请求
2. 获取数据, 获取服务器返回响应数据response
3. 解析数据, 提取所有manhau图片url地址
4. 保存数据, 把manhua内容保存到本地文件夹

采集一本漫画内容

采集多章manhua内容 —> 去找寻多个manhau数据包url地址 —> 分析请求url地址参数变化 —> 章节ID变化

只需要获取所有manhua章节ID就可以了 —> 都目录页面 列表页面 去分析找寻

1. 发送请求, 对于manhau目录页面发送请求
2. 获取数据, 获取服务器返回响应数据response
3. 解析数据, 提取所有manhua章节ID以及manhua标题

代码

因审核机制原因，我把网址里的一些东西删掉了，小可耐们可以自己添加一下哈，很容易的

还有两个字，我用拼音代替了，你们可以改回文字哦 ~

如果有不太会改或者有点点小懒惰的小可耐也可以私信我，我发你呐~ 💖

（或查看并点击网页主页（文章）左侧的流动文字免费获取哦~（可能需要往下划一下呐））

导入模块

# 导入数据请求模块
import requests
# 导入格式化输出模块
import pprint
# 导入数据解析模块
import parsel
# 导入文件操作模块
import os
1
2
3
4
5
6
7
8

确定网址

link = ''
1

加入伪装

# headers请求头伪装
headers = {
    # user-agent: 用户代理 表示浏览器基本身份标识
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36',
}
1
2
3
4
5

发送请求

response_1 = requests.get(url=link, headers=headers)
1

获取数据

# print(response_1.text)
# 解析数据 获取数据是什么样的, 选择最适合的解析方法
selector = parsel.Selector(response_1.text)
lis = selector.css('.chapter__list-box .j-chapter-item')
1
2
3
4

获取名字

name = selector.css('.de-info__box .comic-title::text').get()
1

自动创建文件

filename = f'{name}\\'
if not os.path.exists(filename):
    os.mkdir(filename)

for li in list(reversed(lis)):
    chapter_id = li.css('a::attr(data-chapterid)').get()
    chapter_title = li.css('a::text').getall()[-1].strip()
    print(chapter_id, chapter_title)
1
2
3
4
5
6
7
8

发送请求, 模拟浏览器对于url地址发送请求

问号后面的内容, 都是属于这个url的请求参数, 可以单独用字典去接受

用python代码模拟浏览器, 是需要使用headers请求头 —> 可以在开发者工具里面进行复制粘贴

user-agent: 用户代理 表示浏览器基本身份标识

如何快速批量替换:

选中替换的内容 ctrl + R 输入正则表达式命令, 点击全部替换

 (.*?): (.*)
 '$1': '$2',
1
2

请求url地址

—> 复制粘贴的

    # https://comic..com/chapter/content/v1/?chapter_id=996914&comic_id=211471&format=1&quality=1&sign=c2f14c1bdb0505254416907f504b4e03&type=1&uid=55123713
    url = ''
1
2

请求参数

—> 复制粘贴的

    data = {
        'chapter_id': chapter_id,
        'comic_id': '211471',
        'format': '1',
        'quality': '1',
        'sign': 'c2f14c1bdb0505254416907f504b4e03',
        'type': '1',
        'uid': '55123713',
    }
1
2
3
4
5
6
7
8
9

请求头

用来伪装python代码的 —> 复制粘贴的

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }
1
2
3

发送请求

    response = requests.get(url=url, params=data, headers=headers)
    # <Response [200]>  响应对象, 200状态码 表示请求成功
    print(response)
    # 获取数据, 获取服务器返回响应数据
```python
    # response.text 获取文本数据<数据类型: 字符串>  response.json() 获取json字典数据<数据类型: 字典>
    print(response.json())
1
2
3
4
5
6
7

解析数据

— > 获取数据是什么样的, 选择最适合的解析方法 字典取值, 根据键值对提取数据内容

根据冒号左边的内容[键], 提取冒号右边的内容[值] —> 键值对取值 键值对与键值对之间用逗号隔开的

    image_list = response.json()['data']['page']  # 列表里面

    num = 1
    for image in image_list:  # 就可以把列表<装东西盒子>里面元素, 一个一个提取出来
        img_url =image['image']
        print(img_url)
1
2
3
4
5
6

保存数据

—> 同样是需要对图片url地址发送请求, 并且获取它数据内容 response.content 获取二进制数据

        img_content = requests.get(url=img_url, headers=headers).content
        # 保存数据, 保存图片 shipin 音频 特定格式文件<zip ppt..> 获取二进制数据内容
        # mode模式保存方式 wb w写入 b二进制  wb以二进制方式进行写入
        with open(filename + chapter_title + str(num) + '.jpg', mode='wb') as f:
            f.write(img_content)
        num += 1
1
2
3
4
5
6

尾语

成功没有快车道，幸福没有高速路。

所有的成功，都来自不倦地努力和奔跑，所有的幸福都来自平凡的奋斗和坚持

——励志语录

本文章就写完啦~感兴趣的小伙伴可以复制代码去试试

你们的支持是我最大的动力！！记得三连哦~ 💕 欢迎大家阅读往期的文章呀~