python 爬取图片

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

当我们需要批量的获取某些图片的时候我们可以使用python的爬虫技术进行获取来提高我们的工作效率

---

一、爬虫是什么？

网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。

二、编写网络爬虫要用到的python库（常用）

用于对网页发出请求的python库
requests
用于对获取的页面代码进行数据提取
bs4 ，re

代码实现

首先我们要获取我们要爬取的url：要爬取网站的url

导入所需模块：

import requests
from bs4 import BeautifulSoup
1
2

对网站发起请求并转化为text格式

repen = requests.get(url=url)
# 将网页请求转化text格式
repen_t = repen.text
1
2
3

对网页源码进行解析（数据爬取的难点，代码中占大头的地方）：

# 指定Beautiful的解析器为“html.parser”
page = BeautifulSoup(repen_t,"html.parser")
# 获取所有为属性class=imgWaper的a值标签
ret = page.find_all("a",attrs={"class":"imgWaper"})
# 获取所有为属性class=lazyload_hk的值img标签
ret1 = page.find_all("img",attrs={"class":"lazyload_hk"})
# 循环遍历
for z in ret1:
    # 获取img标签中的data-src的值
    src = "https:"+z.get('data-src')
    min_ ="https:"+z.get("data-min")
1
2
3
4
5
6
7
8
9
10
11

持久化保存以及关闭request请求：

 with open(sr_name,'wb') as f:
        f.write(repen_2.content)
        print(sr_name+"  "+"over!")
        # 关闭请求
repen.close()
1
2
3
4
5

最后的运行结果：

个人笔记希望对你有帮助，祝我们未来可期