Python采集电商平台数据信息

环境介绍

• python 3.8
• pycharm 2021专业版
• selenium >>> pip install selenium==3.141.0 Python当中的模块 操作 浏览器的驱动
• Chrome浏览器
• Chromedriver 浏览器驱动 操作浏览器 让 浏览器帮助我们去执行一些操作

模块准备

from selenium import webdriver      # 操作浏览器的功能
import time
import csv
1
2
3

实现代码

1. 打开浏览器

报错的原因 是因为你们下载谷歌驱动, 没有配置好

源码.点击领取即可

driver = webdriver.Chrome()

# 让数据加载完
def drop_down():
    """执行页面滚动的操作"""
    for x in range(1, 12, 2):
        time.sleep(1)
        j = x / 9
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)
1
2
3
4
5
6
7
8
9
10

• 第三步调用的函数

def parse():
python学习交流Q群：770699889 ### 源码领取
    # .item-bg    s
    divs = driver.find_elements_by_css_selector('.item-bg')  # 所有别名为item-bg的标签
    # 二次提取: 针对每个商品标签 去提取 价格/名称/商品...
    for div in divs:
        # div: 每一个商品
        # 提取商品价格  .get()   parsel
        price = div.find_element_by_css_selector('.def-price').text
        title = div.find_element_by_css_selector('.title-selling-point a').text
        # print(price)
        # 如何提取 标签的属性内容 
        # .get_attribute('href'): 提取标签的属性内容
        comment = div.find_element_by_css_selector('.info-evaluate').text
        store = div.find_element_by_css_selector('.store-stock').text
        img_url = div.find_element_by_css_selector('.sellPoint img').get_attribute('src')
        link_url = div.find_element_by_css_selector('.title-selling-point a').get_attribute('href')
        print(title, price, comment, store, img_url, link_url)
        csv_writer.writerow([title, price, comment, store, img_url, link_url])


for page in range(0, 17):
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

2. 打开suning易购官网

driver.get(f'https://**不屏蔽会发不出去的.com/iPhone%2013/&iy=0&isNoResult=0&cp={page}')
# 调用执行页面滚动
drop_down()
1
2
3

3. 取数据 谷歌为主 谷歌驱动

parse()
1

效果

最后

今天的分享到这里就结束了

顺便给大家推荐一些Python视频教程，希望对大家有所帮助：

Python零基础教学合集

对文章有问题的，或者有其他关于python的问题，可以在评论区留言或者私信我哦
觉得我分享的文章不错的话，可以关注一下我，或者给文章点赞(/≧▽≦)/