• 头歌答案--数据持久化（非数据库）

    目录

    ​编辑

    数据持久化（非数据库）

    第1关：数据持久化（非数据库）

    任务描述

    多线程、多进程爬虫 

    第1关：多线程、多进程爬虫

    任务描述

    Scrapy爬虫基础

    任务描述

    MySQL数据库编程

    第1关：python数据库编程之创建数据库

    任务描述

    第2关：python数据库编程之创建数据表

    任务描述

    第3关：python数据库编程之插入数据

    任务描述

    第4关：python数据库编程之查询数据

    任务描述

    第5关：python数据库编程之修改数据

    任务描述

    第6关：python数据库编程之删除数据

    任务描述

     

    数据持久化（非数据库）

    第1关：数据持久化（非数据库）

    任务描述

    本关任务：将网页上的图片数据持久化（保存）。

    1. import os
    2. import requests
    3. from bs4 import BeautifulSoup
    4. from lxml import etree
    5. url = 'http://127.0.0.1:8080/imgs/'
    6. headers = {
    7.     'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'
    8. }
    9. response = requests.get(url, headers=headers)
    10. #********** Begin **********#
    11. # 解析网页
    12. html = etree.HTML(response.text)
    13. img_srcs = html.xpath("//div[@class='box']/div/a/img/@src")
    14. for img_src in img_srcs:
    15.     name = img_src.split('/')[-1].split('.')[0]
    16. # 请求图片地址
    17.     img_url = "http://127.0.0.1:8080" + img_src
    18.     img = requests.get(img_url)
    19. # 判断保存图片的文件夹是否存在
    20.     dir_path = 'step1/images'
    21.     if not os.path.exists(dir_path):
    22.         os.makedirs(dir_path)
    23.     img_path = dir_path + '/' + name + '.jpg'  # 图片的最终存储路径
    24. # 保存图片
    25.     with open(img_path, 'wb')as file:
    26.         file.write(img.content)
    27.         
    28. #********** End **********#

    多线程、多进程爬虫 

    第1关：多线程、多进程爬虫

    任务描述

    本关任务：使用多线程将网页上的图片数据下载并保存。

    1. import requests
    2. from lxml import etree
    3. import time
    4. from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
    5. from multiprocessing import Pool
    6. import os
    7. import threading
    8. import psutil
    9. # URL伪装
    10. header = {
    11.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
    12. }
    13. def downimg(img_src):
    14.     start_time = time.time()
    15.     
    16.     name = img_src.split('/')[-1].split('.')[0]
    17.     img_url = "http://127.0.0.1:8080" + img_src
    18.     img = requests.get(img_url)
    19.     dir_path = 'step1/images'
    20.     if not os.path.exists(dir_path):
    21.         os.makedirs(dir_path)
    22.     img_path = dir_path + '/' + name + '.jpg'  # 图片的最终存储路径
    23.     print(img_url, name + '.jpg', '开始下载。。。')
    24.     thread = threading.currentThread()
    25.     process = psutil.Process(os.getpid())
    26.     print("线程ID：%s, 进程ID：%s"
    27.           % (thread.ident, process.pid))
    28.     #********** Begin *********#
    29.     """保存图片"""
    30.     with open(img_path, 'wb')as file:
    31.         file.write(img.content)
    32.     #********** End *********#
    33.     finisTime = time.time() - start_time
    34.     print(name + ".jpg 用时为：" + str(finisTime) + " second")
    35. def parsePage():
    36.     url = "http://127.0.0.1:8080/imgs/"
    37.     response = requests.get(url=url, headers=header)
    38.     html_content = response.text
    39.     #********** Begin *********#
    40.     """解析网页"""
    41.     html = etree.HTML(html_content)
    42.     item_list = html.xpath("//div[@class='box']/div/a/img/@src")
    43.     print(item_list)
    44.     s_time = time.time()
    45.     
    46.     #********** End *********#
    47.     """非线程操作"""
    48.     # for item in item_list:
    49.     #     downimg(item)
    50.     #********** Begin *********#
    51.     """线程操作方式"""
    52.     thread = []
    53.     for item in item_list:
    54.         
    55.         thread.append(threading.Thread(target=downimg, args=(item, )))
    56.     for t in thread:
    57.         t.start()
    58.     for t in thread:
    59.         t.join()
    60.     #********** End *********#
    61.     print('总耗时: %s' % (time.time() - s_time))

    Scrapy爬虫基础

    第1关：Scarpy安装与项目创建

    任务描述

    本关任务：借助Scrapy框架编写一个最基本的爬虫小程序，掌握Scrapy的基础理论和使用。

    1. scrapy startproject HelloWorld
    2. cd HelloWorld
    3. scrapy genspider world www.baidu.com

    MySQL数据库编程

    第1关：python数据库编程之创建数据库

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 创建数据库。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9. import mysql.connector
    10.  
    11.  
    12.  
    13. # 连接mysql，创建连接并返回连接对象
    14.  
    15. def connect():
    16.  
    17.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    18.  
    19.     # ********* Begin ********* #
    20.  
    21.     conn = mysql.connector.connect(
    22.  
    23.     # mysql服务器主机地址
    24.  
    25.     host='127.0.0.1',
    26.  
    27.     # mysql服务器连接端口
    28.  
    29.     port=3306,
    30.  
    31.     # 用户名
    32.  
    33.     user='root',
    34.  
    35.     # 数据库名（若不选此参数则不指定具体数据库连接，我们可以使用use database来选择其它数据库）
    36.  
    37.     # db='db_name',
    38.  
    39.     # 用户密码
    40.  
    41.     passwd='123123',
    42.  
    43.     # 编码格式
    44.  
    45.     # charset='utf8'
    46.  
    47.     )
    48.  
    49.     # 使用cursor()函数创建一个游标对象
    50.  
    51.     # cursor = conn.cursor()
    52.  
    53.     return conn
    54.  
    55.  
    56.  
    57.     # *********  End  ********* #
    58.  
    59.  
    60.  
    61.  
    62. def test():
    63.  
    64.     # 创建连接，并且返回连接对象
    65.  
    66.     conn = connect()
    67.  
    68.     # 创建游标对象
    69.  
    70.     cursor = conn.cursor()
    71.  
    72.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    73.  
    74.     # ********* Begin ********* #
    75.  
    76.     cursor.execute("CREATE DATABASE  my_db")
    77.  
    78.     # *********  End  ********* #
    79.  
    80.     # 关闭游标
    81.  
    82.     cursor.close()
    83.  
    84.     # 关闭连接
    85.  
    86.     conn.close()

    第2关：python数据库编程之创建数据表

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 创建数据表。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.  
    53.  
    54.     # *********  End  ********* #
    55.  
    56.  
    57.  
    58.  
    59. def test():
    60.  
    61.     # 创建连接，并且返回连接对象
    62.  
    63.     conn = connect()
    64.  
    65.     # 创建游标对象
    66.  
    67.     cursor = conn.cursor()
    68.  
    69.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    70.  
    71.     # ********* Begin ********* #
    72.  
    73.     cursor.execute('''CREATE TABLE user
    75.     (id   INT(16) AUTO_INCREMENT PRIMARY KEY,
    77.     username VARCHAR(32) NOT NULL,
    79.     password varchar(32))
    81.     ENGINE = MyISAM''')
    82.  
    83.  
    84.  
    85.     # *********  End  ********* #
    86.  
    87.     # 关闭游标
    88.  
    89.     cursor.close()
    90.  
    91.     # 关闭连接
    92.  
    93.     conn.close()

    第3关：python数据库编程之插入数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 插入数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.     # *********  End  ********* #
    53.  
    54.  
    55.  
    56.  
    57. def test():
    58.  
    59.     # 创建连接，并且返回连接对象
    60.  
    61.     conn = connect()
    62.  
    63.     # 创建游标对象
    64.  
    65.     cursor = conn.cursor()
    66.  
    67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    68.  
    69.     # ********* Begin ********* #
    70.  
    71.     cursor.execute("insert into user (username, password) values('teble', 'teble')")
    72.  
    73.     # *********  End  ********* #
    74.  
    75.     # 关闭游标
    76.  
    77.     cursor.close()
    78.  
    79.     # 关闭连接
    80.  
    81.     conn.close()

    第4关：python数据库编程之查询数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 从数据库中查询数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.  
    53.  
    54.     # *********  End  ********* #
    55.  
    56.  
    57.  
    58.  
    59. def test():
    60.  
    61.     # 创建连接，并且返回连接对象
    62.  
    63.     conn = connect()
    64.  
    65.     # 创建游标对象
    66.  
    67.     cursor = conn.cursor()
    68.  
    69.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    70.  
    71.     # ********* Begin ********* #
    72.  
    73.     cursor.execute("select id, username, password from user ORDER BY id DESC")
    74.  
    75.     for data in cursor.fetchall():
    76.  
    77.         print(data)
    78.  
    79.     # *********  End  ********* #
    80.  
    81.     # 关闭游标
    82.  
    83.     cursor.close()
    84.  
    85.     # 关闭连接
    86.  
    87.     conn.close()

    第5关：python数据库编程之修改数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 从数据库中修改数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.     # *********  End  ********* #
    53.  
    54.  
    55.  
    56.  
    57. def test():
    58.  
    59.     # 创建连接，并且返回连接对象
    60.  
    61.     conn = connect()
    62.  
    63.     # 创建游标对象
    64.  
    65.     cursor = conn.cursor()
    66.  
    67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    68.  
    69.     # ********* Begin ********* #
    70.  
    71.     cursor.execute("update user set username = 'root',password='root' where id = '1'")
    72.  
    73.     # *********  End  ********* #
    74.  
    75.     # 关闭游标
    76.  
    77.     cursor.close()
    78.  
    79.     # 关闭连接
    80.  
    81.     conn.close()

    第6关：python数据库编程之删除数据

    任务描述

    在现在的软件、web 开发中，越来越离不开数据库的支持，MySQL 是现在最流行的关系型数据库管理系统（RDBMS - Relational Database Management System），在 WEB 开发中，MySQL 是最好的 RDBMS 应用软件之一。在本教程中，会让大家快速掌握 python 使用 MySQL 的相关知识，并轻松使用 MySQL 数据库。

    本关任务：使用 pymysql 从数据库中删除数据。

    1. #!/usr/bin/python
    2.  
    3. # -*- coding: UTF-8 -*-
    4.  
    5.  
    6.  
    7. import pymysql
    8.  
    9.  
    10.  
    11.  
    12. # 连接mysql，连接数据库my_db，创建连接并返回连接对象
    13.  
    14. def connect():
    15.  
    16.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    17.  
    18.     # ********* Begin ********* #
    19.  
    20.     # 创建数据库连接
    21.  
    22.     conn = pymysql.connect(
    23.  
    24.         # mysql服务器主机地址
    25.  
    26.         host='127.0.0.1',
    27.  
    28.         # mysql服务器连接端口
    29.  
    30.         port=3306,
    31.  
    32.         # 用户名
    33.  
    34.         user='root',
    35.  
    36.         # 数据库名
    37.  
    38.         db='my_db',
    39.  
    40.         # 用户密码
    41.  
    42.         passwd='123123',
    43.  
    44.         # 编码格式
    45.  
    46.         charset='utf8'
    47.  
    48.     )
    49.  
    50.     return conn
    51.  
    52.     # *********  End  ********* #
    53.  
    54.  
    55.  
    56.  
    57. def test():
    58.  
    59.     # 创建连接，并且返回连接对象
    60.  
    61.     conn = connect()
    62.  
    63.     # 创建游标对象
    64.  
    65.     cursor = conn.cursor()
    66.  
    67.     # 请在这里补充代码，完成本关任务，注意缩进格式为4个空格
    68.  
    69.     # ********* Begin ********* #
    70.  
    71.     cursor.execute("delete from user where id = '2'")
    72.  
    73.     # *********  End  ********* #
    74.  
    75.     # 关闭游标
    76.  
    77.     cursor.close()
    78.  
    79.     # 关闭连接
    80.  
    81.     conn.close()

  • 相关阅读:
    AB实验：科学归因与增长的利器
    浅谈大数据算法
    java计算机毕业设计html5健身房信息管理系统源码+mysql数据库+系统+lw文档+部署
    6763个gb2312汉字笔画分析
    T-SNE最简单的示例，自制非抄袭
    LRU缓存替换策略及C#实现
    Redis 键(key)相关操作和常用命令
    php截取网址/参数作为的短网址的实现方案
    使用HandlerInterceptor 中注入其他service时为null分析及解决
    前端实现批量下载并打包成ZIP文件
  • 原文地址：https://blog.csdn.net/m0_62476845/article/details/134358495