Scrapy第六篇：日志记录和try except

目录

1.主动记录Try except日志

2.开启运行日志

---

1.主动记录Try except日志

在解析过程中，为了保证程序的运行，我们必须try except起来，防止因为个别页面解析错误导致程序奔溃。并做好日志记录，用来追查采集遗漏的原因。

日志记录：①时间、②原因、③出错文件、④出错行

示例如下：

    try:
        1 / 0
    except Exception as e:
        with open('error_log.txt', 'a', encoding='utf8') as f:
            f.writelines(str(datetime.datetime.now())+'\n')
            f.writelines(f'error reason: {e}'+'\n')
            f.writelines(f'error file  : {e.__traceback__.tb_frame.f_globals["__file__"]}'+'\n')
            f.writelines(f"error line  : {e.__traceback__.tb_lineno}"+'\n')
            f.writelines('\n')

2.开启运行日志

系统默认的日志级别是DEBUG，并打印在控制台。日志级别如下：

• CRITICAL：严重错误
• ERROR：一般错误
• WARNING：警告
• INFO: 一般信息
• DEBUG：调试信息

 设置日志等级，并记录日志。修改settings.py，加入两项配置：

LOG_LEVEL = 'DEBUG'
LOG_FILE = 'log.txt'