Python 日志記錄：十個日志管理的最佳實踐
作者：手把手PythonAI編程
本文介紹了 十個 Python 日志管理的優秀實踐，通過這些技巧，你可以更好地管理和優化你的日志記錄系統。
日志記錄是軟件開發中的一個重要組成部分，它可以幫助開發者調試程序、追蹤錯誤、監控系統狀態等。Python 提供了強大的日志記錄功能，通過 logging 模塊可以輕松實現各種日志管理需求。本文將介紹 10 個 Python 日志管理的最佳實踐，并通過實際代碼示例幫助你更好地理解和應用這些技巧。
1. 使用 logging 模塊的基本配置
首先，我們需要了解如何使用 logging 模塊的基本配置。logging 模塊提供了多種級別的日志記錄，包括 DEBUG、INFO、WARNING、ERROR 和 CRITICAL。
import logging
# 配置日志記錄
logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')
# 記錄不同級別的日志
logging.debug('This is a debug message')
logging.info('This is an info message')
logging.warning('This is a warning message')
logging.error('This is an error message')
logging.critical('This is a critical message')輸出結果：
2023-10-01 12:00:00,000 - DEBUG - This is a debug message
2023-10-01 12:00:00,001 - INFO - This is an info message
2023-10-01 12:00:00,002 - WARNING - This is a warning message
2023-10-01 12:00:00,003 - ERROR - This is an error message
2023-10-01 12:00:00,004 - CRITICAL - This is a critical message2. 將日志記錄到文件
除了將日志輸出到控制臺，我們還可以將日志記錄到文件中，以便長期保存和分析。
import logging
# 配置日志記錄到文件
logging.basicConfig(filename='app.log', level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')
# 記錄日志
logging.debug('This is a debug message')
logging.info('This is an info message')輸出結果：
# app.log 文件內容
2023-10-01 12:00:00,000 - DEBUG - This is a debug message
2023-10-01 12:00:00,001 - INFO - This is an info message3. 使用多個日志處理器
有時候我們需要同時將日志輸出到控制臺和文件中，這時可以使用多個日志處理器(Handler)。
import logging
# 創建日志記錄器
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)
# 創建文件處理器
file_handler = logging.FileHandler('app.log')
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 創建控制臺處理器
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)
console_formatter = logging.Formatter('%(levelname)s - %(message)s')
console_handler.setFormatter(console_formatter)
# 添加處理器到日志記錄器
logger.addHandler(file_handler)
logger.addHandler(console_handler)
# 記錄日志
logger.debug('This is a debug message')
logger.info('This is an info message')
logger.error('This is an error message')輸出結果：
# 控制臺輸出
INFO - This is an info message
ERROR - This is an error message
# app.log 文件內容
2023-10-01 12:00:00,000 - DEBUG - This is a debug message
2023-10-01 12:00:00,001 - INFO - This is an info message
2023-10-01 12:00:00,002 - ERROR - This is an error message4. 使用日志過濾器
日志過濾器可以用來過濾特定的日志消息，例如只記錄特定模塊的日志。
import logging
# 創建日志記錄器
logger = logging.getLogger('my_module')
logger.setLevel(logging.DEBUG)
# 創建文件處理器
file_handler = logging.FileHandler('my_module.log')
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 創建過濾器
class ModuleFilter(logging.Filter):
def filter(self, record):
return 'my_module' in record.name
file_handler.addFilter(ModuleFilter())
# 添加處理器到日志記錄器
logger.addHandler(file_handler)
# 記錄日志
logger.debug('This is a debug message from my_module')
logging.getLogger().info('This is an info message from root logger')輸出結果：
# my_module.log 文件內容
2023-10-01 12:00:00,000 - my_module - DEBUG - This is a debug message from my_module5. 使用日志記錄器的層級結構
logging 模塊支持日志記錄器的層級結構，可以通過父級記錄器的配置影響子級記錄器。
import logging
# 創建父級日志記錄器
parent_logger = logging.getLogger('parent')
parent_logger.setLevel(logging.DEBUG)
# 創建文件處理器
file_handler = logging.FileHandler('parent.log')
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 添加處理器到父級日志記錄器
parent_logger.addHandler(file_handler)
# 創建子級日志記錄器
child_logger = logging.getLogger('parent.child')
child_logger.setLevel(logging.INFO)
# 記錄日志
child_logger.debug('This is a debug message from child')輸出結果：
# parent.log 文件內容
2023-10-01 12:00:00,000 - parent.child - INFO - This is an info message from child6. 使用日志記錄器的命名空間
通過命名空間可以更好地組織和管理日志記錄器，避免命名沖突。
import logging
# 創建命名空間日志記錄器
logger = logging.getLogger('my_app.module1')
logger.setLevel(logging.DEBUG)
# 創建文件處理器
file_handler = logging.FileHandler('module1.log')
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 添加處理器到日志記錄器
logger.addHandler(file_handler)
# 記錄日志
logger.debug('This is a debug message from module1')輸出結果：
# module1.log 文件內容
2023-10-01 12:00:00,000 - my_app.module1 - DEBUG - This is a debug message from module17. 使用日志記錄器的上下文信息
通過 extra 參數可以在日志記錄時添加額外的上下文信息。
import logging
# 創建日志記錄器
logger = logging.getLogger('context_logger')
logger.setLevel(logging.DEBUG)
# 創建文件處理器
file_handler = logging.FileHandler('context.log')
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(user)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 添加處理器到日志記錄器
logger.addHandler(file_handler)
# 記錄日志
logger.info('This is an info message', extra={'user': 'Alice'})輸出結果：
# context.log 文件內容
2023-10-01 12:00:00,000 - context_logger - INFO - Alice - This is an info message8. 使用日志記錄器的異步處理
對于高并發的應用，可以使用異步處理來提高日志記錄的性能。
import logging
import queue
import threading
# 創建隊列
log_queue = queue.Queue()
# 創建日志記錄器
logger = logging.getLogger('async_logger')
logger.setLevel(logging.DEBUG)
# 創建文件處理器
file_handler = logging.FileHandler('async.log')
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 定義異步處理函數
def process_logs():
while True:
record = log_queue.get()
if record is None:
break
file_handler.emit(record)
# 啟動異步處理線程
thread = threading.Thread(target=process_logs)
thread.start()
# 自定義日志處理器
class QueueHandler(logging.Handler):
def emit(self, record):
log_queue.put_nowait(record)
# 添加自定義處理器到日志記錄器
queue_handler = QueueHandler()
logger.addHandler(queue_handler)
# 記錄日志
logger.debug('This is a debug message')
logger.info('This is an info message')
# 停止異步處理線程
log_queue.put(None)
thread.join()輸出結果：
# async.log 文件內容
2023-10-01 12:00:00,000 - async_logger - DEBUG - This is a debug message
2023-10-01 12:00:00,001 - async_logger - INFO - This is an info message9. 使用日志記錄器的輪轉日志
輪轉日志可以自動管理日志文件的大小和數量，避免日志文件過大或過多。
import logging
from logging.handlers import RotatingFileHandler
# 創建日志記錄器
logger = logging.getLogger('rotating_logger')
logger.setLevel(logging.DEBUG)
# 創建輪轉文件處理器
file_handler = RotatingFileHandler('rotating.log', maxBytes=1024, backupCount=5)
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 添加處理器到日志記錄器
logger.addHandler(file_handler)
# 記錄日志
for i in range(100):
logger.debug(f'This is a debug message {i}')輸出結果：
# rotating.log 文件內容
2023-10-01 12:00:00,000 - rotating_logger - DEBUG - This is a debug message 0
2023-10-01 12:00:00,001 - rotating_logger - DEBUG - This is a debug message 1
...
2023-10-01 12:00:00,099 - rotating_logger - DEBUG - This is a debug message 9910. 使用日志記錄器的定時任務
定時任務可以定期清理或歸檔日志文件，保持系統的整潔。
import logging
import time
from logging.handlers import TimedRotatingFileHandler
# 創建日志記錄器
logger = logging.getLogger('timed_logger')
logger.setLevel(logging.DEBUG)
# 創建定時輪轉文件處理器
file_handler = TimedRotatingFileHandler('timed.log', when='S', interval=10, backupCount=5)
file_handler.setLevel(logging.DEBUG)
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(file_formatter)
# 添加處理器到日志記錄器
logger.addHandler(file_handler)
# 記錄日志
for i in range(60):
logger.debug(f'This is a debug message {i}')
time.sleep(1)輸出結果：
# timed.log 文件內容
2023-10-01 12:00:00,000 - timed_logger - DEBUG - This is a debug message 0
2023-10-01 12:00:01,000 - timed_logger - DEBUG - This is a debug message 1
...
2023-10-01 12:01:00,000 - timed_logger - DEBUG - This is a debug message 59實戰案例：日志記錄在 Web 應用中的應用
假設我們有一個簡單的 Flask Web 應用，需要記錄用戶的訪問日志和錯誤日志。我們將使用 logging 模塊來實現這一需求。
from flask import Flask, request, jsonify
import logging
from logging.handlers import RotatingFileHandler
app = Flask(__name__)
# 配置日志記錄
access_logger = logging.getLogger('access_logger')
access_logger.setLevel(logging.INFO)
error_logger = logging.getLogger('error_logger')
error_logger.setLevel(logging.ERROR)
# 創建輪轉文件處理器
access_file_handler = RotatingFileHandler('access.log', maxBytes=1024*1024, backupCount=5)
access_file_handler.setLevel(logging.INFO)
access_formatter = logging.Formatter('%(asctime)s - %(remote_addr)s - %(request_method)s - %(path)s - %(status_code)s')
access_file_handler.setFormatter(access_formatter)
error_file_handler = RotatingFileHandler('error.log', maxBytes=1024*1024, backupCount=5)
error_file_handler.setLevel(logging.ERROR)
error_formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
error_file_handler.setFormatter(error_formatter)
# 添加處理器到日志記錄器
access_logger.addHandler(access_file_handler)
error_logger.addHandler(error_file_handler)
@app.before_request
def log_access():
remote_addr = request.remote_addr
request_method = request.method
path = request.path
access_logger.info('', extra={'remote_addr': remote_addr, 'request_method': request_method, 'path': path, 'status_code': 200})
@app.errorhandler(Exception)
def handle_error(e):
error_logger.error(str(e))
return jsonify({'error': str(e)}), 500
@app.route('/')
def index():
return 'Hello, World!'
if __name__ == '__main__':
app.run(debug=True)輸出結果：
# access.log 文件內容
2023-10-01 12:00:00,000 - 127.0.0.1 - GET - / - 200
# error.log 文件內容
2023-10-01 12:00:00,000 - ERROR - Some unexpected error occurred總結
本文介紹了 10 個 Python 日志管理的最佳實踐，包括基本配置、日志記錄到文件、使用多個日志處理器、日志過濾器、日志記錄器的層級結構、命名空間、上下文信息、異步處理、輪轉日志和定時任務。通過這些技巧，你可以更好地管理和優化你的日志記錄系統。最后，我們還通過一個實戰案例展示了如何在 Flask Web 應用中應用這些技巧。
責任編輯：趙寧寧
來源：
手把手PythonAI編程
