1 logging模塊簡介

logging模塊是Python內置的標準模塊，主要用于輸出運行日志，可以設置輸出日志的等級、日志保存路徑、日志文件回滾等；相比print，具備如下優點：

可以通過設置不同的日志等級，在release版本中只輸出重要信息，而不必顯示大量的調試信息； print將所有信息都輸出到標準輸出中，嚴重影響開發者從標準輸出中查看其它數據；logging則可以由開發者決定將信息輸出到什么地方，以及怎么輸出；

Logger從來不直接實例化，經常通過logging模塊級方法（Module-Level Function）logging.getLogger(name)來獲得，其中如果name不給定就用root。名字是以點號分割的命名方式命名的(a.b.c)。對同一個名字的多個調用logging.getLogger()方法會返回同一個logger對象。這種命名方式里面，后面的loggers是前面logger的子logger，自動繼承父loggers的log信息，正因為此,沒有必要把一個應用的所有logger都配置一遍，只要把頂層的logger配置好了，然后子logger根據需要繼承就行了。

logging.Logger對象扮演了三重角色: 首先,它暴露給應用幾個方法以便應用可以在運行時寫log. 其次,Logger對象按照log信息的嚴重程度或者根據filter對象來決定如何處理log信息(默認的過濾功能). 最后,logger還負責把log信息傳送給相關的handlers.

2 logging模塊使用

2.1 基本使用

配置logging基本的設置，然后在控制臺輸出日志，

import logginglogging.basicConfig(level = logging.INFO,format = ’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)logger = logging.getLogger(__name__) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

運行時，控制臺輸出，

1 2016-10-09 19:11:19,434 - __main__ - INFO - Start print log2 2016-10-09 19:11:19,434 - __main__ - WARNING - Something maybe fail.3 2016-10-09 19:11:19,434 - __main__ - INFO - Finish

logging中可以選擇很多消息級別，如：DEBUG，INFO，WARNING，ERROR，CRITICAL，通過賦予logger或者handler不同的級別，開發者就可以只輸出錯誤信息到特定的記錄文件，或者在調試時只記錄調試信息。

將logger的級別改為DEBUG，再觀察一下輸出結果

logging.basicConfig(level = logging.DEBUG,format = ’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)

從輸出結果可以看到，輸出了debug的日志記錄

2016-10-09 19:12:08,289 - __main__ - INFO - Start print log2016-10-09 19:12:08,289 - __main__ - DEBUG - Do something2016-10-09 19:12:08,289 - __main__ - WARNING - Something maybe fail.2016-10-09 19:12:08,289 - __main__ - INFO - Finish

logging.basicConfig函數各參數：

filename：指定日志文件名； filemode：和file函數意義相同，指定日志文件的打開模式，’w’或者’a’；format：指定輸出的格式和內容，format可以輸出很多有用的信息，datefmt：指定時間格式，同time.strftime()； level：設置日志級別，默認為logging.WARNNING； stream：指定將日志的輸出流，可以指定輸出到sys.stderr，sys.stdout或者文件，默認輸出到sys.stderr，當stream和filename同時指定時，stream被忽略；　

屬性名稱 格式 說明 name %(name)s 日志的名稱 asctime %(asctime)s 可讀時間，默認格式‘2003-07-08 16:49:45,896’，逗號之后是毫秒 filename %(filename)s 文件名，pathname的一部分 pathname %(pathname)s 文件的全路徑名稱 funcName %(funcName)s 調用日志多對應的方法名 levelname %(levelname)s 日志的等級 levelno %(levelno)s 數字化的日志等級 lineno %(lineno)d 被記錄日志在源碼中的行數 module %(module)s 模塊名 msecs %(msecs)d 時間中的毫秒部分 process %(process)d 進程的ID processName %(processName)s 進程的名稱 thread %(thread)d 線程的ID threadName %(threadName)s 線程的名稱 relativeCreated %(relativeCreated)d 日志被創建的相對時間，以毫秒為單位

2.2 將日志寫入到文件

2.2.1 將日志寫入到文件

設置logging，創建一個FileHandler，并對輸出消息的格式進行設置，將其添加到logger，然后將日志寫入到指定的文件中，

import logginglogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter)logger.addHandler(handler) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

　log.txt中日志數據為：

2017-07-25 15:02:09,905 - __main__ - INFO - Start print log2017-07-25 15:02:09,905 - __main__ - WARNING - Something maybe fail.2017-07-25 15:02:09,905 - __main__ - INFO - Finish

2.2.2 將日志同時輸出到屏幕和日志文件

logger中添加StreamHandler，可以將日志輸出到屏幕上，

import logginglogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO) logger.addHandler(handler)logger.addHandler(console) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

　可以在log.txt文件和控制臺中看到

2017-07-25 15:03:05,075 - __main__ - INFO - Start print log2017-07-25 15:03:05,075 - __main__ - WARNING - Something maybe fail.2017-07-25 15:03:05,075 - __main__ - INFO - Finish

可以發現，logging有一個日志處理的主對象，其他處理方式都是通過addHandler添加進去，logging中包含的handler主要有如下幾種，

handler名稱：位置；作用 StreamHandler：logging.StreamHandler；日志輸出到流，可以是sys.stderr，sys.stdout或者文件FileHandler：logging.FileHandler；日志輸出到文件BaseRotatingHandler：logging.handlers.BaseRotatingHandler；基本的日志回滾方式RotatingHandler：logging.handlers.RotatingHandler；日志回滾方式，支持日志文件最大數量和日志文件回滾TimeRotatingHandler：logging.handlers.TimeRotatingHandler；日志回滾方式，在一定時間區域內回滾日志文件SocketHandler：logging.handlers.SocketHandler；遠程輸出日志到TCP/IP socketsDatagramHandler：logging.handlers.DatagramHandler；遠程輸出日志到UDP socketsSMTPHandler：logging.handlers.SMTPHandler；遠程輸出日志到郵件地址SysLogHandler：logging.handlers.SysLogHandler；日志輸出到syslogNTEventLogHandler：logging.handlers.NTEventLogHandler；遠程輸出日志到Windows NT/2000/XP的事件日志MemoryHandler：logging.handlers.MemoryHandler；日志輸出到內存中的指定bufferHTTPHandler：logging.handlers.HTTPHandler；通過'GET'或者'POST'遠程輸出到HTTP服務器

2.2.3 日志回滾

使用RotatingFileHandler，可以實現日志回滾，

import loggingfrom logging.handlers import RotatingFileHandlerlogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)#定義一個RotatingFileHandler，最多備份3個日志文件，每個日志文件最大1KrHandler = RotatingFileHandler('log.txt',maxBytes = 1*1024,backupCount = 3)rHandler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)rHandler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO)console.setFormatter(formatter) logger.addHandler(rHandler)logger.addHandler(console) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

　可以在工程目錄中看到，備份的日志文件，

.3 設置消息的等級

可以設置不同的日志等級，用于控制日志的輸出

日志等級：使用范圍 FATAL：致命錯誤CRITICAL：特別糟糕的事情，如內存耗盡、磁盤空間為空，一般很少使用ERROR：發生錯誤時，如IO操作失敗或者連接問題WARNING：發生很重要的事件，但是并不是錯誤時，如用戶登錄密碼錯誤INFO：處理請求或者狀態變化等日常事務DEBUG：調試過程中使用DEBUG等級，如算法中每個循環的中間狀態

　setLevel(lvl) 定義處理log的最低等級，內建的級別為：DEBUG，INFO，WARNING，ERROR，CRITICAL；下圖是級別對應數值

2.4 捕獲traceback

Python中的traceback模塊被用于跟蹤異常返回信息，可以在logging中記錄下traceback

import logginglogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO) logger.addHandler(handler)logger.addHandler(console) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')try: open('sklearn.txt','rb')except (SystemExit,KeyboardInterrupt): raiseexcept Exception: logger.error('Faild to open sklearn.txt from logger.error',exc_info = True) logger.info('Finish')

　控制臺和日志文件log.txt中輸出

2017-07-25 15:04:24,045 - __main__ - INFO - Start print log2017-07-25 15:04:24,045 - __main__ - WARNING - Something maybe fail.2017-07-25 15:04:24,046 - __main__ - ERROR - Faild to open sklearn.txt from logger.errorTraceback (most recent call last): File 'E:PYTHONEclipseeclipseDoc14day5Logger模塊Logging.py', line 71, in <module> open('sklearn.txt','rb')IOError: [Errno 2] No such file or directory: ’sklearn.txt’2017-07-25 15:04:24,049 - __main__ - INFO - Finish

也可以使用logger.exception(msg,_args)，它等價于logger.error(msg,exc_info = True,_args)，

將logger.error('Faild to open sklearn.txt from logger.error',exc_info = True)替換為，logger.exception('Failed to open sklearn.txt from logger.exception')　

2.5 多模塊使用logging

主模塊mainModule.py

import loggingimport subModulelogger = logging.getLogger('mainModule')logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO)console.setFormatter(formatter) logger.addHandler(handler)logger.addHandler(console) logger.info('creating an instance of subModule.subModuleClass')a = subModule.SubModuleClass()logger.info('calling subModule.subModuleClass.doSomething')a.doSomething()logger.info('done with subModule.subModuleClass.doSomething')logger.info('calling subModule.some_function')subModule.som_function()logger.info('done with subModule.some_function')

子模塊subModule.py

import logging module_logger = logging.getLogger('mainModule.sub')class SubModuleClass(object): def __init__(self): self.logger = logging.getLogger('mainModule.sub.module') self.logger.info('creating an instance in SubModuleClass') def doSomething(self): self.logger.info('do something in SubModule') a = [] a.append(1) self.logger.debug('list a = ' + str(a)) self.logger.info('finish something in SubModuleClass') def som_function(): module_logger.info('call function some_function')

　執行之后，在控制和日志文件log.txt中輸出

2017-07-25 15:05:07,427 - mainModule - INFO - creating an instance of subModule.subModuleClass2017-07-25 15:05:07,427 - mainModule.sub.module - INFO - creating an instance in SubModuleClass2017-07-25 15:05:07,427 - mainModule - INFO - calling subModule.subModuleClass.doSomething2017-07-25 15:05:07,427 - mainModule.sub.module - INFO - do something in SubModule2017-07-25 15:05:07,427 - mainModule.sub.module - INFO - finish something in SubModuleClass2017-07-25 15:05:07,427 - mainModule - INFO - done with subModule.subModuleClass.doSomething2017-07-25 15:05:07,427 - mainModule - INFO - calling subModule.some_function2017-07-25 15:05:07,427 - mainModule.sub - INFO - call function some_function2017-07-25 15:05:07,428 - mainModule - INFO - done with subModule.some_function

說明：

首先在主模塊定義了logger’mainModule’，并對它進行了配置，就可以在解釋器進程里面的其他地方通過getLogger(’mainModule’)得到的對象都是一樣的，不需要重新配置，可以直接使用。定義的該logger的子logger，都可以共享父logger的定義和配置，所謂的父子logger是通過命名來識別，任意以’mainModule’開頭的logger都是它的子logger，例如’mainModule.sub’。

實際開發一個application，首先可以通過logging配置文件編寫好這個application所對應的配置，可以生成一個根logger，如’PythonAPP’，然后在主函數中通過fileConfig加載logging配置，接著在application的其他地方、不同的模塊中，可以使用根logger的子logger，如’PythonAPP.Core’，’PythonAPP.Web’來進行log，而不需要反復的定義和配置各個模塊的logger。

3 通過JSON或者YAML文件配置logging模塊

盡管可以在Python代碼中配置logging，但是這樣并不夠靈活，最好的方法是使用一個配置文件來配置。在Python 2.7及以后的版本中，可以從字典中加載logging配置，也就意味著可以通過JSON或者YAML文件加載日志的配置。

3.1 通過JSON文件配置

JSON配置文件

{ 'version':1, 'disable_existing_loggers':false, 'formatters':{ 'simple':{ 'format':'%(asctime)s - %(name)s - %(levelname)s - %(message)s' } }, 'handlers':{ 'console':{ 'class':'logging.StreamHandler', 'level':'DEBUG', 'formatter':'simple', 'stream':'ext://sys.stdout' }, 'info_file_handler':{ 'class':'logging.handlers.RotatingFileHandler', 'level':'INFO', 'formatter':'simple', 'filename':'info.log', 'maxBytes':'10485760', 'backupCount':20, 'encoding':'utf8' }, 'error_file_handler':{ 'class':'logging.handlers.RotatingFileHandler', 'level':'ERROR', 'formatter':'simple', 'filename':'errors.log', 'maxBytes':10485760, 'backupCount':20, 'encoding':'utf8' } }, 'loggers':{ 'my_module':{ 'level':'ERROR', 'handlers':['info_file_handler'], 'propagate':'no' } }, 'root':{ 'level':'INFO', 'handlers':['console','info_file_handler','error_file_handler'] }}

通過JSON加載配置文件，然后通過logging.dictConfig配置logging，

import jsonimport logging.configimport os def setup_logging(default_path = 'logging.json',default_level = logging.INFO,env_key = 'LOG_CFG'): path = default_path value = os.getenv(env_key,None) if value: path = value if os.path.exists(path): with open(path,'r') as f: config = json.load(f) logging.config.dictConfig(config) else: logging.basicConfig(level = default_level) def func(): logging.info('start func') logging.info('exec func') logging.info('end func') if __name__ == '__main__': setup_logging(default_path = 'logging.json') func()

3.2 通過YAML文件配置

通過YAML文件進行配置，比JSON看起來更加簡介明了，

version: 1disable_existing_loggers: Falseformatters: simple: format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'handlers: console: class: logging.StreamHandler level: DEBUG formatter: simple stream: ext://sys.stdout info_file_handler: class: logging.handlers.RotatingFileHandler level: INFO formatter: simple filename: info.log maxBytes: 10485760 backupCount: 20 encoding: utf8 error_file_handler: class: logging.handlers.RotatingFileHandler level: ERROR formatter: simple filename: errors.log maxBytes: 10485760 backupCount: 20 encoding: utf8loggers: my_module: level: ERROR handlers: [info_file_handler] propagate: noroot: level: INFO handlers: [console,info_file_handler,error_file_handler]

通過YAML加載配置文件，然后通過logging.dictConfig配置logging

import yamlimport logging.configimport os def setup_logging(default_path = 'logging.yaml',default_level = logging.INFO,env_key = 'LOG_CFG'): path = default_path value = os.getenv(env_key,None) if value: path = value if os.path.exists(path): with open(path,'r') as f: config = yaml.load(f) logging.config.dictConfig(config) else: logging.basicConfig(level = default_level) def func(): logging.info('start func') logging.info('exec func') logging.info('end func') if __name__ == '__main__': setup_logging(default_path = 'logging.yaml') func()

4 Reference

http://wjdadi-gmail-com.iteye.com/blog/1984354

關于 logging 的一些瑣事

python logging 重復寫日志問題

到此這篇關于Python中logger日志模塊詳解的文章就介紹到這了,更多相關Python中logger日志模塊內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！