Python基于read(size)方法讀取超大文件
pyhon讀取文件很方便,但是,如果文件很大,而且還是一行文件,那就蛋疼了. 不過還好有read(size)方法,這個方法就是每次讀取size大小的數據到內存中
下面來個示例
def readlines(f, separator): ’’’ 讀取大文件方法 :param f: 文件句柄 :param separator: 每一行的分隔符 :return: ’’’ buf = ’’ while True: while separator in buf: position = buf.index(separator) # 分隔符的位置 yield buf[:position] # 切片, 從開始位置到分隔符位置 buf = buf[position + len(separator):] # 再切片,將yield的數據切掉,保留剩下的數據 chunk = f.read(4096) # 一次讀取4096的數據到buf中 if not chunk: # 如果沒有讀到數據 yield buf # 返回buf中的數據 break # 結束 buf += chunk # 如果read有數據 ,將read到的數據加入到buf中with open(’text.txt’,encoding=’utf-8’) as f: for line in readlines(f,’|||’): # 為什么readlines函數能夠使用for循環遍歷呢, 因為這個函數里面有yield關鍵字呀, 有它就是一個生成器函數 ...... print(line)
測試文件text.txt
fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb欽鐵桿jdlfdl|||tedsthfdskfdk
打印結果
fgshfsljflsjflsfyhdiyfdfhnfudofdb欽鐵桿jdlfdltedsthfdskfdk
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。
相關文章: