接下來，我們將實(shí)現(xiàn)微信朋友圈的爬取。如果直接用 Charles 或 mitmproxy 來監(jiān)聽微信朋友圈的接口數(shù)據(jù)，這是無法實(shí)現(xiàn)爬取的，因?yàn)閿?shù)據(jù)都是被加密的。而 Appium 不同，Appium 作為一個(gè)自動(dòng)化測試工具可以直接模擬 App 的操作并可以獲取當(dāng)前所見的內(nèi)容。所以只要 App 顯示了內(nèi)容，我們就可以用 Appium 抓取下來。

1. 本節(jié)目標(biāo)

本節(jié)我們以 Android 平臺(tái)為例，實(shí)現(xiàn)抓取微信朋友圈的動(dòng)態(tài)信息。動(dòng)態(tài)信息包括好友昵稱、正文、發(fā)布日期。其中發(fā)布日期還需要進(jìn)行轉(zhuǎn)換，如日期顯示為 1 小時(shí)前，則時(shí)間轉(zhuǎn)換為今天，最后動(dòng)態(tài)信息保存到 MongoDB。

2. 準(zhǔn)備工作

請確保 PC 已經(jīng)安裝好 Appium、Android 開發(fā)環(huán)境和 Python 版本的 Appium API。Android 手機(jī)安裝好微信 App、PyMongo 庫，安裝 MongoDB 并運(yùn)行其服務(wù)，安裝方法可以參考第 1 章。

3. 初始化

首先新建一個(gè) Moments 類，進(jìn)行一些初始化配置，如下所示：

PLATFORM = ’Android’DEVICE_NAME = ’MI_NOTE_Pro’APP_PACKAGE = ’com.tencent.mm’APP_ACTIVITY = ’.ui.LauncherUI’DRIVER_SERVER = ’http://localhost:4723/wd/hub’TIMEOUT = 300MONGO_URL = ’localhost’MONGO_DB = ’moments’MONGO_COLLECTION = ’moments’ class Moments(): def __init__(self): '''初始化''' # 驅(qū)動(dòng)配置 self.desired_caps = { ’platformName’: PLATFORM, ’deviceName’: DEVICE_NAME, ’appPackage’: APP_PACKAGE, ’appActivity’: APP_ACTIVITY } self.driver = webdriver.Remote(DRIVER_SERVER, self.desired_caps) self.wait = WebDriverWait(self.driver, TIMEOUT) self.client = MongoClient(MONGO_URL) self.db = self.client[MONGO_DB] self.collection = self.db[MONGO_COLLECTION]

這里實(shí)現(xiàn)了一些初始化配置，如驅(qū)動(dòng)的配置、延時(shí)等待配置、MongoDB 連接配置等。

4. 模擬登錄

接下來要做的就是登錄微信。點(diǎn)擊登錄按鈕，輸入用戶名、密碼，提交登錄即可。實(shí)現(xiàn)樣例如下所示：

def login(self): # 登錄按鈕 login = self.wait.until(EC.presence_of_element_located((By.ID, ’com.tencent.mm:id/cjk’))) login.click() # 手機(jī)輸入 phone = self.wait.until(EC.presence_of_element_located((By.ID, ’com.tencent.mm:id/h2’))) phone.set_text(USERNAME) # 下一步 next = self.wait.until(EC.element_to_be_clickable((By.ID, ’com.tencent.mm:id/adj’))) next.click() # 密碼 password = self.wait.until(EC.presence_of_element_located((By.XPATH, ’//*[@resource-id='com.tencent.mm:id/h2'][1]’))) password.set_text(PASSWORD) # 提交 submit = self.wait.until(EC.element_to_be_clickable((By.ID, ’com.tencent.mm:id/adj’))) submit.click()

這里依次實(shí)現(xiàn)了一些點(diǎn)擊和輸入操作，思路比較簡單。對于不同的平臺(tái)和版本來說，流程可能不太一致，這里僅作參考。

登錄完成之后，進(jìn)入朋友圈的頁面。選中朋友圈所在的選項(xiàng)卡，點(diǎn)擊朋友圈按鈕，即可進(jìn)入朋友圈，代碼實(shí)現(xiàn)如下所示：

def enter(self): # 選項(xiàng)卡 tab = self.wait.until(EC.presence_of_element_located((By.XPATH, ’//*[@resource-id='com.tencent.mm:id/bw3'][3]’))) tab.click() # 朋友圈 moments = self.wait.until(EC.presence_of_element_located((By.ID, ’com.tencent.mm:id/atz’))) moments.click()

抓取工作正式開始。

5. 抓取動(dòng)態(tài)

我們知道朋友圈可以一直拖動(dòng)、不斷刷新，所以這里需要模擬一個(gè)無限拖動(dòng)的操作，如下所示：

# 滑動(dòng)點(diǎn)FLICK_START_X = 300FLICK_START_Y = 300FLICK_DISTANCE = 700 def crawl(self): while True: # 上滑 self.driver.swipe(FLICK_START_X, FLICK_START_Y + FLICK_DISTANCE, FLICK_START_X, FLICK_START_Y)

我們利用 swipe() 方法，傳入起始和終止點(diǎn)實(shí)現(xiàn)拖動(dòng)，加入無限循環(huán)實(shí)現(xiàn)無限拖動(dòng)。

獲取當(dāng)前顯示的朋友圈的每條狀態(tài)對應(yīng)的區(qū)塊元素，遍歷每個(gè)區(qū)塊元素，再獲取內(nèi)部顯示的用戶名、正文和發(fā)布時(shí)間，代碼實(shí)現(xiàn)如下所示：

# 當(dāng)前頁面顯示的所有狀態(tài)items = self.wait.until( EC.presence_of_all_elements_located((By.XPATH, ’//*[@resource-id='com.tencent.mm:id/cve']//android.widget.FrameLayout’)))# 遍歷每條狀態(tài)for item in items: try: # 昵稱 nickname = item.find_element_by_id(’com.tencent.mm:id/aig’).get_attribute(’text’) # 正文 content = item.find_element_by_id(’com.tencent.mm:id/cwm’).get_attribute(’text’) # 日期 date = item.find_element_by_id(’com.tencent.mm:id/crh’).get_attribute(’text’) # 處理日期 date = self.processor.date(date) print(nickname, content, date) data = { ’nickname’: nickname, ’content’: content, ’date’: date, } except NoSuchElementException: pass

這里遍歷每條狀態(tài)，再調(diào)用 find_element_by_id() 方法獲取昵稱、正文、發(fā)布日期對應(yīng)的元素，然后通過 get_attribute() 方法獲取內(nèi)容。這樣我們就成功獲取到朋友圈的每條動(dòng)態(tài)信息。

針對日期的處理，我們調(diào)用了一個(gè) Processor 類的 date() 處理方法，該方法實(shí)現(xiàn)如下所示：

def date(self, datetime): ''' 處理時(shí)間 :param datetime: 原始時(shí)間 :return: 處理后時(shí)間 ''' if re.match(’d + 分鐘前 ’, datetime): minute = re.match(’(d+)’, datetime).group(1) datetime = time.strftime(’% Y-% m-% d’, time.localtime(time.time() - float(minute) * 60)) if re.match(’d + 小時(shí)前 ’, datetime): hour = re.match(’(d+)’, datetime).group(1) datetime = time.strftime(’% Y-% m-% d’, time.localtime(time.time() - float(hour) * 60 * 60)) if re.match(’ 昨天 ’, datetime): datetime = time.strftime(’% Y-% m-% d’, time.localtime(time.time() - 24 * 60 * 60)) if re.match(’d + 天前 ’, datetime): day = re.match(’(d+)’, datetime).group(1) datetime = time.strftime(’% Y-% m-% d’, time.localtime(time.time()) - float(day) * 24 * 60 * 60) return datetime

這個(gè)方法使用了正則匹配的方法來提取時(shí)間中的具體數(shù)值，再利用時(shí)間轉(zhuǎn)換函數(shù)實(shí)現(xiàn)時(shí)間的轉(zhuǎn)換。例如時(shí)間是 5 分鐘前，這個(gè)方法先將 5 提取出來，用當(dāng)前時(shí)間戳減去 300 即可得到發(fā)布時(shí)間的時(shí)間戳，然后再轉(zhuǎn)化為標(biāo)準(zhǔn)時(shí)間即可。

最后調(diào)用 MongoDB 的 API 來實(shí)現(xiàn)爬取結(jié)果的存儲(chǔ)。為了去除重復(fù)，這里調(diào)用了 update() 方法，實(shí)現(xiàn)如下所示：

self.collection.update({’nickname’: nickname, ’content’: content}, {’$set’: data}, True)

首先根據(jù)昵稱和正文來查詢信息，如果信息不存在，則插入數(shù)據(jù)，否則更新數(shù)據(jù)。這個(gè)操作的關(guān)鍵點(diǎn)是第三個(gè)參數(shù) True，此參數(shù)設(shè)置為 True，這可以實(shí)現(xiàn)存在即更新、不存在則插入的操作。

最后實(shí)現(xiàn)一個(gè)入口方法調(diào)用以上的幾個(gè)方法。調(diào)用此方法即可開始爬取，代碼實(shí)現(xiàn)如下所示：

def main(self): # 登錄 self.login() # 進(jìn)入朋友圈 self.enter() # 爬取 self.crawl()

這樣我們就完成了整個(gè)朋友圈的爬蟲。代碼運(yùn)行之后，手機(jī)微信便會(huì)啟動(dòng)，并且可以成功進(jìn)入到朋友圈然后一直不斷執(zhí)行拖動(dòng)過程。控制臺(tái)輸出相應(yīng)的爬取結(jié)果，結(jié)果被成功保存到 MongoDB 數(shù)據(jù)庫中。

6. 結(jié)果查看

我們到 MongoDB 中查看爬取結(jié)果，如圖所示。

可以看到朋友圈的數(shù)據(jù)就成功保存到了數(shù)據(jù)庫。

7. 本節(jié)代碼

8. 結(jié)語

以上內(nèi)容是利用 Appium 爬取微信朋友圈的過程。利用 Appium，我們可以做到 App 的可見即可爬，也可以實(shí)現(xiàn)自動(dòng)化驅(qū)動(dòng)和數(shù)據(jù)爬取。但是實(shí)際運(yùn)行之后，Appium 的解析比較煩瑣，而且容易發(fā)生重復(fù)和中斷。如果我們可以用前文所說的 mitmdump 來監(jiān)聽 App 數(shù)據(jù)實(shí)時(shí)處理，而 Appium 只負(fù)責(zé)自動(dòng)化驅(qū)動(dòng)，它們各負(fù)其責(zé)，那么整個(gè)爬取效率和解析效率就會(huì)高很多。

以上就是Python爬蟲爬取微信朋友圈的詳細(xì)內(nèi)容，更多關(guān)于Python爬取微信朋友圈的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！