引言

之前有些無聊（呆在家里實(shí)在玩的膩了），然后就去B站看了一些python爬蟲視頻，沒有進(jìn)行基礎(chǔ)的理論學(xué)習(xí)，也就是直接開始實(shí)戰(zhàn)，感覺跟背公式一樣的進(jìn)行爬蟲，也算行吧，至少還能爬一些東西，hhh。我今天來分享一個(gè)我的爬蟲代碼。

正文

話不多說，直接上完整代碼

ps：這個(gè)代碼有些問題 每次我爬到fate的圖片它就給我報(bào)錯(cuò)，我只好用個(gè)try來跳過了，如果有哪位大佬能幫我找出錯(cuò)誤并給與糾正，我將不勝感激

import requests as rimport reimport osimport timefile_name = '動漫截圖'if not os.path.exists(file_name): os.mkdir(file_name) for p in range(1,34): print('--------------------正在爬取第{}頁內(nèi)容------------------'.format(p)) url = ’https://www.acgimage.com/shot/recommend?page={}’.format(p) headers = {'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36'} resp = r.get(url, headers=headers) html = resp.text images = re.findall(’data-original='(.*?)' ’, html) names =re.findall(’title='(.*?)'’, html) #print(images) #print(names) dic = dict(zip(images, names)) for image in images: time.sleep(1) print(image, dic[image]) name = dic[image] #name = image.split(’/’)[-1] i = r.get(image, headers=headers).content try: with open(file_name + ’/’ + name + ’.jpg’ , ’wb’) as f: f.write(i) except FileNotFoundError: continue

先導(dǎo)入要使用的庫

import requests as rimport reimport osimport time

然后去分析要去爬的網(wǎng)址： https://www.acgimage.com/shot/recommend

下圖是網(wǎng)址的內(nèi)容：

好了 url已經(jīng)確定

下面去尋找headers

找到user-agent 將其內(nèi)容復(fù)制到headers中

第一步就完成了

下面是代碼展示

url = ’https://www.acgimage.com/shot/recommend?page={}’.format(p)headers = {'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36' }

然后檢索要爬的圖片內(nèi)容

從上圖就可以找到圖片的位置：data-origina=后面的內(nèi)容以及圖片的名字：title=后面的內(nèi)容

然后用正則表達(dá)式re來檢索就行了

images = re.findall(’data-original='(.*?)' ’, html)names =re.findall(’title='(.*?)'’, html)

最后將其保存就好了

i = r.get(image, headers=headers).contentwith open(file_name + ’/’ + name + ’.jpg’ , ’wb’) as f: f.write(i)

還有就是一些細(xì)節(jié)了

比如換頁

第一頁網(wǎng)址：

https://www.acgimage.com/shot/recommend

第二頁網(wǎng)址：https://www.acgimage.com/shot/recommend?page=2

然后將page后面的數(shù)字改動就可以跳到相應(yīng)的頁面

換頁的問題也就解決了

or p in range(1,34): url = ’https://www.acgimage.com/shot/recommend?page={}’.format(p)

以及將爬到的圖片放到自己建立的文件zh

使用了os庫

file_name = '動漫截圖' if not os.path.exists(file_name): os.mkdir(file_name)

以及為了不影響爬取的網(wǎng)站 使用了sleep函數(shù)

雖然爬取的速度慢了一些

但是這是應(yīng)遵守的道德

time.sleep(1)

以上 這就是我的爬蟲過程

還是希望大佬能解決我的錯(cuò)誤之處

萬分感謝

總結(jié)

到此這篇關(guān)于python爬蟲實(shí)例之獲取動漫截圖的文章就介紹到這了,更多相關(guān)python爬蟲獲取動漫截圖內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！