亚洲精品久久久中文字幕-亚洲精品久久片久久-亚洲精品久久青草-亚洲精品久久婷婷爱久久婷婷-亚洲精品久久午夜香蕉

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

瀏覽:4日期:2022-07-01 11:29:03

其實(shí)和爬取普通數(shù)據(jù)本質(zhì)一樣,不過我們直接爬取數(shù)據(jù)會(huì)直接返回,爬取圖片需要處理成二進(jìn)制數(shù)據(jù)保存成圖片格式(.jpg,.png等)的數(shù)據(jù)文本。

現(xiàn)在貼一個(gè)url=https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg請(qǐng)復(fù)制上面的url直接在某個(gè)瀏覽器打開,你會(huì)看到如下內(nèi)容:

Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

這就是通過網(wǎng)頁(yè)訪問到的該網(wǎng)站的該圖片,于是我們可以直接利用requests模塊,進(jìn)行這個(gè)圖片的請(qǐng)求,于是這個(gè)網(wǎng)站便會(huì)返回給我們?cè)搱D片的數(shù)據(jù),我們?cè)侔褦?shù)據(jù)寫入本地文件就行,比較簡(jiǎn)單。

import requestsheaders={ ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400’}url=’https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg’re=requests.get(url,headers=headers)print(re.status_code)#查看請(qǐng)求狀態(tài),返回200說明正常path=’test.jpg’#文件儲(chǔ)存地址with open(path, ’wb’) as f:#把圖片數(shù)據(jù)寫入本地,wb表示二進(jìn)制儲(chǔ)存 for chunk in re.iter_content(chunk_size=128):f.write(chunk)

然后得到test.jpg圖片,如下

Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

點(diǎn)擊打開查看如下:

Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

便是下載成功辣,很簡(jiǎn)單吧。

現(xiàn)在分析下批量下載,我們將上面的代碼打包成一個(gè)函數(shù),于是針對(duì)每張圖片,單獨(dú)一個(gè)名字,單獨(dú)一個(gè)圖片文件請(qǐng)求,于是有如下代碼:

import requestsdef get_pictures(url,path): headers={ ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400’} re=requests.get(url,headers=headers) print(re.status_code)#查看請(qǐng)求狀態(tài),返回200說明正常 with open(path, ’wb’) as f:#把圖片數(shù)據(jù)寫入本地,wb表示二進(jìn)制儲(chǔ)存for chunk in re.iter_content(chunk_size=128): f.write(chunk)url=’https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg’path=’test.jpg’#文件儲(chǔ)存地址get_pictures(url,path)

現(xiàn)在要實(shí)現(xiàn)批量下載圖片,也就是批量獲得圖片的url,那么我們就得分析網(wǎng)頁(yè)的代碼結(jié)構(gòu),打開原始網(wǎng)站https://www.ivsky.com/tupian/bianxingjingang_v622/,會(huì)看到如下的圖片:

Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

于是我們需要分別得到該頁(yè)面中顯示的所有圖片的url,于是我們?cè)俅斡胷equests模塊返回當(dāng)前該頁(yè)面的內(nèi)容,如下:

import requestsheaders={ ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400’}url=’https://www.ivsky.com/tupian/bianxingjingang_v622/’re=requests.get(url,headers=headers)print(re.text)

運(yùn)行會(huì)返回當(dāng)前該頁(yè)面的網(wǎng)頁(yè)結(jié)構(gòu)內(nèi)容,于是我們找到和圖片相關(guān)的也就是.jpg或者.png等圖片格式的字條,如下:

Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

上面圈出來的**//img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-017.jpg**便是我們的圖片url,不過還需要前面加上https:,于是完成的url就是https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-017.jpg。

我們知道了這個(gè)結(jié)構(gòu),現(xiàn)在就是把這個(gè)提取出來,寫個(gè)簡(jiǎn)單的解析式:

import requestsheaders={ ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400’}url=’https://www.ivsky.com/tupian/bianxingjingang_v622/’re=requests.get(url,headers=headers)def get_pictures_urls(text): st=’img src='http://www.aoyou183.cn/bcjs/’ m=len(st) i=0 n=len(text) urls=[]#儲(chǔ)存url while i<n: if text[i:i+m]==st: url=’’ for j in range(i+m,n):if text[j]==’'’: i=j urls.append(url) breakurl+=text[j] i+=1 return urlsurls=get_pictures_urls(re.text)for url in urls: print(url)

打印結(jié)果如下:Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

得到了url,現(xiàn)在就直接放入一開始的get_pictures函數(shù)中,爬取圖片辣。

import requestsdef get_pictures(url,path): headers={ ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400’} re=requests.get(url,headers=headers) print(re.status_code)#查看請(qǐng)求狀態(tài),返回200說明正常 with open(path, ’wb’) as f:#把圖片數(shù)據(jù)寫入本地,wb表示二進(jìn)制儲(chǔ)存for chunk in re.iter_content(chunk_size=128): f.write(chunk)def get_pictures_urls(text): st=’img src='http://www.aoyou183.cn/bcjs/’ m=len(st) i=0 n=len(text) urls=[]#儲(chǔ)存url while i<n: if text[i:i+m]==st: url=’’ for j in range(i+m,n):if text[j]==’'’: i=j urls.append(url) breakurl+=text[j] i+=1 return urlsheaders={ ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400’}url=’https://www.ivsky.com/tupian/bianxingjingang_v622/’re=requests.get(url,headers=headers)urls=get_pictures_urls(re.text)#獲取當(dāng)前頁(yè)面所有圖片的urlfor i in range(len(urls)):#批量爬取圖片 url=’https:’+urls[i] path=’變形金剛’+str(i)+’.jpg’ get_pictures(url,path)

結(jié)果如下:

Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的實(shí)現(xiàn)代碼

然后就完成辣,這里只是簡(jiǎn)單介紹下批量爬取圖片的過程,具體的網(wǎng)站需要具體分析,所以本文盡可能詳細(xì)的展示了批量爬取圖片的過程分析,希望對(duì)你的學(xué)習(xí)有所幫助,如有問題請(qǐng)及時(shí)指出,謝謝~

到此這篇關(guān)于Python 爬蟲批量爬取網(wǎng)頁(yè)圖片保存到本地的文章就介紹到這了,更多相關(guān)Python 爬蟲爬取圖片保存到本地內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 麻豆麻豆必出精品入口 | 99re8在这里只有精品23 | 一级黄色在线 | 真不卡网站 | 深夜小视频在线观看 | 奇米四区 | 站长推荐国产午夜免费视频 | 国产精品一 | 国产一区在线视频观看 | 你懂的在线免费 | 国内精品福利爱丝视频_速发 | 国产免费播放一区二区三区 | 欧美高清免费一级在线 | 国产精品大白天新婚身材 | 青青青国产依人在在线观看高 | 精品视频在线观看一区二区三区 | 成人最新午夜免费视频 | 97色伦图片97综合影院久久 | 国产毛片久久久久久国产毛片 | 国产精品久久久久久 | 免费人成黄页在线观看69 | 国产毛片在线视频 | 亚洲国产成人综合精品2020 | 成年偏黄网站站免费 | 丁香5月婷婷 | 国产精品国产精品国产专区不卡 | 污网址| 黑人一级大毛片 | 国产精品吹潮香蕉在线观看 | 青青青视频免费一区二区 | 1024国产在线观看 | 91激情视频 | 深夜一级毛片 | 亚洲人人在线 | 一区二区三区四区视频在线观看 | 欧美日韩一卡 | 久久99精品国产99久久6男男 | 亚瑟福利视频在线观看 | 欧美三级伦理 | 久久99国产一区二区三区 | 九九在线免费视频 |