本次爬蟲用到的網(wǎng)址是：

http://www.netbian.com/index.htm: 彼岸桌面.里面有很多的好看壁紙，而且都是可以下載高清無損的，還比較不錯，所以我就拿這個網(wǎng)站練練手。

作為一個初學(xué)者，剛開始的時候，無論的代碼的質(zhì)量如何，總之代碼只要能夠被正確完整的運(yùn)行那就很能夠讓自己開心的，如同我們的游戲一樣，能在短時間內(nèi)得到正向的反饋，我們就會更有興趣去玩。

學(xué)習(xí)也是如此，只要我們能夠在短期內(nèi)得到學(xué)習(xí)帶來的反饋，那么我們的對于學(xué)習(xí)的欲望也是強(qiáng)烈的。

作為一個菜雞，能夠完整的完整此次爬蟲程序的編寫，那便是一個最大的收貨，但其實(shí)我在此次過程中的收獲遠(yuǎn)不止此。

好的代碼其實(shí)應(yīng)該具有以下特性

能夠滿足最關(guān)鍵的需求 容易理解 有充分的注釋 使用規(guī)范的命名 沒有明顯的安全問題 經(jīng)過充分的測試

就以充分的測試為例，經(jīng)常寫代碼的就應(yīng)該知道，盡管多數(shù)時候你的代碼沒有BUG,但那僅僅說明只是大多數(shù)情況下是穩(wěn)定的，但是在某些條件下就會出錯（達(dá)到出錯條件，存在邏輯問題的時候等）。這是肯定的。至于什么原因，不同的代碼有不同的原因。如果代碼程序都是一次就能完善的，那么我們使用的軟件的軟件就不會經(jīng)常更新了。其他其中的道理就不一 一道說了，久而自知

好的代碼一般具有的5大特性

1.便于維護(hù)2.可復(fù)用3.可擴(kuò)展4.強(qiáng)靈活性5.健壯性

經(jīng)過我的代碼運(yùn)行我發(fā)現(xiàn)時間復(fù)雜度比較大，因此這是我將要改進(jìn)的地方，但也不止于此。也有很多利用得不合理的地方，至于存在的不足的地方就待我慢慢提升改進(jìn)吧！

路過的大佬歡迎留下您寶貴的代碼修改意見，

完整代碼如下

import osimport bs4import reimport timeimport requestsfrom bs4 import BeautifulSoupdef getHTMLText(url, headers): '''向目標(biāo)服務(wù)器發(fā)起請求并返回響應(yīng)''' try: r = requests.get(url=url, headers=headers) r.encoding = r.apparent_encoding soup = BeautifulSoup(r.text, 'html.parser') return soup except: return ''def CreateFolder(): '''創(chuàng)建存儲數(shù)據(jù)文件夾''' flag = True while flag == 1: file = input('請輸入保存數(shù)據(jù)文件夾的名稱：') if not os.path.exists(file): os.mkdir(file) flag = False else: print(’該文件已存在，請重新輸入’) flag = True # os.path.abspath(file) 獲取文件夾的絕對路徑 path = os.path.abspath(file) + '' return pathdef fillUnivList(ulist, soup): '''獲取每一張圖片的原圖頁面''' # [0]使得獲得的ul是 <class ’bs4.BeautifulSoup’> 類型 div = soup.find_all(’div’, ’list’)[0] for a in div(’a’): if isinstance(a, bs4.element.Tag): hr = a.attrs[’href’] href = re.findall(r’/desk/[1-9]d{4}.htm’, hr) if bool(href) == True:ulist.append(href[0]) return ulistdef DownloadPicture(left_url,list,path): for right in list: url = left_url + right r = requests.get(url=url, timeout=10) r.encoding = r.apparent_encoding soup = BeautifulSoup(r.text,'html.parser') tag = soup.find_all('p') # 獲取img標(biāo)簽的alt屬性，給保存圖片命名 name = tag[0].a.img.attrs[’alt’] img_name = name + '.jpg' # 獲取圖片的信息 img_src = tag[0].a.img.attrs[’src’] try: img_data = requests.get(url=img_src) except: continue img_path = path + img_name with open(img_path,’wb’) as fp: fp.write(img_data.content) print(img_name, ' ******下載完成！')def PageNumurl(urls): num = int(input('請輸入爬取所到的頁碼數(shù)：')) for i in range(2,num+1): u = 'http://www.netbian.com/index_' + str(i) + '.htm' urls.append(u) return urlsif __name__ == '__main__': uinfo = [] left_url = 'http://www.netbian.com' urls = ['http://www.netbian.com/index.htm'] headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36' } start = time.time() # 1.創(chuàng)建保存數(shù)據(jù)的文件夾 path = CreateFolder() # 2. 確定要爬取的頁面數(shù)并返回每一頁的鏈接 PageNumurl(urls) n = int(input('訪問的起始頁面：')) for i in urls[n-1:]: # 3.獲取每一個頁面的首頁數(shù)據(jù)文本 soup = getHTMLText(i, headers) # 4.訪問原圖所在頁鏈接并返回圖片的鏈接 page_list = fillUnivList(uinfo, soup) # 5.下載原圖 DownloadPicture(left_url, page_list, path) print('全部下載完成！', '共' + str(len(os.listdir(path))) + '張圖片') end = time.time() print('共耗時' + str(end-start) + '秒')運(yùn)行

部分展示結(jié)果如下：

以上就是python 爬取壁紙網(wǎng)站的示例的詳細(xì)內(nèi)容，更多關(guān)于python 爬取壁紙網(wǎng)站的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！