亚洲精品久久久中文字幕-亚洲精品久久片久久-亚洲精品久久青草-亚洲精品久久婷婷爱久久婷婷-亚洲精品久久午夜香蕉

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

python爬蟲(chóng)基礎(chǔ)之urllib的使用

瀏覽:4日期:2022-06-30 16:41:55
一、urllib 和 urllib2的關(guān)系

在python2中,主要使用urllib和urllib2,而python3對(duì)urllib和urllib2進(jìn)行了重構(gòu),拆分成了urllib.request, urllib.parse, urllib.error,urllib.robotparser等幾個(gè)子模塊,這樣的架構(gòu)從邏輯和結(jié)構(gòu)上說(shuō)更加合理。urllib庫(kù)無(wú)需安裝,python3自帶。python 3.x中將urllib庫(kù)和urilib2庫(kù)合并成了urllib庫(kù)。

urllib2.urlopen() 變成了 urllib.request.urlopen() urllib2.Request() 變成了 urllib.request.Request() python2中的 cookielib 改為 http.cookiejar. import http.cookiejar 代替 import cookielib urljoin 現(xiàn)在對(duì)應(yīng)的函數(shù)是 urllib.parse.urljoin

二、python3下的urllib庫(kù) request,它是最基本的 HTTP 請(qǐng)求模塊,我們可以用它來(lái)模擬發(fā)送一請(qǐng)求,只需要給庫(kù)方法傳入 URL 還有額外的參數(shù),就可以模擬實(shí)現(xiàn)這個(gè)過(guò)程了。 error ,即異常處理模塊,如果出現(xiàn)請(qǐng)求錯(cuò)誤,我們可以捕獲這些異常,然后進(jìn)行重試或其他操作保證程序不會(huì)意外終止。 parse ,是一個(gè)工具模塊,提供了許多 URL 處理方法,比如拆分、解析、合并等等的方法。 robotparser,主要是用來(lái)識(shí)別網(wǎng)站的 robots.txt 文件,然后判斷哪些網(wǎng)站可以爬,哪些網(wǎng)站不可以爬的,其實(shí)用的比較少。三、request的基礎(chǔ)類(lèi)(一)request.urlopen

urlopen方法最主要的參數(shù)就是目標(biāo)網(wǎng)站的url地址,可以使str類(lèi)型,也可以是一個(gè)request對(duì)象。

get方法請(qǐng)求如下:

from urllib import request,parserespones = request.urlopen(http://www.baidu.com/)

post方法請(qǐng)求,需要添加data參數(shù)(字典格式),它要是字節(jié)流編碼格式的內(nèi)容,即 bytes 類(lèi)型,通過(guò) bytes() 方法可以進(jìn)行轉(zhuǎn)化,另外如果傳遞了這個(gè) data 參數(shù),不添加data參數(shù)就默認(rèn)為 GET 方式請(qǐng)求。

from urllib import request,parseurl = 'http://www.baidu.com/'wd = {’wd’:’哇哈哈哈’}data = bytes(parse.urlencode(wd),’utf-8’)respones = request.urlopen(url,data=data)(二)request.Request

由于單獨(dú)使用urlopen() 方法的不能添加User-Agent、Cookie等headers信息,需要構(gòu)建一個(gè) Request 類(lèi)型的對(duì)象,通過(guò)構(gòu)造這個(gè)這個(gè)數(shù)據(jù)結(jié)構(gòu),一方面我們可以將請(qǐng)求獨(dú)立成一個(gè)對(duì)象,另一方面可配置參數(shù)更加豐富和靈活。主要參數(shù)有:

url 參數(shù)是請(qǐng)求 URL,這個(gè)是必傳參數(shù),其他的都是可選參數(shù)。 data 參數(shù)如果要傳必須傳 bytes(字節(jié)流)類(lèi)型的,如果是一個(gè)字典,可以先用 urllib.parse 模塊里的 urlencode() 編碼。 headers 參數(shù)是一個(gè)字典,這個(gè)就是 Request Headers 了,你可以在構(gòu)造 Request 時(shí)通過(guò) headers 參數(shù)直接構(gòu)造,也可以通過(guò)調(diào)用 Request 實(shí)例的 add_header() 方法來(lái)添加, Request Headers 最常用的用法就是通過(guò)修改 User-Agent 來(lái)偽裝瀏覽器,默認(rèn)的 User-Agent 是 Python-urllib,我們可以通過(guò)修改它來(lái)偽裝瀏覽器。 origin_req_host 參數(shù)指的是請(qǐng)求方的 host 名稱(chēng)或者 IP 地址。 unverifiable 參數(shù)指的是這個(gè)請(qǐng)求是否是無(wú)法驗(yàn)證的,默認(rèn)是False。意思就是說(shuō)用戶(hù)沒(méi)有足夠權(quán)限來(lái)選擇接收這個(gè)請(qǐng)求的結(jié)果。例如我們請(qǐng)求一個(gè) HTML 文檔中的圖片,但是我們沒(méi)有自動(dòng)抓取圖像的權(quán)限,這時(shí) unverifiable 的值就是 True。 method 參數(shù)是一個(gè)字符串,它用來(lái)指示請(qǐng)求使用的方法,比如GET,POST,PUT等等。 通過(guò)隨機(jī)的方法,選擇user-agent:

import randomUA_LIST = [ ’Mozilla/5.0 (compatible; U; ABrowse 0.6; Syllable) AppleWebKit/420+ (KHTML, like Gecko)’, ’Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729)’, ’Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729)’, ’Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser; GTB5; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)’, ’Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; Acoo Browser; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; Avant Browser)’, ’Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)’, ’Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; GTB5; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; Maxthon; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)’, ’Mozilla/4.0 (compatible; Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729); Windows NT 5.1; Trident/4.0)’, ’Mozilla/4.0 (compatible; Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB6; Acoo Browser; .NET CLR 1.1.4322; .NET CLR 2.0.50727); Windows NT 5.1; Trident/4.0; Maxthon; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.2)’, ’Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser; GTB6; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)’]#隨機(jī)獲取一個(gè)user-agentuser_agent = random.choice(UA_LIST)添加headers頭部信息的方法1:

url=’http://www.baidu.com/’user_agent = random.choice(UA_LIST)headers = { ’User-Agent’: user_agent}req = request.Request(url=url,headers=headers)respones = request.urlopen(req)添加headers頭部信息的方法2:

url=’http://www.baidu.com’headers = { ’User-Agent’: user_agent}#添加user-agent的方法2req = request.Request(url)#請(qǐng)求添加user-agentreq.add_header('User-Agent',user_agent)#獲取請(qǐng)求的user-agent agent的a要小寫(xiě)print(req.get_header('User-agent'))response = request.urlopen(req)print(respones.read().decode(’utf-8’))三、request的高級(jí)類(lèi)

在urllib.request模塊里的BaseHandler類(lèi),他是所有其他Handler的父類(lèi),他是一個(gè)處理器,比如用它來(lái)處理登錄驗(yàn)證,處理cookies,代理設(shè)置,重定向等。它提供了直接使用和派生類(lèi)使用的方法:

add_parent(director):添加director作為父類(lèi) close():關(guān)閉它的父類(lèi) parent():打開(kāi)使用不同的協(xié)議或處理錯(cuò)誤 defautl_open(req):捕獲所有的URL及子類(lèi),在協(xié)議打開(kāi)之前調(diào)用 Handler的子類(lèi)包括:

HTTPDefaultErrorHandler:用來(lái)處理http響應(yīng)錯(cuò)誤,錯(cuò)誤會(huì)拋出HTTPError類(lèi)的異常HTTPRedirectHandler:用于處理重定向HTTPCookieProcessor:用于處理cookiesProxyHandler:用于設(shè)置代理,默認(rèn)代理為空HTTPPasswordMgr:永遠(yuǎn)管理密碼,它維護(hù)用戶(hù)名和密碼表HTTPBasicAuthHandler:用戶(hù)管理認(rèn)證,如果一個(gè)鏈接打開(kāi)時(shí)需要認(rèn)證,可以使用它來(lái)實(shí)現(xiàn)驗(yàn)證功能

(一)ProxyHandler

如果爬蟲(chóng)需要大量爬取網(wǎng)站數(shù)據(jù),為了避免被封號(hào),需要使用代理,通過(guò)request.build_opener()方法生成一個(gè)opener對(duì)象,添加代理的方法如下:

from urllib import request#代理開(kāi)關(guān),表示是否開(kāi)啟代理proxyswitch =True#構(gòu)建一個(gè)handler處理器對(duì)象,參數(shù)是一個(gè)字典類(lèi)型,包括代理類(lèi)型和代理服務(wù)器IP+PORTproxyhandler = request.ProxyHandler({'http':'191.96.42.80:3128'})#如果是帶用戶(hù)名和密碼的代理,格式為{'http':'username:[email protected]:3128'}#不加代理的handler處理器對(duì)象nullproxyhandler = request.ProxyHandler()if proxyswitch: opener = request.build_opener(proxyhandler)else: opener = request.build_opener(nullproxyhandler)req = request.Request('http://www.baidu.com/')response = opener.open(req)print(response.read().decode('utf-8'))(二)ProxyBasicAuthHandler

通過(guò)密碼管理器的方法實(shí)現(xiàn)代理服務(wù)器功能

from urllib import request#代理密碼管理,也可以管理服務(wù)器賬戶(hù)密碼#賬戶(hù)密碼user = 'username'passwd = 'passwd'#代理服務(wù)器proxyserver = '1.1.1.1:9999'#構(gòu)建密碼管理對(duì)象,保存需要處理的用戶(hù)名和密碼passmgr = request.HTTPPasswordMgrWithDefaultRealm()#添加賬戶(hù)信息,第一個(gè)參數(shù)realm是與遠(yuǎn)程服務(wù)器相關(guān)的域信息passmgr.add_password(None,proxyserver,user,passwd)#構(gòu)建基礎(chǔ)ProxyBasicAuthHandler處理器對(duì)象proxyauth_handler = request.ProxyBasicAuthHandler(passmgr)opener = request.build_opener(proxyauth_handler)req = request.Request('http://www.baidu.com/')response = opener.open(req)(三)ProxyBasicAuthHandler

通過(guò)密碼管理器的方法實(shí)現(xiàn)web認(rèn)證登陸功能

#web驗(yàn)證from urllib import requesttest = 'test'passwd = '123456'webserver = '1.1.1.1'#構(gòu)建密碼管理器handlerpasswdmgr = request.HTTPPasswordMgrWithDefaultRealm()#添加密碼信息passwdmgr.add_password(None,webserver,test,passwd)#HTTP基礎(chǔ)驗(yàn)證處理器類(lèi)http_authhandler = request.HTTPBasicAuthHandler(passwdmgr)opener = request.build_opener(http_authhandler)req = request.Request('http://'+webserver)response = opener.open(req)四、Cookie處理

通過(guò)http.cookiejar中的HTTPCookieProcessor構(gòu)建cookie處理器對(duì)象,處理cookie信息

import http.cookiejarfrom urllib import request,parse#模擬登陸先post賬戶(hù)密碼#然后保存生成的cookie#通過(guò)CookieJar類(lèi)構(gòu)件一個(gè)coociejar對(duì)象,從來(lái)保存cookie值cookie = http.cookiejar.CookieJar()#構(gòu)件cookie處理器對(duì)象,用來(lái)處理cookiecookie_handler = request.HTTPCookieProcessor(cookie)#構(gòu)件一個(gè)自定義的openeropener = request.build_opener(cookie_handler)#通過(guò)自定義的opener的addheaders參數(shù),可以添加HTTP報(bào)頭參數(shù)opener.addheaders = [('User-Agent','Mozilla/5.0 (compatible; U; ABrowse 0.6; Syllable) AppleWebKit/420+ (KHTML, like Gecko)'),]#需要登陸的接口url = ’http://www.renren.com/PLogin.do’#需要登陸的賬戶(hù)密碼data = { 'email':'renren賬號(hào)', 'password':'密碼'}#數(shù)據(jù)處理data = bytes(parse.urlencode(data),’utf-8’)#第一次是POST請(qǐng)求,通過(guò)登陸賬戶(hù)密碼,得到cookiereq = request.Request(url,data=data)#發(fā)送第一次POST請(qǐng)求,生成登陸后的cookieresponse = opener.open(req)print(response.read().decode('utf-8'))#此時(shí)的opener已經(jīng)包含了該鏈接下的cookie,此時(shí)使用該opener就可以直接訪(fǎng)問(wèn)該站點(diǎn)下其他的網(wǎng)頁(yè)而不需要再登陸了opener.open(http://www.renren.com/PLogin.doxxxxxxxxxxxxx)

以上就是python爬蟲(chóng)基礎(chǔ)之urllib的使用的詳細(xì)內(nèi)容,更多關(guān)于python 爬蟲(chóng)urllib的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 麻豆中文字幕 | 小明永久视频免费播放 | 国产精品秒播无毒不卡 | 五月久久噜噜噜色影 | 国产第一页精品 | 日本亚洲欧美 | 亚洲国产精品久久 | 精品免费久久久久久久 | 国产丰满美女做爰 | 亚洲三级在线看 | 日本高清中文字幕视频在线 | 精品哟哟哟国产在线观看不卡 | 亚洲欧美另类日本久久影院 | 香蕉综合视频 | 麻豆精品国产自产在线 | 在线视频亚洲欧美 | 久久久国产精品福利免费 | 99久热在线精品视频播 | 成人做爰全过程免费的叫床看视频 | 毛片三级在线观看 | 国产成人精品久久亚洲高清不卡 | 一级黄色片大全 | 亚洲国产精品久久精品成人 | 日韩性生活大片 | 亚洲爱色 | 91在线免费公开视频 | 亚洲精品一二三四区 | 国产一区二区精品久久凹凸 | 欧美vs日韩vs国产在线观看 | 亚洲一区高清 | 91短视频网站 | 高清国产美女在线观看 | 成人国产片 | 成人香蕉xxxxxxx | 在线观看国产区 | 欧美做爰xxxⅹ在线视频hd | 日韩中文字幕精品 | 色狠狠一区二区三区香蕉蜜桃 | 久久久精品一区二区三区 | 国精品日韩欧美一区二区三区 | 国产v欧美v日本v精品 |