亚洲精品久久久中文字幕-亚洲精品久久片久久-亚洲精品久久青草-亚洲精品久久婷婷爱久久婷婷-亚洲精品久久午夜香蕉

您的位置:首頁技術文章
文章詳情頁

Python使用Chrome插件實現爬蟲過程圖解

瀏覽:3日期:2022-07-21 18:36:06

做電商時,消費者對商品的評論是很重要的,但是不會寫代碼怎么辦?這里有個Chrome插件可以做到簡單的數據爬取,一句代碼都不用寫。下面給大家展示部分抓取后的數據:

Python使用Chrome插件實現爬蟲過程圖解

可以看到,抓取的地址,評論人,評論內容,時間,產品顏色都已經抓取下來了。那么,爬取這些數據需要哪些工具呢?就兩個:

1. Chrome瀏覽器;

2. 插件:Web Scraper

插件下載地址:https://chromecj.com/productivity/2018-05/942.html

最后,如果你想自己動手抓取一下,這里是這次抓取的詳細過程:

1. 首先,復制如下的代碼,對,你不需要寫代碼,但是為了便于上手,復制代碼還是需要的,后續可以自己定制和選擇,不需要寫代碼。

{ '_id': 'jdreview', 'startUrl': [ 'https://item.jd.com/100000680365.html#comment' ], 'selectors': [ { 'id': 'user', 'type': 'SelectorText', 'selector': 'div.user-info', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': 0 }, { 'id': 'comments', 'type': 'SelectorText', 'selector': 'div.comment-column > p.comment-con', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': 0 }, { 'id': 'time', 'type': 'SelectorText', 'selector': 'div.comment-message:nth-of-type(5) span:nth-of-type(4), div.order-info span:nth-of-type(4)', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': '0' }, { 'id': 'color', 'type': 'SelectorText', 'selector': 'div.order-info span:nth-of-type(1)', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': 0 }, { 'id': 'main', 'type': 'SelectorElementClick', 'selector': 'div.comment-item', 'parentSelectors': ['_root' ], 'multiple': true, 'delay': '10000', 'clickElementSelector': 'div.com-table-footer a.ui-pager-next', 'clickType': 'clickMore', 'discardInitialElements': false, 'clickElementUniquenessType': 'uniqueHTMLText' } ]}

2. 然后打開chrome瀏覽器,在任意頁面同時按下Ctrl+Shift+i,在彈出的窗口中找到Web Scraper,如下:

Python使用Chrome插件實現爬蟲過程圖解

3. 如下

Python使用Chrome插件實現爬蟲過程圖解

4. 如圖,粘貼上述的代碼:

Python使用Chrome插件實現爬蟲過程圖解

5. 如圖,如果需要定制網址,注意替代一下,網址后面的#comment是直達評論的鏈接,不能去掉:

Python使用Chrome插件實現爬蟲過程圖解

6. 如圖:

Python使用Chrome插件實現爬蟲過程圖解

7. 如圖:

Python使用Chrome插件實現爬蟲過程圖解

8. 如圖,點擊Scrape后,會自動運行打開需要抓取得頁面,不要關閉窗口,靜靜等待完成,完成后右下方會提示完成,一般1000條以內的評論不會有問題:

Python使用Chrome插件實現爬蟲過程圖解

9. 最后,點擊下載到電腦,數據保存好。

Python使用Chrome插件實現爬蟲過程圖解

使用這個工具的好處是:

1. 不需要編程;

2. 京東的評論基本可以通用此腳本,修改對應的url即可;

3. 如果需要爬取的評論不到1000條,這個工具會非常稱手,所有的數據完全自動下載;

使用的注意點:

1. 抓取過一次的數據會有記錄,立刻再次抓取將不會保存,建議關閉瀏覽器重新打開后再試;

2. 抓取數量:1000條以內沒有問題,可能是京東按照IP直接阻止了更多的爬取;

如果你的英語水平不錯,可以嘗試閱讀官方文檔,進一步學習和定制自己的爬蟲。

官方教程:https://www.webscraper.io/documentation

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 欧美一区二区三区黄色 | 真人一级毛片免费完整视 | 国产福利91精品一区二区三区 | 最近中文日本字幕免费完整 | 亚洲国产精品成人午夜在线观看 | 精品国产成人综合久久小说 | 亚洲在线免费 | 一级毛片免费毛片一级毛片免费 | 国产精品成人免费视频不卡 | 六月丁香深爱六月综合激情 | 国产伦码精品一区二区 | 碰碰人人 | 在线视频观看国产 | 精品国产中文一级毛片在线看 | 欧美偷拍小视频 | 国产精品jizz观看 | 91久久国产露脸精品 | 成人久久网 | 全部费免一级毛片不收费 | 丝袜制服中文字幕 | 成人欧美一区二区三区在线 | 偷亚洲偷国产欧美高清 | 欧美色图亚洲综合 | 欧美日本一道免费一区三区 | 日本69sex护士泡妞 | 国产亚洲精品自在线观看 | 大片免费看大片费看大片 | 久久久精品免费观看 | 一级视频黄色 | www成人 | 国产区一二三四区2021 | 中文字幕亚洲一区二区va在线 | 亚洲欧美一区二区三区在线播放 | 亚洲毛片基地4455ww | 在线视频黄 | 亚洲国产日韩在线成人蜜芽 | 亚洲一级二级 | 国产在线看不卡一区二区 | 亚洲国产精品久久婷婷 | 久久99精品九九九久久婷婷 | 欧洲美女高清一级毛片 |