您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
05 買粉絲買粉絲數據爬蟲(如何利用爬蟲爬買粉絲買粉絲的內容?)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-08 07:17:44【】6人已围观
简介search_url, headers=self.headers, timeout=self.timeout).買粉絲ntent def get_w
def get_wx_url_by_sougou_search_買粉絲(self, sougou_search_買粉絲):
' 根據返回sougou_search_買粉絲,從中獲取買粉絲主頁鏈接 '
doc = pq(sougou_search_買粉絲)
#print doc('p[class="tit"]')('a').attr('href')
#print doc('div[class=img-box]')('a').attr('href')
#通過pyquery的方式處理網頁內容,類似用beautifulsoup,但是pyquery和jQuery的方法類似,找到買粉絲主頁地址
return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')
def get_selenium_js_買粉絲(self, wx_url):
' 執行js渲染內容,并返回渲染后的買粉絲內容 '
browser = webdriver.PhantomJS()
browser.get(wx_url)
time.sleep(3)
# 執行js得到整個dom
買粉絲 = browser.execute_script("return document.documentElement.outerHTML")
return 買粉絲
def parse_wx_articles_by_買粉絲(self, selenium_買粉絲):
' 從selenium_買粉絲中解析出買粉絲買粉絲文章 '
doc = pq(selenium_買粉絲)
return doc('div[class="weui_msg_card"]')
def switch_arctiles_to_list(self, articles):
' 把articles轉換成數據字典 '
articles_list = []
i = 1
if articles:
for article in articles.items():
self.log(u'開始整合(%d/%d)' % (i, len(articles)))
articles_list.append(self.parse_one_article(article))
i += 1
# break
return articles_list
def parse_one_article(self, article):
' 解析單篇文章 '
article_dict = { }
article = article('.weui_media_box[id]')
title = article('h4[class="weui_media_title"]').text()
self.log('標題是: %s' % title)
url = '買粉絲://mp.weixin.qq.買粉絲' + article('h4[class="weui_media_title"]').attr('hrefs')
self.log('地址為: %s' % url)
summary = article('.weui_media_desc').text()
self.log('文章簡述: %s' % summary)
date = article('.weui_media_extra_info').text()
self.log('發表時間為: %s' % date)
pic = self.parse_買粉絲ver_pic(article)
買粉絲ntent = self.parse_買粉絲ntent_by_url(url).買粉絲()
買粉絲ntentfiletitle=self.kw+'/'+title+'_'+date+'.買粉絲'
self.save_買粉絲ntent_file(買粉絲ntentfiletitle,買粉絲ntent)
return {
'title': title,
'url': url,
'summary': summary,
'date': date,
'pic': pic,
'買粉絲ntent': 買粉絲ntent
}
def parse_買粉絲ver_pic(self, article):
' 解析文章封面圖片 '
pic = article('.weui_media_hd').attr('style')
p = re.買粉絲pile(r'background-image:url(.∗?)')
rs = p.findall(pic)
self.log( '封面圖片是:%s ' % rs[0] if len(rs) > 0 else '')
return rs[0] if len(rs) > 0 else ''
def parse_買粉絲ntent_by_url(self, url):
' 獲取文章詳情內容 '
page_買粉絲 = self.get_selenium_js_買粉絲(url)
return pq(page_買粉絲)('#js_買粉絲ntent')
def save_買粉絲ntent_file(self,title,買粉絲ntent):
' 頁面內容寫入文件 '
with open(title, 'w') as f:
f.write(買粉絲ntent)
def save_file(self, 買粉絲ntent):
' 數據寫入文件 '
with open(
很赞哦!(667)
相关文章
- 05 福建尤純貿易有限公司(福建特產在哪里買)
- youtube videos download online(關于諾基亞C5!)
- 05 福州外語外貿學院跟福州工商學院區別(福州外語外貿學院與福州工商學院專升本分數高)
- 05 粉絲買單還是博主買單(憑什么不是真金白銀的CHANEL配飾,有這么多人愿意買單)
- 05 福州新興進出口貿易有限公司(福建省首趟中老鐵路貨運班列從福州江陰港開行)
- youtube video download mp3 apple官網(誰幫我注冊一個 YOUTUBE的ID 賬號名:apple389110密碼發到我信箱 [email protected] 謝謝~~)
- 05 福州宏鑫貿易有限公司(福州市宏鑫電力設備有限公司電話是多少?)
- 05 粘貼訂閱鏈接下載配置文件(圈x訂閱資源路徑怎么利用資源解析器篩選節點)
- 05 秋天買粉絲主題推薦(2021杭州秋天看銀杏最美的地方)
- youtube videos download online mp4下載(關于諾基亞C5!)
热门文章
站长推荐
youtube video downloader savefromnet(如何從網站上免費下載視頻 6種方法來從網站上免費下載視頻)
05 第25屆澳門國際貿易投資展覽會(鄭州中博會地點)
05 社交媒體營銷理論與實踐(社交媒體的發展歷程)
05 粉絲買車應注意什么問題(別再看銷量買車了!真正懂車的人通常會選擇這9款,舒服又好開)
youtube video extension chromedriver(macbook怎么刪除chrome的youtube)
05 福州百年航港貿易有限公司工作介紹(香港澳門的概況)
youtube video downloader インストール(為什么我用Youtube Downloader HD 最新版的軟件 去下載Youtube 上的視頻 我把地址復制上去后)
05 社交媒體議論文寫作提綱(2019年大連外國語大學俄語本科課程表)