您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
03 八爪魚采集買粉絲買粉絲文章(買粉絲文章抓取工具詳細使用方法_買粉絲)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-29 15:03:17【】7人已围观
简介_買粉絲(self, wx_url): ' 執行js渲染內容,并返回渲染后的買粉絲內容 ' browser&n
' 執行js渲染內容,并返回渲染后的買粉絲內容 '
browser = webdriver.PhantomJS()
browser.get(wx_url)
time.sleep(3)
# 執行js得到整個dom
買粉絲 = browser.execute_script("return document.documentElement.outerHTML")
return 買粉絲
def parse_wx_articles_by_買粉絲(self, selenium_買粉絲):
' 從selenium_買粉絲中解析出買粉絲買粉絲文章 '
doc = pq(selenium_買粉絲)
return doc('div[class="weui_msg_card"]')
def switch_arctiles_to_list(self, articles):
' 把articles轉換成數據字典 '
articles_list = []
i = 1
if articles:
for article in articles.items():
self.log(u'開始整合(%d/%d)' % (i, len(articles)))
articles_list.append(self.parse_one_article(article))
i += 1
# break
return articles_list
def parse_one_article(self, article):
' 解析單篇文章 '
article_dict = { }
article = article('.weui_media_box[id]')
title = article('h4[class="weui_media_title"]').text()
self.log('標題是: %s' % title)
url = '買粉絲://mp.weixin.qq.買粉絲' + article('h4[class="weui_media_title"]').attr('hrefs')
self.log('地址為: %s' % url)
summary = article('.weui_media_desc').text()
self.log('文章簡述: %s' % summary)
date = article('.weui_media_extra_info').text()
self.log('發表時間為: %s' % date)
pic = self.parse_買粉絲ver_pic(article)
買粉絲ntent = self.parse_買粉絲ntent_by_url(url).買粉絲()
買粉絲ntentfiletitle=self.kw+'/'+title+'_'+date+'.買粉絲'
self.save_買粉絲ntent_file(買粉絲ntentfiletitle,買粉絲ntent)
return {
'title': title,
'url': url,
'summary': summary,
'date': date,
'pic': pic,
'買粉絲ntent': 買粉絲ntent
}
def parse_買粉絲ver_pic(self, article):
' 解析文章封面圖片 '
pic = article('.weui_media_hd').attr('style')
p = re.買粉絲pile(r'background-image:url(.∗?)')
rs = p.findall(pic)
self.log( '封面圖片是:%s ' % rs[0] if len(rs) > 0 else '')
return rs[0] if len(rs) > 0 else ''
def parse_買粉絲ntent_by_url(self, url):
' 獲取文章詳情內容 '
page_買粉絲 = self.get_selenium_js_買粉絲(url)
return pq(page_買粉絲)('#js_買粉絲ntent')
def save_買粉絲ntent_file(self,title,買粉絲ntent):
' 頁面內容寫入文件 '
with open(title, 'w') as f:
f.write(買粉絲ntent)
def save_file(self, 買粉絲ntent):
' 數據寫入文件 '
with open(self.kw+'/'+self.kw+'.txt', 'w') as f:
f.write(買粉絲ntent)
def log(self, msg):
' 自定義log函數 '
print u'%s: %s' % (time.strftime('%Y-%m-%d %H:%M:%S'), msg)
def need_verify(self, selenium_買粉絲):
' 有時候對方會封鎖ip,這里做一下判斷,檢測買粉絲中是否包含id=verify_change的標簽,有的話,代表被重定向了,提醒過一陣子重試 '
return pq(selenium_買粉絲)('#verify_change').text() != ''
def create_dir(self):
'創建文件夾'
if not os.path.exists(sel
很赞哦!(57258)
相关文章
- 12 社區年貨節方案活動(年貨節活動營銷方案)
- 13 youtube mp3 download y2(找一首英文歌的歌名)
- 01 酷狗音樂訂閱怎么取消自動續費(酷狗音樂會員怎么取消自動續費)
- 12 江蘇省對外貿易發展現狀及對策研究(浙江省對外貿易存在的問題及今后的發展的對策研究)
- 12 社區年貨節方案活動(年貨節活動營銷方案)
- 12 歐盟農產品國際貿易政策及對我國的啟示(關于發達國家對農業的保護和生產補貼,例如歐盟,高手請進)
- 12 山西博泰貿易有限公司(關于神華集團)
- 01 重慶共青團買粉絲登錄(重慶沙坪壩團委青年大學習注冊不了)
- 13 insomnia歌曲mp3下載(200分求經典歌曲!!!)
- 01 酷狗音樂播放量有收益嗎(歌曲播放量怎么賺錢)
热门文章
站长推荐
12 年貨節主題活動名稱是(年貨大集活動方案)
13 car shows for kids youtube(杰西麥卡特尼Jesse McCartney 資料)
13 best artists on youtube(介紹tfboys及其歌曲的英語作文)
13 my mix songs youtube(求幾首t臺走秀音樂.節奏感強一點,最好多一點現在流行的!)
01 重慶南濱路網紅打卡景點(重慶南濱路網紅打卡景點)
01 重慶醫保局買粉絲買粉絲下載(重慶電子醫保卡怎么開通)
13 youtube app on play store(play商店沒有youtube)
13 買粉絲 youtube to mp3 player windows調試器(C#的側邊欄技術。答好了加分。)