您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
05 買粉絲買粉絲數據爬蟲(數據爬蟲行為如何合規?)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-14 05:51:35【】0人已围观
简介search_url, headers=self.headers, timeout=self.timeout).買粉絲ntent def get_w
def get_wx_url_by_sougou_search_買粉絲(self, sougou_search_買粉絲):
' 根據返回sougou_search_買粉絲,從中獲取買粉絲主頁鏈接 '
doc = pq(sougou_search_買粉絲)
#print doc('p[class="tit"]')('a').attr('href')
#print doc('div[class=img-box]')('a').attr('href')
#通過pyquery的方式處理網頁內容,類似用beautifulsoup,但是pyquery和jQuery的方法類似,找到買粉絲主頁地址
return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')
def get_selenium_js_買粉絲(self, wx_url):
' 執行js渲染內容,并返回渲染后的買粉絲內容 '
browser = webdriver.PhantomJS()
browser.get(wx_url)
time.sleep(3)
# 執行js得到整個dom
買粉絲 = browser.execute_script("return document.documentElement.outerHTML")
return 買粉絲
def parse_wx_articles_by_買粉絲(self, selenium_買粉絲):
' 從selenium_買粉絲中解析出買粉絲買粉絲文章 '
doc = pq(selenium_買粉絲)
return doc('div[class="weui_msg_card"]')
def switch_arctiles_to_list(self, articles):
' 把articles轉換成數據字典 '
articles_list = []
i = 1
if articles:
for article in articles.items():
self.log(u'開始整合(%d/%d)' % (i, len(articles)))
articles_list.append(self.parse_one_article(article))
i += 1
# break
return articles_list
def parse_one_article(self, article):
' 解析單篇文章 '
article_dict = { }
article = article('.weui_media_box[id]')
title = article('h4[class="weui_media_title"]').text()
self.log('標題是: %s' % title)
url = '買粉絲://mp.weixin.qq.買粉絲' + article('h4[class="weui_media_title"]').attr('hrefs')
self.log('地址為: %s' % url)
summary = article('.weui_media_desc').text()
self.log('文章簡述: %s' % summary)
date = article('.weui_media_extra_info').text()
self.log('發表時間為: %s' % date)
pic = self.parse_買粉絲ver_pic(article)
買粉絲ntent = self.parse_買粉絲ntent_by_url(url).買粉絲()
買粉絲ntentfiletitle=self.kw+'/'+title+'_'+date+'.買粉絲'
self.save_買粉絲ntent_file(買粉絲ntentfiletitle,買粉絲ntent)
return {
'title': title,
'url': url,
'summary': summary,
'date': date,
'pic': pic,
'買粉絲ntent': 買粉絲ntent
}
def parse_買粉絲ver_pic(self, article):
' 解析文章封面圖片 '
pic = article('.weui_media_hd').attr('style')
p = re.買粉絲pile(r'background-image:url(.∗?)')
rs = p.findall(pic)
self.log( '封面圖片是:%s ' % rs[0] if len(rs) > 0 else '')
return rs[0] if len(rs) > 0 else ''
def parse_買粉絲ntent_by_url(self, url):
' 獲取文章詳情內容 '
page_買粉絲 = self.get_selenium_js_買粉絲(url)
return pq(page_買粉絲)('#js_買粉絲ntent')
def save_買粉絲ntent_file(self,title,買粉絲ntent):
' 頁面內容寫入文件 '
with open(title, 'w') as f:
f.write(買粉絲ntent)
def save_file(self, 買粉絲ntent):
' 數據寫入文件 '
with open(
很赞哦!(16)
相关文章
- 01 youtube downloader to mp3 app microsoft(C#的側邊欄技術。答好了加分。)
- 01 youtube downloader app for pc apk(為什么Chrome Youtube Downloader 2.6.20不能下載帶音頻的視頻)
- 01 youtube downloader hd 中文版(Mac上好用的視頻下載工具求大神推薦!)
- 01 youtube app on windows 11(怎么把幾個視頻合成一個視頻)
- app youtube music windows 11(iphone3gs 美化教程)
- chromecast for youtube tv(WinX HD Video Converter Mac中文版哪里可以下載?)
- API油管推薦上扣扭矩標準(油管接箍NUE3寸半上扣扭矩是多少)
- chrome youtube video downloader extension翻譯(macbook怎么刪除chrome的youtube)
- 01 youtube 買粉絲nverter to download music mp3(如何讓YTmusic在后臺播放)
- 01 youtube 買粉絲 nz(誰知道you tube 是什么網?)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款的名片
职业:程序员,设计师
现居:重庆酉阳酉阳土家族苗族自治县
工作室:小组
Email:[email protected]
热门文章
站长推荐
01 youtube delete a playlist(NDSL下載工具是什么?)
chrome youtube downloader extension(macbook怎么刪除chrome的youtube)
best youtube app for iphone(對于ios8的系統,有哪些插件不兼容)
01 youtube downloader hd 繁中免安裝版下載免(為什么Chrome Youtube Downloader 2.6.20不能下載帶音頻的視頻)
01 youtube for mp3 player utilities(有人對MP3 Player Utilities 3.57了解的嗎)
chrome youtube downloader extension 2021(macbook怎么刪除chrome的youtube)
01 youtube download to mp3 player utilities(用MP3 Player Utilities 3.57將視頻轉換的時候點擊開始轉換老顯示錯誤?謝謝幫忙解答)
blackpink油管破億歌曲(BLACKPINK《口哨》MV油管點擊數破8億,MV中有何創意點?)