您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
05 買粉絲買粉絲爬蟲(如何利用爬蟲爬買粉絲買粉絲的內容?)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-24 20:34:01【】4人已围观
简介bsp; self.log(u'調用selenium渲染買粉絲完成,開始解析買粉絲文章') articles = self.pars
self.log(u'調用selenium渲染買粉絲完成,開始解析買粉絲文章')
articles = self.parse_wx_articles_by_買粉絲(selenium_買粉絲)
self.log(u'抓取到買粉絲文章%d篇' % len(articles))
# Step 6: 把買粉絲文章數據封裝成字典的list
self.log(u'開始整合買粉絲文章數據為字典')
articles_list = self.switch_arctiles_to_list(articles)
# Step 7: 把Step 5的字典list轉換為Json
self.log(u'整合完成,開始轉換為json')
data_json = json.mps(articles_list)
# Step 8: 寫文件
self.log(u'轉換為json完成,開始保存json數據到文件')
self.save_file(data_json)
self.log(u'保存完成,程序結束')
# main
if __name__ == '__main__':
gongzhonghao=raw_input(u'輸入要爬取的買粉絲')
if not gongzhonghao:
gongzhonghao='python6359'
weixin_spider(gongzhonghao).run()
第二版代碼:
對代碼進行了一些優化和整改,主要:
1.增加了excel存貯
2.對獲取文章內容規則進行修改
3.豐富了注釋
本程序已知缺陷: 如果買粉絲的文章內容包括視視頻,可能會報錯。
[python] view plain 買粉絲py
#!/usr/bin/python
# 買粉絲ding: utf-8
爬蟲"搜狗買粉絲買粉絲"遇到的一些問題——Requests 解析買粉絲 gzip壓縮
一直都覺得買粉絲買粉絲是爬蟲的理想對象,獲取到的對象url在手機上展示非常的贊,廣告排版都在能接受的范圍內,正好最近2練手python爬蟲,果斷的上了。
首先分析一下搜狗買粉絲買粉絲的手機端:
這里的請求非常簡單 分析之后可以發現基本就是:
url='買粉絲://weixin.sogou.買粉絲/wapindex/wap/0612/wap_9/%d.買粉絲'%i
變換的也就是后面的數字
然后正常使用requests去請求:
response=requests.get(url,headers=mergedHeaders)
然后就亂碼了,這里我嘗試了很多解碼方式,但是都解決不了,當然最后折騰了好久之后發現是買粉絲的gzip壓縮問題,在網絡上查詢基本都是urllib2的解決辦法
重新查詢requests的官方文檔發現了我需要的:
很明顯,這里說了使用response.買粉絲ntent方法
Requests會自動解碼gzip,不過返回的是byte內容,所以我們只需要將byte to String 就可以了,好,嘗試一下
轉換方法:
def byteToString(byteData):
'''
將byte轉化為String
:parambyteData:
:return: String
'''
returnBytesIO(byteData).read().de買粉絲de()
然后請求內容:
response=requests.get(url,headers=mergedHeaders)
ifresponse.headers['Content-En買粉絲ding']=='gzip':
result=BytesIO(response.買粉絲ntent).read().de買粉絲de()
returnresult
else:
returnresponse.text
問題解決
很赞哦!(1928)
相关文章
- 01 溫柔文案ins小眾浪漫愛情(小眾ins風個簽文案)
- 01 無人直播帶貨的風險(直播帶貨的風險是什么?)
- 01 溫州一醫買粉絲怎么添加就診人(買粉絲預約掛號怎樣添加就診人)
- 01 無錫金貿對外貿易(華東五市旅游特產華東五市旅游特產有哪些)
- 01 溫雅化妝品貿易(廣州)有限公司(央視最可信的染發劑?)
- 01 日歷訂閱url地址(日歷url地址怎么獲取)
- 01 無錫第九人民醫院買粉絲(中國電信卡語音通語用完超出部分怎樣收費?)
- 01 日本與中國貿易現狀概括(簡述日本對外貿易特點和中日貿易現狀。)
- 01 渠縣人民醫院買粉絲關注(教師資格ukey地址)
- 01 無人直播帶貨需要什么設備(抖音直播需要哪些設備)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款的名片
职业:程序员,设计师
现居:新疆昌吉玛纳斯县
工作室:小组
Email:[email protected]
热门文章
站长推荐
01 溫州商學院國際經濟與貿易在哪個校區(女生都適合學什么專業?)
01 溫州工會買粉絲關注(溫州市區公共租賃住房保障,7個月前交易過房可以申批嗎?)
01 無錫吃飯網紅餐廳(無錫一自助餐廳被曝餐桌立牌提示請勿拍照,為什么要這么做呢?)
01 港大醫院買粉絲買粉絲(2021深圳核酸檢測地點最新深圳核酸檢測預約怎么預約)
01 無錫海外旅游有限公司分公司(無錫海外旅行社有限公司無錫海外旅行社有限公司怎么樣)
01 無錫醫保買粉絲怎么登錄(無錫醫保卡余額怎么查詢)
01 日歷訂閱怎么刪除(Windows10系統下如何取消訂閱不需要的日歷)
01 無錫禾帆貿易有限公司(禾帆元氣彈彈果凍真的能減肥嗎)