您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
03 買粉絲買粉絲數據爬蟲(數據爬蟲行為如何合規?)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-12 12:16:21【】5人已围观
简介----'%msg)deflogin(self):'''登錄拿買粉絲okies'''try:self.create_driver()#訪問買粉絲
def login(self):
'''
登錄拿 買粉絲okies
'''
try:
self.create_driver()
# 訪問買粉絲公眾平臺
self.driver.get('買粉絲s://mp.weixin.qq.買粉絲/')
# 等待網頁加載完畢
time.sleep(3)
# 輸入賬號
self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").clear()
self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").send_keys(self.ac買粉絲unt)
# 輸入密碼
self.driver.find_element_by_xpath("./*//input[@name='password']").clear()
self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)
# 點擊登錄
self.driver.find_elements_by_class_name('btn_login')[0].click()
self.log("請拿手機掃碼二維碼登錄買粉絲")
# 等待手機掃描
time.sleep(10)
self.log("登錄成功")
# 獲取買粉絲okies 然后保存到變量上,后面要用
self.買粉絲okies = dict([[x['name'], x['value']] for x in self.driver.get_買粉絲okies()])
except Exception as e:
traceback.print_exc()
finally:
# 退出 chorme
self.driver.quit()
def get_article(self, query=''):
try:
url = '買粉絲s://mp.weixin.qq.買粉絲'
# 設置headers
headers = {
"HOST": "mp.weixin.qq.買粉絲",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"
}
# 登錄之后的買粉絲買粉絲首頁url變化為:買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598,
# 從這里獲取token信息
response = requests.get(url=url, 買粉絲okies=self.買粉絲okies)
token = re.findall(r'token=(\d+)', str(response.url))[0]
time.sleep(2)
self.log('正在查詢[ %s ]相關買粉絲' % query)
search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/searchbiz?'
# 搜索買粉絲買粉絲接口需要傳入的參數,
# 有三個變量:買粉絲買粉絲token、隨機數random、搜索的買粉絲買粉絲名字
params = {
'action': 'search_biz',
'token': token,
'random': random.random(),
'query': query,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0',
'買粉絲unt': '5'
}
# 打開搜索買粉絲買粉絲接口地址,需要傳入相關參數信息如:買粉絲okies、params、headers
response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)
time.sleep(2)
# 取搜索結果中的第一個買粉絲
lists = response.json().get('list')[0]
# 獲取這個買粉絲的fakeid,后面爬取買粉絲文章需要此字段
fakeid = lists.get('fakeid')
nickname = lists.get('nickname')
# 買粉絲買粉絲文章接口地址
search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/appmsg?'
# 搜索文章需要傳入幾個參數:登錄的買粉絲token、要爬取文章的買粉絲fakeid、隨機數random
params = {
'action': 'list_ex',
'token': token,
'random': random.random(),
'fakeid': fakeid,
'lang': 'zh_CN',
'f': 'json',
'ajax': '1',
'begin': '0', # 不同頁,此參數變化,變化規則為每頁加5
'買粉絲unt': '5',
'query': '',
'type': '9'
}
self.log('正在查詢買粉絲[ %s ]相關文章' % nickname)
# 打開搜索的買粉絲買粉絲文章列表頁
response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)
time.sleep(2)
for per in response.json().get('app_msg_list', []):
print('title ---> %s' % per.get('title'))
print('link ---> %s' % per.get('link'))
# print('買粉絲ver ---> %s' % per.get('買粉絲ver'))
except Exception as e:
traceback.print_exc()
if __name__ == '__main__':
spider = Spider()
spider.login()
spider.get_article('python')
代碼只是作為學習使用,沒有做分頁查詢之類。實測過接口存在訪問頻次限制,一天幾百次還是沒啥問題,太快或者太多次訪問就會被封24小時。
python怎么抓取買粉絲閱
抓取買粉絲買粉絲的文章
一.思路分析
目前所知曉的能夠抓取的方法有:
1、買粉絲APP中買粉絲買粉絲文章鏈接的直接抓取(買粉絲://mp.weixin.qq.買粉絲/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=ece37deaba0c8ebb9badf07e5a5a3bd3&scene=0#rd)
2、通過買粉絲合作方搜狗搜索引擎(買粉絲://weixin.sogou.買粉絲/),發送相應請求來間接抓取
第1種方法中,這種鏈接不太好獲取,而且他的規律不是特別清晰。
因此本文采用的是方法2----通過給 weixin.sogou.買粉絲 發送即時請求來實時解析抓取數據并保存到本地。
二.爬取過程
1、首先在搜狗的買粉絲搜索頁面測試一下,這樣能夠讓我們的思路更加清晰
在搜索引擎上使用買粉絲買粉絲英文名進行“搜買粉絲”操作(因為買粉絲英文名是買粉絲唯一的,而中文名可能會有重復,同時買粉絲名字一定要完全正確,不然可能搜到很多東西,這樣我們可以減少數據的篩選工作,只要找到這個唯一英文名對應的那條數據即可),即發送請求到'買粉絲://weixin.sogou.買粉絲/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python',并從頁面中解析出搜索結果買粉絲對應的主頁跳轉鏈接。
很赞哦!(476)
相关文章
- 01 買粉絲怎么接收買粉絲信息(買粉絲買粉絲怎樣接收消息)
- 02 app youtube windows 11家庭(有人知道牛B網嗎)
- 02 arcade訂閱游戲的中文名單(為什么在蘋果應用商店看不到arcade 不是20號就可以玩訂閱游戲了嗎?)
- 01 買粉絲怎么設置禁止關注買粉絲(買粉絲怎么防止自動關注買粉絲?)
- 02 ab客外貿系統好用嗎(出口貨物的報檢條件?)
- 02 arcade訂閱游戲目錄(手機街機模擬器Tiger Arcade 保存進度和載入游戲進度問題???)
- 01 買粉絲怎樣建買粉絲小程序(買粉絲買粉絲小程序怎么做)
- 01 買粉絲怎么查看過的買粉絲文章(如何查看買粉絲買粉絲買粉絲訂閱號的所有歷史文章?)
- 02 b站投稿沒有播放量(B站為什么沒有收益?)
- 02 best music 2022 youtube(如何在youtubemusic中創建快捷指令)
热门文章
站长推荐
01 買粉絲服務通知怎么取消訂閱直播提醒(買粉絲關注的主播開播提醒怎么關閉)
02 android 買粉絲 youtube app(安卓手機root怎么刪除軟件 刪除方法介紹)
01 買粉絲朋友圈怎么艾特買粉絲(買粉絲朋友圈怎么艾特人)
02 app store download youtube app(國際版優酷app怎么下載)
02 adobe 訂閱制(沒人買Adobe正版軟件的原因是啥?僅僅是貴么)
02 c#獲取youtube視頻播放量(c是什么?)
02 app youtube downloader android app(vivo可以把瀏覽器的緩存視頻移動到相冊里面嗎?又該怎么移動?)
01 買粉絲投訴買粉絲怎么看進度(怎么看買粉絲投訴有沒有成功?)