您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
01 youtube下載電腦版網站論壇數據集(如何下載網頁視頻)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-15 09:39:20【】3人已围观
简介Hive實戰之Youtube數據集本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據數據集地址數據之間采用"\t"作為分隔符具體數據如
Hive實戰之Youtube數據集
本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據
數據集地址
數據之間采用"\t"作為分隔符
具體數據如下:
數據量大小為1G,條數為500萬+
使用環境為
hive-1.1.0-cdh5.4.5
hadoop-2.6.0-cdh5.4.5
演示形式為使用hive shell
我們一起來看看數據
主要的問題在于category和relatedIDs處理,由于Hive是支持array格式的,所以我們想到的是使用array來存儲category和relatedIDs,但是我們發現category的分割符是"&"而realatedIDs的分隔符是"\t",我們在創建表格的時候能夠指定array的分隔符,但是只能指定一個,所以再將數據導入到Hive表格之前我們需要對數據進行一定轉換和清洗
并且數據中肯定會存在一些不完整數據和一些奇怪的格式,所以數據的清洗是必要的,我在這里所使用的數據清洗方式是使用Spark進行清洗,也可以使用自定義UDF函數來進行清洗
數據清洗注意點
1)我們可以看到每行數據以"\t"作為分隔符,每行有十列數據,最后一列關聯ID可以為空,那么我們對數據進行split之后數組的大小要大于8
2)數據中存在 "uNiKXDA8eyQ KRQE 1035 News & Politics 107" 這樣格式的數據,所以在處理category時需要注意 News & Politics中間的 &
處理后的數據如下:
下面的實戰都是基于數據清洗后的數據進行的
1)youtube1的創建,文件格式為textfile
create table youtube1(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as textfile;
2)youtube2的創建,文件格式為orc
create table youtube2(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
3)youtube3的創建,文件格式為orc,進行桶分區
create table youtube3(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
clustered by (uploader) into 8 buckets
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
數據導入:
1)load data inpath "path" into table youtube1;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從youtube1導入到youtube2和youtube3:
insert into table youtube2 select * from youtube1;
insert into table youtube3 select * from youtube1;
1)user_tmp的創建,文件格式textfile,24buckets
create table user_tmp(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as textfile;
2)user的創建,文件格式orc,24buckets
create table user(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as orc;
user表的數據導入也是同理
數據導入:
1)load data inpath "path" into table user_tmp;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從user_tmp導入到user:
insert into table user select * from user_tmp;
1)統計出觀看數最多的10個視頻
2)統計出視頻類別熱度的前10個類型
3)統計出視頻觀看數最高的50個視頻的所屬類別
4)統計出觀看數最多的前N個視頻所關聯的視頻的所屬類別排行
5)篩選出每個類別中熱度最高的前10個視頻
6)篩選出每個類別中評分最高的前10個視頻
7)找出用戶中上傳視頻最多的10個用戶的所有視頻
8)篩選出每個類別中觀看數Top10
select * from youtube3 order by views desc limit 10;
結果如下:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from youtube3 lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc limit 10;
結果:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from (select * from youtube3 order by views desc limit 20) e lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc;
結果:
思路:
結果:
思路:
結果如下:
select * from youtube_category where categoryId="Music" order by ratings desc limit 10;
結果如下:
思路:
結果如下:
電腦用什么下載軟件比較好?
騰訊軟件管理、太平洋下載中心、多多軟件站、非凡軟件站、西西軟件園都可以用于電腦下載軟件
1、騰訊軟件管理是由騰訊旗下團隊于2009年開發的一款可提供用戶進行軟件下載安裝、升級、卸載的PC端軟件。該軟件還根據收錄的軟件類型進行分類管理,方便用戶進行快速搜索以及下載。并對每一款軟件還支持相關特性的詳情描述與展示。讓用戶在下載前就能快速了解軟件是否適用當前系統、是否收費、版本情況等信息。
2、太平洋下載中心為用戶提供優質、方便、快捷、安全的下載服務。集軟件、驅動、游戲、素材下載于一體,經過十二年的積累,已經成為太平洋電腦網訪問量最高的欄目之一,成為國內領先的綜合性下載平臺。國內最老牌的軟件下載站之一,每天提供1000多萬人次的下載服務;與國內主流的軟件廠商都建立友好合作關系,基本添加太平洋分流
3、多多軟件站始建于2004年3月,是一家專門提供各類軟件下載及單機游戲下載的服務網站,現擁有國內最大的共享軟件下載中心以及單機游戲下載中心,已經成為國內大型的同類下載站之一,每日的下載量達十萬次以上,提供下載的文件儲量達150G以上;軟件社區已有幾萬的用戶群,并發表了數十萬的技術相關帖子,網站還提供了很多專門針對網站的特色服務,幾年內已為國內提供了數億次的下載服務。
4、非凡軟件站,原名霏凡軟件站。成立于2002年,是一家專門為豐富網民的互聯生活提供各類軟件下載等資源服務的網站,我們致力于快速傳播軟件資源與資訊,提供最快最新最好的軟件,現擁有軟件下載、資訊、論壇以及綠色軟件專欄等服務。
5、西西軟件園致力于打造安全下載網站,提供海量的個人上網安全,常用軟件官方下載,辦公軟件及軟件編程開發,圖形圖像設計處理,硬件驅動,游戲等其它應用軟件的下載。也是最安全,高速的軟件下載站點。西西軟件園的資源都經過專業的網站編輯精心評測,確保軟件無毒,可用才會在網站上發
很赞哦!(352)
相关文章
- youtube music downloader mp3 mp4播放器官方免費下載(為什么我用Youtube Downloader HD 最新版的軟件 去下載Youtube 上的視頻 我把地址復制上去后)
- 02 教育相關的買粉絲怎么取名(買粉絲買粉絲怎么取名)
- youtube music downloader mp3 free app store官網(為什么我用Youtube Downloader HD 最新版的軟件 去下載Youtube 上的視頻 我把地址復制上去后)
- 02 教師節買粉絲文案(適合寫給老師的文案 關于教師節走心文案(精選46句))
- 02 揭陽市恒豐汽車貿易有限公司(汽車前擋風玻璃怎么區分進口和國產?)
- youtube music downloader free mp4電影下載網站 免費(為什么我用Youtube Downloader HD 最新版的軟件 去下載Youtube 上的視頻 我把地址復制上去后)
- youtube music for windows apple官網(今日新聞淺談:Youtube Music 也加入串流音樂服務大混戰)
- 02 提醒關注買粉絲的文案(作為一枚文案,應該關注哪些網站和買粉絲?)
- 02 教師節活動買粉絲結尾文案(教師節文案怎么寫)
- youtube music free apk(今日新聞淺談:Youtube Music 也加入串流音樂服務大混戰)
热门文章
站长推荐
02 搞怪ins潮圖頭像男(ins關鍵詞怎么找到潮圖)
02 教師節買粉絲文案手抄報(2021教師節感恩老師的手抄報簡單好看)
youtube music downloader free apple(為什么我用Youtube Downloader HD 最新版的軟件 去下載Youtube 上的視頻 我把地址復制上去后)
youtube music free country playlist 2023(youtube music下載的文件在哪里)
02 播放量最高的英文歌曲排行榜(經典英文歌曲)
02 改革開放前的對外貿易圖片(改革開放的資料)
02 支教活動買粉絲文案(支教文案?)
youtube music downloader mp3 mp4電影下載 mp4(為什么我用Youtube Downloader HD 最新版的軟件 去下載Youtube 上的視頻 我把地址復制上去后)