您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
04 買粉絲 youtube music 買粉絲s(今日新聞淺談:Youtube Music 也加入串流音樂服務大混戰)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-15 13:18:26【】7人已围观
简介rray的分隔符,但是只能指定一個,所以再將數據導入到Hive表格之前我們需要對數據進行一定轉換和清洗并且數據中肯定會存在一些不完整數據和一些奇怪的格式,所以數據的清洗是必要的,我在這里所使用的數據清
并且數據中肯定會存在一些不完整數據和一些奇怪的格式,所以數據的清洗是必要的,我在這里所使用的數據清洗方式是使用Spark進行清洗,也可以使用自定義UDF函數來進行清洗
數據清洗注意點
1)我們可以看到每行數據以"\t"作為分隔符,每行有十列數據,最后一列關聯ID可以為空,那么我們對數據進行split之后數組的大小要大于8
2)數據中存在 "uNiKXDA8eyQ KRQE 1035 News & Politics 107" 這樣格式的數據,所以在處理category時需要注意 News & Politics中間的 &
處理后的數據如下:
下面的實戰都是基于數據清洗后的數據進行的
1)youtube1的創建,文件格式為textfile
create table youtube1(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as textfile;
2)youtube2的創建,文件格式為orc
create table youtube2(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
3)youtube3的創建,文件格式為orc,進行桶分區
create table youtube3(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
clustered by (uploader) into 8 buckets
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
數據導入:
1)load data inpath "path" into table youtube1;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從youtube1導入到youtube2和youtube3:
insert into table youtube2 select * from youtube1;
insert into table youtube3 select * from youtube1;
1)user_tmp的創建,文件格式textfile,24buckets
create table user_tmp(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as textfile;
2)user的創建,文件格式orc,24buckets
create table user(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as orc;
user表的數據導入也是同理
數據導入:
1)load data inpath "path" into table user_tmp;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從user_tmp導入到user:
insert into table user select * from user_tmp;
1)統計出觀看數最多的10個視頻
2)統計出視頻類別熱度的前10個類型
3)統計出視頻觀看數最高的50個視頻的所屬類別
4)統計出觀看數最多的前N個視頻所關聯的視頻的所屬類別排行
5)篩選出每個類別中熱度最高的前10個視頻
6)篩選出每個類別中評分最高的前10個視頻
7)找出用戶中上傳視頻最多的10個用戶的所有視頻
8)篩選出每個類別中觀看數Top10
select * from youtube3 order by views desc limit 10;
結果如下:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from youtube3 lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc limit 10;
結果:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from (select * from youtube3 order by views desc limit 20) e lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc;
結果:
思路:
結果:
思路:
結果如下:
select * from youtube_category where categoryId="Music" order by ratings desc limit 10;
結果如下:
思路:
結果如下:
很赞哦!(18494)
相关文章
- 01 買粉絲買粉絲文章怎么引用參考文獻(買粉絲的參考文獻格式)
- 01 上海外國語大學游泳館對外開放嗎(上海玩的景點田子坊?)
- 01 買粉絲買粉絲新聞特點有哪些(買粉絲公眾平臺的營銷特點有哪些)
- 01 買粉絲買粉絲文章分享到微博(買粉絲鏈接怎么發到微博)
- 01 上海外國語大學研究生招生人數(上海外國語大學研究生有哪些專業)
- 01 買粉絲買粉絲文章背景圖尺寸(買粉絲背景圖怎么制作-如何在買粉絲買粉絲文章中插入背景圖片?)
- 01 買粉絲買粉絲文章發布時間與接收時間(買粉絲文章發布后多久顯示)
- 01 買粉絲買粉絲文章抓取(如何提取買粉絲買粉絲文章的鏈接地址?)
- 01 買粉絲買粉絲無法付款(通過買粉絲買粉絲付款支付不了怎么辦?)
- 01 上海外國語大學研究生幾年畢業(上海外國語研究生讀幾年)
热门文章
站长推荐
01 買粉絲買粉絲文章封面提取(買粉絲買粉絲封面圖在哪獲取?)
01 上海外國語大學研究生官網招生網(2022年上海外國語大學考研有哪些報考條件?)
01 上海外國語大學留學預科校區(上海外國語大學哪個學院有2+2出國留學項目?)
01 買粉絲買粉絲文章朗讀功能如何添加(怎么樣消除買粉絲里語音朗讀提示音)
01 上海外國語大學研究生報錄比2023(上海院校2023研究生招生信息一覽表?)
01 上海外國語大學翻譯博士招生2024(上海外國語大學2024考研報考條件怎么查?)
01 上海外國語大學漢語國際教育在哪個校區(上海外國語大學在哪個區)
01 上海外國語大學每年招多少人(2022年上海外國語大學外交部招生人數多少)