您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
01 youtube官網中文版注冊文件是否存在shell(怎么刪除文件夾導航窗格的onedrive?)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-07-19 05:47:10【】6人已围观
简介Hive實戰之Youtube數據集本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據數據集地址數據之間采用"\t"作為分隔符具體數據如
Hive實戰之Youtube數據集
本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據
數據集地址
數據之間采用"\t"作為分隔符
具體數據如下:
數據量大小為1G,條數為500萬+
使用環境為
hive-1.1.0-cdh5.4.5
hadoop-2.6.0-cdh5.4.5
演示形式為使用hive shell
我們一起來看看數據
主要的問題在于category和relatedIDs處理,由于Hive是支持array格式的,所以我們想到的是使用array來存儲category和relatedIDs,但是我們發現category的分割符是"&"而realatedIDs的分隔符是"\t",我們在創建表格的時候能夠指定array的分隔符,但是只能指定一個,所以再將數據導入到Hive表格之前我們需要對數據進行一定轉換和清洗
并且數據中肯定會存在一些不完整數據和一些奇怪的格式,所以數據的清洗是必要的,我在這里所使用的數據清洗方式是使用Spark進行清洗,也可以使用自定義UDF函數來進行清洗
數據清洗注意點
1)我們可以看到每行數據以"\t"作為分隔符,每行有十列數據,最后一列關聯ID可以為空,那么我們對數據進行split之后數組的大小要大于8
2)數據中存在 "uNiKXDA8eyQ KRQE 1035 News & Politics 107" 這樣格式的數據,所以在處理category時需要注意 News & Politics中間的 &
處理后的數據如下:
下面的實戰都是基于數據清洗后的數據進行的
1)youtube1的創建,文件格式為textfile
create table youtube1(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as textfile;
2)youtube2的創建,文件格式為orc
create table youtube2(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
3)youtube3的創建,文件格式為orc,進行桶分區
create table youtube3(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
clustered by (uploader) into 8 buckets
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
數據導入:
1)load data inpath "path" into table youtube1;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從youtube1導入到youtube2和youtube3:
insert into table youtube2 select * from youtube1;
insert into table youtube3 select * from youtube1;
1)user_tmp的創建,文件格式textfile,24buckets
create table user_tmp(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as textfile;
2)user的創建,文件格式orc,24buckets
create table user(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as orc;
user表的數據導入也是同理
數據導入:
1)load data inpath "path" into table user_tmp;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從user_tmp導入到user:
insert into table user select * from user_tmp;
1)統計出觀看數最多的10個視頻
2)統計出視頻類別熱度的前10個類型
3)統計出視頻觀看數最高的50個視頻的所屬類別
4)統計出觀看數最多的前N個視頻所關聯的視頻的所屬類別排行
5)篩選出每個類別中熱度最高的前10個視頻
6)篩選出每個類別中評分最高的前10個視頻
7)找出用戶中上傳視頻最多的10個用戶的所有視頻
8)篩選出每個類別中觀看數Top10
select * from youtube3 order by views desc limit 10;
結果如下:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from youtube3 lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc limit 10;
結果:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from (select * from youtube3 order by views desc limit 20) e lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc;
結果:
思路:
結果:
思路:
結果如下:
select * from youtube_category where categoryId="Music" order by ratings desc limit 10;
結果如下:
思路:
結果如下:
安卓版youtobe緩存的視頻在哪個文件夾
在文件夾中找未命名文件,就是沒格式的,點擊重命名,加一個后綴"
mp4"
如何查詢一個APP所執行的命令
ADB就是一個查看APP執行命令的客戶端
ADB是一個 客戶端-服務器端 程序, 其中客戶端是你用來操作的電腦, 服務器端是android設備.
先說安裝方法, 電腦上需要安裝客戶端. 客戶端包含在sdk里. 設備上不需要安裝, 只需要在手機上打開選項settings-applications-development-USBdebugging.
對于Mac和Linux用戶, 下載好的sdk解壓后, 可以放~或者任意目錄. 然后修改~/.bash_profile文件, 設置運行環境指向sdk的tools目錄.
具體是打開~/.bash_profile文件(如果沒有此文件也可以自行添加), 在里面加入一行:
export PATH=${ PATH}:<你的sdk目錄>/tools
然后就可以使用adb命令了.
嫌安裝麻煩的同學其實也可以省去上面安裝步驟, 直接輸入完整路徑來使用命令
對于windows xp用戶, 需要先安裝usb驅動
android_usb_windows.zip (1.33 MB) , 然后如果你只打算使用adb而不想下載整個sdk的話, 可以下載這個單獨的adb工具包
adb_win.zip (571.56 KB) 下載后解壓, 把里面 adb.exe 和 AdbWinApi.dll 兩個文件放到系統盤的 windows/system32 文件夾里就可以了
1.確定手機root了,取得了root權限才能刪除系統文件呀.
2.下載Android_db.rar,解壓到%windir/%System32下.
很赞哦!(36)
相关文章
- 17 youtube gift card(求一日本女子組合)
- 01 無錫吃飯網紅餐廳(無錫一自助餐廳被曝餐桌立牌提示請勿拍照,為什么要這么做呢?)
- 01 無人直播帶貨屬于違法嗎(視頻號直播賣貨,同時開十個無人直播間違法嗎)
- 18 download youtube mp3 y2m(找一首英文歌的歌名)
- 17 youtube官網中文版視頻怎么下載保存為pdf(有沒有 不用ITUNES 直接刷機的辦法啊)
- 18 youtube 買粉絲 movies new movies(求比利所有哲♂學語句!)
- 16 江蘇國展貿易有限公司(要寫世博會讓中國走向世界的文章,請大家幫忙找些資料。)
- 17 海南自由貿易港11個重點園區位置(誰有粵教版八年級下冊地理復習提綱呀,急求~~~~~~~~)
- 16 幼兒園親子活動買粉絲內容(幼兒園親子活動通知)
- 17 妙而萌貿易(上海)有限公司公司環境(什么牌子的美瞳帶上最舒服)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款的名片
职业:程序员,设计师
现居:内蒙古呼伦贝尔莫力达瓦达斡尔族自治
工作室:小组
Email:[email protected]