1.5union,union all

select name  from A
union
select name from B

select name from A
union all
select name from B

• 想去重使用union，不去重完全放一起使用union all
• 假設A表中某列有重複資料，然後A表和B表進行union,A表中的那列資料自動的去重，不僅僅是把B表中的那列和A表重複的資料去重。像案例中的union後的結果一樣，所得的name不會有一條重複資料，相當於整體的distinct了一下。
• union 和 union all查詢資料結果只以第一句sql的欄位名稱為準，後續的sql只按照順序匹配，不會識別欄位名稱

1.6partition分割區使用

-- 建立hive分割區表
create table db_demo.tb_demo (
filed1 string comment '欄位1',
 filed2 int comment '欄位2'
)PARTITIONED BY(l_date string) ;

-- 刪除表分割區
alter  table db_demo.tb_demo drop if exists partition(l_date = '${v_date}')

--將資料寫入表分割區
insert into table db_demo.tb_demo partition(l_date = '${v_date}')
select * from db_demo.tb_demo_v0 where ......

--覆蓋指定分割區表資料
insert overwrite table db_demo.tb_demo partition(l_date = '${v_date}')
select * from db_demo.tb_demo_v0 where ......

• 分割區表指的是在建立表時指定的partition的分割區空間。
• 一個表可以擁有一個或者多個分割區，每個分割區以資料夾的形式單獨存在表資料夾的目錄下。
• 分割區欄位會作為表的最後一個欄位出現。

1.7JSON處理

-- 取出JSON串中指定key的value值
-- 語法
get_json_object('{key1:value1,key2:value2}','$.key')
--比如取出JSON串中的name資訊
select get_json_object('{"age":1089,"name":"tom"}','$.name')

1.8日期函數

-- to_date：日期時間轉日期
select to_date(create_time) from demo_db.demo_table;

-- current_date ：當前日期
select current_date

-- date_sub : 返回日期前n天的日期
select  date_sub(pay_time,9) from demo_db.demo_table

-- date_add : 返回日期後n天的日期,即使放入時間引數，得到的也是日期，上一個同理，只比較日期位。
select  date_add(pay_time,9) from demo_db.demo_table

-- unix_timestamp：獲取當前unix時間戳
select unix_timestamp('2022-10-10 10:22:11')

-- datediff：返回開始日期減去結束日期的天數,只比較日期位
select datediff('2022-10-10 23:22:11','2022-10-09 00:22:11')

-- 獲取當前月
select substr(current_date,1,7);

--獲取上個月最後一天
select DATE_SUB(FROM_UNIXTIME(UNIX_TIMESTAMP()),DAY(FROM_UNIXTIME(UNIX_TIMESTAMP())))

1.9炸裂函數

Hive版本:
select 
id,
type_id_new 
from table_one
lateral view explode(split(type_id,",")) table_one_temp as type_id_new
;

Mysql版本:
SELECT
   a.id, substring_index(substring_index(a.type_id,',',b.help_topic_id + 1    ),    ',' ,- 1    ) AS type_id
FROM
    (select id, type_id from table_one) a  
JOIN mysql.help_topic b ON b.help_topic_id <
(length(a.type_id) - length( replace(a.type_id, ',', '')  ) + 1)

簡而言之，炸裂函數從命名上就可以看出，這是一個由1到多的過程，由一個裂變成多個。具體場景大概是某條資料的某個欄位裡面存放的是被相同符號分割的字串，我們暫時用逗號分割來講述，拿我們案例來講，假設一條資料的id = 1，type_id = 1,2,3 ,通過以上的炸裂函數處理之後，該條查詢結果將變成3條，分別為id=1、type_id_new =1，id=1、type_id_new =2，id=1、type_id_new =3，也就是被炸裂的欄位資料分割，剩餘欄位全部保持不變。

select  coalesce(demo_id1,demo_id2,demo_id3) from demo_db.demo_table  ;

select  coalesce(case when demo_name like '%杰倫%' then '傑粉' when demo_name like '%許嵩% ' then '嵩鼠' else '小瀧包' end,
                demo_name2);

select  year,sex,goods_name,sum(goods_number) as num  
from demo_db.demo_table
group by year,sex,goods_name
having  num>1000

select * from ods_user_bucket_log distribute by rand() sort by rand() limit 10;

select a.*
from demo_db.demo_tableA a
left join demo_db.demo_tableB b
on a.demo_id = b.demo_id where b.demo_id is null

--語法
create temporary function 方法名 as 'java類的全限定名' using jar 'jar包在hdfs上的位置';

--案例
create temporary function decryption as 'com.zae.aes.Decrypt' using jar 'hdfs://namenodeha/user/zae/secret/decryption_demo.jar';