科大訊飛-溫室溫度預測挑戰賽個人總結（非Top）

前言

這算是博主完整參加的第一個資料競賽，真的收穫了好多東西，對資料競賽有了全方位的認識，也全程目睹了前排大佬神仙打架。這篇文章也算是對這次比賽歷程的一個回顧，因為複賽沒有怎麼做，這裡主要還是總結自己初賽時收穫的tricks，歡迎小夥伴們一起交流學習！Tips：當然還要非常感謝魚佬和阿澤兩位大神的baseline和思路分享！

這裡介紹一下團隊的主要成員：

• 壹磊，北京交通大學運籌學與控制論專業研二在讀
• yiyang，東華大學應用統計專業研二在讀
• 潛心，上海師範大學計算機技術專業研二在讀

一、賽題介紹：時間序列問題

比賽網址：http://challenge.xfyun.cn/topic/info?type=temperature

因為初賽和複賽規則幾乎完全不同，可以說是兩個不同的比賽。初賽可以定位為多變數迴歸問題，複賽則變成了一個基於時間序列預測的結果補全問題。說來慚愧，複賽的一個月的時間我們團隊都在忙各種事情，基本上只有一個隊友偶爾在做，所以這篇主要是我對初賽特徵工程方面的總結。

---

二、初賽：允許使用當前值和特徵穿越

初賽裡我們團隊成員還沒有相識，因此各自單打獨鬥進行建模，毫無例外都使用了xgboost單模，最終的成績分別為0.104、0.106和0.117，這樣的做法的優勢是使我們各自的模型存在一定差異性的，也為後續的模型融合創造了條件，最終經過模型融合和調整，我們隊伍的初賽A幫成績定格在0.10034，最終A榜排在36名，切換到B榜排名上升到28名(28/771)，順利入圍複賽。

A榜

B榜

下面，我主要總結一下我在資料處理和特徵工程中做的工作，有很多借鑑了魚佬的baseline，並且沒有做分桶特徵，同時較少涉及特徵穿越。（單模成績：0.106 ，A榜排名：60名左右，我覺得B榜應該會有不小的提升）

1. 缺失值補全（使用fillna操作）

# 缺失值補全
f = ['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']
train_df[f] = train_df[f].fillna(method='ffill')
test_df[f] = test_df[f].fillna(method='ffill')

2. 異常值截斷（假設資料服從正態分佈，使用3σ法則進行截斷，可用前後均值替換）

# 氣壓異常值前後均值替換
for f in tqdm(['indoorAtmo', 'outdoorAtmo']):
    upper = data_df[f].mean()+ 3 * data_df[f].std()
    lower = data_df[f].mean()- 3 * data_df[f].std()
    for i in data_df[data_df[f] > upper].index:
        data_df.loc[i,f] = (data_df.loc[i-1,f] + data_df.loc[i+1,f])/2
    for i in data_df[data_df[f] < lower].index:
        data_df.loc[i,f] = (data_df.loc[i-1,f] + data_df.loc[i+1,f])/2

3. 一小時前對應分鐘同期值和差分（使用shift操作）

# 一小時前同期值
for f in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']):
    train_df['ago_1hour_{}'.format(f)] = train_df[f].shift(1*60)
    test_df['ago_1hour_{}'.format(f)] = test_df[f].shift(1*2)

4. 半小時前資料滑窗均值（使用rolling操作）

# 開窗
for f in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']):
    train_rolling = train_df[f].rolling(window=30)
    train_df['rolling_{}_mean'.format(f)] = train_rolling.mean()
    test_rolling = test_df[f].rolling(window=2)
    test_df['rolling_{}_mean'.format(f)] = test_rolling.mean()

5. 按月日小時基本聚合特徵，包含均值、中位數等（groupby，存在特徵穿越）

# 按月日小時基本聚合特徵
group_feats = []
for f in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']):
    data_df['MDH_{}_medi'.format(f)] = data_df.groupby(['month','day','hour'])[f].transform('median')
    data_df['MDH_{}_mean'.format(f)] = data_df.groupby(['month','day','hour'])[f].transform('mean')
	......(各種統計量)
    group_feats.append('MDH_{}_mean'.format(f))

6. 基本交叉特徵（加減乘除，主要是比值和差值）

# 基本交叉特徵比值
for f1 in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo'] + group_feats):
    for f2 in ['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']+group_feats:
        if f1 != f2:
            colname = '{}_{}_ratio'.format(f1, f2)
            data_df[colname] = data_df[f1].values / data_df[f2].values

# 基本交叉特徵差值（大-小）
for f1 in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']):
    for f2 in ['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']:
        if (f1 != f2) & (data_df[f1].mean() > data_df[f2].mean()):
            colname = '{}_{}_differ'.format(f1, f2)
            data_df[colname] = data_df[f1].values - data_df[f2].values          

7. 一小時前同期值基本交叉特徵

# 一小時前同期值基本交叉特徵
for f1 in tqdm(['ago_1hour_outdoorTemp','ago_1hour_outdoorHum','ago_1hour_outdoorAtmo','ago_1hour_indoorHum','ago_1hour_indoorAtmo']):  
    for f2 in ['ago_1hour_outdoorTemp','ago_1hour_outdoorHum','ago_1hour_outdoorAtmo','ago_1hour_indoorHum','ago_1hour_indoorAtmo']:
        if f1 != f2:
            colname = 'ago_1hour_{}_{}_ratio'.format(f1, f2)
            data_df[colname] = data_df[f1].values / data_df[f2].values

8. 歷史資訊提取——前n天同小時基本特徵(包括初始特徵和交叉特徵)的均值（dt）

# 2days歷史資訊提取
data_df['dt'] = data_df['day'].values + (data_df['month'].values - 3) * 31
for f in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']+ratio_feats):
    tmp_df = pd.DataFrame()
    for t in range(15, 45):
        tmp = data_df[data_df['dt'].isin([t-1,t-2])].groupby(['hour'])[f].agg({'mean'}).reset_index()
        tmp.columns = ['hour','hit2days_{}_mean'.format(f)]
        tmp['dt'] = t
        tmp_df = tmp_df.append(tmp)
    data_df = data_df.merge(tmp_df, on=['dt','hour'], how='left')

9. 歷史資訊提取——前n小時基本特徵(包括初始特徵和交叉特徵)均值和差分（dh，使用diff操作）

# 前1和2小時歷史資訊差分
data_df['dh'] = data_df['hour'].values + (data_df['dt'].values -14) * 24
for f in tqdm(['outdoorTemp','outdoorHum','outdoorAtmo','indoorHum','indoorAtmo']+ratio_feats):
    tmp_df = data_df.groupby(['dh'])[f].agg(['mean']).reset_index()
    tmp_df.columns = ['dh','bef_{}_mean'.format(f)]
    tmp_df['diff1_{}_mean'.format(f)] = tmp_df['bef_{}_mean'.format(f)].diff(1)
    tmp_df['diff2_{}_mean'.format(f)] = tmp_df['bef_{}_mean'.format(f)].diff(2)
    data_df = data_df.merge(tmp_df, on=['dh'], how='left')

---

三、複賽：不允許使用當前值和特徵穿越

因為複賽的題目相比初賽變動較大，加上我們每個人的時間安排都比較緊張就沒有怎麼做，更好的解決方案大家可以去參考top大神們開原始碼！(我也在等！)

---

四、總結

1. 資料和特徵決定了機器學習的上限，而模型和演演算法只是逼近這個上限而已。特徵工程無敵重要!
2. 特徵工程差異性較大的兩個模型做簡單的加權融合就能得到很好的效果！
3. 時間序列問題的特徵構造真是一門大學問！
4. 做資料科學比賽每天打榜和AB榜切換真是一個美妙的過程！