引言
名單服務是風控架構中重要子域,對風險決策的效能、使用者體驗、成本管控、風險治理沉澱都有重要影響,本文將詳細介紹名單服務設計思路和實現。
背景
什麼是名單?
名單服務通常有幾個部分組成:
風險型別
- 黑名單:絕對會被拒絕的使用者。大部分是歷史資料淨化出來作弊或者破壞業務的使用者,這部分使用者對企業無價值且放之進入會破壞生態平衡
- 灰名單:灰名單上的客戶需要進一步稽核。這部分使用者可能存在某些風險,但是沒有明確的證據表明他們是「黑」的
- 白名單:這部分客戶是正常使用者,是企業數分人員基於歷史表現清洗出來的合規高價值使用者,可以直接放行
名單維度
- 主鍵:手機號、使用者 ID、身份證號、IP、裝置標識、wifi MAC 地址等等
- 業務域:全域、業務子域、細分領域等等,這邊需要字典服務來列舉出需要管控的粒度和場景
時間維度
名單是有一定的生效期的,不同的行為會導致鎖定期不一樣,生效時間可以靈活設定
為什麼需要名單服務?
- 最易構建的決策能力:風控前期的構建是比較依賴名單決策的,策略數分人員通過歷史資料判定哪些是「壞使用者」,直接將其儲存到名單庫中,後續請求直接在第一道名單決策中踢出,而不需要執行後續策略在判定一次。策略相對名單來說是非常「重」的,且名單服務構建簡單便捷,省時省力。
- 效能考慮:名單判定一般是在決策流的第一道,試想,對企業服務來說,大部分使用者其實都是正常的,如果每個使用者的請求都過一遍策略,對成本是極大的浪費,同時對效能來說也是極大的挑戰。此時名單服務通過白黑名單,將大部分使用者直接決策出去,只對不明確的客戶和有風險的客戶來做決策,極大地減少了開銷。
設計實現
名單服務的特點如下:
- 名單資料來源:可以是實時產生、離線跑批生產、運營人員手動批次匯入等等,形式多樣
- 效能足夠好:屬於決策流入口必過服務之一,即最大流量衝擊,需要經得起峰值壓力,RT 要足夠小
- 穩定性:高效能同時還需要高質量保證,如果名單服務出問題,後果不堪設想,流量全部流放到下游,可能會出現服務雪崩
- 質量保證:任何名單新增到名單庫中都需要重視,隨意的新增可能會給企業帶來難以想象的損失,所以得有完備的稽核記錄及新增原因,最重要的是生效時間的設定
整體名單服務的資料流圖如下所示,重要節點會作明確說明:
實時鏈路名單查詢設計
考慮到名單有時效性及效能要求,且名單資料結構整體簡單(多維度,單個維度儲存內容小),選擇 Redis 儲存名單資料非常適合快速查詢,資料結構如下:
說明:
- 採用 Redis Hash 結構儲存資料
- 為何不用 TTL 來儲存過期時間?:一是
expire
最大過期時間不能超過 Integer.MAXVALUE
不能滿足長時間的過期訴求;二來 Redis 本身定位是快取,不是永久儲存,即資料是可丟失的,需要自己保證服務的高可用
依賴於 Redis 叢集良好的效能,基本能滿足線上峰值高 QPS 查詢需求,且 RT 能很好的控制在 10 ms 以內。如上所說就是要保障高穩定性需求,如何保障名單資料的高可用是首要問題。
高可用設計
Redis 本身定位是快取,不能永久儲存資料,且叢集癱瘓或者資料部分缺失應對業務影響較小(能及時恢復的情況下,運維保障叢集的可用性),如下是高可用資料設計架構:
說明:
- T+1 Job 保證資料穩定:每天離線任務全量覆蓋,從關聯式資料庫 PG/MySQL 中抽數 push 到 Redis 中即可
- Redis 叢集出問題:不管是老叢集重啟還是更換到新叢集,先用 RDB 恢復資料,保證線上可用,再立即執行離線任務做精確覆蓋(T 日的資料丟失需要立即覆蓋),考慮到讀寫同時進行可能會有問題,需要分叢集切流
同時需要關注多執行緒問題,同一個維度,在同一時間可能存在批次更新情況,尤其是離線任務恢復時,歷史資料會存在對一個維度多次更新問題,不考慮多執行緒問題可能會導致資料被篡改。
資料安全審計
名單庫的風險點在於:隨意地新增名單可能導致「壞使用者」暢通無阻,「好使用者」無法在進入業務流程
名單的生產來源及定性原因不明確,線上在排查問題時也只能乾瞪眼,為了能回溯名單操作,需要做到如下幾點:
- 寫紀錄檔:任何寫動作需要追加紀錄檔,且需要做持久換儲存,方便做名單時序資料分析
- 黑名單 & 白名單需要審計:尤其是線上單獨新增這種,必須指明原因且要對操作負責
- 跑批任務審計:離線任務或者演演算法推數等需要控量,否則在迭代更新過程中出現 BUG 問題,導致名單資料猛增,後果不堪設想
異動監控
監控重中之重。
能第一時間感知問題,監控的維度如下:
- 決策層面監控:灰、白、黑名單決策數量監控
- 後設資料產出層面監控:任何名單猛增或猛跌都是需要去定性是否正常
- 拉黑踢白:沒有永久犯錯的人,也沒有永久的好人,名單之間的流動也需要關注
總結
名單服務在風控域中是最重要的子域之一,是風控流量的「閘道器」。名單庫對整個風控決策的穩定性,效能提升起到決定性影響。
同時名單服務也是「高危」的,如果使用不當,可能會給企業良好使用者帶來困擾,給那些「黑產」敞開門戶,需要做好資料稽核及異動監控。
往期精彩
歡迎關注公眾號:咕咕雞技術專欄
個人技術部落格:https://jifuwei.github.io/ >
若有收穫,就點個贊吧