在相同流量消耗的情況下,540p可秒變1080p?這不是魔法,通過視訊超解析度技術(簡稱視訊超分),就能讓視訊變得更清晰。
7月20日,在小紅書最新版本7.48的App中,使用者就能體驗到這項技術帶來的優質視訊體驗。小紅書和華為HMS Core合作,在行動端上線了基於HUAWEI HiAI Foundation提供的視訊超分能力,實現了視訊筆記在相同流量消耗的情況下,540p清晰度可秒變1080p的視覺效果,讓使用者真正享受到低成本觀看流暢清晰視訊的快感。
一直以來,小紅書將使用者基於真實生活的記錄分享視為最寶貴的財富,鼓勵使用者通過短視訊、圖文、直播等形式記錄生活,分享生活方式,並基於興趣互動形成社群。以此為基礎,小紅書平臺上湧現出內容與商業之間不斷流轉的良性互動,成長出獨具特色的「種草經濟」。
但在2K、4K螢幕解析度已是主流的今天,使用者對視訊畫質和體驗效果的要求也越來越高,卡頓或視訊解析度太低都會讓使用者難以忍受。然而音視訊領域業務複雜,端側算力需求大、演演算法部署困難,想要實現新的功能,構建新的業務場景並不容易。
如何為使用者打造低成本高畫質的視訊播放體驗,成為短視訊領域(尤其是各大頭部短視訊平臺)迫切想要解決的問題。
與此同時,華為HMS Core通過對影像處理能力的不斷積累,結合多媒體技術和AI演演算法,為社交、影音行業的開發者提供了一套AI視訊超分解決方案,輕鬆實現讓使用者觀看低解析度視訊時也能享受高解析度體驗的效果。
** 對音視訊領域的一致探索,為小紅書與HMS Core的合作拉開了帷幕。**
致力於打造「超清視界」的AI視訊超分技術,通過機器學習,可以將低解析度的影象、視訊進行重建,使影象、視訊更加清晰。但傳統超分演演算法對運算資源有較大的需求,且受限於行動端算力、演演算法功耗、多機型相容性等問題,在行動端上部署實時超分技術面臨著巨大挑戰。
在本次合作中,小紅書App通過接入基於HMS Core開放的HUAWEI HiAI Foudation,使能端側超分業務。端側視訊超分模型對實時性要求較高,意味著視訊超分功能不僅需要高算力,還需要通過底層硬體能力優化來降低功耗。HUAWEI HiAI Foundation作為端側AI計算的平臺底座,通過多IP協同、圖融合優化等技術,充分發揮NPU硬體單元的算力,令視訊超分以更低功耗更高效能在手機端側高效運轉。
這樣一來,小紅書開發者們就可通過降低或升高使用者所觀看視訊的清晰度和位元速率,動態化選擇網路環境,有效降低了寬頻的使用成本,並且提升了開發與運營效率。同時,端側視訊超分的落地,也讓小紅書使用者以相同的流量消耗,獲得了更流暢清晰的「種草」視訊觀看體驗。
小紅書團隊與華為HMS Core團隊對接始於今年4月,雙方合作高效,共同基於對媒體領域的技術理解和方案,協同開發,很快便整合了HUAWEI HiAI Foundation並實現了端側視訊超分能力,通過AI硬體的加速,解決了功耗和效能的難題。小紅書應用研發負責人鄧林在提及與HMS Core合作感受時說到:「HMS Core幫助我們解決了端側視訊超分這一難題,這使得小紅書的開發者們可以將更多精力放在業務創新方面,用旗艦技術賦能提升我們的使用者體驗。」
目前,小紅書「視訊超分」功能部署至HUAWEI MateX2系列、P50 Pro、Mate 40系列等90多款華為NPU手機機型,以及HUAWEI MatePad系列等10多款華為NPU平板機型,在相關手機和平板刷小紅書視訊筆記都能獲得優質體驗。
音視訊行業還存在著大量潛在的業務創新需求,未來HMS Core和小紅書也將持續探索為使用者提供更多個性化的服務,提升使用者體驗,在運動類、賽事類等細分領域上探索更多創新玩法。HUAWEI HiAI Foundation也一直在為開發者解決底層算力與體驗中的切實問題和最新技術難點,對開發者開放底層算力平臺,助力更多的演演算法遷移到端側部署。
瞭解更多詳情>>
存取華為開發者聯盟官網
獲取開發指導檔案
華為移動服務開源倉庫地址:GitHub、Gitee
關注我們,第一時間瞭解 HMS Core 最新技術資訊~