AI全流程開發難題破解之鑰
摘要：通過對ModelArts、盤古大模型、ModelBox產品技術的解讀，幫助開發者更好的瞭解AI開發生產線。
本文分享自華為雲社群《【大廠內參】第16期：華為雲AI開發生產線，破解AI全流程開發難題》，作者：華為雲社群精選 。
近日，華為雲對AI開發生產線進行服務升級，幫助各行各業的軟體開發更簡單快速地完成SaaS化，在雲上創造更大價值。
AI開發生產線，通過ModelArts和AI Gallery, 支援AI開發運維的DevOps全流程。通過預整合盤古大模型和豐富的AI資產，讓開發者實現從資料標註、資料處理、模型訓練、到部署上線、模型調優等環節全流水線自動銜接，大幅提升效率。
1.基於行業演演算法套件的ModelArts雲原生AI開發最佳實踐
在AI開發的探索階段，選擇合適的環境、便利的工具、按需的算力、一鍵可執行的演演算法資源是我們最重要的因素。
- 在環境和算力方面，使用ModelArts提供雲化Notebook，配合彈性按需算力資源能力，可以快速地讓我們拿到一個帶AI計算資源的環境。
- 在演演算法方面，面向特定領域問題的演演算法解法集合、AI演演算法套件，可以讓我們快速的在演演算法間切換，找到合適的並且具備實際應用的自研及開源演演算法，通過訂閱和選擇的方式，可以在ModelArts上一鍵式的執行。
- 在工具方面，我們基於雲化的Notebook提供了引數化的開發模式，讓你的探索變得更便捷高效。
1.1選擇合適的AI開發套件，讓你的開發事半功倍
1.1.1雲原生Notebook
華為雲會選擇Notebook作為線上AI開發與探索的首選工具，其優勢在於可貫穿整個AI開發探索生命週期，從資料的處理到模型的開發以及驗證和調測，都是能夠全部覆蓋的。
Notebook可提供互動式的程式設計體驗，探索過程中的視覺化要求，可以快速地進行結果的分享與重現。如上圖「Kaggle在2021年機器學習開發者調研資料」所示，可以看到在IDE的流行度裡面，Notebook佔據很重要的位置。
縱觀整體業界趨勢，各個雲化AI開發廠商還是以JupyterLab底座+外掛的方式演進，主打資源免費、共同作業、社交化。ModelArts雲化Notebook也是基於此趨勢進行演進，並且提供豐富的差異化場景能力。資源切換、CodeLab、雲上雲下外掛等，貼近使用者使用習慣，提升AI開發效率。
1.1.2演演算法開發套件
我們知道，在AI的演演算法方面，需要去尋找匹配我們業務場景的合適演演算法，並且需要進行環境和演演算法之間的適配開發，以及演演算法相關引數的調優。
ModelArts提供的演演算法套件是面向一類演演算法問題解的集合，是針對特定的行業、領域預訓練模型、演演算法實現及資料集。以簡單易用為基礎正對雲邊端場景的不同需求，提供相應的內容支援。
目前，華為雲AI演演算法套件是通過自研+社群兩個方面，確保演演算法的豐富度。
- 自研方面，結合豐富的真實AI開發經驗，提供領域預訓練模型、演演算法實現及資料集。目前已經在影象分類、目標檢測、視覺分類、姿態預估等多個領域提供相關的內容，並且後續會持續豐富。使用者可以在AI Gallery上一鍵訂閱，在ModelArts上一鍵執行，提升使用者的AI開發和探索效率。
- 社群方面，對於社群的主流演演算法套件完成了非侵入式的適配，例如MMDetection、MMOCR、MMSegmentation等演演算法套件，可以像載入自研演演算法套件一樣，在ModelArts中快速載入一鍵執行。
1.1.3演演算法調優
有了工具和演演算法，接下來就是演演算法開發的探索和調優。華為雲基於ModelArts提供的基於Notebook的引數化、圖形化、互動式的能力加速開發過程，幫助開發者在資料處理、模型調優以及模型預測方面進行視覺化的操作，低門檻完成多種場景的AI演演算法開發與應用，配套提供的演演算法套件可以更加高效進行AI開發。
上圖是Notebook的Excel，使用者可以進行引數化的定義資料處理過程和訓練過程，可以圖形化檢視訓練結果，有表格，而不是之前的大篇幅的紀錄檔，還可以進行互動式的進行結果調測。不僅如此，Notebook還提供了豐富的基礎元件和元件定義能力，使用者可以根據自己的使用需求和習慣定義個性化的外掛。
在開發的資源和算力方面，ModelArts雲原生AI開發資源與算力構建在開放的華為云云原生平臺之上，基於底層應用、開放自主的相關基礎雲原生能力，方便開發者按需，低成本，靈活獲取到可用的資源和算力。
1.2標準化的開發工具，雲上雲下協同
從前面的介紹大家可以瞭解到，對於華為雲AI開發工程師，在AI開發的實驗原型和探索階段是基於ModelArts提供的serverless化的Notebook的互動式引數化能力，配合彈性按需算力、資源和環境，以及豐富的演演算法套件，幫助我們加速實驗原型的探索及開發。
面對具體AI團隊開發及應用落地時，需要涉及多人和多階段配合完成從資料處理、演演算法開發和調優，到模型訓練、推理開發及測試，並且在後續執行中涉及反覆的迭代，怎麼樣可以高效地完成這項工作。
借鑑傳統軟體開發經驗和實踐，華為雲通過工程化的AI開發模式，從工具到開發標準，再到程式碼化工程管理能力，助力開發團隊協同完成AI開發及應用落地。
在工具方面，為了更加匹配通用的IDE工具使用習慣，使用ModelArts提供VSCode\PyCharm外掛，就可以在自己的本地VSCode\PyCharm上進行程式碼開發，使用外掛遠端連線雲上資源進行遠端開發調測，並且可以呼叫模型訓練、模型部署等能力。
通過定義AI工程框架，來讓AI開發標準化，這個標準化的工程框架是實踐的總結和積累。使用ModelArts提供的標準化AI開發工程模板在模板中對於資料、演演算法、推理等各個環節的結構進行定義，並且還提供了CLI工程腳手架，通過程式碼與命令的方式與平臺功能相結合，全流程完成工程化的AI開發。使用者可以基於我們提供的工程結構定義，分工協同，完成不同內容的開發。
上圖為ModelArts提供的標準化工程結構，可以通過程式碼化方式完成AI過程、步驟、行為、資源等定義，並且通過程式碼倉統一管理。例如：使用者可以定義workflow、映象、訓練、作業、應用部署等，並且配合統一的資產管理進行工程化的AI開發。
前面介紹了雲上開發工具的能力，雲上的IDE與傳統的IDE在能力上還是存在差距的，所以為了更加匹配開發者通用IDE工具的使用習慣，ModelArts使用了基於VSCode\PyCharm+ModelArts外掛，滿足在地化開發及調測訴求。面對稀缺的GPU資源的訴求，通過遠端連線雲上資源的能力，打造本地開發遠端資源按需使用的能力，外掛提供一鍵式的安裝設定等能力，方便我們開發者的使用。
後續ModelArts也會提供更加沉浸式的AI開發能力，包含AI計算資源、雲上儲存預置AI映象，讓使用者體驗到雲上資源便利的同時，也帶來本地開發的順暢感。在遠端外掛上，可以呼叫雲上的開發、資料、訓練、推理等能力，以及提供的工程相關的所有AI開發能力，真正滿足一個團隊不同使用者的訴求。
1.3AI Gallery構建豐富活躍的AI生態
在正式的AI開發專案中，我們會面臨更多的困難和問題。AI Gallery是在ModelArts的基礎上構建了開發者生態社群，豐富及活躍的生態是AI開發的基礎和推動力。
在AI Gallery中，不僅提供了Notebook程式碼樣例、資料集、演演算法套件、模型等AI數位資產；而且還有學習、實踐、交流等板塊，方便不同訴求的使用者交流。並且在資產方面提供分享和訂閱能力，方便AI資產持續更新和迭代。我們希望開發者沉澱更多的資產，幫助更多的AI開發者，提升大家的開發效率，加速AI產業的發展。
傳統軟體開發完成後就是交付運維，AI的軟體開發交付後不僅僅是交付運維，還有面臨持續的資料更新、模型迭代、難例挖掘，這些流程應該是標準化可信的，並且與開發流程解偶，所以ModelArts提供了工作流的能力。
工作流是基於實際業務場景開發的，用於部署AI應用流水線工具，把已經完成好的AI開發業務場景，通過ModelArts Python SDK進行編排和開發，將資料處理、模型訓練、模型部署等能力進行編碼，然後把流水線釋出給業務應用人員。對於應用者來說不一定需要了解整個開發實現細節，他們只需要瞭解流水線的機制，以及需要存在變化的內容即可。例如：資料的增強、更新或者模型的引數變化，就可以方便地進行模型迭代、上線，這樣讓開發和執行分離，提高後續業務迭代的效率。
綜上我們可以看出，ModelArts 致力打造一站式的AI開發平臺，讓AI開發變得簡單、高效。華為雲從AI開發全流程出發，在分析設計演演算法模型探索和實驗模型整合與開發以及AI應用運維上提供高效、便捷的能力，並且結合華為雲豐富的實踐經驗，沉澱更多的標準化AI開發流水線，為AI開發者提供更多更好的服務。
2.華為雲盤古大模型，開啟AI工業化開發
2025年，企業對AI的採用率將達到86%。所以，AI走進企業的生產核心系統創造更大價值是大勢所趨。但與之相對的是，封閉的作坊式AI開發已經無法滿足行業高效、高質量的數位化轉型需求。
因為當企業有了AI需求以後，就需要獨立的建立一個場景。在這個場景中，企業要投入專家和開發人員，來針對這個場景去進行專門的研發。這會導致AI應用的開發效率低下，並且它的開發經驗，包括產生的一些資產也是無法得到有效積累。針對這樣的情況，華為提出了盤古大模型。
2.1什麼是華為盤古大模型
華為雲盤古大模型，是把海量的資料知識儲存在超大型的神經網路中，針對客製化化的需求，只需要將這些需求固化成一些流水線。在這個過程中，由於不同的流水線之間大部分的流程都是一樣的，僅僅只有小部分的操作或者場景專有的知識是有所不同的，所以就可以把這些知識或者操作像搭積木一樣，放在在這個流水線上面進行開發。這樣的開發模式比起作坊式的開發模式，就會更加的節省時間和人力。
在實際測試當中，盤古大模型進入企業生產系統以後，效率提升是非常明顯的。原來需要十個人所做的事情，現在只要一個人就可以把它做完，效率的提升達到十倍以上。
2.2五大盤古大模型應用在千行百業
為了更好地針對不同領域方面，在盤古大模型中，有視覺、NLP(自然語言處理)、多模態、Graph和科學計算等五個領域的大模型。在不同的行業。場景下，如金融風控、工業質檢、時尚設計、案件稽核和智慧育種等場景下，設定場景化模型。這些場景化模型都可以適配盤古大模型，最後應用在不同的行業案例中，如違規風險識別、布料質檢、流行元素標註等等應用。
盤古大模型是通過把算力、研發成本前置到華為雲側，如華為雲每年會消耗英偉達V100GPU超過4000張、使用相當於4TB清洗後純文字資料和10億張圖片去進行訓練，配備大量的工程師，經過多年的積累研發了大模型系統，這個大模型系統及可以幫助業界把成本大大減少和降低，不用在耗時耗力重複性的開發演演算法及模型，應用大模型從而快速的進行AI開發為了讓大家更好的認識和熟悉大模型，接下來將為大家展示大模型在不同行業中的應用。
2.2.1CV大模型
在鐵路TFDS進行未知的故障預測的場景中：一輛列車行駛路途中，有個攝像頭架設在一個固定地點，通過拍攝列車上各種不同視角不同位置的影象後，快速的去判斷列車是否有故障。
由於這些故障出現次數較少，故障型別多、拍攝圖片質量差等原因，因此很多情況下小模型無法取得很好的應用。很多情況下，工程師要針對每個故障去適配一個小模型，成本就非常高，更不要說未知故障的預測了。
通過盤古大模型，可以用一個或者少數幾個大模型去適配鐵路TFDS中的100多種不同的故障場景。最終保證故障的召回率達到90%，未知故障預測發現率提升1倍以上，同時還能保證單張圖片的識別時間小於4ms。
2.2.2NLP大模型
關於NLP大模型，為大家介紹的是最高檢應用專案。在這個專案當中，從最高檢獲取文字，對法律文書文字進行分析，去理解其中所代表的內容。比如，某一項法律為什麼應用在這個判決的這個地方，這中間包含了哪些原因等等。
如果是傳統小模型，需要適配資料再去適配不同的案例，這就導致時間較長。盤古大模型已經在預訓練過程中積累了大量NLP方面的知識，所以基於盤古大模型就可以在很短的時間內，把測試結果不斷地從開始的73%提升到最後的測試結果92%，也是高效地完成了專案。
除了在最高檢的專案應用以外，盤古NLP大模型還在反電炸等場景上得到應用。NLP大模型的遷移性強，對人工的依賴程度小，少量樣本、簡單調參即可。
2.2.3科學計算大模型
所謂科學計算就是把AI的能力輻射到其他領域。在科學計算領域，比如氣象、醫藥、航天航空、海洋、工業、地質等不同場景，在這些場景當中所面臨的共同問題就是解偏微分方程。在偏微分方程解的過程當中，盤古大模型可以發揮出它自己得天獨厚的優勢。比如說神經網路體量很大，所以在解方程的時候，科學計算大模型可以捕捉到小模型無法捕捉到的特徵，從而得到更精確的解答。
相比於傳統方法，用數值模擬的方法求解偏微分方程，求解效率會比較高。在一些極端的場景下，求解效率能夠從2天縮短到0.1秒，提升4~5個數量級的程度。在這種情況下，就可以用實時預測能力為科學計算應用提供實時預警，比如在海量預測問題上，可使用實時預警能力提供實時預警，從而提升在各個方面應對突發海事情況的能力。
接下來位大家展示盤古科學計算大模型的演示demo。該demo主要是進行全球海浪的實時預測，模擬一個地球的形狀，包含全球的陸地和海洋資料。通過模擬給定風速後，全球海洋的海浪高度是可以實時地顯示在螢幕上，這也是得益於推理速度的加快。因為盤古大模型使用0.1秒就完成預測，因此可以實時把結果顯示出來。同時還可以模擬海洋上的突發情況，比如海洋上可能出現的風暴和颱風。
在demo當中給大家展示實時生成颱風的路徑，並且調整這颱風的強度、風速、生命週期等引數，就能發現颱風對海浪的高度等造成的影響。因此就可以去模擬颱風對海洋的海浪造成的影響。所以該模型就可以有效的幫助我們去指導海洋上的生產生活，比如指導漁船去避險，發揮它自己所特有的價值。
對於大部分海上作業來說，精確的海浪預報具有重要的價值。與基於超級計算機的傳統預報模式相比，Al全球海浪預報模型可以以較低的計算成本，靈活的結合短期氣象預報更新結果，快速提供相關海域未來數小時的海況。該預報系統可以為航運公司提供服務，通過海浪資料結合航速航向來優化航行路徑，減少航行過程中的碳排放，同時避免遭遇極端海況造成人員和財產損失。
2.2.4多模態大模型
多模態，是指把影象和文字兩種不同的模態結合在一起，它們之間可以進行互動，從而可以幫助我們完成各種各樣的應用。比如像趨勢預測、輔助設計等，這些在時裝行業比較重要的應用。都是得益於多模態大模型，把人類所希望做的事情以文字形式表示出來，然後把它體現成影象的形式，讓設計師能夠以影象生成設計圖的方法，交付到生產線，加速最後的生產過程。在這個過程當中，利用大模型這樣的思路，使得影象和文字之間能夠高效地進行互動，從而最後完成這樣的過程。
2.2.5Graph大模型
盤古Graph大模型，主要是用來處理結構化資料。以企業報表資料為例，華為與廣發證券合作中發現，有些廣發證券客戶會存在這個財務造假的情況。廣發證券通過使用盤古大模型，利用資料可以幫助他們高效分析出哪些企業可能存在造假的情況，從而幫助廣發證券更好的去完成業務情況。2019年有496家企業被監管處罰、問詢或被ST處理和利用。
得益於大模型當中所具備的特徵抽取及預測的能力，盤古多模態大模型能構建客製化化、高效的產業鏈條，並在企業的生產、生活當中是可以發揮出更加重大的作用。如果大家對盤古大模型感興趣，包括對前面所展示的這個demo比較感興趣的話，請與華為商務部門聯絡。
3.ModelBox加速跨平臺高效能AI應用開發和落地
隨著新基建的推進，以及5G通訊、雲端計算、巨量資料和物聯網的快速發展，人工智慧應用的場景越來越多，AI正從極具想象力的概念成為具有超大發展前景的商業賽道，並逐漸滲透到各行各業，催生了技術產業新的發展。在深耕行業AI落地的過程中，我們發現AI的大規模應用落地並非一帆風順，面臨著比傳統軟體更復雜的難題：
- 部署場景、複雜系統架構涉及端邊雲多種組合。
- 易購計算平臺多樣，給應用效能優化帶來了更高的技能要求。
- AI基礎推理框架的API不統一，帶來繁瑣的適配工作。
為解決這些難題，在今年的這次大會上，我們對AI開發生產線ModelArts進行了重磅升級，釋出了ModelBox端邊雲統一AI應用開發框架。
ModelBox是讓模型以統一的格式和介面更高效地執行。通過ModelBox開發者無需過多關注底層技術也能開發出跨平臺高效能的AI應用，提升開發效率。開發者在華為雲AI開發生產線ModelArtes上完成模型的訓練和優化之後，均可以將模型通過ModelBox完成應用的開發和整合，並一鍵部署到端邊雲場景的不同裝置中執行，打通行業AI應用落地最後一公里。
為了幫助開發者快速完成AI應用的開發和部署，ModelBox整合了三大核心技術：
- 高效能並行排程引擎。可實現資料計算和資源管理的精細化智慧排程，整合了特別優化過的硬體加速單元。
- 譯製的應用編排異構計算元件。豐富的元件覆蓋了主流晶片、多數作業系統和主流的推理框架，可遮蔽這三個層次的平臺差異。
- 框架中提供了端邊雲AI系統單元，讓開發者快速寫出格式一致的AI應用，並結合場景需求，一鍵部署到端邊雲不同的裝置上執行。
基於高效能並行排程引擎，開發者無需掌握底層排程機制，也能保證高效能應用優化效果。ModelBox中將所有的任務都以功能單元的形式封裝，一個完整的應用就是由多個功能單元構成。華為雲自研一套靈活排程策略，在執行過程中，功能單元的計算將統一由執行緒池並行排程，確保計算單元被分配到對應的一個硬體中執行。同時計算中資料和執行單元繫結，保證資料處理的合理分配和高吞吐量。
根據引擎在實際應用案例中，讓典型的圖片檢測場景的資料吞吐量從54QPS提升到了442QPS，處理時延從0.5億毫秒降到了0.2毫秒。
為了帶給開發者更好的開發體驗，提供了圖編排的開發模式，所有API以功能單元的方式提供，應用開發可以做到像搭積木一樣方便。同時針對常用的AI推理場景提供了豐富的譯製功能單元，做到低程式碼/零程式碼就能完成應用開發。一次開發無需改動程式碼就能實現端邊雲不同裝置的一致部署執行。
三大核心技術帶來的收益也是明顯的，在節約80%左右的開發成本的情況下，還帶來2-10倍的推理效能提升。
3.1應用編排異構計算元件，縮短跨平臺開發和部署成本
ModelBox作為AI應用開發框架，華為雲始終關注開發者體驗。依據ModelBox的技術核心，華為雲提供了完整的開發工具鏈，可以讓開發者能夠以自己喜歡的IDE上手ModelBox。
ModelBox的豐富工程模板可降低開發門檻，對應用的AI開發部分包含功能單元開發和圖編排，可以實現對Python、C++等多種語言的靈活支援和視覺化編排的低門檻開發模式。同時還提供完整的偵錯機制以應對開發中的問題。
開發完成以後，ModelBox以RPN或者容器映象的打包方式，一鍵釋出應用。並且，ModelBox格式的應用支援多種部署方式，可以一鍵釋出成ModelArts雲上線上推理服務，也可以通過HiLens端雲協同服務，遠端部署到端邊側執行。為了實際場景需要，ModelBox還提供靈活的外掛，幫助開發者實現模型的許可權管理和設定等。
3.2ModelBox助力智慧出行應用實現高效能提升和快速落地
從去年開始，已經陸續有夥伴開始將AI應用牽引到ModelBox框架上來。以智慧出行場景為例，我們與夥伴全面重構了安全出行方案中的AI推理業務。在重構前，其中的疲勞和分神駕駛檢測任務是根據傳統的方式，進行AI應用開發和部署。由於業務量的增加，AI運算的效能已經滿足不了要求，並且基礎平臺將帶來擴容成本的增加。同時，切換品牌程式碼需要重新開發，難度就隨之增加。
在雙方團隊配合中選擇了ModelBox重構現有業務，資料吞吐量提升了2-10倍。以抽菸識別為例，從15QPS提升到了150QPS，在不擴容的情況下，業務能力大幅提高，節約了非常高的硬體成本。由於效能提升，我們也可以大膽嘗試更強大的演演算法，使得識別準確率也有超過10%的提升，同時耗時降低78%。
3.3華為雲助力ModelBox開發者實現商業成功
華為雲開源ModelBox，是希望通過開源能夠與廣大夥伴共同構建端邊雲協同的AI應用生態。
2021年，華為雲依託旗幟社群平臺完成了原始碼釋出，這也是社群中第一個應用框架類專案。經過半年的開源社群化開發，我們的專案更加完善和強大。今年晚些時候，我們將在下一個版本推出更多的使用者體驗，優化工具。未來，我們計劃提供越來越多的ModelBox開源解決方案，讓大家可以結合更多的參考樣例和專案做到開箱即用。
華為雲誠摯邀請廣大開發者朋友參與到ModelBox的開源專案中來。希望北向的AI演演算法應用開發者可以貢獻自己的能力，來豐富ModelBox的功能單元和應用場景，同時讓自己的應用可以被更多硬體高效執行。也希望南向裝置廠商把自己的硬體通過開源專案對接到ModelBox專案中來，這樣具有豐富的AI應用，可以補充和擴充套件硬體的AI使用場景。
為降低開發者上手門檻，華為雲與國辦合作推出了ModelBox生態入門級開發板。開發者可以從開發板套件開始體驗ModelBox結合硬體和端遊協同帶來的便利，將自己的IDEA快速變成現實。
同時還為開發者準備了豐富的上手課程，包含入門、進階和高階課。通過系列課程掌握ModelBox的基礎開發概念，上手體驗功能單元和圖形化編排的開發模式。
正是由於ModelBox天生對平臺作業系統和推理框架的適配開放能力，結合統一的應用打包格式，讓應用不管是雲上還是端邊側，可複製性都大大提高，這就給開發者的商業變現提供了更多可能。
為了更好的幫助開發者實現商業成功，華為雲AI開發生產線ModelArts和華為雲應用商店，幫助開發者打通從開發到落地的變現通路。ModelBox開發的AI應用，可以通過雲上平臺和銷售網路以及整合商夥伴，觸達更多的行業客戶，帶來更多的商業機會。
最後
華為雲AI開發生產線已通過中國信通院評測，是中國信通院認證的首批全能力域領先級AI開發平臺。通過不斷創新，在國內率先支援MLOps，讓更多企業上好雲、用好雲，進而推動AI進入更多核心生產環節，產生更高價值。