本文分享自華為雲社群《繪製一切》，作者： 雨落無痕 。

繪製一切-Inpaint Anything

相關連結：

Notebook案例地址：繪製一切

AI Gallery：https://developer.huaweicloud.com/develop/aigallery/home.html

也可通過AI Gallery，搜尋【繪製一切】一鍵體驗！

Inpaint Anything

通過一鍵點選標記選定物件，即可實現移除指定物件、填補指定物件、替換一切場景，涵蓋了包括目標移除、目標填充、背景替換等在內的多種典型影象修補應用場景。

它的整體框架如圖所示：

Inpaint Anything工作原理

Inpaint Anything結合了 SAM、影象修補模型（例如 LaMa）和 AIGC 模型（例如 Stable Diffusion）等視覺基礎模型。

• SAM（Segment Anything Model）可以通過點或框等輸入提示生成高質量的物件分割區域，實現指定目標的分割。更多相關的介紹可以參考一鍵分割影象。
• 影象修補模型LaMa，則能夠在高解析度影象的情況下，隨意刪除影象中的各種元素。模型的主要架構如下圖所示。包含一個mask的黑白圖，一張原始影象。將掩碼圖覆蓋影象後輸入Inpainting網路中，先是降取樣到低解析度，再經過幾個快速傅立葉折積FFC殘差塊，最後輸出上取樣，生成了一張高分辨的修復影象。

• AIGC模型Stable Diffusion，則只要簡單的輸入一段文字，Stable Diffusion 就可以迅速將其轉換為影象。更多相關的介紹可以參考AI作畫。

將三個模型結合到一起，我們可以做出很多的功能。本文就實現了在圖片/視訊中移除一切物體、在圖片中填充一切物體和在圖片中替換一切背景這三種功能，其具體實現步驟如下：

以下為具體通過ModelArts實現Inpaint Anything的流程。

Inpaint Anything適配ModelArts

使用方法：