文心ERNIE-ViLG,你的免費插圖畫師

2022-10-09 21:00:35

你是否想擁有一個專屬畫師,免費為你的優美文字插上幾幅優美的插圖?如今依然實現

最近AI作畫確實很火,在DALL-E和Imagen嶄露頭角之後,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相繼開源開放,湧現出豐富多彩的AI作畫作品。本次通過一個開源工具來整體測試三種模型效果,用幾行程式碼就整體測試國內外模型的效果。

Ai繪圖效果展示

prompt:明日方舟,炫酷,獸耳娘,機能風,卡通

prompt:巨大的純白色城堡

專案地址:PaddleHub/modules/image/text_to_image/ernie_vilg at develop · PaddlePaddle/PaddleHub · GitHub

Stable-Diffusion(SD)效果

prompt:a beautiful landscape photography of snow covered Rocky mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamus

prompt:close-up maximalist illustration of panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, hd wallpaper, digital art

prompt:clouds surround the mountains and Chinesepalaces,sunshine,lake,overlook,overlook,unreal engine,light effect,Dream,Greg Rutkowski,James Gurney,artstation

專案地址:github.com/PaddlePaddl…

Disco-Diffusion效果

prompt:在artstation上的一幅美麗的畫,一個獨特的燈塔,照耀著它的光穿過喧囂的血海

由greg rutkowski和thomas Kinkade所作

prompt:在寧靜的風景中畫一幅美麗的建築畫

由Arthur Adams在artstation上所作

prompt:小橋流水人家

文心ERNIE-ViLG

以上驚豔的文圖生成效果,是通過PaddleHub三行Python程式碼實現的作品

import paddlehub as hub 
module = hub.Module(name="ernie_vilg") 
results = module.generate_image(text_prompts=["巨大的白色城堡"])

以上ernie_vilg替換為stable_diffusion或disco_diffusion_ernievil_base即可輕鬆體驗不同的文圖生成模型,使用者也可自定義修改text_prompts來獲得不同的效果體驗。

三行程式碼雖然簡單,但是程式碼背後的文圖生成模型可不簡單,分別來源於現在文圖生成領域最頂尖的開源成果:ERNIE-ViLGStable-Diffusion以及Disco Diffusion + ERNIE-ViL。以DD+ ERNIE-ViL為例,DD擴散模型負責從初始噪聲或者指定初始影象中來生成目標影象,ERNIE-ViL負責引導生成影象的語意和輸入的文字的語意儘可能接近,隨著擴散模型在ERNIE-ViL的引導下不斷的迭代生成新影象,最終能夠生成文字所描述內容的影象。這種驚豔的效果,在PaddleHub這裡只需要三行程式碼即可體驗。也可以通過huggingface的ERNIE-ViLG空間體驗,如圖:

體驗網站:

國內外文生圖模型的效果對比,大家可以自行測試,只需要三行程式碼就可以,github專案地址:

Github:https://github.com/PaddlePaddle/PaddleHub

我用這個Demo也繪製了幾張圖片,總結:以後不用手繪插圖了!而且Ai沒有版權,不用擔心插圖侵犯別人的圖片版權而被索賠。

Demo體驗網址:兩個網站速度一致,大概一分半鐘可以繪製成功。

百度提供:https://wenxin.baidu.com/moduleApi/ernieVilg

第三方提供:https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG

AIStudio 專案:https://aistudio.baidu.com/aistudio/projectdetail/4671669