你是否想擁有一個專屬畫師,免費為你的優美文字插上幾幅優美的插圖?如今依然實現
最近AI作畫確實很火,在DALL-E和Imagen嶄露頭角之後,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相繼開源開放,湧現出豐富多彩的AI作畫作品。本次通過一個開源工具來整體測試三種模型效果,用幾行程式碼就整體測試國內外模型的效果。
prompt:明日方舟,炫酷,獸耳娘,機能風,卡通
prompt:巨大的純白色城堡
專案地址:PaddleHub/modules/image/text_to_image/ernie_vilg at develop · PaddlePaddle/PaddleHub · GitHub
Stable-Diffusion(SD)效果
prompt:a beautiful landscape photography of snow covered Rocky mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamus
prompt:close-up maximalist illustration of panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, hd wallpaper, digital art
prompt:clouds surround the mountains and Chinesepalaces,sunshine,lake,overlook,overlook,unreal engine,light effect,Dream,Greg Rutkowski,James Gurney,artstation
Disco-Diffusion效果
prompt:在artstation上的一幅美麗的畫,一個獨特的燈塔,照耀著它的光穿過喧囂的血海
由greg rutkowski和thomas Kinkade所作
prompt:在寧靜的風景中畫一幅美麗的建築畫
由Arthur Adams在artstation上所作
prompt:小橋流水人家
以上驚豔的文圖生成效果,是通過PaddleHub三行Python程式碼實現的作品 :
import paddlehub as hub
module = hub.Module(name="ernie_vilg")
results = module.generate_image(text_prompts=["巨大的白色城堡"])
以上ernie_vilg替換為stable_diffusion或disco_diffusion_ernievil_base即可輕鬆體驗不同的文圖生成模型,使用者也可自定義修改text_prompts來獲得不同的效果體驗。
三行程式碼雖然簡單,但是程式碼背後的文圖生成模型可不簡單,分別來源於現在文圖生成領域最頂尖的開源成果:ERNIE-ViLG、Stable-Diffusion以及Disco Diffusion + ERNIE-ViL。以DD+ ERNIE-ViL為例,DD擴散模型負責從初始噪聲或者指定初始影象中來生成目標影象,ERNIE-ViL負責引導生成影象的語意和輸入的文字的語意儘可能接近,隨著擴散模型在ERNIE-ViL的引導下不斷的迭代生成新影象,最終能夠生成文字所描述內容的影象。這種驚豔的效果,在PaddleHub這裡只需要三行程式碼即可體驗。也可以通過huggingface的ERNIE-ViLG空間體驗,如圖:
國內外文生圖模型的效果對比,大家可以自行測試,只需要三行程式碼就可以,github專案地址:
Github:https://github.com/PaddlePaddle/PaddleHub
我用這個Demo也繪製了幾張圖片,總結:以後不用手繪插圖了!而且Ai沒有版權,不用擔心插圖侵犯別人的圖片版權而被索賠。
Demo體驗網址:兩個網站速度一致,大概一分半鐘可以繪製成功。
百度提供:https://wenxin.baidu.com/moduleApi/ernieVilg
第三方提供:https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG
AIStudio 專案:https://aistudio.baidu.com/aistudio/projectdetail/4671669