Midjourney přichází s novou funkcí Character Reference pro konzistentnější postavy

Midjourney opět posouvá meze generativních obrazových modelů se svou novou funkcí Character Reference. Tato novinka vám umožní jednoduše vytvářet konzistentní a živější postavy napříč vašimi výtvory.

Uveřejněno

Rubrika

Autor

Nejdřív malá odbočka: následující odstavce byly vygenerovány pomocí bezplatného Anthropic Claude 3, o kterém psal v noci, jen na základě textu oznámení na Discord fóru Midjourney a krátkých jednoduchých instrukcí, co po něm chci. Samozřejmě jsem pak ale přidal i své postřehy z krátkého testování této novinky.


Midjourney opět posouvá meze generativních obrazových modelů se svou novou funkcí Character Reference. Tato novinka vám umožní vytvářet konzistentní a živější postavy napříč vašimi uměleckými díly jednoduchým způsobem.

Ukázka fungování Character Reference na Midjourney alpha – neveřejné webové verzi Midjourney, viz dále.

Jak MJ Character Reference funguje

Stačí v promptu za vaši textovou žádost přidat –cref a odkaz na obrázek postavy, kterou chcete napodobit. Například:

„Portrét mladé dívky s rozpuštěnými vlasy –cref https://example.com/image.jpg

Midjourney pak vygeneruje nový obrázek, který svým stylem a rysy napodobuje obrázek odkázaný přes –cref. Výhodou je, že si zachováte kontrolu nad ostatními aspekty vaší žádosti – můžete měnit pózu, pozadí, kompozici atd., ale postava bude mít konzistentní rysy obličeje, účes a oblečení odvozené z referenčního obrázku.

–CW aneb na síle záleží

Nová funkce nabízí i řadu dalších užitečných možností. Pomocí –cw můžete nastavit „sílu“ reference od 0 do 100. Při plné síli 100 (výchozí) se Midjourney zaměří na obličej, vlasy i oblečení postavy. Při síle 0 pak pouze na obličejové rysy. To můžete využít například při změně účesu nebo oblečení, ale zachování stejné tváře.

Chcete smísit více postav? Žádný problém – do promptu můžete vložit reference na více obrázků pomocí –cref URL1 URL2 atd. Midjourney pak charakterové rysy zkombinuje.

Omezení Character Reference

Je důležité zmínit, že Character Reference není určena pro fotografie reálných osob. Při použití na fotky může docházet k nežádoucím deformacím. Naopak nejlépe funguje u obrázků vygenerovaných samotným Midjorney.

Tato funkce také nelze kombinovat se všemi parametry jako je například –stylize nebo –tile. Lze ji však použít s –sref pro přidání stylu na postavu.

AI školení – nové termíny a místa (Praha, Brno…)

Chcete dostávat tyto články na e-mail, aby vám nic neuteklo?

A co konkurence?

Stable Diffusion a její varianty zatím neumožňují podobnou funkcionalitu (moje poznámka: to tak úplně neplatí) zaměřenou na postavy. S Character Reference tak Midjourney znovu posouvá možnosti generativních modelů a rozšiřuje svůj náskok. Finální výstup AI sice dosud nelze považovat za hotové dílo, nicméně pro koncepční práci je to skvělá volba.

Kde se Character Reference uplatní

Skvělé využití najde především pro konzistentní světy a příběhy. Výtvarníci, ilustrátoři a tvůrci komiksů si zajistí jednotný vizuální styl postav napříč různými díly. Studia pro videohry a anime zase můžou připravovat konzistentní koncepty pro fiktivní světy.

Nová funkce Character Reference od Midjourney je zde a slibuje lepší kontrolu, konzistenci a živost při vytváření postav pomocí generativních modelů. Ať už jste ilustrátor, výtvarník, vizionář AI artscény nebo autor fiktivních světů, díky ní získáváte mocný nový nástroj, který vašim vizím dodá řád, výraznost a jednotný rukopis. Se všemi rozšířenými možnostmi nastavení tak máte před sebou nečekané cesty tvorby – tak to nezanedbejte a vyzkoušejte sílu Character Reference na vlastní oči!


A teď já 🙂

Co na předchozí AI článek říkáte? Není to úplně můj styl, ostatně jsem mu ani nedával ukázky mých textů, ale jinak mi to přijde fajn. Zajímavá je zmínka o nepodporování –stylize a –tile parametrů. To se totiž v originále nepíše. Ale nejspíš to bude správně, model to asi pochopil z explicitního zmínění pouze parametru ref.

Chtěl jsem po něm také, ať zmíní konkurenci, což byla ode mě záměrná chyba, protože jsem mu k tomu nedal žádné podklady – napsal, že Stable Diffusion podobnou funkcionalitu nemá, což přísně řečeno není úplně pravda, je možné si samozřejmě modely dotrénovat, ale je to mnohem větší piplačka. Zároveň tam pak můžete vytvořit i přesvědčivé modely skutečných osob (ostatně nějaké Stable Diffusion modely stojí určitě i za výsledky aplikace Remini, o které jsem tu před pár měsíci psal, a kterou jsem použil pro tvorby svých profilovek).

Rád zkouším meze možností, takže byť Character Reference bohužel není vyvinutý k tvorbě fotografií skutečných postav, tak jsem jej právě k tomu zkusil využít.

Test 1 – popis vs. image prompt vs. character reference

Existují nyní 3 způsoby, jak dostat na výstup Midjourney nějakou osobu

  1. co nejdetailněji ji popsat,
  2. image prompt, kdy nahrajete kromě popisu fotky oné osoby (což je ale určeno spíše pro zachování stylu, kompozice a barevnosti)
  3. a nebo nová character reference

Vzal jsem 3 své fotografie a nechal jsem GPT-4 vygenerovat detailní popis rysů obličeje a postavy na fotografiích. Ten jsem pak použil v zadáních. Popis byl na 4 odstavce a psal tam něco o přátelském vzezření sochařského ztvárnění, takže se nelekejte těch soch 🙂

Ani poslední čtveřice nejsem úplně já, ale jistá podobnost tam je a hlavně jak můžete vidět, všechny 4 obrázky jsou jakoby jedné osoby.

Každopádně ale jak se budete moci přesvědčit na dalších ukázkách, kde se už zaměřuji jen na test samotné novinky – s character reference nepotřebujete už detailní popisy pro osobu, budete se moci soustředit čistě na scénu.

Test 2 – parametr Character Weight

Pomocný –cw vám určuje, jak moc se má držet referenční osoby i v detailech jako je oblečení či účes (nicméně obličej bude zachován vždy). Může nabývat hodnoty od 0 do 100, nejvyšší hodnotu použijete, když chcete aby daná osoba se stejným účesem a oblečením jen měnila scény (já mu dal 3 fotky s různými tričky a účesy, tak to má složitější), 0 se hodí, když chcete měnit účes i oblečení, a pak samozřejmě cokoliv mezi tím. V tomto testu jsem zvolil jednoduchý popis „man“

Zadání: /imagine man –cref URL1 URL2 URL3 –cw 0 (resp. 100 u druhé čtveřice)

Test 3 – změna prostředí

V tomhle testu jsem jen změnil zadání z „smiling man in Prague“ na „smiling man in summer Prague“. V obou testech jsem použil –cw 0, abych mu dal volnost v oblečení.

Test 4 – lehce náročnější scény a formáty

Samozřejmě kouzlo character reference je, že můžete dotyčnou „osobu“ dělat co si zlíbíte a využít libovolné formáty.

Test 5 – trocha imaginace

A nemusíte se držet při zdi, můžete danou postavu třeba nechat vystupovat ve filmech

Test 6 – kombinace se style reference

Funkci style reference uvedl Midjourney teprve v únoru a osobně jsem si ji moc oblíbil – umožňuje vzdechnout obrázkům nějaký jednotný styl s použitím referenčního obrázku a parametru –sref. Díky tomu pak můžete například zachovat jednotný styl obrázků v celém článku či knize.

Výsledný prompt pak vypadá nějak takhle:

/imagine smiling man in spring Prague –sref URL_STYLE_REFERENCE_OBRÁZKU –cref URL_CHARACTER_REFERENCE_OBRÁZKU –cw 0 –ar 40:21

Dovětek k Midjourney Alpha

Možná vás překvapilo v úvodu článku video z webu Midjourney Alpha – to je budoucí podoba Midjourney, kdy už nebudete muset používat ten pitomej Discord. Plnohodnotně, včetně možnosti generovat fotky, je dostupný zatím jen uživatelům, kteří vygenerovali více než 1000 obrázků (a asi jen některým, já to nemám), nicméně můžete jej i tak použít. Je dostupný myslím všem platícím uživatelům na stránce https://www.midjourney.com/imagine a hodí se třeba k přehlednému zobrazení a hledání vašich výtvorů či pro inspiraci a hodnocení děl ostatních.

Pochlubte se vašimi výtvory

To je pro dnešek vše, jestli jsem vás inspiroval si to zkusit, tak dejte na socky své výsledky a nezapomeňte třeba odkázat na tento článek a dát mention.

Midjourney je jinak součástí i mých celodenních AI školení a tuhle vychytávku určitě budu ukazovat také. A jak už jsem psal včera – jsou vypsané nové termíny, rychle se plní, tak neváhejte.

Zajímá mě také váš názor na úvod, který napsal Anthropic Claude – chtěli byste takové rychlé informace k novinkám, nebo si raději počkáte na mou vymazlenou verzi? Dejte mi vědět v komentářích na FB, Twitteru či Linkedin.

Nové články sem přidávám porůznu, tak jestli nechcete, aby vám něco uniklo, přidejte si můj feed do RSS čtečky, sledujte můj Twitter, Facebook a LinkedIn, případně si nechte nové příspěvky posílat mailem (žádný spam!)