Concept Art made by KI

[joeydee]

"Wombo Dream" baut individuelle "Kunstwerke" aus Suchbegriffen, gibts als Mobile sowie Web-App.
https://app.wombo.art/

("Wombo" kannte ich nur als diese nervige Selfie-Sing-App ;))

Habe z.B. mal "Treehouse" eingegeben, mit verschiedenen weiteren Begriffen, sowie in unterschiedlichen Styles wie "Steampunk" oder "Fantasy" rendern lassen.
Deutsch wird i.d.R. auch verstanden (soweit ich weiß macht die KI eine Netz-Bildersuche), aber engl. wird scheinbar sicherer interpretiert wie man in der Auswahl im Spoiler sehen kann.

Aus Concepter-Sicht: Wow. Tatsächlich arbeitet man genau so. In "zufällige" Formen und "Happy Accidents" das gestellte Thema immer wieder neu hineininterpretieren, dabei möglichst einen spannenden Bildaufbau und Kontraste im Auge behalten.
Wenn man mal auf grundätzlicher Form-/Farb-Ideensuche ist und es etwas "ausschweifender" und fantastischer werden darf (im Game-Genre ja eher Regel als Ausnahme), mit viel Interpretationsspielraum nach oben, ist sowas ein ziemlich guter Startpunkt.
Aus meiner Sicht fehlen noch ein paar technischere Styles, Einstellen des Bildformats, mehr Kontrolle über die Farbpallette u.a. Zusammen mit einer Vorab-Bildauswahl (z.B. Pinterest-Sammlung) wäre das sogar ein ziemlich fettes Preproduction-Tool.

Ich muss neidisch eingestehen: So gut würde ich das auch gerne können.
Im Spoiler: 14 Ergebnisse zu "Treehouse" & Co.; ca. 80% aller Versuche waren einigermaßen brauchbar.

[Chromanoid]

Bekommt man gleich Lust ein Trading Card Game zu bauen :)

Es gibt ja auch noch https://www.artbreeder.com/ wo auch ziemlich cooles Zeug herauskommt. Da sind dann auch die Lizenzbedingungen einigermaßen geklärt. Sehe gar nicht wie das bei wombo ist.



Ich denke in Zukunft wird sich da noch einiges tun. Textur-Generierung (falls es das noch nicht gibt) sollte auch ziemlich gut klappen, vielleicht ja auch irgendwann als Teil des ausgelieferten Spiels und nicht in der Cloud.

Für Portraits und so sollte man das eigentlich schon alles wirklich produktiv nutzen können.

bruebaker hat ja auch echt coole Sachen mit TTS hinbekommen. D.h. auch an der Audio-Front tut sich einiges.

Am spannendsten finde ich persönlich bzgl. AI Real-Time-Retusche (hatten wir ja mal hier viewtopic.php?p=65831#p65831). Besonders spannend für AR-Brillen *träum* :)

Um noch mal zum Thema zu kommen: Konzeptkunst mittels AI zu generieren finde ich echt ne spannende Anwendung. Es sind halt oft Flickenteppich-Bilder, die sich so dann vielleicht auch auf die Konzeptkunst auswirken - also so dass die eigene Vorstellung sehr durch das Werkzeug beeinflusst wird.

[NytroX]

Also für mich sind diese Tools super.
Ich bin leider künstlerisch relativ untalentiert und unkreativ, da hilft mir das enorm.
Daher finde ich auch wie du schon erwähnt hast gerade Portraits super, vor allem auch als Placeholder für ein Spiel (oder sogar final) ist das eine super Sache.
Die Lizenzfrage ist tatsächlich immer ein Problem bei AI, die Bilder gelten als "derived work". Und wenn man dann mehrere Bilder mixed, viel Spaß.

Artbreeder kannte ich tatsächlich noch nicht, da ist offenbar alles CC0 - genial!

Each Artbreeder image is owned by the user who created that image.
You agree to license any images you create on Artbreeder under the Creative
Commons CC0 license. This effectively releases any image you create on Artbreeder
into the public domain. Such images may be used by anyone for any purpose, with
or without attribution.

[Lord Delvin]

So viel zu "Kreativität ist eine zutiefst menschliche Eigenschaft und etwas, wo uns Computer nie ersetzen können". Hat sinngemäß der Prof in meiner ersten Vorlesung an der Uni gesagt. Je weiter sich die Welt entwickelt, desto offensichtlicher wird, wie falsch das ist.

[bruebaker]

Ja irgendwann kommen dann ggf auch 3d Modelle von ner ki oder ganze Spiele (:

[Lord Delvin]

3D Modelle kann ich mir vorstellen. Ganze Spiele kommt mir relativ anspruchsvoll vor; einfach weil Menschen an sich da schon sehr schlecht drin sind. Möglich vermutlich; würde mich aber nicht wundern, wenn ich es zumindest nicht mehr erlebe.
Innerhalb eines vorgegebenen Genres sieht die Sache aber sicher anders aus.

[bruebaker]

3D Modelle kann ich mir vorstellen. Ganze Spiele kommt mir relativ anspruchsvoll vor; einfach weil Menschen an sich da schon sehr schlecht drin sind. Möglich vermutlich; würde mich aber nicht wundern, wenn ich es zumindest nicht mehr erlebe.
Innerhalb eines vorgegebenen Genres sieht die Sache aber sicher anders aus.

Jep ganze spiele sind noch weit weg bzw vielleicht sowas wie point and click? Bücher schreiben können die ki ja auch schon.

[Jonathan]

Also, die Bilder sehen geil aus, aber insgesamt bin ich glaube ich bei diesen ganzen KI Sachen immer noch pessimistischer, als die meisten anderen.

Für mich sind diese Concept-Arts ein netter Anfang und interessante Inspiration, aber eben keine fertige Ideen oder Konzepte. Wenn man die Bilder anschaut, sind die eben alle auf eine gewisse Art nur lokal konsistent - böse gesagt ein glorifiziertes Zusammenstückeln von Kacheln aus anderen Bildern plus ein paar Filter oben drauf angewandt. Das Netzwerk weiß, wie Dinge aussehen, aber versteht nicht, wie sie funktionieren. Das ist bei Menschen auch nicht immer besser, auch da gibts mal Räume die man nicht erreichen kann, oder Konstruktionen die so sofort einstürzen müssten, aber hier in den Bildern hat man auch größere Probleme wie irgendwelche Features wie Stämme oder Balken, die dann einfach awkward ausbelendet werden anstatt irgendwo sinnvoll zu Enden. Letztendlich findet man in jedem Bild Dinge, die so kein Mensch jemals malen würde.

Text-Modelle sind ja irgendwie genau so. Mehr oder weniger durch Brute-Force (d.h. super viele Beispiele) können dann Wörter gefunden und kombiniert werden, die schon irgendwie gut zusammen passen. Aber es gibt ja keinen Grund anzunehmen, dass das Netzwerk intern irgendeine nützliche Kodierung davon hat, was diese Begriffe überhaupt bedeuten. Es kennt keine dreidimensionale Welt, die physikalischen Gesetzen folgt und es gibt auch nicht wirklich einen Grund diese zu lernen, solange man mit 'plausiblen Raten' Ergebnisse produziert, die gut genug sind. Mal ganz abgesehen davon, das es mir nicht plausibel erscheint, dass ein solch komplettes Modell bloß aus Text überhaupt gelernt werden könnte. Es ist aber in jedem Falle etwas komplett anderes, als das was heutige Netzwerke tun.

Mag sein, dass auch menschliche Kreativität bloß ein Remix von vorherigen Eingaben ist. Aber diese Eingaben sind eben nicht auf Bild und Text beschränkt, sondern kommen aus einer echten Welt. Wenn eine Maschine kreativ sein soll wie ein Mensch behaupte ich, dass sie auch lernen müsste wie ein Mensch, also als Roboter oder Simulation oder irgendwie so. Bis dahin sind die Artefakte in generierten Bildern oder Texten für mich keine Unsauberkeiten, die man noch wegpolieren muss, sondern eben ein fundamentales Problem im Ansatz. Aktuelle Ergebnisse zeigen, dass man fürs plausible Generieren oft doch kein komplettes Modell von der Welt braucht. Ein bisschen wie ein Schüler, der Regeln auswendig gelernt hat ohne ihren Sinn oder ihre Bedeutung zu verstehen und damit irgendwie durch die Klausur kommt.
Aber an irgend einem Punkt wird man eine Grenze erreichen. Ein bisschen wie man eine Kurve mit eckigen Stücken annähern kann und mit absurd vielen Ecken auch Ergebnisse bekommt, die rund aussehen; aber wenn es wirklich glatt werden soll, muss man eben auch glatte Stücke verwenden, und solange man das nicht tut, wird es nie wirklich gut werden.

[Krishty]

Wenn man die Bilder anschaut, sind die eben alle auf eine gewisse Art nur lokal konsistent

GPT-3 hat rund zwei Buchseiten Kontext; auf Pixel übertragen ist das sehr wenig. Über den direkten Kontext hinaus kann man natürlich nicht viel brauchbare Ergebnisse erwarten. Dabei erscheint mir der Kontext allerdings schon größer als der eines Schulanfängers – wenn die zu einem bestimmten Thema eine Geschichte schreiben oder ein Bild malen sollen, schweifen sie meist schon im zweiten Satz oder beim fünften Strich ab. Ob der Kontext „einfach“ über mehr Rechenleistung vergrößert werden kann, weiß ich nicht.

Text-Modelle sind ja irgendwie genau so. Mehr oder weniger durch Brute-Force (d.h. super viele Beispiele) können dann Wörter gefunden und kombiniert werden, die schon irgendwie gut zusammen passen. Aber es gibt ja keinen Grund anzunehmen, dass das Netzwerk intern irgendeine nützliche Kodierung davon hat, was diese Begriffe überhaupt bedeuten.

GPT-3 hat Reimen und Rechnen gelernt. Mit großen Problemen zwar, aber ohne explizite Programmierung, was ein Reim oder eine Rechenaufgabe ist. „Mit großen Problemen“ sehe ich hier auch relativ, denn Algebra, Geometrie, Zahlentheorie, Statistik und lineare Gleichungssysteme können auch meine Kinder nach Schritt-für-Schritt-Anleitung nicht mit 15% Erfolg.

Despite these low accuracies, models clearly possess some mathematical knowledge: they achieve up to 15% accuracy on the easiest difficulty level, and they are able to generate step-by-step solutions that are coherent and on-topic even when incorrect

Aktuelle Ergebnisse zeigen, dass man fürs plausible Generieren oft doch kein komplettes Modell von der Welt braucht.

Genau – ein konsistentes Weltmodell ist das große Problem, und vielleicht wird sowas erst entstehen, wenn die Netzwerke Feedback gezielt in der physischen Welt anfragen können statt nur passiv zuzuhören.

[joeydee]

Für mich sind diese Concept-Arts ein netter Anfang und interessante Inspiration, aber eben keine fertige Ideen oder Konzepte.

Ich denke wir unter uns Programmierern hier sind uns alle ziemlich im Klaren, was es ist, und vor allem was es nicht ist.
Allerdings: Selbst das ausgereifteste Konzept wird man so nie in der Endproduktion sehen. Zuerst muss es jemand mit gewissem Aufwand umsetzen und dabei Stellen interpretieren und extrapolieren was nicht zu sehen ist, bis z.B. ein Kleid, 3D-Modell, Filmkulisse entsteht.

Wenn man die Bilder anschaut, sind die eben alle auf eine gewisse Art nur lokal konsistent

Genau. Die App heißt nicht umsonst "Dream" - vage kontrollierte, unreflektierte Assoziationen aus Schemen, welche iterativ neue Schemen und neue Assoziationen produzieren. Etwa so, wie wir träumen.
Aber: Die meisten Concept-Arts sind ebenso wenig ausgereift und konsistent - natürlich an unwichtigeren Stellen, und kommt natürlich auch auf den Produktionsschritt an. Betrachte aber z.B. mal Modeskizzen.
Wenn ich jedoch bereits in ein vages, "fehlerbehaftetes" Konzept ein konsistente(re)s Modell hineininterpretieren und dieses umsetzen kann, ist es damit schon ein ziemlich nützliches Konzept.
Oder anders ausgedückt: wenn ich einen guten 3D-Modeller frage, ob er ein Baumhaus modellieren kann, das so ähnlich aussieht, wird er sicher nicht antworten "nein, weil der Baum da nicht auf dem Boden endet, geht das nicht". Ein schlechterer Modeller wird es dagegen auch nicht mit der besten Skizze hinbekommen.

böse gesagt ein glorifiziertes Zusammenstückeln von Kacheln aus anderen Bildern plus ein paar Filter oben drauf angewandt.

Versuch das mal händisch: Google-Bildersuche zu einem Thema, und eine Collage zusammenstückeln. Du wirst merken, wieviel mehr dahintersteckt als nur Teile ausschneiden, passend transformieren, Übergänge retuschieren und grafischen Bildfiltern, bis du eine qualitativ ähnliche Collage hinbekommst, mir angepasster Farb- und Lichtstimmung und einigermaßen Tiefenwirkung.
Mit "So gut würde ich das auch gerne können", damit meinte ich genau das. Ich nutze Photoshop beruflich, und habe auch keine zwei linken Hände wenns um Retusche und Digital Painting geht. Aber eine Collage so sauber und grafisch konsistent hinzubekommen, da steckt richtig Arbeit dahinter.

Was das Zusammenstückeln angeht: Concept-Artists arbeiten ja prinzipiell auch so, nennt sich Mood-Sheet. Nur, es bleibt zuerst bei einer wilden Pinwand aus Referenzen für Farben, Formen, Licht, Layout, ... mögliche Zusammensetzungen erfolgen ständig neu im Kopf, werden verworfen, umgeschichtet, ... Aus diesen vagen Imaginationen, die bis dahin nur der Artist sieht, werden dann einzelne konsistentere Entwürfe gefertigt, dabei werden ständig die relevanten Teile aus den Referenzen abgeschaut und miteinander verschmolzen.
Hier ist sowas im Nachgang zu Papier gebracht und gar nicht erst ein fertige Artwork gemacht worden: https://pbs.twimg.com/media/FFtJgt6XMAE ... =4096x4096
(Von: The Spirit and The Mouse, Twitter: https://twitter.com/SpiritAndMouse)

So betrachtet liefern diese KI-Tools natürlich keine fertigen Artworks, sondern gehen nur den Schritt bis zur vagen Imagination. Ein zusätzlicher Ideenlieferant in diesem Produktionsschrit, nicht darüber hinaus.

[Krishty]

Was das Zusammenstückeln angeht

Oh stimmt, Jonathan, da wollte ich noch DALL-E verlinken: https://openai.com/blog/dall-e/

Du kannst auf die Text Prompts klicken und die Wörter frei auswählen, um Dinge zu erzeugen, die es in den Trainingsarten definitiv nicht gab – etwa ein blaues fünfeckiges Stoppschild – und bekommst ziemlich genau das. Der Möglichkeitsraum ist da auch einfach zu groß, als dass es besonders gut funktionierende Beispiele zum Angeben sein könnten.

[Jonathan]

böse gesagt ein glorifiziertes Zusammenstückeln von Kacheln aus anderen Bildern plus ein paar Filter oben drauf angewandt.

Versuch das mal händisch: Google-Bildersuche zu einem Thema, und eine Collage zusammenstückeln. Du wirst merken, wieviel mehr dahintersteckt als nur Teile ausschneiden, passend transformieren, Übergänge retuschieren und grafischen Bildfiltern, bis du eine qualitativ ähnliche Collage hinbekommst, mir angepasster Farb- und Lichtstimmung und einigermaßen Tiefenwirkung.

Was ich damit meinte war, dass ein Netzwerk, dass darauf trainiert ist Gesichter zu trainieren, dir keinen Baum generieren kann. Natürlich arbeitet es nicht so platt, dass wirklich Pixelblöcke überlagert und die Übergänge vertuscht werden, sondern auf einer höheren, abstrakteren Ebene. Besagtes Gesichternetzwerk kann dann zwar komplett neue Gesichter generieren, die niemanden aus dem Trainingsdatensatz ähnlich sehen, aber wenn es nur mit Gesichter einer Hautfarbe trainiert wurde, wird es danach einfach nicht anfangen, neue Hautfarben zu erfinden. Letztendlich wird die Eingabe genommen, in eine abstrakte (und selbstständig gelernte) Zwischenkodierung umgewandelt, die dann anschließend zufällig zusammengewürfelt und wieder in ein Ausgabebild umgewandelt werden kann.
Und das ist letztendlich der Grund, weshalb nicht nur die Netzwerkarchitektur ein ganz großes Thema ist, sondern eben auch die Trainingsdaten und deren Augmentierung. Konkret: Ich habe an Projekten mitgearbeitet, in denen das Netzwerk und seine Architektur maximal ein Viertel des Aufwandes war (und tatsächlich relativ schnell und mit nicht super viel Nachdenken aufgesetzt war) und dann die größte Leistungssteigerung durch kleinteiliges Optimieren der Trainingsdaten erreicht wurde.

Natürlich handelt es sich hier um spezialisierte Netzwerke, die eine ziemlich konkrete Aufgabe bearbeiten sollen. Was OpenAI mit GPT und DALL-E macht ist ja eigentlich eine andere Kategorie, nämlich ziemlich generelle Netzwerke. Ich würde absolut nicht behaupten wollen, dass ich mich damit toll auskenne, aber mir kommt es so vor, als ob die da auch nicht viel fundamental anders machen, sondern "einfach nur" viel größere Netze mit viel mehr Daten für viel längere Zeit trainieren, als man es von den klassischen akademischen Papern kennt (weil das an diesem Punkt einfach ein Ressourcenproblem ist, das lange nicht jede Uni stemmen kann). Und meine Frage, bzw. mein Zweifel ist halt, ob das wirklich schon die Lösung ist und ausreicht, oder ob es nur eine "Illusion" ist, dass es sehr gut funktioniert, die zusammen bricht, sobald man irgendwann doch an die Grenze kommt (im selben Sinne wie ein sehr großes Level von einem wirklich endlosen Level nur von sehr ausgiebigen Spielern unterschieden werden kann).
Ein wie tolles Gegenbeispiel DALL-E jetzt ist, weiß ich nicht. Es ist ja keine kombinatorische Explosion, wenn man in einem Satz 4 Wörter durch je 20 Alternativen austauschen kann, wenn diese in einer passend gelernten abstrakten Darstellung leicht kombinierbar sind (und man 20*4 anstatt 20^4 Eingabedaten braucht, um das zu lernen). Andererseits kann man dann natürlich sagen, dass genau diese gelernte abstrakte Darstellung schon alles ist, was man von Anfang an wollte, und man jetzt neue Konzepte super einfach reinschmeißen kann (so wie man einem Kind relativ schnell erklären kann, was ein Raumschiff ist, nämlich ein Schiff, dass statt übers Meer durch den Weltraum fährt und eben obenrum deshalb auch zu ist).

Um nochmal auf das "Endloses Welt vs. sau großes handgebautes Level" Beispiel zurück zu kommen: Ein Fraktal hat ja auch unendlich viele Details, besteht letztendlich aber nur aus endlos viel Information. Menschliches Denken ist wohl auch zumindest zu ganz großen Teilen mechanisch (an dieser Stelle kann man nochmal eine ganz andere Diskussion einsetzen), aber von dem was ich sehe doch noch von einer ganz anderen Qualität, als das was KI heutzutage leistet. In vielen alltäglichen Anwendungsfällen von Machine Learning ist das gar nicht relevant, aber während Computer vielleicht Gesichter besser erkennen oder zeichnen können als Menschen, sehe ich das für kreative Dinge wie ganze Bücher schreiben oder Computerspiele generieren einfach so noch nicht.

Sehr viel bessere Argumente werden mir hier wohl auch nicht mehr einfallen. Aber am Ende des Tages weiß ja eh niemand, wie ML wirklich funktioniert, der typische Weg Netzwerkarchitekturen in Papern zu argumentieren ist ja intuitiv plausible Argumente für Dinge hinzuschreiben, die man in Wirklichkeit durch langes Ausprobieren herausgefunden hat. Und die Dinge von denen man weiß, das sie gut funktionieren sind ja auch eher empirisch als durch strikte Herleitung belegt. Ich finde die Ergebnisse von ML so geil wie jeder andere auch, aber die Methodik ist halt einfach hässlicher als fast alles andere in der Informatik.

[joeydee]

böse gesagt ein glorifiziertes Zusammenstückeln von Kacheln aus anderen Bildern plus ein paar Filter oben drauf angewandt.

Was ich damit meinte war, [...]

Ähm, sorry(?), dass ich diese Ausführungen nicht in der ursprüngliche Aussage sehen konnte.

Sehr viel bessere Argumente werden mir hier wohl auch nicht mehr einfallen

Argumente wofür/wogegen? Dass die Ergebnisse der vorgestellten App unbrauchbar sind, weil sie nicht mit menschlichen Denkweisen mithalten können? Dass die Technik dahinter eigentlich Crap ist, weil man sie nicht gut analysieren kann?

Ist ein wenig so als wenn ich sage "Dieses Steak schmeckt gut", und jemand versucht zu argumentieren, dass es vor dem Hintergrund Tierwohl, Schadstoffe, Gesundheit, Vegan-Vorteile, ... gar nicht gut schmecken KANN.
Ja natürlich, aber nein ;)

[Jonathan]

Ähm, sorry(?), dass ich diese Ausführungen nicht in der ursprüngliche Aussage sehen konnte.

Hehehe, hups, ja. Ich glaube diese "glorifiziertes Zusammenstückeln" kam ursprünglich aus einem anderen Gespräch, in dem der Kontext dann klarer war und ich hatte es hier einfach nochmal erwähnt. (Ist ja auch ein kompliziertes Thema und ich wollte keinen seitenlange Post schreiben). Hoffe, dass es dann jetzt besser eingeordnet werden kann.

Argumente wofür/wogegen? Dass die Ergebnisse der vorgestellten App unbrauchbar sind, weil sie nicht mit menschlichen Denkweisen mithalten können? Dass die Technik dahinter eigentlich Crap ist, weil man sie nicht gut analysieren kann?

Ist ein wenig so als wenn ich sage "Dieses Steak schmeckt gut", und jemand versucht zu argumentieren, dass es vor dem Hintergrund Tierwohl, Schadstoffe, Gesundheit, Vegan-Vorteile, ... gar nicht gut schmecken KANN.
Ja natürlich, aber nein ;)

Argumente dafür, dass dieses Netzwerk nicht wirklich mit menschlicher Kreativität vergleichbar ist, bzw. sich noch auf einem fundamental anderem Level bewegt. Ich wollte den Generator nicht schlecht reden und würde auch ungern als "Jonathan hated Wombo Dream" zitiert werden. Ich würde in jedem Falle zustimmen, dass die Bilder als Konzept-Art insoweit sehr gut funktionieren, als das wenn ein Mensch sie sich anschaut, er direkt ein ziemlich gutes Bild vorm inneren Auge hat, wie so ein Baumhaus (oder halt andere Dinge) aussehen könnten - was vermutlich schon alles ist, was Concept-Art leisten soll.
Mir ging es eher darum, dass (meinem Gefühl nach) in der öffentlichen Diskussion Machine-Learning gerne mal überschätzt wird. Wie neulich als dieses Paper rum ging, das GTA 5 Szenen in Fotos umgewandelt wurden. Beeindruckend, ohne Frage, aber ein Punkt der immer wieder aufkam war halt, dass man das jetzt auf alle Computerspiele anwenden kann. Aber so einfach ist das nicht, es ging halt genau mit GTA, weil es dafür halt praktischerweise schon den passend gelabelten Datensatz gab der sau aufwändig zu erzeugen ist und den man eben nicht für ein X-beliebiges Spiel bekommen kann.Und sobald man den erzeugen muss ist halt irgendwie das Versprechen, "low-budget" Fotorealismus zu bekommen, indem man Bilder automatisch durch ein Netzwerk transformiert auch hinfällig, weil es eben doch super aufwändig ist, und man dann genauso gut all die anderen Verfahren benutzen kann.

[DerAlbi]

Ich würde in jedem Falle zustimmen, dass die Bilder als Konzept-Art insoweit sehr gut funktionieren, als das wenn ein Mensch sie sich anschaut, er direkt ein ziemlich gutes Bild vorm inneren Auge hat

Fun fact: Ich hab sowas nicht. Aber ich finde es witzig, wenn Leute über sowas reden.

[joeydee]

ist halt irgendwie das Versprechen, "low-budget" Fotorealismus zu bekommen, indem man Bilder automatisch durch ein Netzwerk transformiert auch hinfällig, weil es eben doch super aufwändig ist, und man dann genauso gut all die anderen Verfahren benutzen kann.

Jup, sehe ich auch so.
Die Matrix-Unreal-Demo sieht ja optisch schon so aus wie durch den GTA-KI-Filter gezogen, ich hab nicht in die Technik geschaut, aber vermute mal stark da steckt eben kein KI-Filter dahinter und ist dafür deutlich kontrollierbarer.

"Unreal Engine 5 in Aktion: Matrix Awakens simuliert eine riesige, lebendige Metropole (Abbildung: Epic Games)"
Zitat von: https://www.gameswirtschaft.de/marketin ... -ps5-xbox/

Vergleich GTA-Experiment: https://cdn.prod.www.spiegel.de/images/ ... y49.95.jpg

[Lord Delvin]

Wirkt auf mich, als wären die Screenspaceschatten zu heftig; wenn man Schatten von Körperteilen mit denen von Personen auf dem Boden vergleicht kommt mir das unplausibel vor. Das Rad wirkt auf mich auch falsch.
Würde einem alles live aber überwiegend nicht auffallen.

Ich kann mir aber kaum vorstellen, dass man das mit KI wirklich wegbekommt. Oder man ist halt wieder in der Indoor vs Outdoor KI; wobei ich diesmal erwarten würde, dass Indoor erheblich schlechter funktioniert, weil ich mir kaum vorstellen kann, dass man zumindest mit effizient auswertbarer KI komplexe Indoorbeleuchtung sauber korrigieren kann. Vielleicht glaubt man da aber auch als Mensch fast alles, wenn es nicht gerade zwei bunte Punktlichtquellen gibt.

[Chromanoid]

Wenn es hier um AI und Rendering geht, sehe ich da noch viel Luft nach oben. Man kann da "trainierte" Algorithmen auch gut mit traditionellen Rendering-Verfahren kombinieren. Z.B. https://arxiv.org/pdf/1710.09834.pdf, https://de.wikipedia.org/wiki/Deep_lear ... r_sampling usw.

Das sind ja im Grunde einfach auf ein konkretes Problem optimierte Algorithmen - durch Training schränkt man die Problemgröße ein und kann so z.T. effizientere Algorithmen "finden".

Eine echte Ablösung traditioneller Rendering-Pipelines kann ich mir erst vorstellen, wenn wir da allg. weiter sind - siehe auch viewtopic.php?f=9&t=4791 :)

edit: BTW das Bild mit der Unreal-Engine: Diese ganzen Städte-Simulationen würden viel realistischer aussehen, wenn da mehr Menschen mit Tüten und sichtbar zusammen gehende Kleingruppen (Freunde, Familien und Pärchen etc.) wären...

[joeydee]

Inzwischen sind manche Modelle gut genug, um damit 2D-Assets zu machen. Klar, bischen Retusche bleibt immer, und Freistellerei und Ergänzung sowieso, wenn man mehr damit vorhat. Aber prinzipiell schon ganz gut.

Hier mal ohne nachträgliche Retusche. Für die Assets wurde vorher eine grobe Skizze als Grundlage erstellt. Für die Szenen nicht, beruhen nur auf Text.


Skizze -> AI -> 2D-Asset

[Jonathan]

Hm, man sollte wirklich mal ausprobieren, damit Texturen zu generieren. Also zumindest für so Klassiker wie Holz, Sand, Gras, Wasser etc. sollte das ja eigentlich gut funktionieren.

Aber ja, das sieht eigentlich fast gut genug aus um Programmers Art in Prototypen zu ersetzen. Vielleicht sogar für mehr. Also, wenn man sich Grafiken in Assetstores zusammenkauft hat man ja auch oft das Problem, dass der Stil nicht 100%ig zusammen passt, vielleicht kriegt man da mit generierten Inhalten schon bessere Ergebnisse hin.

[marcgfx]

Ich finde das sieht absolut fantastisch aus. Ich müh mich grad ab an die 200 icons zu machen... aber ich weiss nicht ob ich das mit AI hinbekomme. Wenn es so ausschauen würde, wärs geil.

[joeydee]

Dror Lazar macht auch sehenswerte Konzeptexperimente mit AI: https://www.drorlazar.art/
marcgfx: Sein Workflow für 2D-Assets ist ähnlich, er nimmt aber nicht Skizzen, sondern einfache 3D-Modelle als Grundlage, käme deinen Arbeiten sicher näher: https://www.drorlazar.art/post/using-3d-as-a-base-image
Ergebnisse sind natürlich 2D. Er hat auch einen Link zu einem Workflow-Sheet, wo deutlich wird, wieviele Runden er für sowas dreht. Eine gewisse Arbeit macht sowas also trotzdem.

[scheichs]

Würde gerne einen handgepixelten Char mal durch KI aufpeppen lassen. Also ähnlich wie du es weiter oben mit den Assets gemacht hast. Hast Du da einen Tipp dazu, Joey?

[joeydee]

Im Prinzip: Du lädtst die Vorlage in eine App deiner Wahl hoch, gibst einen passenden Prompt wie z.B. "SciFi Warrior, 2D Game Art, ..." etc. ein und hoffst auf das Beste. Evtl. noch einen Stil im Prompt (z.B. bestimmter Game-Name, "pixelart", "handpainted" etc.) den du anpeilst, einfach ausprobieren.

Je komplexer das Subjekt, desto eher musst du aber davon ausgehen, dass Teile neu interpretiert werden, die du für etwas ganz anderes vorgesehen hast (Nase wird zum Mund oder zum Ohr bei seitlich gedrehtem Kopf etc.). Mach dich anfangs eher auf ausprobieren, überraschen lassen und finden gefasst, nicht auf ein gezielten Workflow bis zur exakten Umsetzung deiner ursprünglichen Vorstellung.

Es gibt inzwischen einige Online-Apps, die Image-to-Image erlauben. Bei manchen muss man sich anmelden, manche muss man mit der Zeit bezahlen (Credit-System).
Bei Wombo muss man sich nach wie vor nicht anmelden für die Grundfunktionen (auch Image-to-Image). Nur wenn man einen Premium-Account mit mehr Möglichkeiten möchte gilt: Account und Cash.

Inpainting für mehr Kontrolle:
Ich nutze u.a. auch www.mage.space (läuft mit den Stable Diffusion Modellen wahlweise 1.5 oder 2.1, mit Account, aber ohne Credits). Mage hat einen einfachen Inpainting-Editor, d.h. man kann ein eigenes oder vorher generiertes Bild partiell maskieren und nur diese Bereiche neu berechnen lassen, z.B. um nur das Gesicht des Chars zu ändern. Einfaches Beispiel (ohne Quali-Anspruch, geht nur um die Technik) siehe Anhang. Auf diese Art kann man sich schon eher an eine genauere Wunschvorstellung herantasten.

Es gibt eine ganze Reihe weitere Anbieter, z.t. mit eigenen Diffusion-Modellen, die für bestimmte angestrebte Styles geeigneter sein können.

Für Stable Diffusion gibts auch Offline-Apps mit Web-UIs, die man lokal laufen lassen kann und noch mehr Vorgabe- und Editiermöglichkeiten bieten.

Ist halt alles noch sehr in den Anfängen, das ändert sich alles fast wöchentlich im Moment. Manche Funktionen wie Depth-to-Image sind z.T. schon seit Dezember in den Modellen, aber noch nicht in den UIs umgesetzt.

[scheichs]

Danke für die ausführlichen Infos!
Habe mal mit Mage rumprobiert. Leider brachte es keine (hat Original als NSFW klassifiziert) oder nur Pixelmatsch raus. Wollte jetzt kein Abo für die anderen Modelle ausgeben, weil ich es aktuell nur für den einen Char gebraucht hätte.
Hab's dann jetzt von Hand gepixelt, aber vermutlich sind Deine Infos auch für andere hier nützlich.

[scheichs]

Midjourney liefert fantastische Ergebnisse.

Prompt: Ancient tree creature

Vom 1. dann 4 Varianten

und mal noch mit paar "horror" Prompts

Mit Text gibt's noch Probleme. Hier mal der Versuch für ein Logo meines Spiels "Discovery"

3D logo for computergame "Discovery", blockstyle, greenish, minecraft, realistic lighting, 8k, shiny

Auf der einen Seite ist es mindblowing wie einfach und "präzise" es da möglich ist, sinnvolle Bilder zu erzeugen, und die Quali ist wirklich auf extrem hohem Niveau.
Auf der anderen Seite wird es Kunst im allgemeinen abwerten. Schliesslich kann jetzt jeder mit ein paar simplen Prompts Bilder erzeugen, die vorher nur in tagelanger Arbeit von einem Artist geschaffen wurden. Diese sehen meist sogar noch besser aus. Klar kann man als Artist händisch viel mehr Details reinbringen, die man sonst per Prompt beschreiben müsste ("scar over left eyebrow", etc.). Aber allein durch die schiere Masse/Flut, die in den nächsten Jahren auf uns zuströmen wird, wird es schwierig noch WOW-Effekte zu generieren.

Das stimmt mich jetzt schon traurig...

[joeydee]

[...]wird es schwierig noch WOW-Effekte zu generieren.

Ja, definitiv. Es gibt genügend Beispiele, auch in der jüngeren Geschichte, wo ähnliches, vor allem in Medienbranchen, passiert ist. Irgendwann hat sich dann aber doch wieder die Spreu vom Weizen getrennt durch andere Qualitätsmerkmale. Aufzuhalten war sowas aber nie.

[Mirror]

Echt schon beeindruckend was mit KI möglich ist. Meiner Meinung klappt das aber nur bei Rasterdaten gut. Ich wüsste nicht wie man ein Mesh in einem neuronalen Netz unterbringen könnte, aber vielleicht übersehe ich da was.

@Scheichs: Schade das der Schriftzug nicht so will, würde aber sicher gut aussehen oder besser gesagt, es sieht gut aus.

[joeydee]

@Mirror: Es werden gerade für 3D Wege untersucht, Point Clouds per KI zu generieren. Point-E z.B. Das ist natürlich alles noch sehr weit weg von Midjourney-"Renderings" oder echten gescannten Objekten. Es wird sicher auch nicht einfach, Material und Beleuchtung oder gar animierbare Einzelteile dann so zu extrahieren dass sie auch dynamisch rendertauglich wären.
Wass korrektere Schriftzüge angeht, oder auch genauere Platzierungsangaben, Anzahl und Relationen mehrerer Gegenstände im Bild, da scheint die nächste Generation hinterher zu sein (Imagen z.B.)

Zurück zu aktuell sinnvollen Möglichkeiten, ein 2.5D Workflow wird hier getestet:
https://www.traffickinggame.com/ai-assisted-graphics/
https://www.traffickinggame.com/ai-assi ... ckgrounds/

[Jonathan]

Also ich denke schon auch, dass wirkliche menschengemachte Werke noch für lange Zeit mehr Tiefe und Inhalt haben, als KI generiert. Aber was mir ein bisschen Sorge macht, ist dass Menschen zu sehr abstumpfen und komplett verlernen, danach zu schauen und dann auch nicht mehr die entsprechende Wertschätzungen aufbringen können.

So funktioniert ja Überfluss irgendwie immer. Ich weiß noch, dass ich als kleines Kind jede Demo auf meiner GameStar Heft CD durchgezeockt habe, manche Level hunderte male gespielt habe, weil ich nichts anderes hatte. Wahrscheinlich habe ich heutzutage 2/3 der Spiele, die ich im letzten Jahr in irgendwelchen Sales gekauft habe nichtmal gestartet und nur einen Bruchteil des anderen Drittels tatsächlich zuende gespielt. Vermutlich, weil ich nicht mehr die Zeit und Geduld dafür habe.