Wie könnte man den "Fremdkörper"-Eindruck vermeiden

[Schrompf]

Moin!

Ich zocke gerade mit großer Freude das neue IndianaJones-Spiel. Und es hat eine tolle Grafik! Aber es hat wie so viele andere Spiele den Effekt, dass Objekte in der Szene wie Fremdkörper wirken. Und ich frage mich lose, wie man das vermeiden könnte.

Folgendes Bild:

Das Tischchen rechts - irgendwas an den Stelzen, wo der Tisch eigentlich auf dem Boden stehen sollte, wirkt wie als ob man ein Bild reinkopiert hätte. Genauso diese Pflanz-Schale auf dem Tisch, die wirkt nicht wie als ob sie auf dem Tisch steht, sie wirkt wie ein Alien.

Hat jemand ne Idee, wie man das verbessern könnte? Das Einzige, was mir so prompt einfällt, wären ordentliche Kontaktschatten, die man im Screenspace hinterher faked.

[Krishty]

Genau, Kontaktschatten. Wichtig ist IMHO, dass die Schatten am Kontaktpunkt auch wirklich scharf sind (à Volume Shadows) und nicht 10 cm² große gefilterte Texel.

Daher kommt imho der Eindruck – die Stelzen sind sehr scharf (Kanten pixelgenau) und alles drumherum ist verwaschen.

Auch das Laub auf dem Boden sieht für mich schwebend aus. Komplett unterschiedliche Auflösung.

[scheichs]

Oder, wenn man schon Raytracing voraussetzt, könnte man damit ja auch die Schatten machen, anstatt da wieder auf Shadowmaps zu gehen.

[Jonathan]

Ein Kollege hatte damals mal ein Paper über Contact-Hardening-Soft-Shadows geschrieben:

https://jcgt.org/published/0006/01/03/

Ansonsten würde ich auch sagen: Global Illumination fehlt halt. Gerade an diesen Kontaktpunkten hat das ja die stärksten Effekte, auch z.B. Color-Bleeding, wenn ein helles angeleuchtetes Objekt ein dunkles in seiner Materialfarbe beleuchtet.

Bei so starken Kontrasten kommt in echt auch vielleicht noch ein gewisses Überstrahlen hinzu, was die Kanten ausbleichen würde. Außerdem in manchen Szenen noch Tiefenunschärfe, wodurch man auch einen schwächeren Kontrast zwischen den zwei Objekten hätte, weil zumindest eins davon unscharf ist. Speziell Tiefenunschärfe ist aber ja etwas schwierig, ich fand das in den 3D Kinofilmen die man vor 10 Jahren mal im Kino gesehen hat (ist das eigentlich noch angesagt?) immer nervig, wenn ich die Illusion hatte, alles in 3D sehen zu können, dann aber nicht selber entscheiden konnte, worauf mein Auge scharfstellen soll.

[Schrompf]

Ha, das Paper lädt bei mir als Peters2017MSM(1).pdf runter :-) Wenn ich mal groß bin, komm ich mal weg von meinen Brutalist 64-tap PCSM.

Ich hatte irgendwo mal aufgeschnappt, dass ein früheres Spiel die Kontaktschatten im Screen Space nachgebessert hat. Irgendwie ist man davon aber wieder abgekommen? Vermutlich, weil Du das nicht einfach als PostFX drauf hauen kannst, sondern überdunkelst Du die Schatten an den Stellen, wo die ShadowMap übernimmt. Dafür könnte man aber die kompletten Schatten in halber Auflösung machen... Hm... und hinterher einen zarten Depth-Aware Blur drauf... klingt schon verlockend.

[NytroX]

Also ich denke auch es sind neben dem, was bereits erwähnt wurde, auch die Farben.
Also eine schwarze Oberfläche kann in der Realität heller sein als eine weiße.

Dort wo die Füße von dem Tisch den Boden berühren, sind die Füße dunkler als der Schatten drumrum.
Also das "self-shadowing" passt nicht zur Umgebung.

Ich dachte immer SSAO wäre mittlerweile Standard in allen Spielen. Es hat auch Probleme, klar, aber es sieht mMn besser aus, wenn man es nicht übertreibt und den Depth-Buffer mit einbezieht und eine Art Kantenerkennung mit einbaut.

Aber ja, es ist halt keine Global Illumination, sondern irgendwie Objekt-Lokal, und dann sieht das kaputt aus.

Man kann das also verbessern mit einer Art von AmbientOcclusion (hier mal ein paar Optionen: https://vr.arvilab.com/blog/ambient-occlusion).
Oder man haut halt Raytracing in die Szene.

[Schrompf]

Oh, die haben Raytracing und SSAO und alles, aber halt auch physikalisch korrekt. Und da überstrahlt eine Sonne halt deutlich die Wirkung jeder beliebigen AO-Abdunklung. Das dort sind einfach die Folgen einer endlich genauen ShadowMap.

[starcow]

Das sind auch meine Erfahrungen. Wenn Ambient Occlusion (oder ein AO-ähnlicher Effekt mittels GI) gänzlich fehlt, wirken die Objekte sehr oft "reinkopiert" - besonders dann, wenn die Grafik ansonsten sehr realistisch wirkt.

Ambient Occlusion - selbst wenn nur sehr dezent und "fein" eingesetzt - verbessert den optischen Eindruck ganz massiv. Nach meiner Erfahrung eigentlich so gut wie immer! (Meine Erfahrungen beziehen sich an der Stelle auf AO mittels Raytracing: Mental Ray oder Arnold)

Selbst wenn ein Objekt unmittelbar von einer starken Lichtquelle beleuchtet wird (Beispiel: Krug auf Tisch im Sonnenlicht), darf ein dezentes AO an den Kontakstellen nicht fehlen - und zwar auch dort nicht, wo das Objekt direktem Licht ausgesetzt ist.
Der Effekt gehört zu jenen, den man erst dann richtig registriert, wenn er fehlt.

Ich rendere Preview-Scenen grundsätzlich mit einem einfachen Lambert-Material und etwas AO drüber multipliziert. Optisch - als Ausgangslage - beinahe "Butter und Brot" und (meiner Erfahrung nach) sehr oft "substanzieller" als Glanzlicht - oder Specularlight-Effekte.

[Krishty]

Related: https://en.wikipedia.org/wiki/Lahaina_Noon

Zwei Mal im Jahr steht die Sonne über Hawaii exakt senkrecht; dann verschwinden die meisten Schatten und alles sieht wie reinkopiert aus.

[starcow]

Danke Krishty :D
Ich konnte mich noch erinnern, dass du das Bild mal gepostet hattest. Wirklich eindrücklich!

[Schrompf]

Nochmal: dieses Spiel hat AO, und Realtime-GI, und alles. Aber wenn ne normale Sonne physikalisch korrekte Lichtmenge auf den Boden knallt, dann kannst Du dort AO auf den Ambient-Anteil anwenden, wie Du willst. Das Licht von der Sonne wird das alles ausbrennen. Das eigentliche Problem ist also, dass der Schatten bei dünnen und bodennahen Dingen nicht sofort anfängt, sondern halt nur mit begrenzter Auflösung und paar Bias-Zentimeter zu spät. Wenn das Tischbein nen richtigen Schatten werfen würde, könnte man da dann auch AO sehen.

[edit] Oder wie Crysis, meines Wissens Erfinder des AO im seligen Jahre 2003 oder so, AO auf das ganze Bild anwenden, nicht nur auf den Ambient-Anteil.

[Jonathan]

Hmm, ja, der Boden vor dem Fass links neben dem Tisch auf der rechten Seite ist zum Beispiel so dunkel, dass man die Kante kaum sehen kann - da wirkt nix wie reinkopiert.

Die Frage ist ein wenig, sollte der Boden im Schatten vom Tischbein genau so dunkel sein wie die Rückseite des Tischbeins? Bei der Schüssel links auf dem Tisch ist der Tisch vor der Schale komplett im Schatten und der Schatten ist auch recht dunkel, aber insgesamt sieht man trotzdem eine stärkere Kante als bei dem Fass.

Wobei ich es schwierig finde zu sagen, das Spiel hat AO und GI. Es sind ja beides Real-Time Approximationen mit Problemen. Das Spiel hat ja auch Schatten, nur sind die nicht immer sehr korrekt. Vielleicht würde unbiased / Path-traced GI da doch nochmal alles deutlich stimmiger machen (in diesem Sinne sind dann ja AO und Schatten gar keine separaten Effekte mehr, sondern entstehen ganz natürlich und unvermeidlich, wenn man echtes GI hat).

[Jonathan]

Fun Fact, es gibt noch ein anderes, ziemlich bekanntes Bild zu Lahaina-Noon:

"Lahaina Noon Shadows are amazing"

Ja, es stimmt schon, dass der Schatten sehr cool aussieht, aber leider hat das nicht so viel mit der Sonne zu tun, und vielmehr damit, dass der Baum einfach eine sehr ulkige Blätterverteilung hat. Die Sonne könnte 1 oder 2 Grad anders stehen, das Bild wäre immer noch genau so cool. Der Baumstamm ist ja nichteinmal gerade, der wirft ja bei jedem Sonnenwinkel Schatten. Also ja, cooles Bild, aber den Effekt leider nicht verstanden.

[starcow]

Aber wenn ne normale Sonne physikalisch korrekte Lichtmenge auf den Boden knallt, dann kannst Du dort AO auf den Ambient-Anteil anwenden, wie Du willst. Das Licht von der Sonne wird das alles ausbrennen.

Das stimmt zwar in der Theorie, aber meiner Erfahrung nach tritt in der Realität ein Effekt ein, der für das "grounding" des Objektes zentral ist: "Color Bleeding" (im Beispiel nur mit Graustufen).
Hat man kein richtiges GI, lässt sich der "Color Bleeding" Effekt mittels AO relativ gut kompensieren.

Eine kleine Test-Szene, um zu verdeutlichen, was gemeint ist. Gerendert mittels Mental Ray (Ray Tracing).
Das Licht kommt im 45° Winkel, so dass die Helligkeit von Boden und Würfel genau gleich ausfallen.

Im ersten Bild ist weder GI, noch Ambient Occlusion aktiviert.
Im zweiten Bild ist GI und Final Gathering aktiviert (jedoch kein AO).
Im dritten Bild ist Abient Occlusion aktiviert (jedoch weder GI, noch Final Gathering).

test-a.jpg (8.8 KiB) 841 mal betrachtet

test-b.jpg (9.63 KiB) 841 mal betrachtet

test-c.jpg (9.51 KiB) 841 mal betrachtet

Das Ambient Occlusion "arbeitet" zwar genau in entgegengesetzter Richtung (es dunkelt ab), lässt aber durch den so entstehenden Gradienten die Grafik wieder stärker den Seherwartungen entsprechen. Fehlt beides - AO und GI - kann der "Grounding-Effekt" der Objekte darunter leiden.

Das Thema taucht gelegentlich in Diskussionen um das Thema auf.
Verkürzt: AO im Sonnenlicht wäre "eigentlich" falsch, ist aber zentral, solange man nicht wirklich gutes (echtes) GI hat.

Das sind jedenfalls meine Erfahrungen dazu. Deshalb multipliziere ich AO einfach über den Light-Pass - auch wenn der Effekt im direkten (starken) Licht eigentlich nicht zu sehen sein dürfte.
AO ist seinem Wesen nach ja ohnehin ein "pseudo" Effekt, der etwas kompensieren soll, was tatsächlich fehlt.

[smurfer]

Naja, dein erstes Beispiel wirkt ja auch nicht schwebend oder kontaktlos, es fehlt lediglich Information um Tiefe, Ausrichtung und damit die 3D-Geometrie zu interpretieren. Am Ende denke ich, dass es maßgeblich -- wie auch schon oben in verschiedenen Facetten erwähnt -- auf die ungenauen Geometrieübergänge wegen geringer aufgelöster Schatten zurückgeht. Zudem sorgt das Tiefpassfiltern der geringer aufgelösten Elemente für Kontrastverlust und vermutlich, wenn nicht getrickst, eine Aufhellung der Schatten.
Eventuell könnte man oder tut es vielleicht auch schon, die Kontraste im Nachhinein kalibrieren oder in Abhängigkeit von der geringeren Auflösung im Glättungsprozess tendentiell etwas mehr in Richtung Dilatation gehen. Ich nehme an, minimal zu große Schatten wirken besser als zu kleine.

Edit: Was mir jetzt auch erst auffällt, es fehlt gänzlich ein überlagernder (meinetwegen additiver) Schatteneffekt. Alles, was im Schatten liegt, scheint keinen eigenen Schatten zu werfen (Flasche, Bank, Tischbeine im Schatten), obwohl hier durch das Streulicht und der Lichtquellenfläche (des -volumens) in der Realität ja durchaus Unterschiede zu sehen sein müssten. Das mag AO oder Color-Bleeding dann etwas kompensieren, wenn es nicht von der GI oder irgendwelchen Reihenfolgen in der Renderpipeline verhindert wird.

Hier mal ein willkürliches Bild aus dem Internet:

[starcow]

Naja, dein erstes Beispiel wirkt ja auch nicht schwebend oder kontaktlos, es fehlt lediglich Information um Tiefe, Ausrichtung und damit die 3D-Geometrie zu interpretieren.

Ja, das stimmt. Ich hätte deutlicher erwähnen sollen, dass ich damit den "Plastizität-Effekt" veranschulichen wollte, der auch dann eintritt, wenn ein Objekt frontalem (Sonnen)-Licht ausgesetzt ist. Und dass sich dieser mit AO gut kompensieren lässt. Also die Frage, ob AO auch bei direkter Lichteinstrahlung sichtbar sein sollte. Dieser Effekt kann auch die Wahrnehmung "Objekt berührt Fläche" beeinflussen.

Auf polycount hat mal jemand eine Anschaungsgrafik dazu erstellt.
Ich bin allerdings (wie erwähnt) der Meinung, dass das (gänzliche) Weglassen von AO an Stellen direkter Lichteinstrahlung die Glaubwürdigkeit eher beeinträchtigt als unterstützt.
IMHO sollte AO In reduzierter Form auch an direkt beleuchteten Stellen noch sichbar sein.



http://wiki.polycount.com/wiki/Ambient_occlusion_map

[Schrompf]

Ein schickes Schaubild. Ich bin inzwischen auch gar nicht mehr sicher, ob das Spiel AO hat... es ist ID-Tech, die haben irgendwas Dynamisches als GI am Start, aber ich habe den Eindruck, so kleine Details wie ein Stuhlbein deckt das System gar nicht ab.

Aber egal, was bislang eine spannende Diskussion.

[smurfer]

[...]
Ich bin allerdings (wie erwähnt) der Meinung, dass das (gänzliche) Weglassen von AO an Stellen direkter Lichteinstrahlung die Glaubwürdigkeit eher beeinträchtigt als unterstützt.
IMHO sollte AO In reduzierter Form auch an direkt beleuchteten Stellen noch sichbar sein.

Ja, das sehe ich auch so.

Der physikalische Grund für AO entfällt ja nicht gänzlich, weil es heller ist, am Bildschirm sind wir nur wieder sehr schnell an den Grenzen der Bandbreite der Lichtintensität (Dynamik). In der Realität werde ich es vermutlich unterbewusst wahrnehmen oder es ist so hell (überstrahlt), dass ich nicht lange hinschaue.

Das Anwenden auch auf direkt beleuchtete Bereiche empfinde ich daher auch als sinnvoll und geht für mich ein wenig in Richtung HDR, sprich Bandbreite/Dynamik angemessen zu skalieren, nicht nur um hochfrequente Details, sondern auch diese eher niederfrequenten Beleuchtungseffekte zu einem gewissen Grad abbilden zu können (z.B. um die von dir erwähnte Plastizität oder eben auch Kontaktbereiche zu erhalten).

[joeydee]

Es gibt real betrachtet ja eh keinen Unterschied zwischen "direktem" und "indirektem" Licht.
Also ja, AO sollte natürlich in beide Terme angemessen mit rein.

Zu bedenken ist aber generell:
Techniken wie AO, Shadowmaps, Realtime-GI etc sind grundsätzlich lauter ungenaue Bruchstücke eines in der "Realität" vollständigen geschlossenen Terms, den man damit annähern möchte. Dabei entstehen nicht nur Datenlücken, sondern auch widersprüchliche Überlappungen ("AO" ist selbst ja eine GI-Teilabschätzung).
Die "eine" Lösung dafür gibt es so nicht, es ist mehr ein Daten-Tweaking per Augenmaß je nach Situation. Wer z.B. in Blender fotorealistisch mit Evee rendert, weiß worum er sich da zu kümmern hat im Vergleich zum Cycles-Renderer. Heißt, man findet sicher immer gute Kompromisse für eine bestimmte Renderszene, aber nicht für eine beliebige Welt.

Was den Fremdkörper-Eindruck natürlich auch verstärkt neben fehlenden/ungenauen Kontaktschatten, ist die generell unterschiedliche Auflösung und Filterung zwischen Vektorgeometrie und Pixeldetails, was in disem Fall wie Tischbein vs. Bodenzeichnung vs. Schatten natürlich auch konkurriert.

Dann gäbe es im genannten Ausschnitt noch fehlende Gegenlicht-Effekte am Tischbein, die bei diesem Lichtkontrast zu erwarten wären. Z.B. Bloom und Scattering (je nach Material Subsurface, aber auch Microsurface).
Und indirektes Licht von vorne scheint mir auch zu fehlen. Vielleicht ein Screenspace-Problem, vielleicht auch insgesamt zu vieles zu dunkel reingerechnet.
Es ist ein gewisses Uncanny Valley. Je näher es versucht an der Realität zu sein, desto mehr stören Kleinigkeiten.