[Projekt] Hard Thug Life Oberland

[antisteo]

Ich bin's mal wieder. Diesmal mit einer Techdemo für Point Clouds. Ziel ist letzten Endes, einen GTA-Klon zu bauen, der auf real erlebten Geschichten basiert (ein Mädchen rennt von zu Hause weg, geht in die Stadt und wird Drogendealerin).

Jetzt geht es aber erst mal um die Grafik: Die soll nämlich auf Point Clouds basieren. Warum Point Clouds? Weil man damit unlimited Detail erreichen kann durch fraktal aufgebaute gerichtete azyklische Grafen.

Dabei habe ich ein Paper implementiert, das die gl_POINTS rund statt eckig macht und den Tiefenpuffer etwas manipuliert, damit die Überlappungen besser aussehen. Hier das Video:

[antisteo]

[antisteo]

Und jetzt noch mit importierten Höhendaten:

[Jonathan]

Hmm, PointCloud rendering ist ein interessantes Thema, aber der Sinn erschließt sich mir hier noch nicht so ganz. Im Wesentlichen scheinst du gerade eine Textur zu rendern, nur das jeder Pixel ein Punkt ist, aber, nun, man kann die ja auch einfach als Pixel einer Textur rendern. Dann hat man sogar Filterung, wenn man das denn möchte, und keine Probleme mit irgendwelchen Überlappungen. Wenn man Höhe haben will, kann man ja z.B. Tessellation verwenden. Überhaupt scheinst du einfach die Point Cloud wie sie ist zu rendern, also kein besonderes Streaming oder Level-of-Detail oder so. Da kann man auch gleich ein vorberechnetes Triangle-Mesh nehmen.

Weil man damit unlimited Detail erreichen kann durch fraktal aufgebaute gerichtete azyklische Grafen.

Weiß ich auch nicht, ob mich das nun so überzeugt. Das letzte mal als jemand Fancy Point Cloud rendering mit Unlimited Detail machen wollte, war "Euclideon" mit seinem "Unlimited Detail" geprahle, und das waren einfach bloß arrogante Videos auf die nie Resultate folgten. Bis Unreal es dann Jahre später mit Nanite richtig gemacht hat. Mit Triangles ;)

Also, ja, ka, schaut nett aus als Hobbyprojekt, aber auch weil das ganze ja als Spiel mit Story angekündigt ist, sehe ich noch nicht so recht, wohin das ganze gehen soll...

[antisteo]

Der Vorteil, den ich in Pointclouds sehe, ist tatsächlich Streaming und Level of Detail, sowie Physik und Kollisionserkennung, die viel einfacher werden. Außerdem kann man viel leichter 3D-Scans von echten Gegenständen oder Häusern benutzen, ohne den Umweg über texturierte Dreiecke zu gehen.

Mal sehen, wohin es geht. Durch Threejs kann ich ja beliebig Dreiecke und Punktwolken kombinieren. Momentan will ich aber ALLES als Punkte ausdrücken.

[antisteo]

Soo, das Text-To-Speech-System steht jetzt auch, damit kann man den Storymodus mit immer neuen Stimmen vertonen - je nachdem mit welchem NPC man die Mission spielt

[woodsmoke]

Ich bin super gespannt wie sich HTLO sich entwickelt. Vor über 10 Jahren habe ich nämlich angefangen Spiele zu entwickeln als ich (ohne jegliche Programmierkenntnisse) auch ein GTA1 Klon kreieren wollte. Das ist mächtig schief gelaufen (da zu komplex für meine Fähigkeiten) und ich habe stattdessen erstmal einen Brick-Breaker entwickelt.
Mein GTA Projekt liegt aber noch in der Schublade und hat schon Fahrphysik und einige Autos. Ich denke oft daran was kleineres daraus zu machen.

Gibt es schon Pläne wie das Gameplay aussehen wird? Wird man da wie bei GTA alle Autos fahren können, mit Verkehr und Polizei die einen verfolgt?

[Schrompf]

Ich mag das Rendering. Ob und wohin das führt, werden wir ja hoffentlich erfahren. Viel Erfolg!

[antisteo]

Ich hab einfach mal einen Avatar als Punktwolke hartgecodet:




Code-Ausschnitt:

Code: Alles auswählen

         var pointcloud = new Float32Array([
            /* Kopf */
            0, 1.6, 0, 0.2, 155, 155, 0, 255,
            0, 1.65, 0.05, 0.2, 50, 55, 0, 255,
            +0.12, 1.628, -0.17, 0.04, 250, 255, 200, 255,
            -0.12, 1.628, -0.17, 0.04, 250, 255, 200, 255,
            +0.12, 1.628, -0.19, 0.02, 50, 55, 0, 255,
            -0.12, 1.628, -0.19, 0.02, 50, 55, 0, 255,

            /* Torso */
            0, 1.2, 0, 0.2, 0, 0, 0, 255,
            0, 1.0, 0, 0.2, 0, 0, 0, 255,
            0, 0.8, 0, 0.2, 0, 0, 0, 255,
            0, 0.6, 0, 0.2, 0, 0, 0, 255,
            0, 0.5, 0, 0.1, 0, 0, 0, 255,

            /* Arme */
            +0.2, 1.3, 0, 0.07, 0, 0, 0, 255,
            +0.2, 1.28, 0, 0.07, 0, 0, 0, 255,
            +0.25, 1.25, 0, 0.07, 0, 0, 0, 255,
            +0.28, 1.17, 0, 0.07, 0, 0, 0, 255,
            +0.3, 1.08, 0, 0.07, 0, 0, 0, 255,
            +0.34, 0.98, 0, 0.07, 0, 0, 0, 255,
            -0.2, 1.3, 0, 0.07, 0, 0, 0, 255,
            -0.2, 1.28, 0, 0.07, 0, 0, 0, 255,
            -0.25, 1.25, 0, 0.07, 0, 0, 0, 255,
            -0.28, 1.17, 0, 0.07, 0, 0, 0, 255,
            -0.3, 1.08, 0, 0.07, 0, 0, 0, 255,
            -0.34, 0.98, 0, 0.07, 0, 0, 0, 255,

            /* Beine */
            +0.2, 0.45, 0, 0.1, 0, 0, 0, 255,
            +0.2, 0.4, 0, 0.1, 0, 0, 0, 255,
            +0.25, 0.3, 0, 0.1, 0, 0, 0, 255,
            +0.28, 0.2, 0, 0.1, 0, 0, 0, 255,
            +0.3, 0.1, 0, 0.1, 0, 0, 0, 255,
            -0.2, 0.4, 0, 0.1, 0, 0, 0, 255,
            -0.25, 0.3, 0, 0.1, 0, 0, 0, 255,
            -0.28, 0.2, 0, 0.1, 0, 0, 0, 255,
            -0.3, 0.1, 0, 0.1, 0, 0, 0, 255,
         ]);
         var pointcolors = [
            'skin', 'hair', null, null,
            'eye', 'eye',
         ];

[antisteo]

Gibt es schon Pläne wie das Gameplay aussehen wird? Wird man da wie bei GTA alle Autos fahren können, mit Verkehr und Polizei die einen verfolgt?

Wie man am TTS-Modul sieht, wird sehr viel Fokus auf den Missionen liegen. Das ganze wird auch so ein bisschen "Detektivspiel" sein, d.h. man muss Informationen sammeln und richtig kombinieren. Ansonsten sehr viel herumlaufen, mit Personen reden, anderen Leuten die Probleme lösen .... wie gesagt jede Mission wird dann auf einer wahren Begebenheit beruhen.

Der nächste Plan nachdem ich den Registrierungs-Prozess mit der Aufnahme von Voice-Samples abgeschlossen habe, ist, eine minimale Mission zu bauen mit 1-2 Dialogen (Voice-Sampling!!) und dass man irgendwo hinlaufen muss und mit einer bestimmten Person reden muss.

Prinzipiell will ich den Missionen-Editor für alle verfügbar machen, sodass es auch Community-Missionen geben wird.

[antisteo]

Registrierungsprozess steht schon mal und auch die Avatar-Individualisierung. Das Avatar Model ist natürlich provisorisch und besteht aus nur 33 GL_POINTs

[antisteo]

Und jetzt auch noch Haarstile:

[scheichs]

Schön, dass Du wieder Gamedev machst. Für die Avatare würde ich auf jeden Fall mal noch Beleuchtung einbauen. Ich frage mich allerdings, wie Du das auf die Auflösung von den Satellitendaten skalieren willst???

[antisteo]

Schön, dass Du wieder Gamedev machst. Für die Avatare würde ich auf jeden Fall mal noch Beleuchtung einbauen. Ich frage mich allerdings, wie Du das auf die Auflösung von den Satellitendaten skalieren willst???

Nunja, man muss ja nur so viele Punkte auf den Bildschirm rendern, wie auch Pixel existieren.

Und bei Punktwolken sind die LoD-Algorithmen wesentlich trivialer.

Anders herum habe ich natürlich dann auch die Möglichkeit, hinter jedem Punkt der Punktwolke ein "Detail-Model" zu hinterlegen, sodass man z.B. wenn man in das Haarbüschel hineinzoomt, die einzelnen Haare sehen kann. Bei den Satellitendaten würde das bedeuten, wenn man auf den Asphalt heranzoomt, sieht man dann sogar die einzelnen Steinchen.

[antisteo]

Habe einen 3D-Model-Editor gebaut, mit dem man Punktwolken-Modelle modellieren kann:


Dazu gibt's auch einen Stream, wie ich die Editor-Brushes gebaut habe, allerdings schlechte Audio Quali:
https://www.youtube.com/live/qSra_ibWrdc

[antisteo]

Wichtig:

Ankündigung:

Heute Abend (27. September) um 20:00 streame ich live die Weiterentwicklung des Spiels.

Der Stream-Link ist unter folgender Adresse zu finden:

https://www.twitch.tv/carli2

Im Anschluss wird der Stream unter youtube.com/antisteo abrufbar sein

[antisteo]

Schön, dass Du wieder Gamedev machst. Für die Avatare würde ich auf jeden Fall mal noch Beleuchtung einbauen. Ich frage mich allerdings, wie Du das auf die Auflösung von den Satellitendaten skalieren willst???

Das Thema Beleuchtung treibt mich um. Wenn ich den Kugeln einfach nur einen Speckfleck gebe, würde das Mist aussehen. Vom Grafikstil soll es schon etwas "verrucht" aussehen (aktuell sieht es eher Comic-mäßig aus, daran muss ich noch arbeiten, das kommt dann wohl mit dem Detailgrad)

In die Satellitenbilder ist die Beleuchtung ja schon fest eingebacken, das wird wohl the-way-to-go sein für die statische Landschaft und die Häuser. Was ich mit den Charakteren mache, weiß ich aber noch nicht.

[antisteo]

Die Avatare können jetzt Accesoirs wie Ohrringe und Taschen tragen.

[antisteo]

Nächster Livestream morgen 14:00, da erstelle ich die erste Mission

https://lnkd.in/evfJHTtc

[Jonathan]

Das Thema Beleuchtung treibt mich um. Wenn ich den Kugeln einfach nur einen Speckfleck gebe, würde das Mist aussehen. Vom Grafikstil soll es schon etwas "verrucht" aussehen (aktuell sieht es eher Comic-mäßig aus, daran muss ich noch arbeiten, das kommt dann wohl mit dem Detailgrad)

Naja, wenn du bei Kugeln bleiben willst, brauchst du halt globale Beleuchtung. bzw. genauer gesagt Schatten: Wenn die Lichtquelle von oben kommt, und du den Arm anschaust, soll der ja oben heller sein als unten. Ohne Schatten sehen alle Kugeln gleich aus, und es wird nie gut aussehen.
Interessanter wird es dann bei schrägen Flächen: Die haben dann ja sowas wie halbe Helligkeit. Und das würde dadurch zustande kommen, dass Kugeln jeweils teilweise von ihren Nachbarn beschattet werden, teilweise komplett angeleuchtet werden. Da hat man dann so eine Art Streifenmuster, aber wenn die Kugeln klein genug werden und man weit genug herauszoomt sollte das zu einem einzelnen, korrekten (?) Helligkeitswert verschwimmen. Irgendwelche anderen Materialeigenschaften könnten aber sehr schwierig werden.

Naheliegender wäre es dann vielleicht doch, jedem Punkt einfach einen Normalenvektor zu geben, damit kannst du dann jede Form von Beleuchtungsmodell quasi direkt auswerten und deine Modelle beleuchten.

Das Problem ist momentan glaube ich, dass du für deine Charaktere kein Point-Cloud Rendering machst, sondern einfach undetaillierte Figürchen aus Kugeln baust. Denn: Die Idee von Point-Clouds ist ja, dass die Anzahl der Punkte den Detailgrad bestimmt. Du machst jetzt aber einfach den ganzen Kopf aus einer einzigen Kugeln, weil halt die Form schon so nett passt. Anhand der Anzahl der Punkte sollte der Kopf weniger Details haben, als der Bauch, aber das Gegenteil ist quasi der Fall, der Kopf scheint besser getroffen als der Bauch. Bei Point Clouds sollte es auch egal sein, ob man Kreise oder Dreiecke oder 7-Ecke rendert, die Form ist egal, es ist einfach ein abstrakter Farbklecks an der richtigen Stelle. Aber würdest du hier Dreiecke statt Kreise rendern wäre der Kopf kaputt. Deswegen würde ich es nicht Point-Cloud Rendering nennen, weil es an der Philosophie davon vorbei geht.

Zweites Beispiel: Oben hab ich gesagt, dass man für richtige Beleuchtung Normalenvektoren bräuchte. Das geht aber für den Kopf nicht, weil es nur eine Kugel gibt, für korrekte Beleuchtung müsstest du also den Kopf aus tausenden Punkten nachbauen. Aber dafür ist halt der Editor den du zeigst offensichtlich nicht ausgelegt, weil man da einzelne Punkte per Hand hinzufügt.

Ich will dabei gar nicht sagen, dass Figürchen aus Kügelchen kein Grafikstil ist, den man nicht benutzen könnte. Bloß passt es halt nicht zu allem was du oben über Punktwolken und infinite Detail schreibst, es ist eher das genaue Gegenteil. Und aktuell scheint nichts im Charaktereditor darauf ausgelegt zu sein dass man einen Knopf drücken kann und dann einemillionen-mal so viele Punkte hat.

[Schrompf]

Tja. Du brauchst Normalen. Aber vielleicht kommst Du auch mit diesem FlatShaded Look davon, wenn Du zumindest Schatten hast. Da kannst Du ja eine der tausend Standard-ShadowMapping-Techniken nehmen.

Sachma... wenn Du dann ne ShadowMap hast, könntest Du doch aus dem Gradienten der Tiefe an der Stelle ne Normale live berechnen. Naja, das gibt dann nen Saum an Tiefen-Unstetigkeiten, aber einen Versuch wär's wert.

[Jonathan]

Man kann jeden Punkt als Kugel rendern und hat dann für jeden Pixel eine Normale, die nur von der Position "auf der Kugel" abhängt, aber nicht vom Rest des Modells, was also auch wieder rein "lokal" ist.

Pro-Punkt Normalen haben die gezeigten Charaktere nicht, weil sie keine Oberflächen haben. Nicht nur der Kopf, auch bei den Armen ist jede Kugel gleichzeitig Vorder- und Rückseite (und jede andere Seite) des Arms. Auch wenn man versucht irgendwie Normalen aus einem Tiefenbuffer zu rekonstruieren löst man das Problem hier nicht, ich denke man wird entweder konstante Werte pro Kugel rausbekommen, oder halt "Kugelnormalen" wie oben beschrieben.

Anders gesagt: Diese "Point Cloud" Charaktere sind Strichmännchen ohne Dicke oder Volumen. Und deswegen ist Shading so schwierig.

[antisteo]

Also,

prinzipiell habe ich vor, das LoD so umzusetzen, dass sobald ein Punkt mehr als 1-2 Pixel auf dem Bildschirm belegt (auf Mobilgeräten etwas gröber), aus dem Modell entfernt wird und durch ein Detail-Model ersetzt wird. Die Idee ist noch etwas in der Reifephase. Aktuell bin ich auf dem Stand, dass ich ein Detail-Modell farbmäßig anpasse (also wenn auf dem Satellitenbild verschiedene Grautöne vom Asphalt sind, wird die Farbe des Detail-Modells moduliert) und dass das Detail-Modell noch pro Kugel in einem Winkel (Quaternion) ausgerichtet sein muss, damit z.B. beim Detail vom Kopf Nase und Ohren an der richtigen Stelle rauskommen. Wenn die Kugeln kleiner sind, verringert sich auch das Problem mit der Perspective Distortion von zu großen GL_POINTS.

Ihr habt schon recht, ich komme erst mal mit Flat Shading besser. Dann ist Pro-Punkt-Beschattung auch wieder easy und kann im Vertex Shader ausgerechnet werden. Wenn man hier wirklich eine Spekularbeleuchtung implementieren wöllte, müsste es zwei Arten von Kugeln geben: Solche mit einer Normalen (die Kugel ist in Wirklichkeit die Außenseite einer Kugel) oder die Kugel ist eine Kugel (und der Spekularfleck ergibt sich aus den PointCoords)

Bezüglich der Tiefeninformation rechne ich auch die gl_FragDepth pro Pixel gesondert aus und zwar so, dass der Point tatsächlich ein Billboard ist, das in Richtung des Kunden schaut. Das Konzept ist so mächtig, ich denke schon über weitere Ideen nach, dass man z.B. auch prozedurale Grashalme über solche Billboards simulieren könnte.

Aktuell liegt der Focus auch erst mal auf den Missionen. Zu diesem Zweck hab ich schon mal den "Betrunken"-Postprocessing-Shader eingebunden. Meine Kinder lieben es übrigens, wenn der Charakter in GTA Bier trinkt und die Welt dann verschwommen sieht.

[scheichs]

Bin auf jeden Fall mal auf die Missionen gespannt. Die technischen Details sollten hinten an stehen. Dass die Charaktere passabel gelighted sind, sehe ich als ein must-have. Da würde ich vorerst mal das Model von Ecstatica nehmen. Also alle Kugeln einfach shaden.
Mach doch lieber sowas als die langweiligen Satellitendaten und langweiliges inifinite detail

[Jonathan]

Omg, danach hatte ich gesucht! Ich wusste noch, dass es irgend so einen ollen Schinken gibt, wo alle Charaktere aus Ellipsen bestehen (vermutlich ist das aus irgendeinen obskuren technischen Grund schneller als echte Meshes?), aber kam weder auf den Namen, noch auf gute Suchbegriffe. Das müsste es dann aber wohl gewesen sein.

Btw. kennt jemand besagten technischen Grund?

[antisteo]

Sooo! Erste Mission ist fertiggestellt.

Ich habe in einem 7-stündigen Livestream folgende Sachen implementiert, damit das alles geht:

• Anlegen von Räumen

• Gestalten von Räumen (Größe, Farben der Wände)

• Platzieren von Gegenständen in Räumen

• Anlegen von Missionen

• Missionen haben Voraussetzungen (z.B. ein Gegenstand oder dass man eine andere Mission schon erledigt hat)

• Missionen haben Missions-Schritte (z.B. ein Dialog und eine Stimmung inkl. Musikauswahl)

• Man kann Gegenstände anklicken und damit Missionen beginnen

• Der Missionsfortschritt wird getrackt

Ihr könnt euch gerne auf hardlife.io einloggen und die Bier-Mission mal ausprobieren.

Der Missionen-, Räume- und Model-Editor ist auch für alle Spieler offen. Ich habe lediglich noch keine Möglichkeit eingebaut, Personen zwischen Räumen ("Draußen" besteht aus vielen nahtlos aneinandergehangenen Räumen) zu bewegen

Edit: Ich habe noch einen "Raum testen"-Button eingebaut, damit man selbst gebaute Missionen auch probieren kann.

[antisteo]

Bin auf jeden Fall mal auf die Missionen gespannt. Die technischen Details sollten hinten an stehen. Dass die Charaktere passabel gelighted sind, sehe ich als ein must-have. Da würde ich vorerst mal das Model von Ecstatica nehmen. Also alle Kugeln einfach shaden.
Mach doch lieber sowas als die langweiligen Satellitendaten und langweiliges inifinite detail

Geil! Genau so eine Lauf-Animation wollte ich da auch machen, dass man quasi jedes Bein separat bewegen kann und die Beine nicht einfach nur eine plumpe Animation sind.

[antisteo]

So, fertig geschnitten. Inzwischen kann man mit dem Missions-Editor auch noch die Helligkeit der Szenerie steuern und ich habe als Sicherheitsvorkehrung eingeschränkt, dass von Nutzern erstellte Missionen nicht von beliebigen, sondern nur durch selbst erstellte Gegenstände ausgelöst werden können. Damit bleibt der Nutzer in seiner Sandbox und trotzdem kann der Admin später diese Stories integrieren.

[antisteo]

Kurzer Changelog:

• Text-To-Speech-System ist jetzt eingebunden: Die Dialoge werden per KI von meiner eigenen Stimme vorgelesen (bzw. von der Stimme, die laut Mission den Text spricht)
• Raum-Übergänge werden jetzt per Stencil gekappt, sieht besser aus
• minimale Beleuchtung
• Gegenstände können abhängig von der Mission im Raum sein oder nicht
• Raum-Übergänge können abhängig von der Mission vorhanden sein oder nicht (brauche ich für die Gefängnis-Mission)
• in der Touch-Bedienung kann man jetzt auch seitwärts laufen
• der Räume-Editor erlaubt jetzt auch das Platzieren von Gegenständen mit der Maus, sowie das Erstellen von Missionen direkt aus dem Raum-Editor heraus

Blöd finde ich, dass das TTS-Modul so viel GPU-RAM braucht, dass ich es jetzt auf der CPU laufen lassen muss. Und es synthetisiert nur wenn ich den DAEMON auf meinem Privat-PC laufen habe.

[Krishty]

Blöd finde ich, dass das TTS-Modul so viel GPU-RAM braucht, dass ich es jetzt auf der CPU laufen lassen muss. Und es synthetisiert nur wenn ich den DAEMON auf meinem Privat-PC laufen habe.

Weil ich auch gerade an sowas sitze: eSpeak-NG ist ein Urgestein und verbraucht null CPU, klingt aber ganz furchtbar. Dann fand ich Piper: TTS mit so wenig Berechnung/Speicher, dass es auf einen Raspberry Pi in Echtzeit läuft. Das sah mir nur wie eine dünne Schicht über eSpeak-NG aus … bis jemand auf Reddit dieses Beispiel postete: https://www.sndup.net/gzjv/

Nun versuche ich, rauszukriegen, wie er das hingekriegt hat. (Nicht jetzt sofort, eher so in den nächsten Wochen.) Das klingt so perfekt, dass ich fast einen Troll vermute. Vielleicht helfen dir diese Hinweise ja irgendwie weiter.

Hier zeigt nochmal jemand, wie man Piper from Scratch aufsetzt, und das Sample am Ende (4:33) klingt tatsächlich ganz gut: