Interaktives Gameplay mit Sprach KI

[grinseengel]

Hallo,

mir geht sein einiger Zeit eine etwas ungewöhnliche Spielidee durch den Kopf. Es ist ja möglich über Sprach-KI innerhalb eines Spiel mit NPC's zu kommunizieren. Mikrofon auf und etwas fragen und eine Antwort erhalten. Das hat mich auf den Gedanken gebracht ein Spiel zu erstellen in dem man NPC's ausfragen könnte um an Informationen zu gelangen. Als Spielidee käme dann evtl. eine Art Detektivspiel in Frage.

Personen ausfragen um an Infos zu gelangen um dann im Spiel weiter zu kommen.

[Schrompf]

Du bist da nicht der Erste, gibt auch schon Prototypen von Spielen mit AI-Dialogen. Ich persönlich bin aber skeptisch, weil a) die AIs schon recht bald anfangen, Quatsch zu reden, b) eine Spielwelt-Mechanik daraus abzuleiten wie z.B. "Du hast ihn überredet, er öffnet Dir die Tür" ist kaum möglich und c) die Models riesig sind und daher jede Interaktion ein Clound Request ist und Du dadurch keinerlei Kontrolle hast, dass die Spielerinnen auch wirklich tatsächlich die Story erleben, die Du geplant hast.

Das geht dann quasi nur bei wirklich komplett offenen Spielwelten wie öhm wie hießesnoch.. diesem Mittelalter-Söldner-Spiel auf Steam.

[Krishty]

Ab 0:54

[grinseengel]

Ja genau so etwas in der Art ist mir durch den Kopf gegangen. Das ist ein Beispiel für ein lineares Gameplay.

[bruebaker]

Da gibds auch schon n fertiges asset im unity store, bin da aber eher auch skeptisch. https://assetstore.unity.com/packages/t ... rld-229406

[grinseengel]

Da gibds auch schon n fertiges asset im unity store, bin da aber eher auch skeptisch.

Das Asset verwende ich nicht. Allerdings funktioniert das schon recht gut. Wenn ich etwas fertig habe, dann zeige ich es mal.

[bruebaker]

Dann bin ich mal gespannt.

[Jonathan]

Ich bin gerade über Executorch gestolpert. Ein neues Framework um pyTorch Modelle zu exportieren und auf verschiedenen Geräten ausführbar zu machen.

Es gibt ja viele coole Netzwerke, viele davon auch mit Source Code und zumindest etwas Dokumentation. Aber das selbst auf meinem eigenen Rechner tatsächlich auszuführen ist nochmal ein ganz anderes Problem, oft musste ich stundenlang irgendwelche Python Umgebungen konfigurieren und den richtigen Grafikkartentreiber installieren und all so nette Dinge. Würde ich jetzt solch ein Open-Source Netzwerk in mein Spiel einbauen wollen, etwa um Dialoge zu generieren, wie würde ich das dann wohl machen?

Executorch pack das ganze Netzwerk in eine .pte Datei, die man dann mit der Laufzeitumgebung in verschiedenen Sprachen Geräten laden und ausführen kann. Zum Beispiel in C++:

https://pytorch.org/executorch/stable/r ... orial.html

Es gibt auch eine Demo, wie man Llama 3 in eine Android-App packt:

https://pytorch.org/executorch/stable/l ... droid.html

Ich hab mich mit all dem noch nicht allzusehr beschäftigt, aber mit derartiger Technologie scheint es mir ziemlich leicht möglich, state-of-the-art Netzwerke ohne große Abhängigkeiten recht leicht in sein Projekt einbauen zu können. Müssen ja nicht nur Dialoge sein, können ja auch generierte Texturen oder all sowas sein.

Vielleicht interessierts ja jemanden und vielleicht probiert das hier ja mal jemand aus.

[Schrompf]

Bei GameTwo wurde letztens ein Spiel namens "Uncover The Smoking Gun" vorgestellt. Anscheinend ein Detective Mystery Irgendwas, aber man fragt in Echttext die Mordverdächtigen aus und kriegt live ChatGPT-generierte Antworten. Sah knuffig aus, aber ich vermute, die haben auch bewusst nur Roboter als Gesprächspartner zugelassen, so dass es umso glaubwürdiger wirkt, wenn das Gespräch unweigerlich degeneriert.

Youtube-Einbettung geht nicht mit Startzeit :-(
Link: https://youtu.be/X2zB4c4JXb8?t=1504
Video: