[Projekt] psai (Middleware für interaktive Musik)

[ponx]

Hallo Leute,
ich arbeite bei Periscope Studio seit einiger Zeit an einer Middleware names "psai", mit der man interaktive Musik für Spiele mit möglichst geringem Aufwand konfigurieren und einbauen kann. Danke an der Stelle nochmal für die ganze Hilfe hier aus dem Forum! Die native Version wird mittlerweile in einigen Projekten eingesetzt, bis jetzt allerdings fast nur von unseren eigenen Komponisten.
Ich hab psai in den letzten Monaten für Unity portiert und ein kleines Video gemacht, in dem man's in Aktion sieht. Ich hoffe es ist halbwegs verständlich geworden. Wir sind jetzt relativ kurz davor, das in den Unity Asset Store zu stellen, und würden vorher gerne Feedback einholen, wie gut man ohne Vorkenntnisse mit den Tools zurechtkommt und ob das Konzept allgemein verständlich ist. Hier das Video:

http://homeofpsai.com/video/psai_unity.mp4

Also vor allem an die Komponisten und Audio-Programmierer hier: Gibt's jemanden, der gerade ein Projekt hat, für das er sowas gebrauchen könnte? Bzw generell Lust, damit rumzuspielen? Dann bitte gerne PM an mich oder per email melden: ap@persicopestudio.de

viele Grüße,
andy / ponx

[marcgfx]

coole sache, gefällt mir der ansatz. vor jahren hab ich das problem auch mal lösen wollen (unterschiedliche spielsituationen). mein ansatz war zwei melodien gleichzeitig zu spielen und je nach "intensität" des geschehens den anteil zu variieren. hätte denke ich auch ganz gut funktioniert, ist aber womöglich schwieriger für den musik-designer (wovon ich keine ahnung habe).

was mir aufgefallen ist: es scheint so dass die sequenzen immer in der selben reihenfolge abgespielt werden? ich könnte mir vorstellen, dass eine zufällige verteilung noch mehr abwechslung reinbringen würde. evtl. auch einen raum für abweichung aus dem aktuellen intensität wert. z.b. bei einer spielintensität von 0.4, kann auch zu einer gewissen warscheinlichkeit ein stück mit intensität 0.5 oder 0.3 gespielt werden.

[ponx]

hallo und danke für's Feedback! Ja den Ansatz haben wir schon drin: Man hat in unserem Editor pro Thema drei Schieberegler, mit denen man die Gewichtungen einstellen kann. Also entweder striktes Halten an die Intensität, dann spielt psai im Extremfall tatsächlich immer das gleiche Segment, bzw. die gleichen Segmente hintereinander. Oder die Intensität wird weniger wichtig, dann wird es etwas unvorhersehbarer, und mit nem zweiten Schieberegler kann man auch noch explizit den Zufall reindrehen. Der dritte Regler stellt ein, wie stark psai zwischen verschiedenen "Gruppen" hin- und herspringen soll. Eine Gruppe ist ein Satz von Segmenten innerhalb eines Themas, die zusammen gehören, also z.B. je eine Gruppe pro Instrumentalisierung, wenn das Thema einmal mit Streichern und einmal mit Bläsern gespielt wird.

[ponx]

Die alte Frau ponx war wieder fleißig und hat neue Videos gemacht. Im ersten sieht man wie die Integration in Unity funktioniert, und wie die Musik immer heftiger wird, während ich mich dem Rehkitz der Verdammnis nähere. Nix für schwache Nerven jedenfalls, schon wegen dem Akzent.
http://homeofpsai.com/video/psai_unity_integration.mp4

Und hier sieht man, wie ich den Soundtrack dafür mit unserem Editor konfiguriert habe:
http://homeofpsai.com/video/psai_editor_basic.mp4

viele Grüße,
ponx

[TechnicalD]

Sieht wirklich sehr interessant aus.
Als Audiofritze hatte ich bis jetzt noch keinen Einblick auf so ein SDK.
Aber genau so hatte ich es mir vorgestellt.
Bzw. Die Art, wie die Musikloops über die eingestellten Dynamikbereiche im Spiel ausgewählt werden.
Echt toll.
Wenn ich das richtig verstanden habe, können die Loops sogar Rollouts besitzen!
Bei der Arbeit mit Loops ist das oft ein Problem.

Das sieht alles wirklich gut aus.
Eine Sache habe ich mich bloß gefragt.
Wenn ich einen Schockmoment habe.
Wie sieht es da mit dem Szenewechsel aus?
Jetzt wird alles schön geloopt übergeleitet.
In einem Schockmoment wäre ein sofortiger Sprung in einen anderen Loop nötig.
Ist zwar dann eher unmusikalisch. Aber passend zum Schock.

Und noch eins.
Frisst psai auch komprimierte Formate oder nur WAV?
Komprimierte Formate machen oft probleme mit sauberen Loops.

Geht das auch? Und ich habs nur übersehen?
Ansonsten einfach u simpel verständlich wie auch effektiv.

[ponx]

danke für's Feedback, Dennis!
Schockmomente laufen so ab, dass sie, wie du schon richtig vermutet hast, direkt in Themen reingrätschen, so wie ein "Action"-Thema ein "Basic Mood"-Thema unterbricht. Nach dem Schock (sprich: Intensität auf Null gesunken) wird dann mit dem unterbrochenen Action Thema weitergemacht. Ist das auch auf Null, kommt wieder irgendwann die letzte Basic Mood als Hintergrundgeplätscher.
Als Klangdateien im psai Editor können momentan nur WAVs reingeladen werden. Du müsstest also erst nach WAV konvertieren. Ist das ein Dämpfer? Beim Export auf die jeweilige Zielplattform werden die Audiodaten ja sowieso wieder komprimiert. Bei Unity geht das automatisch, je nach Ziel-Plattform nach mp3 oder weiß der Rabe (manche Formate sind auf manchen Devices hardware-beschleunigt).

[ponx]

so, mittlerweile ist die homepage http://www.homeofpsai.com auch vorzeigbar, vor allem kann man jetzt auch selber damit rumdaddeln. Wer's ausprobieren will: Ich bin sehr dankbar für jedes Feedback! Klappt alles? Gibt's Timing-Probleme oder Aussetzer beim Sound? Grafik-Ruckler beim Nachladen? und sowas, würde mir sehr helfen.

danke und viele Grüße,
ponx

[Chromanoid]

chic chic! momentan wundert man sich ein bisschen über die relaunch landing page, das würde ich einfach weglassen und direkt auf die what is psai seite verweisen :)

[ponx]

chic chic! momentan wundert man sich ein bisschen über die relaunch landing page, das würde ich einfach weglassen und direkt auf die what is psai seite verweisen :)

Danke! ja, das mit dem Relaunch ist mehr oder weniger nur mein Testposting für die News-Sektion, in der Hoffnung, dass ich da mal irgendwann irgendwas mit Informationsgehalt posten kann, wenn's neue Updates vom SDK gibt oder so.

[ponx]

seit gestern im Unity Asset Store. Schampus!

[ponx]

Wir machen gerade eine Post-Weihnachts-Rabatt Aktion, um mehr Reviews zu kriegen, für 5$!
Der Editor ist nach wie vor komplett kostenlos, und hat in der aktuellen Version jetzt auch einen Player mit der playback-Engine integriert.

https://www.assetstore.unity3d.com/en/#!/content/24788

frohes neues Jahr auch, alle!

[scheichs]

Danke. Bin mal gespannt. Werds in den kommenden Tagen mal ausprobieren.

[Chromanoid]

Falls ihr es noch nicht auf dem Schirm habt :) http://gamasutra.com/view/news/233527/A ... _Store.php

[ponx]

uiiii! hatte ich echt noch nicht auf dem Schirm! sauber! :D danke!

[ponx]

psai gibt's jetzt für umsonst im Unity Asset Store ! In der Pro-Version gibt's den Editor dazu.

Hier ein neues Webdemo: Angry Bots , vertont in 20 Minuten nur per Drag & Drop. Wie's gemacht wurde sieht man hier:
1. Location music
2. Battle Music
3. Boss Fight

ich freu mich sehr über jeden der's ausprobiert!

viele Grüße,
ponx

[marcgfx]

coole demo! fand die anpassung des sounds sehr gut gelungen, zum boss fight habe ich es leider nicht geschafft (obwohl man glaub gar nicht sterben kann???). ich bin offscreen hängen geblieben (kurzer screen-fade nach weiss, bin ich dort gestorben?). ich wäre im angehängten bild unten mitte. schüsse habe ich noch gehört aber keine mehr gesehen.

[ponx]

vielen Dank für's Anspielen und das Feedback! Das mit dem Hängenbleiben ist mir noch nicht passiert, aber da läuft sowieso einiges nicht rund. Wir haben ja den Sound nur in das ansonsten unveränderte Unity Demo-Projekt eingebaut. Da laufen die Bots auch gerne mal durch Wände und so.

[Guru]

Hab euren Artikel im MGM gelesen. Ich fand ihn gelungen und macht Lust auf mehr.

Schade das ich aktuell so wenig Zeit für sowas habe....

[ponx]

Dankeschön für das nette Feedback, Guru! ja, eilt ja nicht! :) aber wär toll wenn ihr's dann ausprobiert, bevor ihr da für's nächste Unity-Spiel für die Musik was eigenes implementiert. Die Engine (ohne Editor) kostet ja nix, und die hat noch keine Bewertungen, das sieht immer so trostlos aus! Die Pro-Version hat jetzt immerhin 8 Bewertungen.... jede neue wird extrem abgefeiert bei uns.

[ponx]

Hab euren Artikel im MGM gelesen.

Der Artikel ist seit heute auch online auf Making Games.

[Trommelfell.mb]

das klingt mal gut, gibts ne demo? wie kann man das als musiker nutzen? einfach die loops ins game integrieren? Wie kann man das vorbereiten für zb programmierer aus Usa usw... (ja ich kenn mich net aus mach nur musik)...
Mfg matthias

[ponx]

hallo Matthias,
vom psai Editor gibt's keine Demo, aber wie der in Aktion aussieht, sieht man hier: http://www.youtube.com/watch?v=rZTH8GeckOc
Der Rest ist umsonst, es gibt auch eine abgespeckte Version vom psai Editor, die in Unity integriert ist. Aber damit kannst du keine neuen Soundtracks erstellen, sondern nur vorhandene neu zusammen puzzeln.

Die einzelnen Sound-Segmente, die im psai Editor geladen werden, musst du vorher vorbereiten mit deinem Lieblings-Sequencer bzw. Harddisk-Recording-Tool. Am besten ist es, die einzelnen Segmente getrennt aufzunehmen (also einfach alles andere im Arrangement davor und danach stumm schalten), sodass du bei jedem Segment noch ein bisschen Nachhall drauf hast. Dann klingen die Segmente schön ineinander und es klingt wie aus einem Guss. Man kann aber auch einfach Teilstücke aus einem fertigen Mastertrack rausschneiden. Dann empfiehlt es sich, am Anfang und am Ende einen kleinen Swoosh oder sowas einzubauen, damit es keine holprigen Übergänge gibt.
Am Ende erstellt dir der Editor ein Soundtrack-File, das du einfach an deinen Programmierer weitergeben kannst. Das lädt er einfach in Unity rein und kann deinen Soundtrack dann so Triggern wie in den anderen Videos zu sehen.

[Trommelfell.mb]

Ok danke vorerst für die Erklärung ;-)