[Projekt] eyeGUI

[Raphael]

In ein oder zwei Themen hatte ich hier schon Fragen gestellt, die sich auf mein nun veröffentlichtes Projekt bezogen haben:

https://github.com/raphaelmenges/eyeGUI

Es handelt sich um eine einfach zu benutzende GUI-Library auf Basis von OpenGL 3.3 Core und C++11 und ist vorrangig für die Eingabe via Eyetrackern gedacht. Ich bin im Moment am Institute for Web Science and Technologies (http://west.uni-koblenz.de/) als Studierendenkraft angestellt und arbeite am Projekt MAMEM (http://www.mamem.eu/) mit. Das Projekt ist von der EU finanziert und soll Menschen mit Muskelerkrankungen und Verletzungen den Umgang mit dem Computer und dem Internet mithilfe von Eyetrackern und Brain-To-Computer-Interfaces ermöglichen. Wir wollen dazu unter anderem einen Browser mit dem Chromium Embedded Framework umsetzen, der als minimale Eingabe ausschließlich den Blick benötigt und die Benutzung durch Schalter, Tastatur und Gehirnströme beschleunigt werden kann. Je nachdem, welche Fähigkeiten der Nutzer besitzt. Da normale GUI-Libraries auf Tastatur und Maus setzen, haben wir uns dazu entschlossen eine eigene GUI zu schreiben, was ich aktuell mit diesem Projekt umsetze. Vor allem die Aktivierung von Buttons mit einem Schwellwertes ist bei der Steuerung via Blick essentiell. Hier eine kleine Demo mit der Maus, am Ende ist auch ein frühes Konzept für den Browser zu sehen:

[youtube]niMRX65E7IE[/youtube]

Bisher habe ich das Projekt auf Windows und Linux kompiliert, MacOSX sollte bald auch folgen. Oberflächen werden als geschachtelte Elemente in XML mit relativen Bildschirmkoordinaten definiert und mit Stylesheets gefärbt. Grafiken können als PNG oder SVG importiert werden. Als nächstes stehen Textrendering mit Freetype und Texteingabe mit den Augen auf dem Plan. Falls jemand Anwendungen für Eyetracker schreiben möchte, kann man mich gerne bei Fragen zur Nutzung von eyeGUI kontaktieren. Sobald Anwendungen an unserer Universität entstehen, werde ich sie hier linken!

Danke für die Hilfen auf jeden Fall. Nach Stackoverflow seit ihr meine Rettung, vor allem bei speziellen Fragen :D

PS: Hier noch ein abgeschlossenes Projekt von einem Kollegen und mir, das einen Consumer-Eyetracker in Aktion zeigt: http://schaugenau.west.uni-koblenz.de/

EDIT: Im Video gibt es ein paar Erklärungen im Untertitel.

[Raphael]

Ein erster Prototyp unseres Browser funktioniert und ist im folgenden Video zu sehen:

[youtube]zj1u6QTmk5k[/youtube]

Hier die offizielle News dazu: http://www.mamem.eu/gazetheweb-prototyp ... g-the-web/

Technik: Wir benutzen das Chromium Embedded Framework und leiten die Pixel an eine OpenGL Textur weiter, welche auf einem Quad gerendert wird. Oben drauf kommt dann die GUI. Im Moment ist der Prototyp noch ziemlich zusammengehackt, da wir erstmal bisschen rumprobieren möchten um später dann eine gescheite Architektur planen zu können.

[Schrompf]

Das sieht ziemlich cool aus. Das wird aber ne Menge Training sowohl auf Software- als auch auf Nutzer-Seite erfordern, weil der Blick ja auch zum Lesen benutzt wird. Gibt das nicht Stress für den Betrachter?

[Raphael]

Genau deswegen der Prototyp. Wir haben zum Beispiel gemerkt, dass man öfter unten auf das Panel kommt obwohl man nur lesen möchte. Dann werden Buttons ausversehen ausgelöst oder gescrolled. Wahrscheinlich werden daher in einer nächsten Version mehr Bedienelemente auf eine der beiden Seiten gezogen und in der Mitte mehr Platz zum Lesen gelassen. Je weniger Bedienelemente wir haben, desto tiefer müssen die Funktionen verschachtelt werden etc. Außerdem wollen wir schauen, ob man sowas wie Link auch auf modernen Websites noch sinnvoll extrahieren kann um so unter anderem das Klicken zu unterstützen. Das Ganze soll so konzipiert sein, dass man prinzipiell ALLES mit dem Blick machen, aber zusätzlich mit Tasten oder anderen Triggern Dinge beschleunigen kann. Etwas abenteuerlicher wird die Verarbeitung von Zwinkern oder gar der Pupillenweite, mal sehen wohin die Reise geht :D

Die Hauptzielgruppe des EU-Projektes ist auch eher lernwillig, weswegen Intuitivität hinter Funktionalität steht ;)

[Chromanoid]

Ich finde das echt supergut! Vielleicht würde ein Ausklapp-Menu Sinn machen? Also eines, dass so ähnlich funktioniert wie bei Windows 8. Man schaut den rechten Bildschirmrand an und dann klappt nach einer Zeit ein Menu heraus? So könnte man viele ablenkende Knöpfe verstecken. Am tollsten wäre dann ja noch ein Weg Webseiten auf diese Art der Bedienung vorzubereiten. So könnte man dann Webapps für die eyeGui entwickeln und das dann z.B. für die individuelle Förderung von Kindern einsetzen, die unter entsprechenden Bedingungen leben.