Tim Saldik – Soziotechnische Integration

Evaluation von Zeigegeräten nach ISO 9241-9

[toc]Die ISO Norm 9241 ist eine internationale Norm, die Richtlinien zur Interaktion zwischen Mensch und Computer bereitstellt. Neben Vorgaben zur Ergonomie des Arbeitsplatzes und zur Gestaltung der Bildschirminteraktion beschreibt der Teil 9 mit dem Titel „Anforderungen an Eingabegeräte – außer Tastaturen“ neben einer Vielzahl von Begriffsbestimmungen auch Angaben für Maße der Gebrauchstauglichkeit eines Interaktionsmechanismus. So wird die Gebrauchstauglichkeit nach ISO 9241-9 durch die Effektivität, die Effizienz und die Zufriedenheit des Nutzers bei der Nutzung eines Gerätes in einem gewissen Anwendungskontext bestimmt. [ref] Deutsches Institut für Normung (2002): ISO 9241-9 Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten Teil 9: Anforderungen an Eingabemittel − ausgenommen Tastaturen. S.13.[/ref] Außerdem enthält die Norm neben Hinweisen zur Ergonomie und Nutzungsanforderungen bei der Gestaltung von Eingabegeräten außer Tastaturen im Anhang B auch Informationen zur Bewertung der Effektivität und Effizienz der Interaktionsmechanismen. [ref]Deutsches Institut für Normung (2002): ISO 9241-9 Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten Teil 9: Anforderungen an Eingabemittel − ausgenommen Tastaturen. S. 29 ff.[/ref] Zur Evaluation wird demnach ein Fitts’ Law Test verwendet. Diese Evaluationsmethode wird nachfolgend genauer erläutert, indem zunächst die ursprüngliche Evaluation eines Zeigegerätes nach Fitts vorgestellt wird und anschließend das daran angelehnte Verfahren nach ISO 9241-9 beschrieben wird.

Geschichte der Fitts‘ Law Evaluation

Der in der ISO 9241-9 beschriebene Testablauf zur Bewertung von Zeigegeräten basiert auf dem in der HCI auch vor der Normierung häufig zur Evaluation von Zeigegeräten genutzten Fitts’ Law Modell. Der ursprünglich von Paul M. Fitts durchgeführte Testablauf diente der Überprüfung, ob eine schnelle, gezielte Bewegung der Hand durch die physische Stärke des Muskelapparates oder die Geschwindigkeit der Informationsverarbeitung des menschlichen Nervensystems limitiert wird. [ref]Fitts, Paul M. (1954): The Information Capacity of the Human Motor System in Controlling the Amplitude of Movement. Journal of Experimental Psychology, 3/1954 (121), S.381.[/ref] Dazu mussten die getesteten Personen mit unterschiedlich schweren Stiften abwechselnd zwei Aluminiumstreifen mit vorgegebener Breite und festem Abstand berühren.

[singlepic id=842 w=618 h= float=]

Die Veränderung der Breite der Aluminiumstreifen und des Abstands der Streifen diente dann zur Veränderung des Schwierigkeitsgrades. Zur Bestimmung des Schwierigkeitsgrades nutzte Fitts ein Theorem von Shannon zur Bestimmung der Kapazität eines Kommunikationskanals in bit durch ID= log₂(2A/ W) mit dem Schwierigkeitsindex ID in bit, der Zielentfernung A und der Zielbreite W. [ref]Shannon, Claude E. (1948): The mathematical theory of communication. 1963. M.D. Computing : Computers in Medical Practice, 4/1948 (14), S. 43.[/ref] Daher wird auch nach der heutigen ISO Norm die Schwierigkeit eines Ziels in bit angegeben und die Leistung eines Zeigegerätes in bit/s gemessen. Das Ergebnis des Tests war eine geringe Abweichung der Bewegungszeiten bei unterschiedlichem Gewicht des Stifts, woraus Fitts folgerte, dass nicht die physische Muskelstärke die Bewegungszeit einschränkt. Fitts’ Law sagt außerdem aus, dass ein linearer Zusammenhang zwischen dem Schwierigkeitsindex eines Ziels und der Auswahlzeit besteht.

[singlepic id=844 w=618 h= float=]

Evaluation nach ISO 9241-9

Die ISO Norm bietet zur Bewertung der Effizienz und Effektivität von Zeigegeräten verschiedene Verfahren, die je nach Interaktionsform ein unterschiedliches Vorgehen zur Datensammlung erfordern.

Dabei unterscheidet die Norm nach folgenden Interaktionsformen[ref]Deutsches Institut für Normung (2002): ISO 9241-9 Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten Teil 9: Anforderungen an Eingabemittel − ausgenommen Tastaturen. S. 30.[/ref]:

Zeigen
Auswählen
Ziehen
Nachziehen
Freihandeingabe

Je nach vorwiegender Interaktionsform bei der Interaktion mit der Mensch-Computer Schnittstelle hat auch der Versuchsaufbau ein anderes Erscheinungsbild. Während Auswahltests verschiedene Objekte auf dem Display darstellen, die der Nutzer mit dem Zeiger erreichen und auswählen muss, sind Nachziehtest so aufgebaut, dass ein Cursor-Objekt auf einer vorgegebenen Bahn zwischen zwei Randbegrenzungen bewegt werden muss. Der Anordnung von Zeiger und Zielen kann dem folgenden Bild entnommen werden:

[singlepic id=841 w=618 h= float=]

Durch die Testform wird auch die Messung der Daten zur Bewertung des Interaktionsmechanismus bestimmt. Die nachfolgenden Abschnitte beschäftigen sich mit der Bewertung von Zeigegeräten bei Zeige-, Auswahl- und Ziehaufgaben.

Wahl der Schwierigkeitsindizes

Der Schwierigkeitsgrad ID bei einem Auswahltest wird durch die Entfernung des Zeigers zur Zielmitte in der jeweiligen Bewegungsrichtung und der Größe des Ziels nach folgender Formel bestimmt[ref]Soukoreff, R. William & Mackenzie, I. Scott (2004): Towards a standard for pointing device evaluation, perspectives on 27 years of Fitts? law research in HCI. International Journal of Human-Computer Studies, 6/2004 (61), S. 755 bzw. Deutsches Institut für Normung (2002): ISO 9241-9 – Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten Teil 9: Anforderungen an Eingabemittel − ausgenommen Tastaturen. S. 31.[/ref]:

ID = log₂ ((D/W)+1) = log₂ ((D+W)/W)

Dabei ist D die Zielentfernung (Distance) und W die Zielbreite (Width). Für die Wahl der Maßeinheit für Zielentfernung und Zielbreite macht die ISO Norm keine Vorgaben, jedoch wird darauf hingewiesen, dass eine konsistente Nutzung der gewählten Einheit erforderlich ist. Nach ISO Norm gilt folgende Einordnung der Schwierigkeitsindizes auf der logarithmischen Skala:

2 < ID <= 4 | leichtes Ziel
4 < ID <= 6 | mittleres Ziel
ID > 6 | schweres Ziel

Die verwendeten Schwierigkeitsindizes sollten bei einer konkreten Evaluation in einem Bereich zwischen 2 und 8 liegen. Eine Kombination aus Zielentfernung und Zielbreite wird als Kondition bezeichnet. Je mehr Konditionen der Testperson präsentiert werden, desto aussagekräftiger ist das Bewertungsergebnis für das jeweilige Zeigegerät. Dabei ist jedoch zu beachten, dass eine Kondition dem Nutzer 15-25 mal angezeigt werden sollte. Welche Konditionen realisiert werden können, kann von dem verwendeten Display und der genutzten Testform abhängen.

Erhebung der Messwerte

Wurde die für das Einsatzszenario des Eingabegerätes geeigente Testform gewählt und eine Menge von Entfernungs-Zielbreite-Kombinationen festgelegt, wird eine korrekte Erfassung der Nutzerinteraktion während Durchführung des Tests vorgenommen. Dabei sind einige Maße zu erheben, die für die spätere Bewertung notwendig sind. Eines dieser Maße ist die Bewegungszeit MT (Movement Time), also die Zeit, die ab dem Moment vergeht, ab dem der Nutzer den Zeiger in Zielrichtung in Bewegung setzt bis das Ziel ausgewählt wurde.

[singlepic id=843 w=618 h= float=]

Dabei dürfen die Reaktionszeit des Nutzers bis zum Inbewegungnetzen des Zeiger und die Verweilzeit über dem Ziel, die bei manchen Interaktionsmechanismen zum Auslösen des Auswahlevents nötig ist, nicht in der Bewegnungszeit enthalten sein. Außerdem sollten der Start- und der Endpunkt der Bewegung sowie die Zielmitte erfasst werden und eventuelle „Fehler“ (falsche Auswahlevents) wenn sich der Zeiger nicht innerhalb des Ziels befindet, dokumentiert werden. Im Rahmen der Evaluation wird der entwickelte Mechanismus zur Erfassung und Dokumentation der Messwerte für die gewählte Testform dann von einer möglichst breiten und repräsentativen[ref]Insbesondere zum gewünschten Einsatzszenario passend.[/ref] Grundgesamtheit an Testpersonen genutzt.

Anpassung der Daten

Wurden die beschriebenen Messwerte bei der Durchführung des gewählten Testdurchlaufs erhoben, kann eine Anpassung der Schwierigkeitsindizes erfolgen, um den tatsächlich erzielten Schwierigkeitsindex widerzuspiegeln. Dieser sog. „effektive Schwierigkeitsindex“ wird für jede Kondition (also Zielentfernungs-Zielbreite-Kombinationen) errechnet. Dazu ist zunächst die effektive Zielbreite W_enotwendig. Diese berechnet sich aus der Standardabweichnung der Entfernung zwischen Zielmitte und Auswahlposition multipliziert mit 4,133:

W_e = 4,133 * StA_{Distanz zur Zielmitte}

Die Berechnung des effektiven Schwierigkeitsindexes erfolgt dann auf Basis folgender Formel:

ID_e = log₂ ((D/W_e)+1) = log₂ ((D+W_e)/W_e)

Ist außerdem der Start- und Endpunkt der Zeigerbewegung bekannt, errechnet man zunächst die effektive Zielentfernung D_eaus dem Mittelwert der Distanz zwischen Start- und Endpunkt für alle ausgewählten Ziele der jeweiligen Kondition. Anschließend lässt sich der effektive Schwierigkeitsindex ID_e folgendermaßen berechnen:

ID_e = log₂ ((D_e/W_e)+1) = log₂ ((D_e+W_e)/W_e)

Durch die Anpassung des Schwierigkeitsindex an die tatsächlich vom Nutzer erzielten Ergebnisse wird der lineare Zusammenhang zwischen Schwierigkeitsindex eines Ziels und der zur Auswahl des Ziels benötigten Zeit verstärkt.[ref]Soukoreff R. William, Mackenzie I. Scott (2004): Towards a Standard for Pointing Device Evaluation, Perspectives on 27 Years of Fitts‘ Law Research in HCI. International Journal of Human-Computer Studies. 61(6): S. 766.[/ref]

[singlepic id=840 w=618 h= float=]

Bewertung anhand des Durchsatzes

Der Durchsatz ist ein Maß, das die Leistungfähigkeit des Zeigegerätes im Hinblick auf die ausgewählte Testaufgabe quantifiziert. Es kombiniert sowohl die Präzision als auch die Geschwindigkeit eines Interaktionsmechanismus zu einem vergleichbaren Wert. Das Maß für die Präzision ist dabei der zuvor beschrieben effektive Schwierigkeitsindex ID_e jederKondition. Das Maß für die Geschwindigkeit ist die durchschnittliche Auswahlzeit der Ziele einer Kondition t_m. Der Durchsatz T (Throughput) eines Zeigegerätes mit der Maßeinheit bit ergibt sich aus folgender Summe über alle x unterschiedlichen Konditionen:

T = ∑(ID_e/t_m)

Das Maß T erlaubt dann einen Vergleich der Leistungsfähigkeit eines Zeigegerätes bei verschiedenen Aufgaben oder verschiedener Zeigegeräte bei derselben Aufgabe. Zusätzlich kann mittels linearer Regression anhand der Wertepaare (ID_e,t_m) der einzelnen Konditionen überprüft werden, ob ein linearer Zusammenhang zwischen dem effektiven Schwierigkeitsindex und der dafür benötigten Auswahlzeit besteht und das Zeigegerät sich somit gegebenenfalls konform zu Fitts‘ Law verhält.

Praktische Anwendung

Geht man nach den beschrieben Schritten vor, wird mit dem Durchsatz ein Maß gewonnen, dass einen Vergleich verschiedener Eingabegeräte erlaubt. Daher ist die Evaluation nach ISO 9241-9 eine geeignete Methode, um beispielsweise verschiedene natürliche Interaktionsmechanismen zu vergleichen.
In Kürze folgt hierzu ein weiterer Bericht zu einer durchgeführten Evaluation über die Eignung verschiedener Eingabegeräte für die Steuerung eines großen Wandbildschirms unter Einhaltung der ISO-Vorgaben. Dabei wurden die Eigenschaften von fünf Interaktionsmechanismen aus unterschiedlichen Entferungen zu einem großen Wandbildschirm untersucht. Konkret handelte es sich dabei um die Nintendo Wii Remote, die Logitech MX Air Mouse, einen Friendlyway d-sign 52 Touchscreen, einen Microsoft Kinect Sensor und ein HTC Magic Smartphone.

[nggtags gallery=Interaktionsmechanismus+Evaluation]

Vergleich verschiedener Maus-Emulatoren für Microsoft Kinect

[toc] Mit dem Erscheinen von Microsoft Kinect als Zubehör für die Spielekonsole Xbox 360 im November 2010 wurde erstmal ein kostengünstiger Infrarot-Tiefensensor für eine breite Nutzerschaft verfügbar und schuf somit die Möglichkeit zur Entwicklung von Anwendungen, die durch eine gestenbasierte Nutzerinteraktion ohne zusätzliche Eingabegeräte das Potential zur Revolution der Gestaltung der Human-Computerrec Interaction versprechen. Daher entstand in kurzer Zeit eine Community, die die Anbindung an einen PC zunächst mit selbstentwickelten Treibern, einige Wochen später dann mit Treibern und Software Development Kit (SDK) von dem ebenfalls an der Entwicklung von Kinect beteiligten Unternehmen Primesense ermöglichte und erste Anwendungen mit vielfältigen Anwendungsgebieten veröffentlichte. Während Microsoft selbst diesen Trend zunächst nicht unterstützte, wurde dann im Mai 2011 ein offizielles „Kinect for Windows SDK“ veröffentlicht. Durch die unterschiedliche Dauer der Verfügbarkeit der verschiedenen Gerätetreiber und der darauf aufbauenden SDKs haben sich unterschiedliche Entwicklergemeinden gebildet. Daher gibt es derzeit mehrere verschiedene Anwendungen, die zur Steuerung eines Mauszeigers durch die Kinect-Hardware eingesetzt werden können. Jede dieser Anwendungen unterscheidet sich in der Art der Bedienung oder Funktionsumfang. In diesem Artikel werden einige der verfügbaren Anwendungen näher betrachtet und anhand der Kriterien Einsatzentfernungen, Genauigkeit der Zeigerpositionierung, Zuverlässigkeit der Auswahlgesten, Stabilität der Anwendung und Konfigurierbarkeit mit einander verglichen.

Kinect Maus-Emulatoren

Die Grundlage des Artikels bilden die Anwendungen FAAST, Kinemote und PCD auf der Basis des von Primesense veröffentlichten OpenNI SDK sowie Kinect Cursor Control auf Basis des Kinect for Windows SDK von Microsoft. Neben diesen frei verfügbaren Anwendungen zur Steuerung des Mauszeigers mit dem Kinect Tiefensensor wird nachfolgend auch eine kommerziell vertriebene Anwendung betrachtet. Dabei handelt es sich um um die Anwendung WIN&I, die von der Evoluce AG angeboten wird.

KinEmote

KinEmote[ref]Installationsanleitung und weitere Informationen zu KinEmote sind auf der Projekt-Website erhältlich unter http://www.kinemote.net/.[/ref] ist ein Framework, das verschiedene Anwendungen zur Nutzung der Microsoft Kinect bündelt. Es greift dazu auf das OpenNI Framework[ref]Weitere Informationen zu OpenNI finden sich unter http://openni.org/.[/ref] zurück, welches die Verwendung der verschiedenen von der Kinect gelieferten Sensordaten ermöglicht. OpenNI wurde von einer Non-Profit-Organisation veröffentlicht, an der unter anderem auch Primesense mitwirkt. Primesense entwickelte zusammen mit Microsoft den Kinect-Sensor.

httpvh://www.youtube.com/watch?v=3y0JT0xR_a4

Neben Anwendungen zur Steuerung des Xbox Media Centers und der Medienserveranwendung Boxee mit Handgesten sowie der Emulation von bis zu acht zuvor konfigurierten Tastatureingaben durch das Bewegen der Hand nach oben, unten, links und rechts bei gestrecktem oder gebeugtem Arm kann KinEmote auch zur Steuerung des Mauszeigers genutzt werden. Dazu kommt eine Kombination von relativer und absoluter Positionierung des Zeigers zum Einsatz. Während viele Anwendungen zur Maussteuerung mittels Kinect ein imaginäres Rechteck im Raum aufspannen und die Position der Hand in diesem Rechteck auf eine absolute Position auf dem genutzten Display abbilden, wird bei der virtuellen KinEmote Maus die relative Bewegung der Hand zwischen Start- und Endpunkt der Handbewegung auf eine Bewegung des Mauszeigers übertragen. So kann der Nutzer mit einer schnellen kurzen Bewegung der Hand einen rasche Verschiebung des Zeigers über eine große Strecke realisieren aber auch durch eine langsame Bewegung der Hand über eine große Strecke eine präzise Verschiebung des Zeigers in einem kleinen Radius auf dem Display erreichen.

[singlepic id=838 w=618 float=]

Andere Anwendungen mit relativer Zeigerpositionierung nutzen häufig einen statischen Referenzpunkt mittig vor dem Körper und bilden z.B. eine Handbewegung nach rechts oben von der Körpermitte auf eine Zeigerbewegung nach rechts oben ab. Da KinEmote den Endpunkt der letzten Bewegung als neuen Referenzpunkt für die nächste Bewegung nutzt, lässt sich die Anwendung ähnlich bedienen, wie eine Anwendung mit absoluter Zeigerpositionierung, wodurch der Nutzer ein direkteres Feedback für die durchgeführte Handbewegung erhält, als bei einer relativen Positionierung mit statischem Referenzpunkt. Die Kombination von absoluter und relativer Positionierung erlaubt also eine schnelle aber dennoch präzise Verschiebung des Zeigers.

Der Benutzer beginnt die Interaktion durch eine Winkbewegung aus dem Handgelenk. Es können sowohl die linke als auch die rechte Hand zur Interaktion genutzt werden. Da die Anwendung in einem Abstand von einem bis vier Metern vor dem Sensor genutzt werden kann und sehr stabil läuft, ist KinEmote gut geeignet, um die Funktionen einer herkömlichen Computermaus zu emulieren. Ein Auswahl-Event wird durch das Vor- und Zurückführen der Hand ausgelöst, mit der auch der Zeiger positioniert wird. Da keine Parameter zur Konfiguration des Select-Events verfügbar sind, kommt es häufig vor, dass beim Versuch einen Klick auszuführen eine versehentliche Neupositionierung des Zeigers erfolgt. Außerdem wird gelegentlich kein Klick ausgelöst, obwohl der Nutzer dies beabsichtigt.

FAAST

Das Flexible Action and Articulated Skeleton Toolkit (FAAST)[ref]Installationsanleitung sowie weitere Informationen zur Anwendung von FAAST sind erhältlich unter http://projects.ict.usc.edu/mxr/faast/.[/ref] ist eine am Institute for Creative Technologies der University of Southern California entwickelte, auf dem OpenNI SDK basierende Anwendung, die es erlaubt verschiedene Gesten zu erfassen und damit mittels einer einfachen Syntax definierbare Maus- oder Tastatur-Events zu emulieren. Auf diese Weise können dann andere Anwendungen mit den zuvor konfigurierten Gesten bedient werden. Die Anwendung kann dazu zwischen der Fokussierung bei der Gestenerkennung auf den gesamten Körper, den Oberkörper, den Unterkörper oder die Hand unterscheiden. Je größer der fokussierte Bereich ist, desto mehr Gesten können erkannt werde. Allerdings sinkt damit auch die Präzision der Erkennung der ausgeführten Gesten.

httpvh://www.youtube.com/watch?v=Up-9xdXGIQY

Eine präzise Steuerung des Mauszeigers ist leider aktuell nur bei der Fokussierung auf die Hand möglich. Durch die Fokussierung auf die Hand können jedoch keine Gesten mit anderen Körperteilen erfolgen, weshalb es mit FAAST nicht möglich ist, gleichzeitig eine genau Positionierung und eine zuverlässige Auswahlgeste zu erreichen. Bei einem Fokus auf den Oberkörper kann dann beispielweise konfiguriert werden, dass der linke Arm leicht nach vorne geführt werden muss, um einen Klick auszulösen, während der rechte Arm zum Positionieren des Zeigers genutzt wird. Die Syntax zum konfigurieren der Geste-Event Belegungen hat folgende Form:

<Gestenbezeichnung> <Positionsveränderungzum Auslösen der Geste in Inch/Zoll> <Auszulösendes Event> <Konkretisierung des Events>

Dabei müssen die einzelnen für die Platzhalter in der Syntax eingetragenen Spezifizierungen genau ein Leerzeichen Abstand haben und Leerzeichen in den Spezifizierungen durch einen Unterstrich ersetzt werden. Ein Beispiel für eine Gesten-Event Konfiguration könnte folgendermaßen aussehen:

left_arm_forwards 5 mouse_click left_mouse_button

Damit wird bei einer Bewegung des linken Arms um fünf Zoll (also 12,7cm) nach vorn ein einzelner Klick mit der linken Maustaste ausgelöst. Eine detaillierte Auflistung aller verfügbaren Gesten und auslösbaren Events mit der dafür zu verwendenden Spezifizierung ist auf der Website zur Anwendung erhältlich.

[singlepic id=835 w=618 h= float=]

Neben den programmierbaren Geste-Event Kombinationen gibt es außerdem eine Reihe von Parametern, die zur Individualisierung des Interaktionsbereichs und zur Feinjustierung der Bewegungsglättung zur präziseren Zeigerpositionierung genutzt werden können. So können unter anderem der fokusierte Körperteil, die Stärke der Bewegungsglättung und die Art der Zeigerpositionierung gewählt werden. So erlaubt FAAST als einzige betrachtete Anwendung die individuelle Konfiguration des Bereichs, in dem die Bewegungen der Hand des Nutzers auf Bewegungen des Zeigers auf dem Bildschirm zur absoluten Positionierung übertragen werden. Insgesamt bietet FAAST die umfassendsten Konfigurations- und Individualisierungsoptionen.

[singlepic id=836 w=618 h= float=]

WIN & I

WIN&I[ref]Weitere Informationen zu WIN&I und anderen Produkten der Evoluce AG sind erhältlich unter http://www.evoluce.com/de/software/win-and-i_software-store.php.[/ref] ist eine von der Evoluce AG kommerziell vertrieben Anwendung zur Emulation der Maussteuerung mit dem Microsoft Kinect Sensor auf Basis des OpenNI SDK. Die Anwendung nutzt dieselbe Form der relativen Positionierung wie die Virtual Mouse des KinEmote Anwendungspaketes und erlaubt eine ebenso präzise Zeigerpositionierung. Jedoch wird bei WIN&I bei einer schnellen Handbewegung eine weitere Verschiebung des Zeigers vorgenommen als bei KinEmote, sodass die Steuerung des Zeigers insgesamt einen agileren Eindruck vermittelt und so ein direkteres Feedback liefert.

httpvh://www.youtube.com/watch?v=cGnSWXb8Hus

Außerdem erlaubt die Anwendung die Nutzung aller Mausfunktionen über die Implementierung eines Gestenmodus. Hält der Benutzer die Hand für eine gewisse Zeitspanne, die über einen Parameter grob anhand der Nutzererfahrung konfiguriert werden kann, still, so erscheint statt des Mauszeigers ein Und-Symbol. Ist der Gestenmodus auf diese Weise aktiviert worden, kann der Nutzer nun durch die Bewegung der Hand in eine Richtung einen Mouse-Event auslösen, ohne dabei den Zeiger zu verschieben. Nach der Aktivierung des Gestenmodus löst beispielsweise eine Bewegung
der Hand nach links einen Linksklick aus. Eine Bewegung der Hand nach rechts bewirkt
einen Rechtsklick. Eine Auswahl der Ziele durch Ausstrecken und Zurückziehen des Arms
ist dennoch möglich. Somit ist WIN&I die einzige getestete Anwendung, die ein präzises Positionieren des Zeigers und ein zuverlässiges Auswählen der Ziele zulässt. Zudem läuft die Anwendung sehr stabil und kann in einer Entfernung von einem bis vier genutzt werden.

[singlepic id=860 w=618 h= float=]

PCD

Palm Click and Drag (PCD)[ref]Detaillierte Informationen zu PCD finden sich unter http://www.kinemote.net/community/viewtopic.php?f=12&t=24.[/ref] ist eine auf OpenNI aufbauende Anwendung der Entwickler des KinEmote-Anwendungspakets. Anders als die virtuelle Maus des KinEmote-Paketes kann mit PCD eine präzise Platzierung des Zeigers über eine absolute Positionierung erfolgen. Startet der Benutzer die Interaktion durch eine Winkgeste, so wird ein im Vergleich zu anderen Anwendungen mit absoluter Zeigerpositionierung kleines imaginäres Rechteck um die Position der Hand gebildet. Da bei der absoluten Positionierung die Position der Hand im imaginären Rechteck auf die Position des Zeigers auf dem Display abgebildet wird, kann der Nutzer schnell die äußeren Positionen des Displays erreichen und dabei stets eine angenehme Körperhaltung beibehalten. Die gute aber nur teilweise konfigurierbare Bewegungsglättung erlaubt zudem eine präzise Positionierung im zentralen Displaybereich, die stets ohne ein Springen des Zeigers erfolgen kann.

httpvh://www.youtube.com/watch?v=9CT460xEr18

Den Namen „Palm Click and Drag“ trägt die Anwendung wegen ihrer verschiedenen Interaktionsmodi. Zur Unterscheidung der Modi bildet das Framework eine Umrandung der Hand. Im Modus „Palm“ kann der Zeiger bei geöffneter Hand und gespreizten Fingern positioniert werden. Dabei ist sowohl die horizontale, als auch die vertikale Ausdehnung der Umrandung der Hand maximal. Führt der Nutzer die Finger zusammen, gelangt er in den Modus „Click“, der eine Betätigung der linken Maustaste emuliert. Dazu erfasst die Anwendung die verringert horizontale Ausdehnung der Handumrandung bei weiterhin maximaler vertikaler Ausdehnung. Schließt der Nutzer nun zusätzlich die Hand und ballt sie somit zu einer Faust, gelangt er in den Modus „Drag“ und emuliert so ein Drag-Event (Halten der linken Maustaste), das beim Öffnen der Hand mit einem Drop-Event (Loslassen der linken Maustaste) beendet wird. Die horizontale und vertikale Ausdehnung der Handumrandung haben sich gegenüber dem „Palm“ Modus verringert. Auf diese Weise können alle Mausevents, die mit der linken Maustaste einer Rechtshändermaus ausgelöst werden, stattfinden. Ein Doppelklick erfolgt z.B. durch zweifaches schnelles Zusammenführen und Spreizen der Finger.

Die Anwendung bietet einige Konfigurationsmöglichkeiten, welche die Präzision der Interaktion mit der Anwendung sowie die emulierbaren Events beeinflussen. Mit dem Schieberegler „History amount for averaging (0-10)“ kann beispielsweise die Anzahl der für die Errechung der Handumrandung genutzten Positionsdaten der Hand zwischen null und zehn Frames variiert werden. Mit einem hohen Wert lässt sich zwar die Präzision der Zeigerpositionierung und dieZuverlässigkeit der Klickerkennung steigern, jedoch steigt dabei auch die benötigte Rechenleistung an. Mit dem Schieberegler „Averaging“ kann der Detailgrad der für die Errechnung der Handumrandung genutzten Positionsdaten variiert werden, um die benötigte Rechenleistung zu reduzieren, da Anfangs der Maximalwert eingestellt ist. Mit dem Regler „Open/Close Delta“ kann die nötige Verringerung der maximalen Ausdehnung der Handumrandung bis zum Auslösen der Click- und Drag-Events beeinflusst werden. Jedoch führt auch eine starke Verringerung dieses Wertes nicht zu einer zuverlässigeren Auslösung der Auswahlevents bei einer Entfernung von mehr als 2,50m. Zusätzlich kann die Positionierung des Zeigers und das Auslösen der Klick-Events aktiviert bzw. deaktiviert werden und eine emulierte Tastatureingabe beim Start der Interaktion durch die Winkgeste oder beim Beenden der Interaktion durch Entfernen der Hand aus dem imaginären Rechteck zur Positionierung eingestellt werden.

[singlepic id=839 w=618 h= float=]

Kinect Cursor Control

Kinect Cursor Control[ref]Installationsanleitung sowie weitere Informationen zu Kinect Cursor Control sind erhältlich unter http://kinectmouse.codeplex.com/[/ref] ist eine Anwendung zur Steuerung des Zeigers mittels Kinect und basiert auf dem „Kinect for Windows SDK“[ref]Hierbei handelt es sich um das „offizielle“ Microsoft SDK. Weitere Informationen sind unter http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/default.aspx erhältlich.[/ref] von Microsoft. Die Anwendung ermöglicht eine absolute Positionierung des Zeigers durch die Bewegung der rechten Hand im von der Anwendung angezeigten Bildausschnitt und eine entsprechende Abbildung der Position der Hand im Bildausschnitt auf die Position des Zeigers auf dem Display.

httpvh://www.youtube.com/watch?v=YelZEhvGBAk

Da jedoch das imaginäre Rechteck zur Positionierung zu groß gewählt ist, können nicht alle Stellen des Displays mit dem Cursor erreicht werden, sodass bei der Nutzung mit der rechten Hand ein Bereich auf der linken Seite des Displays nicht erreicht wird und bei der Nutzung mit der linken Hand ein Teil am rechten Rand des Displays. Außerdem muss der Arm häufig weit angehoben und weit über die Körpermitte bewegt werden, sodass die Schulter bei der Interaktion schnell ermüdet. Zusätzlich kann es bei der Positionierung der Hand direkt vor dem Körper zu einem starken Springen des Zeigers kommen, da dort die Position der Hand nicht klar erkannt werden kann. Andererseits beinhaltet die Anwendung einen zuverlässigen Mechanismus zum Auslösen eines Select-Events. Um einen Klick auszuführen, muss der Arm, der nicht zur Positionierung genutzt wird, gestreckt angehoben und kurz dort gehalten werden. So kann ein Klick ausgelöst werden, ohne versehentlich den Zeiger neu zu positionieren. Die zu starke Bewegungsglättung der Anwendung führt jedoch dazu, dass die Steuerung des Zeigers träge und indirekt wirkt, sodass eine Nutzung der Anwendung zur Steuerung eines Rechners nicht dauerhaft und ohne Einschränkungen möglich ist.

[singlepic id=837 w=618 h= float=]

Vergleichskriterien

Nachdem die einzelnen Anwendungen vorgestellt und beschrieben wurden, folgt an dieser Stelle eine Übersicht über im Hinblick auf die für den Einsatz zur PC-Interaktion relevanten Kriterien. Dafür werden zunächst die verwendeten Vergleichskriterien Art der Zeigerpositionierung, Präzision der Zeigerpositionierung, Zuverlässigkeit der Auswahlgeste, maximale und minimale Einsatzentfernung sowie Stabilität der Anwendung erklärt, bevor anschließend eine tabellarische Einordnung der einzelnen Anwendungen anhand der genannten Kriterien erfolgt.

Art der Zeigerpositionierung

Zur Positionierung des Mauszeigers werden bei den betrachteten Anwendungen drei verschiedene Methoden genutzt. Die erste Methode, die absolute Positionierung, spannt ein imaginäres Rechteck im Raum auf und bildet die Position der Hand des Nutzers innerhalb des Rechtecks auf die entsprechende Position des Mauszeigers auf dem genutzten Display ab. Damit diese Methode auch bei unterschiedlichen Entfernungen des Nutzers zum Display funktioniert, muss das imaginäre Rechteck indirekt proportional zur Entfernung des Nutzers skaliert werden. Die zweite und dritte Methode zur Positionierung des Zeigers basieren auf einer relativen Handbewegung, also einer Bewegung der Hand relativ zu einem Bezugspunkt im Raum. Während eine Form der relativen Positionierung einen statischen Bezugspunkt wählt und somit beispielsweise ein Bezugspunkt in der Körpermitte und eine Bewegung der Hand auf die linke Körperseite immer eine Zeigerverschiebung nach links bewirkt, wird bei der anderen Form der relativen Positionierung der Bezugspunkt für die Bewegung ständig an der Stelle, an der die Handbewegung endet, neu gesetzt. Durch die gerade beschriebene adaptive relative Positionierung kann ein ähnliches Nutzungsgefühl wie bei der absoluten Positionierung erreicht werden und dennoch eine genauere Platzierung erfolgen.

Präzision der Zeigerpositionierung

Die Präzision, mit welcher der Zeiger über einem Objekt positioniert werden kann, ist abhängig von der Bewegungsglättung, die die zu Grunde liegende Anwendung nutzt, um die Sensordaten in eine Zeigerbewegung umzusetzen. Je nachdem, wie die dafür relevanten, häufig nicht beeinflussbaren Parameter in der jeweiligen Anwendung gesetzt wurden, kann der Zeiger ein sehr unruhiges Verhalten mit einem starken „Jitter“ (Flattern) zeigen. Außerdem kann es vorkommen, dass die Zeigerposition zu selten aktualisiert wird, sodass der Zeiger wie auf einem groben Raster entweder stillsteht oder einen Sprung von einem Rasterpunkt zum nächsten vollzieht ohne eine gleichmäßige, gut kontrollierbare Bewegung zu ermöglichen.

Zuverlässigkeit der Auswahl

Die Zuverlässigkeit mit der die Auswahl eines Ziels nach der Zeigerpositionierung ausgelöst werden kann, hängt wesentlich von der Geste ab, die von der Anwendung zum Auslösen des Mouseclick-Events genutzt wird. Während einige Anwendungen die Manipulation zur Positionierung völlig von der Geste zum Auswählen trennen, gehen bei anderen Anwendungen beide Interaktionen fließend ineinander über. Liegen die Gesten zum Positionieren und Auswählen nah beieinander[ref]Beispielsweise bei einer Zeigerverschiebung durch Bewegung der rechten Hand in einer Ebene und Auswahl durch Strecken und Zurückziehen des rechten Arms.[/ref], so wird die Auswahlgeste insbesondere bei einer kurzen Entfernung des Nutzers zum Kinect Sensor häufig als Neupositionierung erkannt, weshalb der Zeiger bei kleinen Zielen versehentlich aus dem Zielbereich bewegt wird. Daher kann eine zuverlässigere Auswahl erfolgen, wenn die Positionierung z.B. mit der rechten Hand und die Auswahl durch Anheben der linken Hand oder eine anderen Geste, welche die Position der rechten Hand nicht beeinflusst, erfolgen. Müssen Positionierung und Auswahl zwingend mit ein und derselben Hand erfolgen, hat sich das Halten der Hand an der zur Auswahl gewünschten Position für eine gewisse Zeitspanne zum „Einrasten“ des Zeigers an dieser Stelle statt einer zusätzlichen Auswahlgeste als zuverlässig erwiesen, da sich hierbei die Auswahlposition nicht versehentlich verändert. Ein weiterer Einflussfaktor für die Zuverlässigkeit der Auswahl ist die Sensibilität der Auswahlgeste. So kann je nach Anwendung bereits bei einer Andeutung der Auswahlgeste versehentlich ein Klick ausgelöst werden, wohingegen eine zu wenig sensible Auswahlgeste dazu führt, dass zu wenige oder gar keine Klicks ausgelöst werden. Beides führt beim Nutzer dazu, dass er die ausgelösten Interaktionen nicht nachvollziehen kann, da sie von ihm nicht beabsichtigt sind.

Maximale und minimale Einsatzentfernung

Der Abstand, mit dem ein Nutzer eine Anwendung zur Emulation der Maussteuerung verwenden kann, wird nicht durch die Sichtweite des Kinect Sensors, sondern durch die minimale und maximale Distanz der zuverlässigen Erkennung der Auswahlgeste bestimmt, die wiederum von dem Sichtfeld und der Auflösung des Infrarotkamerabildes abhängt. Zwar kann die Infrarotkamera des Kinect Sensors Tiefenwerte in einer Entfernungsspanne von einem halben bis sieben Metern liefern, jedoch muss der fokussierte Körperteil vollständig im Sichtfeld liegen, weshalb die Minimalentfernung bei Fokussierung auf die Hand zwischen einem halben und einem Meter, bei Fokussierung des gesamten Körpers jedoch bei mindestens eineinhalb Metern liegt. Da der Nutzer bei zunehmender Entfernung vom Sensor einen kleiner werdenden Teil des Sensorsichtfeldes einnimmt, kann es wegen der geringen Auflösung der Infrarotkamera von 640 x 480 Pixel dazu kommen, dass kleine Bewegungen nicht mehr erkannt und somit manche Auswahlgesten nicht wahrgenommen werden. Daher schwankt die maximale Nutzungsentfernung mit der genutzten Auswahlgeste z.T. sehr stark.[ref]Das Spreizen und Zusammenführen der Finger wird beispielsweise nur bis zu einer Entfernung von zweieinhalb Metern erkannt, während das Heben des Arms bei der Bewegungserkennung an einem stilisierten Skelett des Nutzers auch noch bis zu fünf Meter funktioniert.[/ref]

Stabilität der Anwendung

Eine Anwendung ist für die „stabil“, wenn sie während eines Evaluationsdurchlaufs mit einer Dauer zwischen 30 und 90 Minuten nicht unplanmäßig beendet wird. Einige Anwendungen stürzten während der Tests nach einer kurzen Zeitspanne ab, schlossen sich gelegentlich unvorhergesehen, wenn der Fokus des zur Steuerung genutzten Körperteils verloren wurde oder konnten nicht mehr genutzt werden, wenn eine Konfiguration der bereitgestellten Optionen / Parameter vorgenommen wurde.

Zusammenfassung

Abschließend werden die oben vorgestellten Merkmale der betrachteten Maus-Emulatoren anhand eigener Beobachtungen im Hinblick auf die zuvor beschriebenen Eigenschaften in tabellarischer Form zusammengefasst. Die Beurteilung der Anwendungen erfolgte dazu durch eine einfachen Auswahlaufgabe, bei der der Nutzer den Cursor über einem Ziel platzieren und dieses anschließend auswählen musste. Diese Aufgabe wurde mit jeder Anwendung aus verschiedenen Entfernungen zum Kinect Sensor wiederholt, wobei die verschiedenen Frameworks wie folgt abschnitten:

Bewertungskriterium	KinEmote	FAAST	WIN&I	PCD	Kinect Cursor Control
Art der Zeigerpositionierung	adaptiv relativ	absolut oder statisch relativ	adaptiv relativ	absolut	absolut
Präzision der Zeigerpositionierung	[gut]	[mittel] [ref]Gut bei Fokus auf Hand, schlecht bei Fokus auf Oberkörper.[/ref]	[gut]	[mittel]	[schlecht]
Zuverlässigkeit der Auswahl	[schlecht] [ref]Unbeabsichtigtes Verschieben des Zeigers beim Strecken des Armes.[/ref]	[gut] [ref]Sehr gut bei Fokus auf Oberkörper, nur durchschnittlich bei Fokus auf die Hand.[/ref]	[mittel] [ref]Präzise Auswahl durch Gesten funktioniert nicht immer einwandfrei.[/ref]	[mittel] [ref]Zuverlässig bei Klick, nicht zuverlässig bei Drag.[/ref]	[mittel] [ref]Nicht steuernder Arm muss weit gehoben werden.[/ref]
Min. / max. Einsatzentfernung	1m – 4m	1m – 4m	0,75m – 4m	1m – 2,5m	1m – 3m
Stabilität der Anwendung	[gut]	[gut]	[gut]	[schlecht]	[gut]

Alternative Möglichkeiten zur Interaktion mit großen vertikalen Displays

[toc] Ein Großteil der Entwicklungen im Bereich der Natural User Interfaces basiert auf (Multi-)Touch Interfaces und der Steuerung durch Touchgesten. Da diese Form der natürlichen Benutzerschnittstellen beispielsweise bei sehr großen vertikalen Displays oder an für den Benuter nicht erreichbaren Displays nicht verwendet werden kann, besteht die Notwendigkeit, alternative natürliche Interaktionsmechanismen einzusetzen, die eine berührungslose Interaktion mit vertikalen Displays aus einer gewissen Entfernung ermöglichen. Um einen Überblick über bereits existierende Prototypen solcher über die Touchinteraktion hinausgehenden (Beyond Touch) Interaktionsmechnismen zu geben, werden nun einige dieser Prototypen vorgestellt.

Aus der Vielzahl der Prototypen von natürlichen Interaktionsmechanismen lassen sich einige gehäuft auftretende, grundlegende Bedienkonzepte identifizieren. So werden vermehrt Ansätze gewählt, bei denen es beispielsweise möglich ist auch aus einiger Entfernung durch Touchgesten in unteschiedlichen Ausprägungen zu interagieren. Andere Prototypen basieren auf mouseähnlichen tragbaren Eingabegeräten, die eine Bedienung auf intuitive und natürliche Weise anstreben. Andere Interaktionsmechanismen beruhen auf der Gestensteuerung und verzichten auf zusätzliche Eingabegeräte auf Nutzerseite. Des Weiteren wird hier auch ein sogenanntes Brain-Computer Interface vorgestellt, das eine Anwendungsnutzung allein durch Gehirnstrommessung ermöglicht. Zunächst werden nun einige Mechanismen beschrieben, die durch die Körperbewegungen des Nutzers gesteuert werden. Nach diesen gestenbasierten Interaktionsmechanismen werden die Remote-Touch Interaktionsmechanismen, die gerätevermittelten Interaktionsmechanismen und das Brain-Computer Interface vorgestellt.

Gestenbasierte Interaktionsmechanismen

Die natürlichste Form der HCI ist die Bedienung einer Nutzerschnittstelle ohne die bewusste Nutzung eines Interaktionsmechanismus zur Erreichung der Zielsetzung. Dies bedingt einen vollständigen Verzicht auf Eingabegeräte auf Nutzerseite und die Interaktion zwischen System und Nutzer auf Basis der dem Nutzer zur Verfügung stehenden Kommunikationsmittel. Ebenso wie die Interaktion zwischen Menschen kann der Nutzer dem System seine Absichten über die Bemühung von Mimik, Gestik und Sprache mitteilen. [ref]Dahm, Markus (2006): Grundlagen der Mensch-Computer-Interaktion. 1. Aufl., . München: Pearson Studium, S. 112.[/ref] Die Gesture Based Interfaces nutzen zur Interaktion zwischen Mensch und Computer nur die Gestik zur Eingabe auf Nutzerseite und visuelles oder akustisches Feedback durch den Computer.

Magic Window

Magic Window[ref]Lee, Johnny C. (2008a): Hacking the Nintendo Wii Remote. IEEE Pervasive Computing, 3/2008 (7). IEEE Computer Society, S. 39–45.[/ref] ist ein Interaktionsmechanismus, der es dem Nutzer erlaubt ohne die Zuhilfenahme von Eingabegeräten mit Bildmaterial zu interagieren. Dazu wird die Position des Kopfes des Nutzers verfolgt (Headtracking) indem die Position der an der Brille des Nutzers befestigten Infrarot-LED von der Infrarotkamera einer Wii-Remote erfasst wird. Da die Darstellung auf dem Display stets zum Nutzer ausgerichtet wird, entsteht für diesen ein der Effekt, dass er den dargestellten Inhalt wie durch ein Fenster betrachtet. Bewegt sich der Nutzer also nach links, kann er mehr von der rechten Seite des Bildes sehen. Bewegt er seinen Kopf nach unten, kann er mehr von der oberen Seite des Bildes sehen. Nähert er sich dem Display, kann er mehr vom gesamten Bild sehen usw. Diese Form der Interaktion ist sehr natürlich, da der Nutzer das Prinzip der Paralaxe, also der scheinbaren Änderung der Position eines Objektes, wenn der Beobachter seine eigene Position verschiebt, bereits aus der im Alltag gesammelten Erfahrung kennt. Um der Interaktion weitere Freiheitsgrade hinzuzufügen kann z.B. ein weiterer Wii-Remote Controller in die Interaktion eingebunden werden.

[nggtags gallery=MagicWindow]

SixthSense

SixthSense[ref]Mistry, Pranav & Maes, Pattie (2009): SixthSense: A Wearable Gestural Interface. In: Anjyo, Ken (Hrsg.): ACM SIGGRAPH ASIA 2009 Sketches. New York, USA: ACM Press, S. 11:1[/ref] ist ein Interaktionsmechanismus der in die Rubrik des Wearable Computing eingeordnet werden kann, da die Hardware wie Kleidung am Körper getragen wird. Diese Hardware besteht aus einem Projektor und einer Kamera, die vor der Brust getragen werden sowie farbigen Markern an Daumen und Zeigefinger beider Hände. Somit können Inhalte durch den Projektor auf jeder beliebigen Fläche dargestellt werden und durch Handgesten manipuliert werden, die von der Kamera aufgenommen werden. So kann der Nutzer beispielsweise jederzeit und nahezu überall seinen Kalender anzeigen lassen, um seine Termine zu verwalten, Skizzen oder Notizen machen, Kartenmaterial der Umgebung betrachten oder gestengesteuert Fotos machen.

[nggtags gallery=SixthSense]

Imaginary Interface

Imaginary Interface[ref]Gustafson, Sean; Bierwirth, Daniel & Baudisch, Patrick (2010): Imaginary Interfaces: Spatial Interaction with Empty Hands and without Visual Feedback. In: Perlin, Ken; Czerwinski, Mary & Miller, Rob (Hrsg.): Proceedings of the 23nd Annual ACM Symposium on User Interface Software and Technology. New York, USA: ACM Press, S. 3–12.[/ref] ist ebenfalls eine Wearable Computing Benutzerschnittstelle und nutzt eine Kamera zur Erfassung von Handgesten, verzichtete aber anders als SixthSense vollständig auf eine Darstellung von Inhalten und erlaubt daher eine sehr kompakte Bauweise, da kein Anzeigegerät erforderlich ist. Durch eine L-Geste mit der nichtdominanten Hand wird eine imaginäre Eingabefläche aufgespannt, auf der dann durch das Zusammenführen von Daumen und Zeigefinger gezeichnet oder geschrieben werden kann. So kann der Nutzer jederzeit Dokumente zu in seinem aktuellen Umfeld relevanten Themen erstellen. Diese auf einfachen Gesten basierende Form der Interaktion ist leicht erlernbar, jedoch sind komplexe Zeichnungen wegen des fehlenden visuellen Feedbacks schwierig zu realisieren.

[nggtags gallery=ImaginaryInterface]

Multitoe

Mit Multi Toe[ref]Kaefer, Konstantin; Kanitz, Dorian; Meusel, René; Fetzer, Caroline; Augsten, Thomas; Stoff, Thomas; Holz, Christian & Baudisch, Patrick (2010): “Multi-Toe” Interaction with a High-Resolution Multi-Touch Floor. Potsdam, Germany, S. 1-6.[/ref] kann der Benutzer eine Anwendung mit den Füßen steuern. Dazu erfolgt die Interaktion auf einem touchsensitiven Untergrund, der sich wiederum über einem Display befindet. Bei dieser Form der Touchinteraktion treten einige Besonderheiten auf. So hat der Nutzer nahezu dauerhaften Kontakt zur Interaktionsoberfläche. Außerdem ist die Kontakfläche um einiges größer als bei der Touchinteraktion mit Fingern, sodass ein Interaktionspunkt an der Sohle des Benutzers identifiziert werden muss, um eine präzise Bedienung zu gewährleisten. Allerdings bietet Multi Toe auch einige Vorteile gegenüber einer herkömlichen Touchinteraktion mit Fingern. So kann der Nutzer anhand des individuellen Profils seiner Schuhsohle identifiziert werden. Außerdem kann eine Gewichtsverlagerung des Nutzers erkannt werden, wodurch eine differenzierte Touchinterakion mit zusätzlichen Freiheitsgraden erfolgen kann.

[nggtags gallery=MultiToe]

Wii Gesture Interface

Wii Gesture Interface[ref]Lin, Jiaqing; Nishino, Hiroaki; Kagawa, Tsuneo & Utsumiya, Kouichi (2010): Free Hand Interface for Controlling Applications Based on Wii Remote IR Sensor. In: Spencer, Stephen N. (Hrsg.): Proceedings of the 9th ACM SIGGRAPH Conference on Virtual-Reality Continuum and its Applications in Industry VRCAI 2010. New York, USA: ACM Press, S. 139–142.[/ref] ist ein Interaktionsmechanismus zur Steuerung vertikaler Displays durch natürliche Handgesten. Eine Platine mit einer Vielzahl von Infrarot-LED leuchtet dazu den Raum vor dem Display aus. Die reflektierte Infrarotstrahlung wird dann von der Infrarotkamera eines Wii-Remote Controllers in ein Bild umgewandelt, dass es ermöglicht die Hand des Benutzers und ihre Bewegungen zu identifizieren. Somit können einfache Gesten, wie eine Bewegung der Hand von links nach rechts genutzt werden, um beispielsweise den nächsten Inhalt auszuwählen oder eine Berührungsgeste, um einen Inhalt auszuwählen. Um dann weitere Interaktionsmöglichkeiten zu schaffen und die Präzision der Interaktion zu steigern, kann zusätzlich noch ein weiterer Wii-Remote Controller eingebunden werden, dessen Tasten z.B. mit schwer durch Gesten darstellbaren Aktionen belegt werden können.

[nggtags gallery=Wii Gesture Interface]

Remote-Touch Interaktionsmechanismen

Diese Form der alternativen natürlichen Interaktionsmechanismen erfordert keine Präsenz des Nutzers an einem vertikalen oder horizontalen Touchscreen sondern verlagert die direkte Interaktion mit dem System auf das vom Benutzer verwendete Gerät. Zwar erfolgt die Interaktion mit dem verwendeten Interaktionsmechanismus wiederum durch intuitive Touchgesten, jedoch ist der Nutzer nun nicht mehr dazu gezwungen sich zur Interaktion in unmittelbarer Nähe des großen vertikalen Displays aufzuhalten. Auf diese Weise können mehr Nutzer und auch entfernt stehende Nutzer in die Interaktion einbezogen werden. Je nach visuellem Feedback des genutzten Interaktionsmechanismus kann auch eine uneingeschränkte Interaktion wie am großen vertikalen Touchscreen selbst erfolgen. Außerdem ist es mit Remote Touch Interfaces möglich auch Displays, die keine Touchscreen sind mittel touchbasierter Nutzerinteraktion zu steuern.

SecondLight

SecondLight[ref]Izadi, Shahram; Hodges, Steve; Taylor, Stuart; Rosenfeld, Dan; Villar, Nicolas; Butler, Alex & Westhues, Jonathan (2008): Going Beyond the Display: A Surface Technology with an Electronically Switchable Diffuser. In: Cousins, Steve & Beaudouin-Lafon, Michel (Hrsg.): Proceedings of the 21st Annual ACM Symposium on User Interface Software and Technology. New York, USA: ACM Press, S. 269–278.[/ref] ist ein von Microsoft auf Basis der Technologie des MS Surface entwickelter Ansatz, der die gleichzeitige Projektion zweier unterschiedlicher Bilder auf die Oberfläche eines horizontalen Displays ermöglicht. Während das eine Bild wie gewohnt auf der Darstellungsfläche des Gerätes angezeigt wird, wird das zweite Bild durch diese Darstellungsfläche hindurch projiziert und kann durch weniger lichtdurchlässige Materialien sichtbar gemacht werden. Dies ermöglicht auch eine Projektion auf in einer geringen Entfernung über dem Gerät befindliche Oberflächen. Zusätzlich können auf diesen entfernten Oberflächen auch Touchinteraktion erfolgen.

[nggtags gallery=SecondLight]

Touch Projector

Touch Projector[ref]Boring, Sebastian; Baur, Dominikus; Butz, Andreas; Gustafson, Sean & Baudisch, Patrick (2010): Touch Projector: Mobile Interaction Through Video. In: Henry, Nathalie & Tabard, Aurélien (Hrsg.): Proceedings of the 28th International Conference on Human Factors in Computing Systems. Atlanta, GA, USA: ACM Press, S. 2287–2296.[/ref] ist ein Interaktionsmechanismus, der es erlaubt Inhalte auf gewöhnlichen Displays mittels Touchgesten zu manipulieren. Zu diesem Zweck wird das Echtzeitbild der Kamera eines Smartphones genutzt. Die darauf sichtbaren Inhalte, die auf dem herkömmlichen Display dargestellt werden, können nun durch Touchgesten auf dem Display des Smartphones manipuliert werden. Anschließend wird die Veränderung auch auf die Darstellung auf dem herkömmlichen Display übertragen. Dabei werden alle Displays in der Umgebung und das Smartphone über eine Server synchronisiert, was auch das verschieben eines Inhalts von einem Display auf ein anderes ermöglicht. Durch diesen Mechanismus können auch für den Benutzer unzugängliche nicht touchfähige Displays via Touchgesten genutzt werden.

[nggtags gallery=TouchProjector]

Light Space

Auf den ertsen Blick unterscheidet sich Light Space[ref]Wilson, Andrew D. & Benko, Hrvoje (2010): Combining Multiple Depth Cameras and Projectors for Interactions On , Above , and Between Surfaces. In: Perlin, Ken; Czerwinski, Mary & Miller, Rob (Hrsg.): Proceedings of the 23nd Annual ACM Symposium on User Interface Software and Technology. New York, USA: ACM Press, S. 273–282.[/ref] nicht wesentlich von andern natürlichen Benutzerschnittstellen. Es bietet sowohl eine horizontale als auch eine vertikale projizierte Darstellungsfläche, auf denen die gewohnten Touchgesten zur Manipulation von Bildinhalten ausgeführt werden können. Die Innovation liegt bei Light Space zwischen den Darstellungsflächen, denn ein dritter Projektor sowie drei Kameras zur Entfernungsmessung erlauben eine Touchinteraktion auf gewöhnlichen Gegenständen aber auch eine Darstellungsübergreifende Interaktion mit den Inhalten. So kann ein Nutzer einen Inhalt auf der einen Darstelungsfläche berühren, danach die andere Darstellungsfläche berühren und so den Inhalt dorthin zu verschieben. Außerdem kann er einen Inhalt vom Rand der Darstellungsfläche auf seine Hand verschieben, wodurch der Inhalt im Sinne der Augmented Reality zu einem projizierten Ball wird, den der Nutzer auf seinem Arm umherrollen kann oder in die andere Hand bzw. auf einen Gegenstand legen kann. Berührt der Nutzer wiederum mit der Hand ohne Ball eine Darstellungsfläche, wird der durch den Ball repräsentierte Inhalt dorthin verschoben. Des Weiteren können durch die präzise Tiefenwahrnehmung der Anwendung Menüs im Raum platziert werden. Hält der Benutzer seine Hand über einen auf den Boden projizierten Menü Schriftzug, ändert sich die nun auf der Hand befindliche Darstellung je nach Höhe über dem Boden zu einem Menüpunkt, der dann durch das Entfernen der Hand ausgewählt werden kann.

[nggtags gallery=LightSpace]

Gerätevermittelte Interaktionsmechanismen

Zur Interaktion mit den Device Mediated Interfaces benötigt der Nutzer ein zusätzliches Eingabegerät, das er bei der Interaktion bei sich trägt oder in der Hand hält. Entgegen der indirekten Manipulation mit einer gewöhnlichen Maus, die nur über Sensoren zur Erfassung einer Positionsveränderung in einer zweidimensionalen Ebene verfügt und diese auf den Zeiger überträgt, können die für Device Mediated Interfaces genutzten Interaktionsmechanismen ihre Position im Raum oder relative Lageveränderungen durch zusätzliche optische, gyroskopische oder Beschleunigungssensoren ermitteln. So kann der Nutzer direkt mit Inhalten interagieren, denn wenn er mit dem Gerät auf einen Inhalt zeigt, zeigt auch der Cursor auf dieses Ziel. So wird die natürliche Interaktion des Nutzers über die Sensorik der genutzten Interaktionsmechanismen an den Computer übertragen und dort in entsprechende Manipulationen umgesetzt. Der Interaktionsmechanismus übernimmt sozusagen eine Mediatorrolle zwischen dem Nutzer und dem genutzten System, da er die natürlichen Interaktionen des Nutzers in vom System interpretierbare Manipulationen umwandelt. Außerdem bieten die Zusatztasten des jeweiligen Interaktionsmechanismus die Option Shortcuts für bestimmte Funktionen zu nutzen. Auf diese Weise muss der Nutzer keine komplexen Muster von Manipulationen nachbilden, um das System zu Steuern. Zur weiteren Steigerung der Effizienz der Interaktion sind Device Mediated Interfaces ergonomisch gestaltet, sodass der Nutzer gewissermaßen mit dem Gerät verschmilzt und das Gerät die natürliche Interaktion des Nutzers nicht beeinträchtigt.

Soap

Soap[ref]Baudisch, Patrick; Sinclair, Mike & Wilson, Andrew (2007): Soap: A Pointing and Gaming Device for the Living Room and Anywhere else. In: Heart, John C. (Hrsg.): ACM SIGGRAPH 2007 Emerging Technologies. New York, USA: ACM Press, S. 17–20.[/ref] ist ein Interaktionsmechanismus, der die Steuerung eines Zeigers zur Nutzung einer Anwendung auf großen vertikalen Wanddisplays ermöglicht. In einer flexiblen Kunststoffhülle befindet sich der optische Sensor einer Mouse sowie eine Taste auf der Rückseite der Platine, die durch die Kunsstoffhülle hindurch betätigt werden kann. Die Kunststoffhülle ist wiederum mit einem dehnbaren Stoffüberzug bespannt. Auf diese Weise kann eine Verschiebung der Stoffhülle durch den optischen Sensor registriert werden und so die Bewegung des Cursors gesteuert werden. Eine schnelle Verschiebung des Cursors hingegen ist in vertikale Richtung durch dauerhaftes fixieren des Gerätes durch Zusammendrücken von Daumen und Zeigefinger oder in horizontale Richtung durch Drehen des Gerätes um die Längsachse ähnlich einem nassen Stück Seife in der Handfläche möglich. Aufgrund dieser Seifenmetapher trägt der Mechanismus auch seinen Namen.

[nggtags gallery=Soap]

Brain-Computer Interface

Das Brain-Computer Interface[ref]McFarland, Dennis J. & Wolpaw, Jonathan R. (2011): Brain-Computer Interfaces for Communication and Control. Communications of the ACM, 5/2011 (54), S. 60-66.[/ref] ist eine Form der Mensch-Computer Interaktion, die auf der Messung von Gehirnströmen basiert. Da dies über an der Kopfhaut platzierte Elektroden geschieht, ist dieser Interaktionsmechanismus im Gegensatz zu den bisher vorgestellten Mechanismen auch für Menschen mit eingeschränkter Bewegungsfähigkeit geeignet. Die Anwendung von McFarland und Wolpaw erlaubt z.B. eine Texteingabe ohne die Nutzung zusätzlicher Eingabegeräte. Auf einem Display wird dazu eine Matrix von Buchstaben angezeigt, von denen jeweils abwechselnde Gruppen aufleuchten. Der Nutzer muss während der Blinksequenz eine Buchstaben mit den Augen fixieren. Da jeder Buchstabe eine individuelle Blinksequenz hat und das Aufleuchten des fixierten Buchstaben mittels EEG gemessen werden kann, ist der vom Nutzer ausgewählte Buchstabe eindeutig bestimmbar. So wird eine Texteingabe allein durch das Anschauen der Buchstabenmatrix möglich. Allerdings ist durch die Dauer der Blinksequenz keine schnelle Eingabe möglich und die für diesen Interaktionsmechanismus benötigte Hardware ist im Vergleich zu den meisten zuvor beschriebenen Prototypen sehr teuer.

[nggtags gallery=BCI]

Fazit

Fallende Preise durch die kommerzielle Massenfertigung von Sensortechnik wie der Wii-Remote oder der Microsoft Kinect aber auch sinkende Preise bei großen vertikalen Displays oder Projektoren haben dazu beigetragen, dass die Zahl neu entwickelter Interaktionsmechanismen zur Gestaltung der Schnittstelle zwischen Mensch und Computer zunimmt. Da gerade im Bereich der NUI bisher nur wenig Forschungsarbeit im Bezug auf die Standardisierung solcher Nutzerschnittstellen und die Eignung eines Interaktionsmechanismus für die Nutzung in einem bestimmten Anwendungsumfeld oder für eine bestimmt Aufgabe erfolgt ist, müssen zukünftige Arbeiten weitere Erkenntnisse über die Leistungsfähigkeit und Nutzerakzeptanz natürlicher Interaktionsmechnismen liefern. Außerdem haben alle der in diesem Artikel vorgeschlagenen Kategorien von natürlichen Interaktionsmechnismen ihre Vor- und Nachteile, sodass eventuell eine Kombination der Merkmale existierender natürlicher Benutzerschnittstellen oder die Entwicklung neuer Ansätze zur Gestaltung dieser Schnittstellen einen Interaktionsmechnismus hervorbringen, der das Potential hat, eine ähnlich hohe Verbreitung und Nutzerakzeptanz zu erreichen, wie es heute bei Maus und Tastatur für die GUI der Fall ist.

Vergleich von Definitionen für Natural User Interfaces

Natürliche Benutzerschnittstellen (engl. „Natural User Interfaces“, kurz NUI) stellen nach der Ära der Kommandozeilenbedienung und der grafischen Benutzeroberflächen eine neue Generation der Mensch-Computer Interaktion (engl. „Human-Computer Interaction“, kurz HCI) dar

Die erste Generation der HCI waren Command-Line Interfaces (CLI). Auf einer monochromen Darstellungsfläche konnte der Benutzer durch eine vorgegebene Menge von Befehlen Manipulationen am System oder den Dateien, die das System enthält, vornehmen. Dabei erforderte diese Form der Interaktion eine strikte Einhaltung der Syntax eines Befehls, sodass der Nutzer nur mit dem Wissen über die verfügbaren Befehle und unter erhöhter Konzentration zur Einhaltung der syntaktischen Vorgaben Manipulationen vornehmen konnte. Die Eingabe erfolgte ausschließlich über eine Tastatur.

[singlepic id=568 w=320 h=240 float=none]

Die zweite Generation der Benutzerschnittstellen sind die heute weit verbreiteten grafischen Benutzerschnittstellen (GUI). Neben einer größeren Farbvielfalt sorgten besonders einge Metaphern in der Gestaltung der Darstellung dafür, dass die Bedienung eines Computers deutlich vereinfacht und somit für eine breitere Nutzergruppe zugänglich wurde. So haben die Desktopmetapher, welche die Oberfläche, auf der der Nutzer interagiert einem Schreibtisch nachempfindet und das WIMP-Prinzip, dass die Zusammensetzung der grafischen Komponenten in Fenster (engl. Windows), Symbole (engl. Icons), Menüs (engl. Menus) und Zeiger bzw. Zeigegeräte (engl. Pointer bzw. Pointing Device) einführte bis heute Bestand. Häufig werden Maus und Tastatur zur Interaktion genutzt.

[singlepic id=566 w=320 h=240 float=none]

Die dritte Generation der Benutzerschnittstelle, die erst seit wenigen Jahren unter diesem Begriff eine eigene Entwicklungsrichtung der Gestaltung der HCI darstellt, sind Natural User Interfaces (NUI). Die Gestaltung der Darstellung und der Interaktion solerfolgt hier auf natürliche und intuitive Weise, indem auf Fähigkeiten zurückgreifen wird, die ein Nutzer im Laufe seines Lebens erworben hat. Die Interaktionsmechnismen sind vielfältig und verfolgen unterschiedliche Ansätze, die von Touchscreens über eine Steuerung durch spezielle Zeigegeräte wie der WiiRemote bis hin zu einer Gestensteuerung mit dem gesamten Körper reichen.

[singlepic id=303 w=320 h=240 float=none]

Anders als bei den beiden schon seit mehreren Jahrzehnten etablierten Formen der HCI gibt es jedoch wegen der dynamischen Entwicklung im Forschungsfeld NUI innerhalb der vergangenen beiden Jahre noch keine einheitliche, allgemein anerkannte Definition. Nachfolgend werden einige Definitionen vorgestellt, deren enthaltene Ansichten beschrieben und miteineander verglichen werden, um das derzeitige vorherrschende Verständnis von NUI in Wissenschaft und Praxis aufzuzeigen.

Überblick über existierende Definition

Einige der bereits existirenden Definition beziehen sich auf unteschiedliche Konzepte und Theorien und gewichten gemeinsame Aspekte verschieden. Folgende Beispiele verdeutlichen diesen Sachverhalt:

Blake 2010:

A natural user interface is a user interface designed to reuse existing skills for interacting directly with content. [Blake 2010, S. 2][ref]Blake, Joshua (2010): The Natural User Interface Revolution. In: Natural User Interfaces in .Net, 1. Auflage, Greenwich, USA: Manning Publications.[/ref]

Diese Definition von Joshua Blake enthält folgende Aspekte:

Ein NUI ist „designed“. Es bedarf also einer gezielten Gestaltung eines Interaktionmechnismus durch den Entwickler, sodass die Form der Interaktion sowohl für den Nutzer, als auch für den Inhalt und den Kontext geeignet ist.
Ein NUI baut auf dem „reuse of existing skills“ auf. Es ermöglicht also die Wiederverwendung von Fähigkeiten, die der Nutzer im Laufe seines Lebens (z.B. bei der zwischenmenschlichen Kommunikation) erworben hat und die es ihm erlauben ein NUI ohne vorherige Anleitung zu nutzen.
Ein NUI erlaubt „interacting directly with the content“. Der Nutzer muss also die Möglichkeit haben, Inhalte direkt durch sein Handeln zu manipulieren.

Bollhoefer et al. 2009:

Ein Natural User Interface (NUI) beschreibt ein Interface, welches unmittelbar durch einen oder mehrere Sinne des Benutzers bedient wird. [Bollhoefer et al. 2009, S.6][ref]Bollhoefer, Klaas Wilhelm; Meyer, Kerstin & Witzsche, Rosina (2009): White Paper Microsoft Surface und das Natural User Interface ( NUI ). , Berlin.[/ref]

Bei dieser Definition eines NUI stellen Bollhoefer et al. folgende Aspekte heraus:

Die unmittelbare, direkte Interaktion und damit auch eine direkte Manipulation.
Die Nutzung eines oder mehrerer Sinne des Benutzers.

Monson-Haefel 2010:

A Natural User Interface is a human-computer interface that models interactions between people and the natural environment. [Monson-Haefel 2010][ref]Monson-Haefel, Richard (2010): NUI Defined. URL: http://theclevermonkey.blogspot.com/2010/01/nui-defined.html. Letzter Abruf: 12.07.2011.[/ref]

Richard Monson-Haefel stellt also folgende Aspekte heraus:

Ein NUI ist eine besondere Ausprägung von HCI.
Ein NUI bildet die Interaktion eines Nutzers mit seiner natürlichen Umgebung (Wasser, Bäume, etc.), nicht jedoch mit seiner künstlichen Umgebung (Autos, Computer) ab.

Vergleich der Definitionen

Autor	Blake 2010	Bollhoefer et al. 2009	Monson-Haefel 2010
Gemeinsamkeiten	direkte Manipulation
Unterschiede	designed für Nutzer, Inhalt und Kontext Nutzung von Fähigkeiten zur Interaktion	Nutzung der Sinne zur Interaktion	Abbildung des natürlichen Nuterverhaltens zur Interaktion

Aus der Tabelle geht hervor, dass lediglich die direkte Manipulation von Inhalten durch die Benutzerinteraktion als gemeinsames Merkmal aller drei Definitionen auftritt. Außerdem beantworten alle Definitionen die Frage, womit aus Sicht des Nutzers interagiert wird (Fähigkeiten, Sinne, natürliches Verhalten), gehen jedoch auf keine konkrete Ausprägung von dieser Interaktion, wie beispielsweise Multi-Touch Interfaces (z.B. MS Surface[ref] Weitere Informationen zum Microsoft Surface sind erhältlich unter http://www.microsoft.com/surface/en/us/default.aspx [/ref], Apple iPhone[ref]Weitere Informationen zum Apple iPhone sind erhältlich unter http://www.apple.com/de/iphone/[/ref], etc.), Gestensteuerung (MS Kinect[ref]Weitere Informationen zu Microsoft Kinect sind erhältlich unter http://www.xbox.com/de-DE/Kinect[/ref], etc.), gerätevermittelte Interaktion (Nintendo WiiRemote[ref]Weitere Informationen zur Nintendo WiiRemote sind erhältlich unter http://www.nintendo.de/NOE/de_DE/systems/technische_details_1072.html[/ref], Air Mouse Konzepte[ref]Ein Beispiel hierfür ist die Logitech MX Air[/ref], etc.) ein.

Fazit

Es existieren bereits einige Definitionen von „Natural User Interface“, die zum Teil Überschneidungen zeigen, zum Teil jedoch auch sehr unterschiedlich Ansätze verfolgen. Daher besteht im Rahmen des wissenschaftlichen Diskurses mit der Materie die Notwendigkeit, eine Definition abzuleiten, die sowohl die Aspekte bereits existierender Definitionen aufgreift, als auch für zukünftige Entwicklungen im Umfeld der NUI ihre Gültigkeit behält.

Surface Bluetooth Mobile Manager

[toc]

Der Bluetooth Mobile Manager ist eine Anwendung für das Microsoft Surface, die im Sommer 2010 an der Universität der Bundeswehr München in einem Programmierprojekt der Professur für Programmierung kooperativer Systeme an der Fakultät für Informatik entstand. Die Anwendung dient dazu, mobile Endgeräte via Bluetooth in die intuitive Mehrbenutzerinteraktion des Surface einzubinden. Auf diese Weise werden die Vorteile der Steuerung durch Touch-Gesten auf die Interaktion mit den Inhalten auf einem Mobiltelefon übertragen und somit einerseits Medienbrüche umgangen und andereseits die Möglichkeit geschaffen, die Inhalte gemeinsam zu erleben und zu explorieren.

httpvh://www.youtube.com/watch?v=45TAVHlhlMI

Anbindung von mobilen Endgeräten

Der Bluetooth Mobile Manager stützt sich auf eine von Microsoft herausgegebene Beispielanwendung, das MS Bluetooth Connect Sample[ref]Die Anwendung wurde am 15.06.2010 im Microsoft Surfaceblog angekündigt und kann im MSDN Code Sample Bereich unter http://archive.msdn.microsoft.com/surfacebluetooth heruntergeladen werden.[/ref]

[singlepic id=283 w=618]

Basierend auf der bereits implementierten Bluetoothanbindung für das Surface wurde bei der Weiterentwicklung besonders die Einbeziehung der mobilen Endgeräte in die Nutzerinteraktion als sog. „Tangibles“ und die Visualisierung der Geräte auf dem Surface gegenüber der Microsoft Anwendung verbessert. So verfügt ein mit dem Surface via Bluetooth gepairtes Endgerät beispielsweise über eine eigene, mit dem Gerät verschiebbare visuelle Repräsentation als virtuelle Bedienfläche, die nur angezeigt wird, wenn das mit einem Tag versehene Gerät auf der Oberfläche des Surface platziert wird.

[nggtags gallery=Kontextmenü]

Interaktion mit den Inhalten auf den mobilen Endgeräten

Die Bedienfläche ermöglicht das Betrachten der Inhalte auf dem mobilen Endgerät und darüber hinaus das intuitive Verschieben und Austauschen dieser Inhalte zwischen verschiedenen Endgeräten oder zwischen einem Endgerät und dem Surface.

[singlepic id=120 w=618]

Auf diese Weise wird der virtuelle Inhalt für den Benutzer greifbar und die natürliche Interaktion steigert das Interesse, weitere Inhalte zu entdecken oder Inhalte gemeinsam mit anderen Nutzern zu betrachten. Hierdurch verschwimmen die Grenzen zwischen den virtuellen Inhalten auf dem Surface und dem realen Gegenstand, der darauf platziert ist, was letztlich zu einer Verbesserung der soziotechnischen Integration beiträgt.

[singlepic id=123 w=618]

Die intuitive und natürliche Interaktion wird v.a. dadurch verbessert, dass das Verschieben des physischen mobilen Endgerätes auf der Darstellungsfläche des Surface im Gegensatz zur ursprünglichen Microsoft Version ebenfalls eine Verschiebung der virtuellen Bedienfläche nach sich zieht.

[nggtags gallery=Inhalte]

Pairingdialog zur Einbindung neuer Geräte

Um Inhalte von bisher nicht mit dem Surface verbundenen mobilen Endgeräten anzeigen und nutzen zu können, müssen das Gerät und das Surface miteinander gepairt werden. Anschließend ist, wie bei den meisten Bluetooth-Anwendungen für die folgende Benutzerinteraktionen wie beispielsweise das Verschieben von Inhalten, kein erneuter Verbindungsaufbau notwendig. Der Pairingvorgang selbst, der durch eine automatische Anzeige verfügbarer Geräte in Reichweite des Surface initiiert wird, wird durch eine visuelle Schritt für Schritt Anleitung auf dem Surface zusätzlich unterstützt.

[nggtags gallery=Pairing]

Abgrenzung des Bluetooth Mobile Manager vom MS Mobile Connect Sample

In der nachfolgenden Tabelle werden einige der wesentlichen Unterschiede zwischen der entstandenen Anwendung und der Beispielanwendung von Microsoft gegenübergestellt.

MS Bluetooth Connect Sample	Bluetooth Mobile Manager
Fixe Darstellung und Orientierung der mobilen Endgeräte am rechten Rand	Flexibel orientierbare und verschiebbare visuelle Repräsentation der mobilen Endgeräte
Repräsentation eines mobilen Endgerätes nur durch Handy-Icon	Zusätzliche Einbeziehung des Endgerätes als Tangible
Ausschließlich virtuelle Interaktion auf dem Surface	Interaktion zwischen realen Endgeräten und virtuellem Inhalt
Datenübertragung über Push-Verfahren (kontinuierliche Bestätigungen)	Pairing zwischen Surface und mobilem Endgerät (anschließend keine Interaktionsbarrieren)
Lose, ungeordnete Darstellung der Inhalte eines mobilen Geräts	Zusätzliche Container zur Strukturierung und Verbesserung der Übersichtlichkeit

Insbesondere die fixe und in eine Richtung orientierte Darstellung der nur als Icon vorhandenen mobilen Geräte muss als großer Nachteil der Originalanwendung von Microsoft gesehen werden, da er in jeglicher Hinsicht der Forderung direkter Manipulierbarkeit bei einem Natural User Interface widerspricht. In der Aufhebung dieser Interaktionsbarriere ist demnach ein Hauptmehrwert der Weiterentwicklung zu sehen.

Das Projektsetting

Der Bluetooth Mobile Manager auf dem Surface ist das Ergebnis eines Master-Projektes der beiden Wirtschaftsinformatiker Tim Saldik und David Weidt in Kombination mit einem Praktikum der Informatik-Studenten Florian Geißler, Alexander Reeb und Steffen Schurig. Im Rahmen des Masterprojekts wurde die Anwendung zunächst konzipiert und anschließend während des Praktikums umgesetzt. Die Anwendung wurde auf Basis von Scrum entwickelt, wobei ein Sprint eine Dauer von dreieinhalb Tagen hatte und insgesamt sieben Sprints vorgesehen waren. Den Wirtschaftsinformatikern kam dabei die Rolle der “Product Owner” zu, während die Informatiker das Scrum-Team bildeten. Als Scrum Master fungierte zusätzlich der Projektbetreuer Florian Ott.

MS Bluetooth Connect Sample

Bluetooth Mobile Manager

§ Darstellung der mobilen Endgeräte am rechten Rand

§ Repräsentation eines mobilen Endgerätes durch Handy-Icon

§ ausschließlich virtuelle Interaktion auf dem Surface

§ Datenübertragung über Push-Verfahren

§ lose, ungeordnete Darstellung der Inhalte

§ bewegliche Darstellung der mobilen Endgeräte

§ Einbeziehung des Endgerätes selbst als Tangible

§ Interaktion zwischen realen Endgeräten und virtuellem Inhalt

§ Pairing zwischen Surface und mobilem Endgerät

§ Container für Inhalte zur Steigerung der Übersicht

Militärische Lagekarte auf dem Microsoft Surface

[toc]

Die „Militärische Lagekarte“ ist eine Anwendung für das Microsoft Surface, die im Sommer 2010 an der Universität der Bundeswehr München in einem Programmierprojekt der Professur für Programmierung kooperativer Systeme an der Fakultät für Informatik entstand. Sie dient in erster Linie dazu, die herkömmlich genutzten Lagekarten in Papierform zu ersetzen und die Vorteile einer mehrbenutzerfähigen digitalen Karte, wie das schnelle Wechseln des dargestellten Kartenausschnitts oder das Zoomen, zu nutzen und gleichzeitig zu einer besseren soziotechnischen Integration beizutragen.

httpvh://www.youtube.com/watch?v=mqG3wuJLyXo

Ein wesentlicher Vorteil liegt in der digitalen Unterstützung der Auswahl zu setzender taktischer Zeichen.

Flexibel nutzbares Kartenmaterial

Im Gegensatz zu papiergebundenen Karten bietet das Surface die Möglichkeit, verschiedene Kartendienste und Detaillierungsgrade je nach angestrebem Einsatzszweck zu nutzen und ggf. zu kombinieren. Auf der Karte eingetragene Zusatzinformationen bleiben beim Wechseln der Karte entsprechend erhalten.

[singlepic id=187 w=618]

Die Interaktionsmöglichkeiten reichen dabei von einfachen Zoom- und Drehaktionen bis hin zum Setzen und Verschieben komplexer taktischer Zeichen.

[nggtags gallery=Militärische_Lagekarte+Karte]

Taktische Zeichen zur Darstellung der Lage

Das Surface ermöglicht durch die große Zahl an zur Verfügung stehenden, intuitiven Touchgesten eine natürliche, leicht zu erlernende und freudvolle Art der Bedienung der digitalen Karte sowie der darauf platzierten taktischen Zeichen. Die taktischen Zeichen repräsentieren jeweils einen Truppenverband, einzelne Fahrzeuge oder Soldaten.

Einen Eindruck davon, wie taktische Zeichen aufgebaut sind und v.a. wie sie zu konkreten Zeicheninstanzen kombiniert werden können, vermittelt nachfolgende Darstellung:

Bezeichnung	Taktisches Zeichen
Grundzeichen
Panzer
Grenadier
Aufklärer
Panzeraufklärer
Panzergrenadier

Eine mit taktischen Zeichen versehene Lagekarte könnte beispielsweise folgendermaßen aussehen. Dabei steht die Färbung des Zeichens für den Status des repräsentierten Truppenteils mit den Unterscheidungen, freundlich (blau), feindlich (rot), neutral (gelb) und unbekannt (grau).

[singlepic id=183 w=618]

Setzen taktischer Zeichen

Um schnell durch die Vielzahl von verschiedenen, nach dem oben dargestellten Kombinationsschema modular aufgebauten taktischen Zeichen navigieren zu können, wurde ein kaskadierendes Menü entwickelt. Da es weit über 1.000 verschiedene konkrete taktische Zeichen gibt, zeigt die erste Menüebene jeweils nur die grundlegenden Gattungen an und kaskadiert dann in den folgenden sich automatisch öffnenden Ebenen immer wieder zu konkreteren Instanzen. Hierdurch wird es mit intuitiv verständlichen Mitteln möglich, die ohne ausreichende Übung unüberschaubar große Zahl verfügbarer taktischer Zeichen auf eine kognitiv leicht erfassbare Größenordnung herunterzubrechen.

[singlepic id=180 w=618]

Nichts ist so beständig, wie die Lageänderung – Modifikation von taktischen Zeichen

Durch die Interaktivität des Surface können externe Lageinformationen schnell in die Darstellung auf dem Surface eingebunden werden und von den Nutzern, z.B. den Soldaten in den Führungsstäben der Bundeswehr, zur weiteren Einsatzplanung herangezogen oder zur Planung verschiedener Szenarien modifiziert werden. Auch das Verschieben eines Zeichens auf der Karte kann mit der militärischen Lagekarte auf dem Surface leicht durchgeführt werden, wohingegen ein einmal auf einer Papierkarte eingezeichnetes Zeichen statisch ist und entsprechend nicht mehr modifiziert werden kann.

[singlepic id=185 w=618]

Weitere Interaktionsmöglichkeiten zu taktischen Zeichen

Die folgende Galerie zeigt noch einige weitere Interaktionsmöglichkeiten rund um die Einbindung taktischer Zeichen in die militärische Lagekarte:

[nggtags gallery=Militärische_Lagekarte+taktische_Zeichen]

Hintergrundinformationen zum Projektsetting

Der Prototyp der militärischen Lagekarte auf dem Surface ist das Ergebnis eines Master-Projektes der beiden Wirtschaftsinformatiker Tim Saldik und David Weidt in Kombination mit einem Praktikum der Informatik-Studenten Ronny Vogel, Steffen Schurig und Richard Krug. Im Rahmen des Masterprojekts wurde die Anwendung zunächst konzipiert und anschließend während des Praktikums auf der Basis InfoStrat.VE[ref]Weitere Informationen zur Entwicklung mit InfoStrat.VE sowie der Download des Projekts sind verfügbar unter http://bingmapswpf.codeplex.com/. Andere zum Teil auf Virtual Earth basierende Projekte von InfoStrat für das Microsoft Surface befinden sich unter http://www.infostrat.com/home/solutions/Surface/.[/ref] umgesetzt, das das Kartenmaterial bereitstellte und die Nutzung des Materials auf dem multitouchfähigen Microsoft Surface durch Gestensteuerung ermöglichte. Die Anwendung wurde mittels der agilen Scrum Methode entwickelt, wobei ein Sprint eine Dauer von dreieinhalb Tagen hatte und insgesamt sieben Sprints vorgesehen waren. Den Wirtschaftsinformatikern kam dabei die Rolle der „Product Owner“ zu, während die Informatiker das Scrum-Team bildeten. Als Scrum Master fungierte zusätzlich der Projektbetreuer Florian Ott.