VisualComputing: Benutzerschnittstellen

Zusammenhang Realität, VR und AR

• Sprachsteuerung
• Gesture Recognition
• Wartung von komplexen Industrieanlagen
• Einsätze im Katastrophenmanagement
• Unterstützung des Autofahrers
• Einsatz un (Kampf)Flugzeugen

• Interaktive Darstellung von Karten (Geninformatik)
• Darstellung von zerstörten Gebäuden (Archäologie)
• Darstellung von zuünftigen Gebäuden(Architektur)
• Anreicherung von Ausstellungen
• Simulation in Fahr- und Flugsimulatoren
• Konferenzen mit realen und virtuellen Teilnehmern

• Rechnergestützte Erweiterung der menschlichen Wahrnehmung: Die computergenerierten Zusatzobjekte erlauben die Darstellung zusätzlicher, wahrnehmungserweiternder Aspekte
• Visualisierung von Informationen: Umfangreiche und komplexe Informationen lassen sich visualisieren und intuitiv vermitteln
• Unterstützung bei der Bewältigung komplexer und diffziler Aufgaben:
• Wahrnehmungserweiterung vor allem durch entsprechende Visualisierung unterstützt den Anwender bei diffizilen oder komplexen Aufgaben z.B. in der Medizin, Konstruktion oder Produktion bei deren Bewältigung
• Minimierung der Zeit zur Informationsbeschaffung (Time-to-Content): Unter Time-to-Content versteht man die Zeitdauer, die benötigt wird, bis ein Anwender über von ihm gewünschten Informationen verfügt. Mittels AR kann der gewünschte Content innerhalb kürzester Zeit aufbereitet und dem Benutzer zur Verfügung gestellt werden. Dabei hat der Anwender die Möglichkeit, interaktiv auf die Gestaltung und Ausprägung des Contents Einfluss zu nehmen: Der Content passt sich den Wünschen des Benutzers kontextabhängig an.
• Kombination von kaptischem und digitalem Erlebnis: Bei vielen AR Anwendungen verschmilzt haptisches und digitales Erleben. Der Anwender hält z.B. eine Broschüre unter die Kamera und die Anwendung reagiert entsprechend der Bewegung des Benutzers. Dabei werden verschiedene Sinne des Betrachters angesprochen, was zu einem besonders nachhaltigen Kommunikationserlebnis führt.

Elektromagnetisches:

• Über ein e-magnetisches Feld wird den Sensoren am Nutzer Strom induziert. Aus diesem Strom errechnen die Sensoren die Position im Tracking Bereich. Die Sensoren senden die Daten dann an das Tracking System (Vorteile: Nutzer kann vom Sender gesehen auch verdeckt sein. Nachteil: Metallische Objekte in Tracking Bereich verfälschen das Ergebnis, teuer)

Mechanisches Tracking:

• Der Nutzer befindet sich in einer mechanischen Konstruktion, die über Gelenke oÄ Winkeländerungen oder Beschleunigung wahrnimmt (Vorteil: Sehr präzise, Nachteil: Die Konstruktion schränkt sehr ein)

Ultraschall:

• Über die Time-of-Flight Methode berechnen die Empfänger durch den empfangenen Schall die Position des Nutzers (Vorteil: Relativ günstig und genau, Nachteil: Man braucht mindestens drei Empfänger für eine 2D Bestimmung (vgl GPS), Objekte zwischen Schallsender und Empfänger verfälschen das Ergebnis)

Optisches:

• Kameras erkennen Marker am Körper des Nutzers und ermitteln so Position und Ausrichtung etc (Vorteil: Relativ günstig (teilweise nur eine Webcam nötig), relative Bewegungsfreiheit im Tracking Bereich, Nachteil: Blickkontakt zwischen Kamera und Nutzer zwingend erforderlich, Verzögerung der Ausgabe wegen sehr aufwendiger Algorithmen)

Inertiales, gyroskopisches:

• Bewegungssensoren am Nutzer nehmen Positionsveränderungen des Körpers oder der Körperteile wahr und senden die Daten zum Tracking System (Vorteil: Sehr günstig, kleine Sensoren, Nachteil: Liefert nur relative Positionen, das heißt, erkennt nur Bewegung und keine absoluten Positionen, Akkumulation des Fehlers durch Messungsungenauigkeiten, daher meist in Kombination mit anderen Tracking Systemen)

Neurales/Muskulares:

• Sensoren auf der Haut nehmen Kontraktionen der Muskeln wahr. Mit dem Biomuse System ist es so zB möglich das Spielen eines Instruments zu simulieren. Eine weiter Möglichkeit ist das Positionentracking duech Drucksensoren am Boden (ähnliche Vor- und Nachteile wie beim inertialen Tracking

• Artoolkitmarker
• HMD Marker
• Gis Marker
• Scr Marker
• Frame Marker
• Split Marker
• DOT Marker (Teilfächenverfahren)

• Form: mit vier nicht linearen Punkten lässt sich die Position im Raum eindeutig bestimmen. Daher wird häufig eine quadratische Form verwendet. Eine gleichmässige Form um es von allen Richtungen gut zu erkennen
• Farbe: Es wurde vorgeschlagen nur mit Graustufen zu arbeiten, wegen der schnelleren Verarbeitung als bei Farben. Farben werden auch stärker von Lichtverhältnissen beeinflusst
• Markerlokalisierung: Um den Marker in der Realen Umgebung gut zu finden, wird ein dicker, schwarzer, quadratischer Rand vorgeschlagen und dazu das ganze auf weissem Hintergrund. Der Rand macht optimal 15% des Bildes aus.
• Bild Identifikation: Zur eigentlichen Identifikation des Markers wird ein soeben entdeckter Marker mit möglichen Bildern aus der Datenbank verglichen. Dies wird durch Bestimmung einer Korrelationskoeffizienten gemacht.

Der Split Marker kommt ohne durchgehenden Rahmen aus und besteht aus zwei sich gegenüberliegenden Barcodes, in welche die ID des Markers codiert ist.

Das Fehlen des durchgängigen Rahmnes machst es möglich, den Marker beispielsweise in der Hand zu halten und dabei die Innenfläche mit dem Daumen zu bedecken. Während Frame-Marker einen geschlossenen Rahmen benötigt, setzt sich der Split-Marker aus zwei Barcodes zusammen, die die untersuchte Fläche begrenzen.

• Natürliche Formen (z.B. Linien, Punkte und Kreise) werden als Anhaltspunkt für markerloses Tracking verwendet
• Verwendung von Referenz Objekten deren CAD Modell bereits bekannt ist (modellbasiert)
• Slam-Verfahren zur Erkennung unbekannter Umgebungen
• Einsatz modellbasierter Verfahren (2D-Marker, Bildmarker oder Textmarker)

• Webcam und Bildschirm (Monitor-basierte Systeme, darunter fällt auch Cave)
• Head Mounted Display
• Head Up Display/Brillen 
• Kontaktlinsen (bionic contact lenses)
• Mobile Devices

Monitor-basierte Systeme

Video See Through HMD

Optical-See-Through-HMD

Head Up Display

• Je nachdem welche Anforderungen man an die Anwendung stellt, stehen verschiedene Frameworks zum Arbeiten mit AR-Systemen zur Verfügung
• D`Fusion: Unterstützung von Flash im Web
• Metaio SDK: Unterstützung für mobile Geräte, kommt mit eigenem 3D Renderer
• Frauenhofer IGD: Unterstützt Handtracking durch Handschuh
• AR-Toolkit: Open Source, sehr transparent

►Man muss schauen, in welchem Kontext, mit welchen Geräten seine Anwendung genutzt werden soll. Zusätzlich sind Faktoren wie die Kosten, der Aufwand, der Zeitrahmen oder die Dokumentation ausschlaggebend für die Wahl eines Frameworks

Konzentration auf das Front-End (Benutzersicht) der Software.

Unterschied in der Zielsetzung:
NICHT Performance, hohes Maß an Robustheit und Funktionalität
SONDERN Benutzbarkeit, Zufriedenheit und Attraktivität

"The old computing was about what computers can do, the new computing is about what humans can do."

-keine Schulung, keine Handbücher ►intuitive Oberfläche

-besondere Beachtung von Alten, Kindern, Behinderten

-Barrierefreie Nutzung

-webbasierte Systeme → Heterogenität von Displays und Browsern beachten

> hohen Zeit- und Arbeitsaufwand
> unnötige Kompliziertheit
> Veränderung der gewohnten/gewünschte Arbeitsweise (Individualisieren kostet oft viel Zeit, teilweise unbemerkt)
> Aufteilen von Vorgängen in sinnlose Teile
> Psychische Beeinträchtigungen (z. B. Stress)
> Abhängigkeit von Experten

Effektivität, Effizienz, Zufriedenheit und angenehme Erfahrung

-bei UI Entwicklung: iterative Entwicklung, schrittweise Verfeinerung (Gestaltung ist keine definierte Optimierungsaufgabe), Zyklen, ständig kompromisse nötig

-bei klassischer Softwareentwicklung: klar getrennte zeitliche Phasen, formale Methoden

> Spielekonsolen (Wii, Xbox Kinect)
> Webbasierte Systeme (XING, Facebook)
> Eingebettete interaktive Systeme (Verschmelzung von realen
Geräten und Software → Waschmaschine, Kopiergeräte,
Kaffeemaschine, !! Cockpit moderner Autos → Fahrzeugnavigation,
Mediensteuerung)
> Multitouch- und Sensorbasierte Systeme (ReacTable,
SmartPhone)
> Interaktive Systeme für kreative Systeme (Mind Manager,
Wikis)
> Benutzerschnittstellen mobiler Geräte (PDA, Handys)
> Sicherheitskritische Anwendungen (Master-Slave-Roboter)

„As we may think“
> Menschen denken assoziativ → inhaltsbasierte Suche nach Infos
> MEMEX
„soll in dieser personalisierten Bibliothek so suchen können
wie der Mensch in seinem Langzeitgedächtnis nach Informationen
sucht und damit den menschlichen Speicher erheblich erweitern“
> Aufbereitung von Informationen (Digitalisierung,
Schlüsselwörter, Querverweise)
> Integration von Lesezeichen, Notizen, Anmerkungen
==> Konsequenz für GUI: Orientierung an realen Modellen
(Analogien mit Bibliotheken, Büchern)

• 1960 Licklider als Begründer
• höhere Produktivität durch Benutzerschnittstelle
• Erschließung neuer Anwendungsfelder mithilfe neuer Benutzerschnittstelle

Ziele:

• Computer als kooperativer Partner
• Interaktive Arbeit
• Trial-and-Error Prozesse

Von ihm geforderte kurzfristige Anforderungen an die Interaktion (eher technologisch):

• Time Sharing Systeme zur Feststellung der Rechnerzeit
• große Speicher, schnelle Prozesse etc.

Von ihm geforderte langfristige Aufgaben bezüglich der Interaktion:

• Verstehen natürlicher Sprache
• Erkennung von Zeichnungen und Gesten

-Begründer: Sutherland and Jonsen

-Erstes CAD Programm der interaktiven Computergrafik

-Benutzte erstmals folgende Konzepte:

• Die Übertragung einer per Hand gezeichneten Skizze (Grafiktablett und Stift (Light Pen) in elektronischer Form
• Speichern und Einordnen der Objekte/Skizzen in Objekthierarchien
• Anzeige der Objekte als Vektorgrafiken
• Erstmals konnten Objekte auf dem Screen direkt manupuliert werden

-Analyse des Problemlöseverhaltens

-Unterstützung von Menschen bei der Lösung

-Engelbert erfand die "Maus"

-Nelson entwickelte die Hyper Text

-Entwickelte fensterbasiertes NLS (On Line System)

-Erste Verwendung von grafischen Bildschirmen

-1979-81: Erstes kommerzielles System mit grafischer Benutzeroberfläche

-Zielstellung: Erstellung und Verwaltung von Dokumenten, Terminen, Nachrichten, Tanellenkalkulation und Geschäftgrafiken

Zielgruppe: Manager ► kaum Erfahrung mit Computern und hoher Zeitdruck

Technologien: Eigene Workstation mit anderen Rechnern vernetzt, grafischer Bildschirm mit Fenstern und Icons, Steuerung mit Maus

Ursachen des geringen Erfolgs: Späte Markteinführung, hoher Preis, einseitige Konzentration auf neue Interaktionstechniken, starke Verkettung der Anwendung (Monolithisch), kaum Drittanbieter, keine Freigabe der Entwicklungswerkzeuge, keine Gestaltungsrichtlinien

1. Direkte Manipulation

2. Drag and Drop

3. Einführung der Zwischenablage

-Strikte Trennung von Anwendung und GUI

-Nutzen von Ressource Dateien

-Entwicklung und Weiterentwicklung von Styleguides

-Quantitative Ziele bei der Evaluierung, konkrete und harte Termin- und Kostenvorgaben

-Konsequente Unterstützung von Drittanbietern

-Werkzeuge und Richtlinien für Drittanbieter