c2b_default

Medieninformatik

VL

VL

382
0.0 (0)

Fichier Détails

Cartes-fiches 382
Langue Deutsch
Catégorie Marketing
Niveau Université
Crée / Actualisé 29.06.2022 / 30.06.2022
Lien de web
https://card2brain.ch/box/20220629_medieninformatik
Intégrer
<iframe src="https://card2brain.ch/box/20220629_medieninformatik/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
Étudier

Wie funktioniert z-Buffering?

  • für jeden Objektpunkt wird nicht nur 2D Koordinate gespeichert, sondern auf Tiefenwert
  • für jeden Punkt auf Bildfläche wird maximale Tiefe initialiiert (z-Buffer)
  • für jedes Objekt: Punkt auf Bildfläche wird nur dann gezeichnet, wenn Tiefenwert des Objekts geringer ist als der aktuelle Inhalt im z-Buffer 

Was sind intelligente virtuelle Agenten und soziale Roboter?

  • virtuelle Agenten:
    • Wahrnehmung von Bewegungen von Personen (verbales und nonverbales Verhalten)
    • Unterstüztung von TherapeutInnen
  • soziale Roboter:
    • impliziert physische Verkörperung
    • verschiedene Einsatzmöglichkeiten, z.B. bei autistischen Kindern, remote von TherapeutInnen kontrolliert
  • Gebiete: HCI, KI und Robotik 

Was ist die HCI?

Human Computer Interaction: 

  • Disziplin, die sich mit dem Design, der Bewertung und Umsetzung von Interaktionen von Computern und Menschen beschäftigt
  • hierfür notwendig: Übersetzung der Interaktoin mit Eingabe- und Ausgabegeräten

Welche Aspekte spielen bei der Mensch-Maschine-Interaktion (MMI) eine Rolle?

  1. Mensch: natürliche Sprache, nonverbales, paraverbales Verhalten
  2. Maschine: Systemsprache (Maschinencode, Programmiersprache, Bits, Bytes)
  3. Eingabe (Mensch -> Maschine): Sprache = Mausklicks, Kommandos
  4. Ausgabe (Maschine -> Mensch): Sprache = Fenster und Tabellen

Zyklus:
natürliche Sprache -> Eingabesprache -> Systemsprache -> Ausgabesprache -> natürliche Sprache ....

Welche Aufgabe erfüllen Agenten in der Interaktion?

  • Interaktion nicht mehr mit Maschine, sondern mit Agenten
    • Agent übersetzt in Bits und Bytes
    • somit nicht mehr direkte Manipulation des Computers durch Mausklicke o.ä. mehr notwendig
  • Agent = Vermittler zwischen Nutzer und Anwendung
    • übernimmt Steuerung der Anwendung
    • Kommuniziert mit Nutzer

> Agenten-basierte Interaktion

Was sind Agenten nach dem Verständnis der Informatik?

  • kann Umgebung wahrnehmen
  • zieht Schlüsse, um Wahrnehmung zu interpretieren und geeignete Handlungen zu bestimmen
  • handelt, um Umgebung zu verändern 
  • bspw.: Menschen, Roboter, Softwareagenten, Thermostate etc.

Was sind Agenten nach der Definition der KI?

  • alles, was die Umgebung durch Sensoren wahrnimmt und daraufhin mithilfe von Actuatoren reagiert
  • Agent kann/muss nicht verkörpert sein

Was sind verkörperte Agenten/anthropomorphe Nutzerschnittstellen?

  • irgendwie verkörpert (physisch oder virtuell)
    • virtuell: sehen z.B. ähnlich aus wie Sims
    • physisch: z.B. Stockholmer Roboter
  • erfordert natürliches Interaktionsdesign und Berücksichtigung der menschlichen Kommunikation
    • emotionale und soziale Aspekte
    • verbales, paraverbales und non-verbales Verhalten

Was ist Anthropomorphismus und was sind dessen Vor- und Nachteile?

  • Übertragung menschlicher Eigenschaften auf Nichtmenschliches
  • reine Referenz auf äußere Merkmale von Menschen
  • Vorteile
    1. Aussehen stellt intuitives Interface dar -> leichter Transfer der Regeln der menschlichen Kommunikation
    2. Steigerung Akzeptanz und Vertrautheit
  • Nachteile
    1. unrealistische Erwartungen

Was sind SIA?

  • Socially interactive Agents
    • sozial interaktive, (physich oder virtuell) verkörperte Agenten
    • sind fähig, mit Menschen und anderen Agenten in einer sozial intelligenten Art und Weise zu interagieren
    • hierfür nutzen sie Kommunikation, um eine natürliche Interaktion zu fördern
  • Synonyme: socially intelligent agents, socially assistive agents, embodied conversational agent, ...

Was sind Merkmale von SIAs?

  1. können virtuell oder physisch verkörpert sein
    • intelligente virtuelle Agenten vs. soziale Roboter
  2. interagieren multimodal (verbale und nonverbale Kanäle)
  3. zeigen sozial intelligentes Verhalten
  4. interagieren autonom mit anderen Agenten/Nutzern
  5. Unterstützen ihre Nutzer

Was ist das Ziel von SIAs?

  1. intuitivere Interaktion (da Anwendung bekannter Kommunikations- und Interaktionsstrategien)
  2. Unterstützung bei Aufgaben
    • leichter im Team
    • Vermittlerrolle 
    • motivationale und soziale Faktoren (positive Auswirkung auf Motivation und Spaß)
  3. Training in sicherer Umgebung
    • häufiges Üben möglich
    • kein Verletzungsrisiko des Trainers (physisch/emotional)
  4. Grundlagenforschung für menschliches Kommunikationsverhalten

Welche Annahmen trifft die Psychologie?

  • Media Equation Theory:
    • Annahme, das Menschen Computern menschliche EIgenschaften zuschreiben und interagieren mit ihnen wie mit sozialen Akteuren
    • Anwendung von sozialen Normen 
    • MMI = Zwischenmenschliche Interaktion

    Was sind Vorteile der virtuellen Verkörperung?

    1. subtile Animation möglich (z.B. Gesichtsausdrücke)
      • beliebig genaue Manipulation der Gesichtsausdrücke 
      • bei Robotern: Bindung an Hardware
    2. Hardware wenig fehleranfällig
    3. wirkt weniger bedrohlich
    4. leicht zugänglich (sobald man mobiles Endgerät hat)
    5. einfaches Vervielfältigen der Anwendung
    6. mobile Nutzung 

    Was sind Vorteile der physischen Verkörperung?

    1. gefühlte Nähe und soziale Präsenz
    2. aktive Veränderung im Raum durch Roboter (z.B. Unterstützung im Alltag)

    Welche Fachdisziplinen sind in der SIA Entwicklung involviert?

    1. Informatik
    2. KI
    3. HCI
    4. Psychologie
    5. Soziologie
    6. Design

    Was sind Embodied Conversational Agents (ECAs)?

    • haben (menschenähnlichen) Körper, verwenden diesen für kommunikative Prozesse
    • erkennen & intepretieren verbale und nonverbale Eingaben
    • generieren expressives Verhalten
    • können aktive Rolle in Konversaitonen einnehmen
    • können auch Roboter sein

    Was  sind intelligente virtuelle Agenten (IVAs)?

    • interaktive digitale Charaktere
    • menschenähnliche Qualitäten
    • Kommunikation durch natürliche menschliche Modalitäten (Gesichtsausdrücke, Sprache, Gestik)
    • Echtzeit-Wahrnehmung, Kognition, Emotion, Handlung
      -> dadurch Teilnahme an dynamisch sozialen Umgebungen

    Sind Avatare Agenten?

    • nein!
      Avatare werden (fast) vollständig vom Nutzer kontrolliert
      • agiert nicht selbstständig, wird gesteuert
    • Avatare = Repräsentation einer Person

    WIe wird das Verhalten von verkörperten Agenten modelliert?

    1. Verhalten auf kognitiver Ebene (KI-ähnlich)
      • Bewertung der Aktion anderer als positiv/negativ
      • Reaktion aufgrund eigener Werte (abhängig von Bewertung + eigener Persönlichkeit)
    2. sichtbares Verhalten 
      • Modullierung konkreter multimodaler Verhaltensaspekte (Sprache, Mimik, Gestik, Körperhaltung)
      • Modullierung von Hintergründen (Alter, Geschlecht, Persönlichkeit, Kultur des Agenten)

    Wie wird Sprache modulliert?

    • primäres menschliches Kommunikationsmittel:
    1. Sprachsynthese:
      • synthetisch erzeugte Sprache aus Sprachaufnahmen (Samples) oder physiologische Modullierung (am Rechner erzeugt)
      • Vorteile:
        1. Flexibilität
        2. Verfügbarkeit
      • Nachteile:
        1. Probleme mit Sprachmelodie, Emotionen, Persönlichkeit
    2. aufgenommene menschliche Sprache

    Wieso Lippenbewegungen animieren und was wird animiert?

    • Mund/Lippen mit Sprache synchronisieren
    • Gründe:
      1. Verbesserung Glaubwürdigkeit/Akzeptanz
      2. McGurk Effekt: visueller Eindruck für Wahrnehmung ist wichtiger als auditiver Eindruck 
    • in unterschiedlichen Feinheitsgraden möglich (z.B. Handpuppe vs. Video)
    • Phoneme zur Lippenbewegung
      • unterschiedliche Lauttypen 
      • erzeugt durch Lippen, Zunge, Hals/Stimmbänder 
      • visuell relevant = visuelle Phoneme = Viseme (5-8 Grundformen)

    Was sind manipulierbare Parameter der Sprache?

    1. Tempo (schneller = dominanter, selbstbewusster)
    2. Lautstärke
    3. Betonung (Dauer und Intensität)
    4. Tonhöhe
    5. Pausen

    Wie kann man mit der Stimme Emotionen modulieren?

    • neutral: leise + langsam
    • verärgert: laut, hohe Intensität, schnelles Tempo
    • verängstigt: hohe Intensität und Tonlage, schnell
    • traurig: niedirge Intensität, hohe Tonlage, langsames Tempo
    • überrascht: hohe Intensität und Tonlage für einzelne Keywords

    Wie findet man Emotionen in der Mimik?

    1. Paul Ekman: 7 Basisemotionen 
      • Freude, Wut, Furcht, Verachtung, Traurigkeit, Überraschung
      • universell
    2. Facial Action Coding System (FACS)
      • standardisierte Methode zur Analyse von Gesichtsausdrücken 
      • Basis: 44 Action Units, die auf Gesichtsmuskeln basieren
      • durch Kodierungsschema werden Emotionen zugewiesen

    Wie wird Mimik modulliert?

    • MPEG-4 Standard für Face und Body Animation
      • definiert 84 Feature Points (FP) für synthetische Gesichter (= wichtigste Regionen im menschlichen Gesicht)
      • Facial Action Parameters (FAPs) geben an, wie Punkt bzgl. eines neutralen Gesichtsausdrucks verschoben werden können (d.h. im Vergleich zu einem Referenzgesicht)
        • einem FP können mehrere FAPs zugeordnet werden
          • z.B. FP horizontal oder vertikal verschieben

    Nenne die Ausrichtung eines neutralen Gesichts für eine Gesichtsmodullation als Beispiel

    • neutrales Gesicht = Referenz
    • Kopfachsen parallel zum Welt-KOOS
    • Blick: Richtung z-Achse
    • Lippen berühren sich auf horizontaler Linie mit Mundwinkeln
    • Zunge = flach und Zungenspitze berührt obere und untere Zähne

    Was sind Low-Level Facial Basis (FB) und High-Level Facial Display (FD)

    • heute nicht mehr zwingend so gelöst
    • FB: Basic
      • z.B. Heben der Augenbraue
      • raise_left = {fap31=50, fap33=100, ...}
        raise_right = ...
        raise_eyebrows = raise_left + raise_right
    • FD: Zusammenfassung mehrerer Mimiken
      • z.B. FD = FB1 + FB2
      • surprise = raise_eyebrows + raise_lids + open_mouth
      • worried = (surprise*0.7) + sadness

    Wie kann man Gestik klassifizieren?

    1. Typ (McNeill)
    2. Phasen
    3. Dynamik

    Welche Typen von Gestik gibt es?

    1. deiktisch
      • Zeigegesten
    2. beat
      • Politikergeste
      • rhythmische Unterstreichung des Gesagten
    3. emblem
      • funktionieren eigenständig
      • z.B. Daumen hoch zeigen
    4. ikonisch
      • Gesten, die ein Wort versinnbildlichen/verschauspielern
    5. metaphorisch
      • sollen Satz-/Wortteil illustrieren
      • Geste drückt nicht expliizt das Wort aus
    6. adaptor
      • ein Körperteil berührt ein anderes 
      • z.B. Kopf kratzen, Denkerpose

    Welche Phasen von Gestik gibt es?

    1. Preparation
      • Einführung der Hände in den Gestenraum
    2. Stroke
      • Durchführung
    3. Retraction
      • Hände zurückziehen
    4. (hold): kurze Pause nach Stroke

    Welche Dynamiken von Gestik gibt es?

    1. räumliche Ausbreitung
    2. Geschwindigkeit
    3. Energie/Beschleunigung
    4. Flüssigkeit (Abgehaktheit)
    5. Wiederholung
    6. Aktivierung (absolute Häufigkeit)

    Was muss also bei der Simulation von natürlichen Verhalten berücksichtigt werden?

    1. Körperhaltung
    2. Kopfbewegung
    3. Blickbewegung und -kontakt

    Welche Methoden gibt es zur Modellierung von Verhalten?

    1. theoriebasiert
      • unter Verwendung von psychologischen oder sozialwissenschaftlichen Theorien und Wissen
      • Theorien werden auf IVAs übertragen
      • z.B. Big 5 und Gestik
    2. datengetrieben
      • Verwendung empirischer Analysen und Nachmodullierung menschlichen Verhaltens
      • Daten werden gesammelt (Sammlung eines multimodalen Korpus) und anschließende Annotation und Analyse
      • z.B. Sammlung von Daten von typischen Verhaltensweisen unterschiedlicher Kulturen
        -> Übertragung auf IVAs 

    Welche Ansätze zur Verhaltenserstellung gibt es?

    1. Skripte: konkrete Abläufe von menschlichen Autoren geschrieben
    2. Modellierung der Struktur (SceneFlow) und des Inhalts (SceneScript) 
    3. Generierung: vom System generiert, Regeln von menschlichen Autor geschrieben

    Was sind Skripte von Verhalten?

    • einfachste Variante der Verhaltensdefinierung
    • Vewendung von hardwareabhängigen Tools
      • z.B. ShowMaker für Reeti Robotor
      • Hardwareabhängig, weil jeder Roboter unterschiedliche Hardware Möglichkeiten hat 

    Welche Sprache wird für erstellung von Skripten verwendet?

    • Markupsprache
      • Tags definieren, was passieren soll
      • Texte mit Tags versehen
      • Trennung von allgemeiner Verhaltensbeschreibung und Animationsumsetzung 
    • BML (Behaviour Markup Language)
    • VHML (Virtual Human Markup Language)

    Beschreibe die BML

    • basiert auf XML
    • zur Verhaltenssteuerung von virtuellen Charakteren mit Synchronisation der einzelnen Events
    • Versuch der Standardisierung 
    • Tags für Modalitäten
      • <head>
      • <torso> 
      • <face>
      • <gaze>
      • <body> ..
    • Möglichkeiten zur Spezifizierung:
      • ID anfügen
      • Audio-Datei angebe
      • Stimme einfügen
      • Time-Marker: z.B. an Stelle 0.1 Time Marker 1 
    • Time-Marker und IDs können erneut genutzt werden

     

    Was sind Einschränkungen der Erstellung von Verhaltung mit Skripten?

    • alles wird sequentiell abgearbeitet
      • sobald Skript abgespielt wird, macht Agent immer das gleiche
    • Interaktivität müsste noch hinzuprogrammiert werden 
      aber dann: Verhaltensmodullierung!

    Wie wird die Verhaltensmodullierung vorgenommen?

    • Verwendung von Tools zur visuellen Programmierung
    • meist Trennung von logischem Ablauf und konkreten Aktionen 
    • Bsp.: VSM (Visual Scene Maker) und Choreograph (Softbank)
    • meist via endlichen Automaten oder Verhaltensbäumen

    Study