c2b_default

E-Health/BigData

Hochschule

Hochschule

10
0.0 (0)
I. B.
Study
I. B.
Diese Lernkarten behandeln auf Universitätsebene die Anwendung von Big Data und E-Health in der Medizin. Sie konzentrieren sich auf Datenbankkonzepte wie OLAP, spaltenorientierte Datenbanken und In-Memory-Datenbanken, sowie auf Prozesse wie MapReduce und deren Implementierung in Systemen wie Hadoop. Die Karteikarten erklären auch die Speicherung und Verarbeitung großer Datenmengen in verteilten Systemen und die Erwartungen von Ärzten an Datenanalysen. Diese Lernkarten sind besonders nützlich für Medizinstudenten und Fachleute, die sich mit der Analyse und Verarbeitung großer Gesundheitsdaten befassen.
Flashcards
10
Students
2
Language
German
Category
Medical
Level
University
Created / Updated
16.01.2017 / 22.01.2017
  • 1  / 10

Flashcards

Def. BigData

Datensätze die zu groß (Volumen), zu schnell anwachsend(Velocity), zu verschiedenartig(Variety) sind um sie mit traditionellen Mittel zu prozessieren

Big Data im Gesundheitsbereich

  • Echtzeit-Gesundheitsdatenerfassung-> sammeln und Analyse von Echtzeitdaten (Smartwatch)
  • Epidemiologie: Analyse von Intenetrecherche der Bevölkerung und Identifikation von Mustern erlauben Vorhersage und regionale Verteilung von Krankheiten

Erwartungen von Ärzten

  • Zusammenhänge von Daten begreifen (Kreatinin<-> Nierengröße)
  • Etablierung von Normwerten(Normale größe einer Niere,eines Tumors etc.)
  • Studien unterstützen(Bessere Patienten-rekrutierung...)
  • Transplantationen analysieren und verbessern(Zeitserien von laborwerten mit ziel: bessere Vorhersage von Erfolg)

Verteiltes Rechnen

Aufgabenbereiche

Def: Verarbeitung großer Datenmengen geschieht heute häufig mit verteiletem Rechnen in Clustern

Aufgabenbereiche:

  • Daten müssen möglichst effzient gespeichert und möglichst effizient verarbeitet werden

Google, Yahoo, Facebook verarbeiten und speichern täglich im Petabyte-bereich

 

Ansatz von verteiltem Rechnen (Speicherung und Verarbeitung)

Speicherung: Google File System

  • Linuxbasiert
  • für google Websuche und hohen Datendurchsatz optimiert
  • Daten teilweise mehrere Gigabyte grpße Dateien gespeichert, werden selten gelöscht,überschrieben oder verkleinert

Verarbeitung: MapReduce-Programmierungsmodell:

  • daten werden dort verarbeitet wo Daten gespeichert wir
  • (normalerweise kommen Daten zu Programm, Programm startet auf einem Rechner und holt sich die Daten, bei großen Datenmengen dauert es einfach zu lange)

Zwei Bedeutungen von MapReduce

MapReduce-Programmiermodell

  • Für parallele Datenverarbeitung in Clustern-> divide&conquer: große&komplizierte Rechenaufgabe in kleine weniger komplizierte überführen, und auf mehreren Computern Clustern

MapReduce-Framework(zB hadoop)

  • Arbeiten nach dem MapReduce-Programmiermodell
  • unterscheiden sich durch die Wahl der Programmiersprache und in den Implementierungsdetails, dh. wie werden Daten gespeichert und transportiert

MapReduce Ablauf

  1. MapReduce-Framework unterteilt Eingabe in m Teile startet Master&Worker-Prozesse im Cluster
  2. Master weist die m MapAufgaben und r Reduce-Aufgaben den entsprechenden Knoten zu
  3. Jeder MapProzess ließt Eingabedaten in Schlüssel-Wert-Paare ein, verarbeitet mit MapFunktion und schreibt in Zwischenspeicher
  4. Jeder MapProzess schreibt Zwischenergebnisse periodisch in rDateien auf seine Festplatte & gibt Master die Namen weiter
  5. Jeder ReduceProzess bekommt von Master Adressen der Zwischenergebnisse, ließt alle für ihn bestimmten Schlüssel-Wert-Paare ein und sortiert diese nach Schlüsseln
  6. Jeder ReduceProzess iteriert über die Schlüssel-Liste und trägt die liste von Werten zu einem Ausgabewert
  7. MapReduce-framework wartet bis alle Map- und ReduceProzesse durchlaufen sind und übergibt Kontrolle wieder an die Anwendung

Bsp wo MapReduce hilfreich ist

Log in to view images.

Google PageRank

-bewertet verknüpfte und verlinkte Dokumente

-Grundlage der Suchmaschine zum bewerten von Websiten

-Prinzip: Je mehr Links auf eine Webseite verweisen, umso höher ihr Gewicht (PageRank)

realisiert mit MAP-REDUCE

Datenbankkonzepte für BigData

  • OLAP(Online Analytical Processing): für Analysen optimierte Datenbank, Idee: Schnitt in einem Cubus-> Dimensionen statt Spalten, führt Daten aus mehreren oft heterogenen Datenquellen zusammen(basierden auf Data-Warehouse)
  • Spaltenorientierte Datenbanken: optimiert für Aggregatbildung, jede Spalte liegt in einer Datei (im gegensatz zur zeilenorientierten Datenbank)----> Goggle BigTabel, HBase
  • In-Memory Datenbanken; Billiger werdender Speicher, Idee: Großteil der Daten im Hauptspeicher halten(Hauptspeicherzugriffe mehr als 10000 mal schneller)----> SAP Hana
  • No-SQL: "nicht nur " SQL (nicht relationale Speicherung-> relationale nicht für große, heterogene, unstrukturierte Daten geeignet da nur in tabellen strukturiert werden kann)

Study