Data Science I

Scale-up: Datenkbank mit grösserer Datenbank ersetzen

Scale-out: Zusätzliche Datenbanken hinzufügen

ASCII, ISO, Unicode, UTF-8 (Seit Jahren Standard)

Datenformat für Textdateien. ODF, Doc, Docx, PDF

Ein hierarchisches Datenformat, human readable. JSON können von fast allen Programmiersprachen gelesen/erzeugt werden.

Extensible Markup Language, Auszeichnungssprache für hierarchisch strukturierte Daten im Textformat

Human-readable, UTF-8. <Starttag>, </Endtag>

Eine organisierte Sammlung von Daten, welche gespeichert sind und von einem Computer abgefragt werden können.

Relationale: Tabellen sind miteinander verknüpft

NoSQL: nicht relational, flexibler

Dokumentorientiert: Speichern von Texten

Graphen: Knoten als Beziehung zwischen Elementen, v.a. soziale Netze

Key-Value: Schlüssel zu Wert

Triple Store: Subjekt, Prädikat, Objekt. Selten genutzt

Eigenschaften in Tabellen ohne Redundanzen. Ein Wert wird nur einmal gespeichert, z.B. PLZ und Ort

Eine für die Analyse optimierte Datenbank

Meist relational, auch File-Basis

Herunterladen von Webseiten und Extraktion von Information als Daten

Application Programming Interface

Teil der Software die anderen Anwendungen eine Funktion zur Verfügung stellt. Programm zu Programm.

Geht meist über REST Schnittstelle

Representational State Transfer, eine standardisierte Schnittstelle für Webservices. Hat eine URL, welche bereits die Informationen für die Abfrage enthält-> stateless

Bewusste Rücknahme eine Normalisierung. Zweck: Verbesserug des Laufzeitverhaltens einer Datenbankanwendung.

Verbesserung der Qualität der Daten für die Datenanalyse.

Transformieren der rohen Daten in lesbares Format, reduzieren von überflüssigen Daten etc.

Auch Data Bucketing. Erstellen von neuer diskreter Skala auf der Basis bestehender Daten. Z.B. Gruppieren klein, mittel, gross

Regular Expression, eine String Pattern Match Funktion

Z.B. finde alle die mit 0-9 anfangen etc.

Für find, search, split, sub etc.

Neuaufbau einer Tabelle, neue Dimensionen

z.B. Pivot, Qualitisierung, Crosstab, Transpose, Melt

Ein Float-Null-Wert, kein Wert aber richtiges Format. Mit ihnen kann gerechnet werden.

Ausreisser, Messwerte die nicht in eine Messreihe passen

Eine Änderung der Skala. Die Werte Abstände bleiben im Verhältnis gleich. Alle Werte werden zwischen 0 und 1 gesetzt.

Das erste Natural Language Processing Programm aus 1966. Ein Chatbot der Pyschotherapeuten-Konversationen simulieren konnte. Erster Kandidat für Turing Test.

Von IBM entwickelter Schachcomputer der den Schachweltmeister besiegen konnte.

Ein Computerprogramm, das den Menschen bei der Lösung komplexer Probleme unterstützt. Indem es Handlungsempfehlungen aus einer Wissensbasis ableitet. Es gibt Fallbasierte, Regelbasierte und Entscheidungsbaum-basierte Systeme.

Überwachung

Dateninterpretation

Diagnose

Therapie

Planung

Prognose

Stochastic Neural Analog Reinforcement Computer

Erstes neurales Netz, das ein Problem aus der realen Welt löste. Schnellsten Weg aus einem Labyrinth finden.

Künstliches Neuronales Netz

Eine Form der Wissensverarbeitung, welche von der Biologie inspiriert aber nicht gleich sind wie das menschliche Hirn.

Form der Informationserarbeitung, Interaktion vieler einfacher uniformer Einheiten schicken und empfangen. KNN werden trainiert, nicht programmiert.

Das Abbilden von menschlichem Denken mit abstrakten Symbolen, deren Verbindungen und vordefinierter Wenn-Dann-Logik

Wissensverarbeitung die von der Biologie (Hirn) inspiriert ist und mit Einheiten (Neuronen) Signale verarbeiten

Deep Learning (DL) Umsetzung mit Künstlichen Neuronalen Netzen (KNN)

Ein Teil einer Menge von Ergebnissen eines Zufallsexperiments mit der Wahrscheinlichkeit P

Bsp: Gerade Zahl würfeln Ereignis A={2,4,6}, P(A)=1/2

Die Menge aller möglichen Ergebnisse eines Zufallsexperiments.

Bsp. Würfeln: {1,2,3,4,5,6}

Wahrscheinlichkeit P(A) eines Ereignisses A ist ein Mass für die Häufigkeit, mit der das Ereignis eintritt

Zufallsexperimente mit endlich vielen Ergebnissen und alle habend die gleiche Wahrscheinlichkeit

Nicht Laplace wäre z.B. ein Reissnagel oder gezinkter Würfel

Anzahl Ereignisse einer Messung

Absolute ist gezählte Anzahl

Relative ist zwischen 0-1

Prozentuale zwischen 0-100%

Verschiedene mögliche Ausgänge eines mehrstufigen Experiments

Bsp. Summe aus zweimaligem Würfelwurf

Eine Funktion die einem Experiment oder einen Wert zugeordnet wird

Meistens X

Wahrscheinlichkeit des Eintretens eines Ereignisses A unter der Bedingung, dass Ereignis B bereits eingetreten ist

P(A|B)

Set (eindimensionale Collection, unique)

List (eindimensionale Collection, nicht unique)

Tuple (Collection mit Zwei-Paar-Elementen, nicht unique)

Dictionary (Collection, nicht geordnet, änderbar, indexiert, unique)