Data Science
BFH Wahlmodul Data Science
BFH Wahlmodul Data Science
-
- 1 / 11
-
Cartes-fiches
Nenne den Unterschied zwischen strukturierten und unstrukturierten Daten anhand von Beispielen
structured
- numbers
- graphs
- SQL
- XML
unstructured
- text
- audio
- images
- video
Was ist ein Text?
Eine Sequenz von Wörter (tokens)
Was ist ein Morphem?
Kleinste Spracheinheit, die eine konstante Bedeutung oder grammatische Funktion hat.
Welche Wortklassen gibt es?
Verben, Nomen, Adjektive
Was sind Stems?
Wörter mit Kernaussagen. Bsp: foxes -> fox, talking -> talk
Was versteht man unter Tokenization?
Zerlegen eines Textes in seine einzelnen Wörter.
Was führt zu Schwierigkeiten bei der tokenization?
- Satzzeichen
- Zahlen
- unterschiedliche Sprachen
- Mehrzahl
- Abkürzungen
Was sind Stopwörter?
Wörder ohne sematischen Bedeutung -> die nicht zum SInn in einem Satz beitragen. Bsp: the, a to, of
Was versteht man unter Normalisierung?
Wörter die dieselbe Bedeutung haben zusammenführen. Bsp: U.S.A -> USA sind dieselben Wörter
Was versteht man unter Stemming?
Wörter mit gleicher Kernbedeutung aber unterschiedlichen Formen zusammenführen. Bsp: authorize + authorization = author
Wie kann textvergleich praktisch eingesetzt werden?
- IR: matching queries to documents (or the index)
- spelling correction
- version control
- machine translation
- plagiarism detection
