MSV
Lernkarten für MSV
Lernkarten für MSV
Was ist Kosinusähnlichkeit ?
zeigen die Vektoren in diegleiche Richtung? (auch: schneller)
Die Kosinusähnlichkeit ist bei normalisierten Vektor dasselbe wie Euklidisch
Was passiert bei ungesehene Wörter im Vektor?
- Generalisierung auf ungesehene Wörter in ähnlichen Kontexte möglich
- Suche nach dem nächste Nachbar im Vektorraum
Wa ist eine Term-Dokument-Matrix (Wörter im Vektor) ?
Dokumente als Punkte im Vektorraum
1 Dokument = 1 Spaltenvektor
(1 Punkt im Vektorraum)
Was ist Information Retrieval (Wörter im Vektor)
Suchanfrage → Dokument Vergleich (Suche nach dem besten Treffer)
Was passiert mit den Wörtern bei Zipfsches Gesetz / Zipf’s Law ?
- Viele Wörter kommen selten vor wenige Wörter kommen häufig vor
- Die am häufigsten gebrauchten Wörter (höchste Frequenz) sind meist sehr kurze, inhaltsleere Funktionswörter
Welches Problem entsteht bei häufigen Wörtern ?
sehr häufige Wörter sind nicht informativ
Welche Lösung gibt es bei häufigen Wörtern?
Lösungen:
- Entfernung von Stopwords
-10K bis 50K häufigste Worte in 10-Wort Fenster
- Gewichtungsfunktionen
1. tf-idf (Term Frequency – Inverse Document Frequency)
2. PPMI (Positive Pointwise Mutual Information)
-> Stärke der Assoziation zwischen Wörtern
Was ist tf-idf?
Beim Information Retrieval ist tf–idf kurz für den Begriff frequency–inverse document frequency , eine numerische Statistik, die widerspiegeln soll, wie wichtig ein Wort für einen ist Dokument in einer Sammlung oder einem Korpus .
Nennen Sie die Formel für tf-idf und beschreiben Sie diese.
Nennen Sie die Formel und beschreiben Sie diese.
Welche Herausforderungen bei Vektoren?
- Synonyme / Antonyme
- Synonyme und Antonyme haben oft überlappende Vektordarstellungen
- Mehrdeutigkeit
- 1 Vektor pro Token, mehrere Bedeutungen?
- Kompositionalität
- Wie kann man die Bedeutung einer Satz darstellen?
Vegleichen Sie Dünnbesetzte Vektoren vs. vollbesetzte Embeddings
tf-idf (oder PMI) Kookkurrenz-Vektoren sind
- Lang (|V|= 20,000 - 50,000)
- Dünnbesetzt (viele Einträge bestehen aus Nullen)
Alternative: Vektoren lernen statt Kookkurrenzen zählen
- Kürzer (50-1000)
- Vollbesetzt (viele Einträge bestehen nicht aus Nullen)
tf-idf (oder PMI) Kookkurrenz-Vektoren sind lang und dünnbesetzt
Alternativen
- Dimensionsreduktion auf die wichtigste Bedeutungmerkmalen
(Vektorraum -> Semantischer Raum)
z.B. Singular Value Decomposition (SVD) und Latent Semantic Analysis (LSA)
- Static Embeddings: 1 Wort – 1 Embedding
z.B. Word2vec (skipgram, CBOW), GloVe
- Contextual Embeddings: 1 Wort im Kontext – 1 Embedding
z.B. ELMo, BERT
Was sind Embeddings?
Einbettungsvektoren
Welche Vektoren sind besser geeignet?
Kürzere, vollbesetzte Vektoren sind besser geeignet
• als Features für das maschinelle Lernen
• um Synonymie darzustellen
Wozu wird Word2vec Framework mit Skip-gram benötigt?
Vektoren Vorhersage (statt Kookkurrenzen zählen) mithilfe des Maschinelles Lernen
Was für Bedeutungsdimensionen sind in den Embeddings enthalten?
Es kommt auf die Fenstergröße an (Levy and Goldberg, 2014)
- k = 2: semantische Ähnlichkeit (+ POS)
e.g. Hogwarts → Sunnydale, Evernight, Blandings
- k = 5: semantische Verwandtschaft (Thema)
Hogwarts → Dumbledore, half-blood, Malfoy
-Glove (Pennington et al., 2014):
car,drive = 3
→ Kookkurrenzhäufigkeit in der Trainingsdaten integriert
- Ungesehene Wörter
können nicht repräsentiert werden
- Mögliche Lösung: sub-word models, z.B. fasttext (Bojanowski et al., 2017)
- <wh, whe, her, ere, re>
- Synonymie und Antonymie
höhe Ähnlichkeitswerte für Antonympaare
- Konzepte
Vektoren können in Clusters eingruppiert werden, um Konzepte zu repräsentieren
- Taxonomien
nicht “out-of-the-box” z.B. Hierarchic Clustering
- Mehrdeutigkeit: 1 Token (auch mehrdeutig) = 1 Vektor
Was sind Analogien und wofür wird das benötigt?
Parallelogramm-Modell des logischen Denkens
im semantischen Raum
A : B = A* : ?
-> -> -> ->
apple - tree + grape ≈ vine
Embeddings sind darin besonders erfolgreich
b.∗ = argmin distance (x,b - a + a∗)
x
- Funktioniert am besten für sehr häufige Wörter
# Das nächste Nachbarwort ist normalerweise eine morphologische Variation (cherry:red :: potato:x → potatoes)
- Embeddings reflektieren die Verzerrungen im Trainingsdaten
Welche Möglichkeiten gibt es, um die Verzerrungen zu verringern?
1. Entzerrungsmethoden
2. Datenentzerrung (Ausgleich im Datensatz)
Einführung in die maschinelle Sprachverarbeitung
Sie bleibt mit den Kindern zuhause / Er bleibt mit den Kindern zuhause
Welche Evaluierung gibt es in Embeddings?
1. Extrinsische (aufgabenbasierte) Evaluierung
z.B. (A) NER mit Embeddings vs. (B) NER ohne Embeddings
2. Intrinsische Evaluierung auf Test-Set
wie verhält sich das Modell auf ungesehenen Daten?
- Analogien
- TOEFL-Datenset
- Ähnlichkeitsurteile
Was bedeutet "Bias" ?
durch falsche Untersuchungsmethoden (z. B. Suggestivfragen) verursachte Verzerrung des Ergebnisses einer Repräsentativerhebung
Was ist der unterschied zwischen Phonetik und Phonologie?
Während die Phonetik Laute( Lautsystem einer Sprache (Sprachlaute)) als physiologisch-akustisches Ereignis untersucht, ist Phonologie die wissenschaftliche Untersuchung der sprachlichen Verwendung von Lauten, d.h. sie untersucht, in welcher Weise das universelle menschliche Lautbildungspotential in einzelnen Sprachen ausgeschöpft wird.
Was ist IPA ?
Das Internationale Phonetische Alphabet ist ein phonetisches Alphabet und somit eine Sammlung von Zeichen, mit deren Hilfe die Laute aller menschlichen Sprachen nahezu genau beschrieben und notiert werden können.
Was ist ein Spektrogramm?
Darstellung der Zusammensetzung
des Sprachsignals aus einzelnen
Frequenzen im zeitlichen Verlauf
Was ist ASR ?
Automatic Speech Recognition
Ermittlung von die wahrscheinlichsten Wortfolge auf der Basis der beobachteten Muster
maxW P(W|O)
Welche Herausfoderungen gibt es bei Automatic Speech Recognition ?
- Segmentierung
- Unterschiede zwischen SprecherInnen
- Ambiguitäten
(e.g. In Sekt vs. Insekt, so nett, Sonett)
- Neue, unbekannte Wörter
Wie ist die Modellierung bei Automatic Speech Recognition ?
- Die Wahrscheinlichkeit, dass eine Wortfolge in einer bestimmten Weise ausgesprochen wird(Akustisches Modell) P(O|W)
- Die Wahrscheinlichkeit einer bestimmten Wortfolge (Sprachmodell) P(W)
Was ist ein Wort?
- meist intuitiv definiert als
+ sprachliche Einheiten, als Folgen von Buchstaben zwischen Leerzeichen geschrieben
(orthographische / phonologische Kriterien)
+ Basiseinheit des Lexikons, kleinste Einheit der Bedeutung (semantische Kriterien)
Beschreiben Sie diese Formel
Type-Token-Ratio (TTR) -> Wortschatzskomplexität
- Vergleich zwischen Texten mittels Type-Token-Relation
- Grad der Komplexität im Wortschatz
-> Hohe TTR
Nicht nur viele Wörter werden benutzt, sondern auch verschiedene
-> Niedrige TTR
Der Wortschatz ist kleiner, die gleichen Wörter werden mehrfach benutzt
Wie wird die Wortbildung (Morphologie) gebildet ?
- Deklination und Konjugation, Pluralformen
- Komposita und Neologismen
Was sind offene Klassen ?
- man kann immer neue Wörter „kreativ“ bilden
- beschreiben Gegenstände, Tätigkeiten, Ereignisse
Was sind geschlossene Klassen ?
- gehören zur Grammatik der Sprache
- Beschreiben Beziehungen und Funktionen
Was ist das Zipfsches Gesetz / Zipf’s Law ?
Das Zipfsche Gesetz ist ein Modell, mit dessen Hilfe man bei bestimmten Größen, die in eine Rangfolge gebracht werden, deren Wert aus ihrem Rang abschätzen kann. Häufige Verwendung findet das Gesetz in der Sprachwissenschaft (Linguistik), speziell in der Korpuslinguistik und Quantitativen Linguistik, wo es zum Beispiel die Häufigkeit von Wörtern in einem Text zur Rangfolge in Beziehung setzt. Das Zipfsche Gesetz markierte den Beginn der Quantitativen Linguistik.
Was besagt das Zipfsches Gesetz in MSV ?
- Zwischen der Länge eines Wortes und seiner Auftretenshäufigkeit besteht ein umgekehrt proportionales Verhältnis
- Die am häufigsten gebrauchten Wörter(höchste Frequenz) sind meist sehr kurze, inhaltsleere Funktionswörter
- Warum?
+ Principle of Least Effort: Lange Wörter werden demnach auch häufig im Sprachgebrauch abgekürzt.
Beschreiben Sie die Stopwords / Stoppwörter
- auftreten sehr häufig
- vor allem grammatikalische/syntaktische Funktionen übernehmen
- wenig relevant für die Erfassung des Dokumentinhalts
- können aus dem Text entfernt werden
Was ist Tokanisierung?
einen Text in Tokens (logisch zusammengehörigen Einheiten) zerlegen
Tokanisierung ist die Aufgabe in der Verarbeitung natürlicher Sprache. Es kann damit ein Text in kleine Tokens aufgeteilt werden. Token können Wörter, Zeichen oder Unterwörter sein. Die gebräuchlichste Art Token aufzuteilen basiert auf Leerzeichen.
Was versteht man unter Lemmatization?
für jeden Token sein Lemma (Zitierform) finden
Unter Lemmatisierung versteht man das Zusammenfassen von flektierten Formen zu einer einzigen Grundform.
In Wörterbüchern gibt es feste Lemmatisierungsstrategien. Lemmatisierung verwendet den Kontext in dem das Wort verwendet wird. Die Lemmatisierung berücksichtigt die morphologische Analyse der Wörter. Dazu sind detaillierte Wörterbücher erforderlich, die der Algorithmus durchsuchen kann, um das Formular wieder mit seinem Lemma zu verknüpfen. Außerdem kann dasselbe Lemma Formen mit unterschiedlichen Stämmen entsprechen , und wir müssen sie als dasselbe Wort behandeln.
Was ist der Unterschied zwischen Stemming und Lemmatisierung?
Stemming arbeiten, indem sie das Ende oder den Anfang des Wortes abschneiden und dabei eine Liste gängiger Präfixe und Suffixe berücksichtigen, die in einem gebeugten Wort zu finden sind. Dieses wahllose Schneiden kann in einigen Fällen erfolgreich sein, aber nicht immer, und deshalb bestätigen wir, dass dieser Ansatz einige Einschränkungen aufweist.
Die Lemmatisierung hingegen berücksichtigt die morphologische Analyse der Wörter. Dazu sind detaillierte Wörterbücher erforderlich, die der Algorithmus durchsuchen kann, um das Formular wieder mit seinem Lemma zu verknüpfen.
Mit welchem Begriff wird eine Instanz der Klasse Language (nlp_en) erzeugt ?
Mit spacy.load()
Was ist eine Pipeline ?
Komponenten (Schritte) für die Verarbeitung eines Dokuments
Was wird mit dem Sprachmodell erstellt ?
Mit dem Sprachmodell erstellen wir aus einem Dokument eine Instanz der Klasse Doc
• die Annotationen (zb. Lemmas) werden gespeichert
• man kann auf die Annotationen zugreifen
-
- 1 / 77
-
Flashcards
Was versteht man unter reguläre Polysemie?
gemeinsamer „Bedeutungskern“ + systematische Prozessen (lexikalische Regeln)
Was versteht man unter Metonymie?
Ersatz eines Ausdrucks für einen sachlich verwandten Ausdruck („X steht für Y“)
- Ich habe mir ein Huawei gekauft (PRODUCER-FOR-PRODUCT)
- The ham sandwich wants to pay (Nunberg 1979)
was bedeutet Synonymie: ?
zwei Begriffe bedeuten dasselbe / sind austauschbar
Was beduetet Antonymie?
zwei Begriffe haben gegensätzlicher Bedeutung
Was versteht man unter "denotative Bedeutung" ?
grenzt das Gemeinte ein
Was versteht man unter "Konnotative Bedeutung" ?
weist auf eine Bewertung oder affektive Bezeichnung hin
Konnotation wird in der Linguistik unter anderem als Gegenbegriff für Denotation verwendet. Mit „Hund“ verbinden manche Menschen positive, andere negative Konnotationen.„ So lernen wir Wörter als Träger von Mitinformationen, von Konnotationen, kennen.
Was versteht man unter Hyponymie & Hyperonymie?
ein Begriff ist den Unterbegriff des anderen
Beschreiben Sie den Prototyp
- Prototype
+ besonders hervorstechende Vertreter einer Kategorie
+ beispielhafte Exemplare der Kategorie
- Typikalität
+ Nicht alle Mitglieder einer Kategorie verfügen über den gleichen Stellenwert (gute, weniger gute und schlechte Vertreter)
- Die Grenzen der Kategorien sind unscharf
+ graduelle Zugehörigkeit zu einer Kategorie (Abstand zum Prototyp oder Ähnlichkeit mit dem Prototyp) statt binäre Mitgliedschaft (gehört zur Kategorie oder nicht)
Beschreiben Sie die Distributionelle Hypothese
1. Der Verwendungskontext einer linguistischen Einheit enthält Indikatoren für deren Bedeutung
2. Die Summe der Kontextbeschreibungen einer Einheit entspricht ihrer lexikalischen Beschreibung
Beschreiben Sie One-Hot Encoding
- Wörter als Vektoren in einem hochdimensionalen Vektorraum
- Jedes Wort erhält einen One-Hot-Vektor und wird über die Position der einzigen 1 identifiziert
- Alle Wortvektoren sind orthogonal zueinander
Was ist das Ziel von One-Hot Encoding
Ziel: ähnliche Darstellungen für semantisch ähnliche Wörter
-> Wortbedeutung ≈ Kontext -> Vektoren aus Kontextbeschreibungen erstelle
Was versteht man unter einem Textkorpus
ist eine Sammlung von schriftlichen Texten oder textlich aufgezeichneten mündlichen Äußerungen einer bestimmten Sprache oder Textgattung.
Was versteht man unter Kookkurrenz?
Kookkurrenz bezeichnet in der Allgemeinen Linguistik das gemeinsame Auftreten zweier lexikalischer Einheiten (z. B. Wörter) in einer übergeordneten Einheit, wie in einem Satz oder einem Dokument. Es besteht die Annahme, dass diese zwei Terme voneinander abhängig sind, wenn sie auffällig häufig gemeinsam auftreten.
Was ist ein Vektorraum in MSV
semantisch ähnliche Wörter → ähnliche Kontextbeschreibungen
→ nah beieinander liegende Vektoren im Vektorraum
Wann sind Wörter sich ähnlich ?
Wörter sind sich ähnlich, wenn sie im Vektorraum nah beieinander liegen
Wie wird bei Kosinus als Ähnlichkeitsmaß Wörter im Vektor analysiert ?
semantische Ähnlichkeit zwischen Vektoren ≈ Kosinus des Winkels der Vektoren (Distanz)
- ähnlich ≈ Winkel ist klein
- Maß für semantische Ähnlichkeit! ✓
Was ist Euklidischer Abstand?
Euklidischer Abstand: abhängig von Vektorlänge (Worthäufigkeit)
Was ist Kosinusähnlichkeit ?
zeigen die Vektoren in diegleiche Richtung? (auch: schneller)
Die Kosinusähnlichkeit ist bei normalisierten Vektor dasselbe wie Euklidisch
Was passiert bei ungesehene Wörter im Vektor?
- Generalisierung auf ungesehene Wörter in ähnlichen Kontexte möglich
- Suche nach dem nächste Nachbar im Vektorraum
Wa ist eine Term-Dokument-Matrix (Wörter im Vektor) ?
Dokumente als Punkte im Vektorraum
1 Dokument = 1 Spaltenvektor
(1 Punkt im Vektorraum)
Was ist Information Retrieval (Wörter im Vektor)
Suchanfrage → Dokument Vergleich (Suche nach dem besten Treffer)
Was passiert mit den Wörtern bei Zipfsches Gesetz / Zipf’s Law ?
- Viele Wörter kommen selten vor wenige Wörter kommen häufig vor
- Die am häufigsten gebrauchten Wörter (höchste Frequenz) sind meist sehr kurze, inhaltsleere Funktionswörter
Welches Problem entsteht bei häufigen Wörtern ?
sehr häufige Wörter sind nicht informativ
Welche Lösung gibt es bei häufigen Wörtern?
Lösungen:
- Entfernung von Stopwords
-10K bis 50K häufigste Worte in 10-Wort Fenster
- Gewichtungsfunktionen
1. tf-idf (Term Frequency – Inverse Document Frequency)
2. PPMI (Positive Pointwise Mutual Information)
-> Stärke der Assoziation zwischen Wörtern
Was ist tf-idf?
Beim Information Retrieval ist tf–idf kurz für den Begriff frequency–inverse document frequency , eine numerische Statistik, die widerspiegeln soll, wie wichtig ein Wort für einen ist Dokument in einer Sammlung oder einem Korpus .
Nennen Sie die Formel für tf-idf und beschreiben Sie diese.
Nennen Sie die Formel und beschreiben Sie diese.
Welche Herausforderungen bei Vektoren?
- Synonyme / Antonyme
- Synonyme und Antonyme haben oft überlappende Vektordarstellungen
- Mehrdeutigkeit
- 1 Vektor pro Token, mehrere Bedeutungen?
- Kompositionalität
- Wie kann man die Bedeutung einer Satz darstellen?
Vegleichen Sie Dünnbesetzte Vektoren vs. vollbesetzte Embeddings
tf-idf (oder PMI) Kookkurrenz-Vektoren sind
- Lang (|V|= 20,000 - 50,000)
- Dünnbesetzt (viele Einträge bestehen aus Nullen)
Alternative: Vektoren lernen statt Kookkurrenzen zählen
- Kürzer (50-1000)
- Vollbesetzt (viele Einträge bestehen nicht aus Nullen)
tf-idf (oder PMI) Kookkurrenz-Vektoren sind lang und dünnbesetzt
Alternativen
- Dimensionsreduktion auf die wichtigste Bedeutungmerkmalen
(Vektorraum -> Semantischer Raum)
z.B. Singular Value Decomposition (SVD) und Latent Semantic Analysis (LSA)
- Static Embeddings: 1 Wort – 1 Embedding
z.B. Word2vec (skipgram, CBOW), GloVe
- Contextual Embeddings: 1 Wort im Kontext – 1 Embedding
z.B. ELMo, BERT
Was sind Embeddings?
Einbettungsvektoren
Welche Vektoren sind besser geeignet?
Kürzere, vollbesetzte Vektoren sind besser geeignet
• als Features für das maschinelle Lernen
• um Synonymie darzustellen
Wozu wird Word2vec Framework mit Skip-gram benötigt?
Vektoren Vorhersage (statt Kookkurrenzen zählen) mithilfe des Maschinelles Lernen
Was für Bedeutungsdimensionen sind in den Embeddings enthalten?
Es kommt auf die Fenstergröße an (Levy and Goldberg, 2014)
- k = 2: semantische Ähnlichkeit (+ POS)
e.g. Hogwarts → Sunnydale, Evernight, Blandings
- k = 5: semantische Verwandtschaft (Thema)
Hogwarts → Dumbledore, half-blood, Malfoy
-Glove (Pennington et al., 2014):
car,drive = 3
→ Kookkurrenzhäufigkeit in der Trainingsdaten integriert
- Ungesehene Wörter
können nicht repräsentiert werden
- Mögliche Lösung: sub-word models, z.B. fasttext (Bojanowski et al., 2017)
- <wh, whe, her, ere, re>
- Synonymie und Antonymie
höhe Ähnlichkeitswerte für Antonympaare
- Konzepte
Vektoren können in Clusters eingruppiert werden, um Konzepte zu repräsentieren
- Taxonomien
nicht “out-of-the-box” z.B. Hierarchic Clustering
- Mehrdeutigkeit: 1 Token (auch mehrdeutig) = 1 Vektor
Was sind Analogien und wofür wird das benötigt?
Parallelogramm-Modell des logischen Denkens
im semantischen Raum
A : B = A* : ?
-> -> -> ->
apple - tree + grape ≈ vine
Embeddings sind darin besonders erfolgreich
b.∗ = argmin distance (x,b - a + a∗)
x
- Funktioniert am besten für sehr häufige Wörter
# Das nächste Nachbarwort ist normalerweise eine morphologische Variation (cherry:red :: potato:x → potatoes)
- Embeddings reflektieren die Verzerrungen im Trainingsdaten
Welche Möglichkeiten gibt es, um die Verzerrungen zu verringern?
1. Entzerrungsmethoden
2. Datenentzerrung (Ausgleich im Datensatz)
Einführung in die maschinelle Sprachverarbeitung
Sie bleibt mit den Kindern zuhause / Er bleibt mit den Kindern zuhause
Welche Evaluierung gibt es in Embeddings?
1. Extrinsische (aufgabenbasierte) Evaluierung
z.B. (A) NER mit Embeddings vs. (B) NER ohne Embeddings
2. Intrinsische Evaluierung auf Test-Set
wie verhält sich das Modell auf ungesehenen Daten?
- Analogien
- TOEFL-Datenset
- Ähnlichkeitsurteile
Was bedeutet "Bias" ?
durch falsche Untersuchungsmethoden (z. B. Suggestivfragen) verursachte Verzerrung des Ergebnisses einer Repräsentativerhebung
