Bla
Erläutern Sie, was man unter Information Retrieval (IR) versteht, nennen und erläutern Sie mindestens
4 Herausforderungen des IR.
Im Information Retrieval (IR) werden Informationssysteme in bezug auf ihre Rolle im Prozeß des Wissenstransfers vom menschlichen Wissensproduzenten zum Informations-Nachfragenden betrachtet. Die Fachgruppe „Information Retrieval“ in der Gesellschaft für Informatik beschäftigt sich dabei schwerpunktmäßig mit jenen Fragestellungen, die im Zusammenhang mit vagen Anfragen und unsicherem Wissen entstehen.”
Dokumentenvielfalt
Mehrsprachigkeit
Homonyme: Ball – Ball, Jaguar – Jaguar – Jaguar, Tau – Tau ...
Synonyme
Geschwindigkeit
Ranking
Erläutern Sie, welche Schritte bei der Vorverarbeitung eines Textes durchgeführt werden, und was dabei die Herausforderungen sind.
Konvertieren in ASCII / Unicode
Strukturerkennung
Entfernen von Formatinformationen (HTML, XML Tags)
Tokenisierung
Lexikalische Analyse des TextesStop Words behandeln
Stemming oder Lemmatisierung
Index Terme auswählen und speichern
Dabei wird die Reihenfolge der Wörter aufgelöst
Geben Sie die Defintion (Formel) für das TF-IDF-Maß an und erläutern Sie das TF-IDF-Maß.
In welchem Fall ist der Wert am niedrigsten (größer Null) bzw. am höchsten?
- tf-idf (t, d) ist besonders hoch, wenn der Term t in wenigen Dokumenten, aber dort besonders oft, vorkommt.
- tf-idf (t, d) ist niedrig für einen Term, der nicht häufig auftritt, oder der in vielen Dokumenten vorkommt.
- tf-idf (t, d) ist am niedrigsten für einen Term, der praktisch in allen Dokumenten vorkommt.
- Für einen Term t, der in einem Dokument d nicht vorkommt, ist natürlich sowohl tf(t, d) als auch idf (t, d) =0.
Erklären Sie das Vektorraummodell. Gehen Sie dabei insbesondere auf folgende Aspekte ein:
Dimensionen:
Terme definieren Dimensionen des Vektorraums.
Wie werden die Koordinaten für ein Wort bestimmt?
tf-idf = Werte für jeweilige Dimension (Koordinate).
Wie wird Ähnlichkeit zwischen einer Anfrage und Dokumenten bestimmt?
Winkel zwischen den beiden Dokumente ist 0, passt zur maximalen Ähnlichkeit.
Wie erfolgt das Ranking von Dokumenten?
Ranking der Dokumente entsprechend dem Winkel zur Anfrage. Je kleiner der Winkel, desto besser die Übereinstimmung.
Erläutern Sie das Konzept „PageRank“.
Was versteht man in diesem Zusammenhang unter einem Dangling-Node und Teleporting? Wie fließen diese beiden Phänomene in die Berechnung des PageRanks ein?
Geben Sie die Formel für den „Simplified Page Rank“ an.
PageRank der Seite u bestimmt sich rekursiv aus dem PR von Seiten, die auf u verlinken.
Random Surfer
Wählt zufällig einen Link auf jeder Seite aus
Surfer gerät in eine Sackgasse! “dangling node”
Teleport Nutzer bewegt sich zufällig auf andere Seite
Teleport muss auch in der Wahrscheinlichkeits-Matrix berücksichtigt werden.
Erläutern Sie die Begriffe root set und base set bei HITS. Warum ist das root set bei der Berechnung des Rankings bei HITS nicht ausreichend?
Root-set: Ergebnismenge normaler Suche
Base-set: Alle Seite, die auf Seiten des root-sets verweisen
Man benötigt Authorities+Hubs, welche auf Basis des Base-Sets berechnet werden
Gegeben sei die nachfolgende Linkstruktur. Der Dämpfungsfakt d sei 0,85. Der initiale PageRank sei 1 für jede Seite. Berechnen Sie den PageRank nach zwei Iterationen mit Hilfe des “Simplified Page Rank” für jede Seite.
Precision (P): Anteil relevanter Dokumente am Suchergebnis
Recall (R): Anteil relevanter Dokumente im Suchergebnis gegenüber Gesamtmenge relevanter Dokumente
Nennen und erläutern Sie zwei unerschiedliche Ansätze, wie man nach Phrasen wie z.B. „New York“
in Texten suchen kann?
Bi-Gramme
Wildcard-Queries New$York
Erklären Sie was die Editierdistanz ist und zu welchem Zweck man sie berechnet?
Tippfehlerkorrektur
Mit welchem „Gesetz“ können Sie die Größe des Vokabulars abschätzen? Erläutern Sie dies kurz.
-
- 1 / 12
-
Flashcards
Erläutern Sie, was man unter Information Retrieval (IR) versteht, nennen und erläutern Sie mindestens
4 Herausforderungen des IR.
Im Information Retrieval (IR) werden Informationssysteme in bezug auf ihre Rolle im Prozeß des Wissenstransfers vom menschlichen Wissensproduzenten zum Informations-Nachfragenden betrachtet. Die Fachgruppe „Information Retrieval“ in der Gesellschaft für Informatik beschäftigt sich dabei schwerpunktmäßig mit jenen Fragestellungen, die im Zusammenhang mit vagen Anfragen und unsicherem Wissen entstehen.”
Dokumentenvielfalt
Mehrsprachigkeit
Homonyme: Ball – Ball, Jaguar – Jaguar – Jaguar, Tau – Tau ...
Synonyme
Geschwindigkeit
Ranking
Erläutern Sie, welche Schritte bei der Vorverarbeitung eines Textes durchgeführt werden, und was dabei die Herausforderungen sind.
Konvertieren in ASCII / Unicode
Strukturerkennung
Entfernen von Formatinformationen (HTML, XML Tags)
Tokenisierung
Lexikalische Analyse des TextesStop Words behandeln
Stemming oder Lemmatisierung
Index Terme auswählen und speichern
Dabei wird die Reihenfolge der Wörter aufgelöst
Geben Sie die Defintion (Formel) für das TF-IDF-Maß an und erläutern Sie das TF-IDF-Maß.
In welchem Fall ist der Wert am niedrigsten (größer Null) bzw. am höchsten?
- tf-idf (t, d) ist besonders hoch, wenn der Term t in wenigen Dokumenten, aber dort besonders oft, vorkommt.
- tf-idf (t, d) ist niedrig für einen Term, der nicht häufig auftritt, oder der in vielen Dokumenten vorkommt.
- tf-idf (t, d) ist am niedrigsten für einen Term, der praktisch in allen Dokumenten vorkommt.
- Für einen Term t, der in einem Dokument d nicht vorkommt, ist natürlich sowohl tf(t, d) als auch idf (t, d) =0.
Erklären Sie das Vektorraummodell. Gehen Sie dabei insbesondere auf folgende Aspekte ein:
Dimensionen:
Terme definieren Dimensionen des Vektorraums.
Wie werden die Koordinaten für ein Wort bestimmt?
tf-idf = Werte für jeweilige Dimension (Koordinate).
Wie wird Ähnlichkeit zwischen einer Anfrage und Dokumenten bestimmt?
Winkel zwischen den beiden Dokumente ist 0, passt zur maximalen Ähnlichkeit.
Wie erfolgt das Ranking von Dokumenten?
Ranking der Dokumente entsprechend dem Winkel zur Anfrage. Je kleiner der Winkel, desto besser die Übereinstimmung.
Erläutern Sie das Konzept „PageRank“.
Was versteht man in diesem Zusammenhang unter einem Dangling-Node und Teleporting? Wie fließen diese beiden Phänomene in die Berechnung des PageRanks ein?
Geben Sie die Formel für den „Simplified Page Rank“ an.
PageRank der Seite u bestimmt sich rekursiv aus dem PR von Seiten, die auf u verlinken.
Random Surfer
Wählt zufällig einen Link auf jeder Seite aus
Surfer gerät in eine Sackgasse! “dangling node”
Teleport Nutzer bewegt sich zufällig auf andere Seite
Teleport muss auch in der Wahrscheinlichkeits-Matrix berücksichtigt werden.
Erläutern Sie die Begriffe root set und base set bei HITS. Warum ist das root set bei der Berechnung des Rankings bei HITS nicht ausreichend?
Root-set: Ergebnismenge normaler Suche
Base-set: Alle Seite, die auf Seiten des root-sets verweisen
Man benötigt Authorities+Hubs, welche auf Basis des Base-Sets berechnet werden
Gegeben sei die nachfolgende Linkstruktur. Der Dämpfungsfakt d sei 0,85. Der initiale PageRank sei 1 für jede Seite. Berechnen Sie den PageRank nach zwei Iterationen mit Hilfe des “Simplified Page Rank” für jede Seite.
Precision (P): Anteil relevanter Dokumente am Suchergebnis
Recall (R): Anteil relevanter Dokumente im Suchergebnis gegenüber Gesamtmenge relevanter Dokumente
Nennen und erläutern Sie zwei unerschiedliche Ansätze, wie man nach Phrasen wie z.B. „New York“
in Texten suchen kann?
Bi-Gramme
Wildcard-Queries New$York
Erklären Sie was die Editierdistanz ist und zu welchem Zweck man sie berechnet?
Tippfehlerkorrektur
Mit welchem „Gesetz“ können Sie die Größe des Vokabulars abschätzen? Erläutern Sie dies kurz.
