IE1

Information Engineering 1

Information Engineering 1


R. W.
Diese Lernkarten bieten einen umfassenden Einblick in die Informationsretrieval (IR) und Dokumentenanalyse auf Universitätsniveau. Sie behandeln zentrale Konzepte wie die Verarbeitung von Dokumenten, die Bedeutung von Termen und Merkmalen, sowie verschiedene Modelle und Techniken zur Verbesserung der Suchergebnisse. Benutzer und Systeme profitieren von diesen Karteikarten, da sie detaillierte Erklärungen zu Suchanfragen, Retrieval-Prozessen und der Optimierung von Suchergebnissen bieten, wodurch die Effizienz und Genauigkeit von Informationssystemen gesteigert wird.
Flashcards
256
Students
2
Language
German
Category
Computer Science
Level
University
Created / Updated
06.01.2022 / 13.01.2022

Flashcards

Deskriptoren stammen aus?

– einem unlimitierten Vokabular (freie Indexierung) oder– einer autorisierten Liste von Deskriptoren (kontrollierte Indexierung)

Deskriptoren vs. Nicht-Deskriptoren

Bei Synonym-/Homonymproblemen muss eines der Merkmale als Deskriptor deklariert werdenDeskriptor repräsentiert Klasse zB: Klasse von QuasiSynonymenNicht-Deskriptoren: Rest der Klasse, die bei der Indexierung nicht verwendet werden darf.

Die Fragen oben haben alle was Gemeinsam:Warum finde ich zu meiner Anfrage 1000 Resultate? Wer soll die alle lesen?Warum finde ich die falschen Resultate?Unvollständige Resultate?Warum finde ich mein persönliches Dokument nicht?Was haben sie gemeinsam

Resultate ist eine Folge von wie gute die Anfrage zusammengestellt wurde

Die Informationsbeschaffung entlang vonGeschäftsprozessen stellt neue Anforderungen: Welche?

• Das Retrieval System muss die geschäftsrelevanten Entitäten (Produkte,Kundenbeziehungen, Lieferanten, etc.) „kennen“.• Das Retrieval System muss die wichtigsten Benutzer- und Bedürfniskategorien „kennen“.• Das Retrieval System muss wissen, welche Informationsquellen für welchen(Teil-) Prozess relevant sind.• Das Retrieval System muss die Transformation von unstrukturierter Informationin strukturiertes Wissen unterstützen.

Dritte Generation der WebSuche konnte?

Beantwortet “das Bedürfnis hinter der Anfrage”nimmt stärkere Rücksicht auf die Unterscheidung informationell/navigational/- transaktional

Effektivität eines IR Systems?

IR-Evaluation nach CranfieldBlackBoxs und erfolgt nacher im Vergleich zu einem vorgegebenen Richtresultat(optimaleRetrivalresultat => heisst wird von Benutzern interpretiert)Experimente sind dadurch nachvollziebar und wiederhohlbarSomit vergleich mit «Testkollektion» zu «Richtresultat»

Effizenz eines IR-System?

Das können wir mit einer Stoppuhr machen

Erkläre die Begriffe interpolated & non interpolated

Average precision : was ist die Mean Average Precision

non-interpolated = Durchschnitt der Präzesionswerte anhand der Ränge aller Relevanten Dokumenten

interpolated = Durchschnitt der Präzesionswerte für spezifische Ausbeutegrade

MAP = Durchschnittliche Average Precision über alle Anfragen

 

Erste Generation der WebSuche konnte?

einfache Webseiten und Textdateien finden

Für was benötigt man Informationen?

um Aufgaben zu erledigen

Für was wird Enterprise IR-Technologie eingesetzt?

• Interne, vertikale Kollektionen• Firmenübergreifende Suchsysteme (integrative Funktion!)• Intranets• (persönliche Arbeitsplätze Desktop Search)• Extranets (Websites, Webportale, u.a.)• spezielle Suchapplikationen

Gedanken zu PageRank

- Berechnung rekursiv- Kann offline berechnet werden- Anfangs Page-Rank aller Knoten = 1- Konvergiert gegen "Random Surfer"-Wahrscheinlichkeiten- Durchaus anfällig auf Spam

Gewisse Grundanzahl an Anfragen notwendig, um Überhaupt Aussagen machen zu können. Wieviel?

Mindestens 50 Anfragen

Gibt es perfekte Resultate?

Es gibt nicht perfekte resultatFrage: Wie gut ist das wohldefinierte Resultat?Es gibt nicht die eine SuchtechnologieGoogle ist nicht geignet um zum Beispiel stellen zu suchen

Gibts Wörter die inhaltstregend sind, die aber nicht denText charakterisieren?

Ja gibts auch

Granularität einer invertierten Liste?

Wie genau kann ich zugreifen Granularität ist die Genauigkeit, zu welcher eine invertierte Liste die Lokalisierung der Merkmale festlegt

  1. Grober Index: z.B. nur Blöcke von Texten in welchen mehrere Dokumente gespeichert sein können
  2. Mittlerer Index: z.B. die Lokalisierung sind als Dokumentnummern gespeichert
  3. Feiner Index: Index liefert ein Satz, Wort oder sogar ein Byte zurück

Hash Datei / Finktion

Adresse der Merkmale ist mit einem „Schlüssel“ ti verbunden auf welchemittels einer hash-Funktionen h(ti) zugegriffen wirdZiel: Hash gleichmässig auf den Speicher verteilenKollisionen sind trotzdem unvermeidbar und müssen entsprechend behandelt werden.Im Generellen, zeigt eine Funktion h(t) auf einen Anker der invertierten Liste:

Haupt Ansatzt für Collection Selectionmit single site / LAN / few sites ?

jede query an all diese Quellens schickenRule-based selectionRelevant document distribution (RDD)Query Clustering

Herausforderung betreffs Thesauri

Aufwand (grosser Aufwand)Konsistenz (Schwierig eie Kinsistenz zu bauen)Unschärfe? Transitivität(Verben die ein Objekt brauchen)Vollständigkeit?Bedeutungen sind abhängig von Zeit, Betrachter, thematischen Kontext.Ein Thesaurus kann helfen, Begriffe konsistent zu verwenden.

How to evaluate IR applications? What to evaluate?Why not cranfield?

???IR applications support a *specific* knowledge-intensive business process.The performance on the *actual* underlying data collection is importantThere are different motivations for evaluation:Not just tuning, but also monitoring, continuous evaluation etc.There are different requirements for evaluation:Not comparative evaluation. Absolute performance is important!

In was für Szenarien kann ein Thesaurus beim InformationRetrieval hilfreich sein?

Zu unterscheiden bei Synonymen und HomonmenFür Klassifikation

Indegree

Indegree ist die Anzahl von einkommenden Links zu einem gegebenen Dokument.ndegree als Qualitätseinflussfaktor ist schwach: kann von Spammern missbraucht werden

Indexierung (verschlagwortung) Manuelle Methode

Für Online Kollektionen KostenintensivDas kontrollierte Vokabulat der Indexierungsprache bildet die Katergorie

Indexierung Webseiten

Die exakte Indexierungsstrategie ist ein Geschäftsgeheimnis und variiert vonUnternehmen zu Unternehmen. (Was erwarten Sie aber für eine Tendenz?) Extremfall: Man kann die Beschreibung jeder Seite auf die Kollektion derzugehörigen Ankertexte beschränken. Riesige Reduktion der Dokumentenmenge (z.B. NTCIR-5 Webtrack von 1.5TB auf 80MB) Geeignet, um Webseiten zu indexieren, die keinen Text enthalten (z.B. Multimedia-Daten) SPAM ist ein Problem, sowohl beim Spidern, als auch beim Indizieren. !!! Es gibt Probleme bei der Speicherung des Index (muss verteilt werden –Konsequenzen?)

Information ist bezüglich einer Aufgabe…?

Mehr oder weniger relveant oder vollständig

Information Retrieval Paradigmen

Was ist push/pull/browse

- Aufgrund eines Ad hoc-Informationsbedürfnises Dokumente mit relevanten Informationen suchen (pull). (Ad hoc = zu) Anfrage Indexe mit Dokument Indexe vergleichen (das was wir aus SKB kennen)

- Dokumente mit relevanten Informationen aus einem Dokumentenstrom herausfiltern und weiterleiten (push). Denke einfach an Filtersuche (z.Bsp: Dokumente von 1999 – 2008) oder Spam Mails oder

- Neue Dokumente kategorisieren und in eine Informationsstruktur einordnen (browse). Dokumente in Themenhierarchie einordnen (Baumstruktur)

Informationen?

Daten + Bedeutung, die Ihnen beigemessen wird.Informationen immer an Informationsbedürfnis gebunden

Inhaltstragende Wörter?

- Annahme: die Wörter in einem Text (und ihre Häufigkeiten) sagen etwas über die Relevanz dieses Textes aus - Information wird in inhaltstragenden Wörtern codiert.

Inhaltsragende Wörter :

Manche Wörter tragen "wenig" Inhalt (lexikalische Bedeutung). Es sind dies die "Funktionswörter", wie Artikel, Partikel, Pronomen,
Konjunktionen, ..
• Aber: beachten sie die Bedeutung von "nicht" im vorhergehenden Beispiel!
• Manche Wörter sind inhaltstragend, helfen aber nicht, den Text zu
charakterisieren
• Für das Retrieval besonders interessant sind diejenigen Wörter,
welche inhaltstragend sind und den Text "auszeichnen"

Invertierte Liste?

Besteht aus geortnete Liste aus Merkmalen mit Information, Häufigkeit jedes Merkmales inDer Dokumentenkollektioneffizent ist vom wort zum dokument, andersrum nichtalso ich muss das irgendwi umdrehenSpickzettel: Invertierte liste => Begriff auf dokumentExample auf seite 7

IR im Vergleich zu Datenbanksuche

- Datenbanken liefern für strukturierte Information mit kontrolliertem Vokabularperfekte Resultate.- Daten in Datenbanken sollten unabhängig sein von der Applikation(erlaubt zukünftige Nutzung). Redundanz wird vermieden.- Elemente sind entweder Teil der Resultatmenge oder nicht (binäre Unterscheidung).- Boole’sche Kriterien zur Selektion- Geeignet für die Suche in (hoch-)struktierter Information mit kontrolliertem Vokabular.Schaue dir auch Seite 47 an

IR im Vergleich zu „Textsuche ?

Suchfunktionen in Editoren/Textverarbeitungen basieren auf Mustervergleichen. Skaliert nicht - Linearer Scan über Dokument(e) Binär: erfüllt Suchkriterium oder nicht Ermöglicht nur einfache Anfragen Geeignet für die Suche innerhalb eines Dokuments (vor allem zurBearbeitung), nicht für die Suche nach Dokumenten.

IR-Prozess

Erkläre den IR Prozess anhand der folgenden Anfrage:

"How can I best archive my digital photos?"

Verbalisierung/Codierung
Verbalisierung: „Verstehen des Problems“: richtige Begriffe, Vollständigkeit
        Paradox: muss Problem verstanden haben, um es richtig zu verbalisieren
Codierung: „Verstehen des Systems“: richtige Operatoren, etc.
        Paradox: muss die Resultate kennen, um Anfrage richtig zu codieren
Das System kann a priori nur die explizite Information, welche in der „codierten“ Anfrage
enthalten ist, auswerten.
Das Resultat bevorzugt also Entscheide, welche bestmöglich zu dieser „codierten
Anfrage“ passen. Nicht explizit formulierte Präferenzen oder Hintergrundwissen des
Benutzers können nicht in die Resultatfindung einfliessen.
Das Resultat ist immer nur so gut wie die Anfrage!

Iterative Suche-weiterentwickung eines Informationsbedürgniss

Verständnis des Benutzers für sein Informationsbedürfnis ändertsich mit der Information, welche er sammelt.Suche ist oft ein iterativer Prozess

Je mehr Daten desto «x» ist die Suche?«x» = Einfacher oder Schwerer?

Das hat mit dem Suchparadox zu tun.Sind es strucktuierte Daten?Ist das System homogen oder heterogen?Haben die Daten eine Gute oder schlechte Qualität?Schaue dir nochmals das Suchparadox an!!!

Kann es für gleiche Informationen unterschiedlichenSpecherbedarf geben?

Ja, kommt zum Beispiel auf das Dateiformat anIn form von Tabelle (viel specherbedarf), In form von Text (wenig specherbedarf)

Klassifikation

Klassifikation deckt eine Dokumentenkollektion im Allg. vollständig ab.Arbeitet mit NT und BT

Kleinberg Model

HITS (Hypertext Induced Topic Selection) vorgeschlagen von KleinbergWebseite kann als Hub angesehen werdenUrsprungsmenge R ziehen wir alle Nachbaren in BetrachtVon dieser erweiterten Menge können wir die „hubness“ und „Autorität“ jedeseinzelnen Knoten (Webseite) bestimmen.Knoten, die im zurück gelieferten Graphen vorkommen, können wir die Wertevom Hub und der Autorität berechnen.

Komposita

• Deutschen können (unendlich viele) Komposita gebaut werden, indemman Wörter zusammenfügt

Komposita können nicht lexikalisch aufgezählt werden

Die Komposita sind eigentlich sehr gute Suchbegriffe, aber:

Der gleiche Sachverhalt lässt sich immer auch als Nominalphrase umschreiben (z.B. mit den Einzelbegriffen) "Rindfleischetikettierungsüberwachungsaufgabenübertragungsgesetz"

Es ist sehr hilfreich, solche Komposita zu zerlegen (weitere ca. +30% Effektivität) Aber: Frühstück => nicht alle Komposita sollten getrennt werden Fussballweltmeisterschaft => Fussball|Weltmeisterschaft oder Fuss|Ball|Welt|Meisterschaft?

=> wenige Systeme bieten eine solche Zerlegung!

Konsequenz des Retrivalproblems

- Der “unscharfe” Begriff der Relevanz und die vielfältigen Darstellungsformender Information, welche eine Übereinstimmung von Anfrage und Dokumenterschweren, führen zu einer wahrscheinlichkeitsbasierten Lösung: Es werden diejenigen Dokumente geliefert, für welche die Wahrscheinlichkeit, dass sievom Benutzer als relevant zur Anfrage beurteilt werden, am höchsten sind. Ein Retrievalresultat ist fast nie vollständig “korrekt”: es fehlen relevante Dokumente, oderirrelevante Dokumente werden zusätzlich gefunden. Merke: “scharfe Kriterien” (ja/nein) sind ungeeignet, da der Benutzer die Anzahl und dieForm der gesuchten Dokumente kennen müsste, um eine Anfrage zu formulieren, welchedas gewünschte Resultat liefert => Paradox Gute Retrieval-Systeme erlauben dem Benutzer alles zu formulieren, was er weiss, ohnedie Gefahr, zuviel oder zuwenig zu finden.

Kontrollfragen

• Was ist Information Retrieval? => viele Relevante, wenig irrelevante Informationen finden• Was ist das Retrievalproblem? => Benutzer und Kontext abhängig• Was ist die Bedeutung des IR-Kreislaufs?=> Information die ich brauche, → Verbalisierung, → Formulation/Coding, → Retrival, → Resultat• Ist Google ein schlechtes IR-System? Was war der Knackpunkt?=> -Vereinfachung erlauben dank Suchparadox, -belibig Verbalisierung, findet immer was,-Grosse datenmenge, - für Präzisionsorientierte Nutzer gut• Warum sollten wir bei (Web-)suche NICHT "Die Nadel imHeuhaufen" bemühen? => wir stellen präzisionsorientierte anfragenEinfach anfragen: wie gross ist eifelturm, Antwort 300

Study