IE1
Information Engineering 1
Information Engineering 1
-
- 1 / 256
-
Cartes-fiches
– einem unlimitierten Vokabular (freie Indexierung) oder– einer autorisierten Liste von Deskriptoren (kontrollierte Indexierung)
Bei Synonym-/Homonymproblemen muss eines der Merkmale als Deskriptor deklariert werdenDeskriptor repräsentiert Klasse zB: Klasse von QuasiSynonymenNicht-Deskriptoren: Rest der Klasse, die bei der Indexierung nicht verwendet werden darf.
Resultate ist eine Folge von wie gute die Anfrage zusammengestellt wurde
• Das Retrieval System muss die geschäftsrelevanten Entitäten (Produkte,Kundenbeziehungen, Lieferanten, etc.) „kennen“.• Das Retrieval System muss die wichtigsten Benutzer- und Bedürfniskategorien „kennen“.• Das Retrieval System muss wissen, welche Informationsquellen für welchen(Teil-) Prozess relevant sind.• Das Retrieval System muss die Transformation von unstrukturierter Informationin strukturiertes Wissen unterstützen.
Beantwortet “das Bedürfnis hinter der Anfrage”nimmt stärkere Rücksicht auf die Unterscheidung informationell/navigational/- transaktional
IR-Evaluation nach CranfieldBlackBoxs und erfolgt nacher im Vergleich zu einem vorgegebenen Richtresultat(optimaleRetrivalresultat => heisst wird von Benutzern interpretiert)Experimente sind dadurch nachvollziebar und wiederhohlbarSomit vergleich mit «Testkollektion» zu «Richtresultat»
Das können wir mit einer Stoppuhr machen
Erkläre die Begriffe interpolated & non interpolated
Average precision : was ist die Mean Average Precision
einfache Webseiten und Textdateien finden
um Aufgaben zu erledigen
• Interne, vertikale Kollektionen• Firmenübergreifende Suchsysteme (integrative Funktion!)• Intranets• (persönliche Arbeitsplätze Desktop Search)• Extranets (Websites, Webportale, u.a.)• spezielle Suchapplikationen
- Berechnung rekursiv- Kann offline berechnet werden- Anfangs Page-Rank aller Knoten = 1- Konvergiert gegen "Random Surfer"-Wahrscheinlichkeiten- Durchaus anfällig auf Spam
Gewisse Grundanzahl an Anfragen notwendig, um Überhaupt Aussagen machen zu können. Wieviel?
Mindestens 50 Anfragen
Es gibt nicht perfekte resultatFrage: Wie gut ist das wohldefinierte Resultat?Es gibt nicht die eine SuchtechnologieGoogle ist nicht geignet um zum Beispiel stellen zu suchen
Ja gibts auch
Granularität einer invertierten Liste?
Wie genau kann ich zugreifen Granularität ist die Genauigkeit, zu welcher eine invertierte Liste die Lokalisierung der Merkmale festlegt
- Grober Index: z.B. nur Blöcke von Texten in welchen mehrere Dokumente gespeichert sein können
- Mittlerer Index: z.B. die Lokalisierung sind als Dokumentnummern gespeichert
- Feiner Index: Index liefert ein Satz, Wort oder sogar ein Byte zurück
Adresse der Merkmale ist mit einem „Schlüssel“ ti verbunden auf welchemittels einer hash-Funktionen h(ti) zugegriffen wirdZiel: Hash gleichmässig auf den Speicher verteilenKollisionen sind trotzdem unvermeidbar und müssen entsprechend behandelt werden.Im Generellen, zeigt eine Funktion h(t) auf einen Anker der invertierten Liste:
jede query an all diese Quellens schickenRule-based selectionRelevant document distribution (RDD)Query Clustering
Aufwand (grosser Aufwand)Konsistenz (Schwierig eie Kinsistenz zu bauen)Unschärfe? Transitivität(Verben die ein Objekt brauchen)Vollständigkeit?Bedeutungen sind abhängig von Zeit, Betrachter, thematischen Kontext.Ein Thesaurus kann helfen, Begriffe konsistent zu verwenden.
???IR applications support a *specific* knowledge-intensive business process.The performance on the *actual* underlying data collection is importantThere are different motivations for evaluation:Not just tuning, but also monitoring, continuous evaluation etc.There are different requirements for evaluation:Not comparative evaluation. Absolute performance is important!
Zu unterscheiden bei Synonymen und HomonmenFür Klassifikation
Indegree ist die Anzahl von einkommenden Links zu einem gegebenen Dokument.ndegree als Qualitätseinflussfaktor ist schwach: kann von Spammern missbraucht werden
Für Online Kollektionen KostenintensivDas kontrollierte Vokabulat der Indexierungsprache bildet die Katergorie
Die exakte Indexierungsstrategie ist ein Geschäftsgeheimnis und variiert vonUnternehmen zu Unternehmen. (Was erwarten Sie aber für eine Tendenz?) Extremfall: Man kann die Beschreibung jeder Seite auf die Kollektion derzugehörigen Ankertexte beschränken. Riesige Reduktion der Dokumentenmenge (z.B. NTCIR-5 Webtrack von 1.5TB auf 80MB) Geeignet, um Webseiten zu indexieren, die keinen Text enthalten (z.B. Multimedia-Daten) SPAM ist ein Problem, sowohl beim Spidern, als auch beim Indizieren. !!! Es gibt Probleme bei der Speicherung des Index (muss verteilt werden –Konsequenzen?)
Mehr oder weniger relveant oder vollständig
Information Retrieval Paradigmen
Was ist push/pull/browse
- Aufgrund eines Ad hoc-Informationsbedürfnises Dokumente mit relevanten Informationen suchen (pull). (Ad hoc = zu) Anfrage Indexe mit Dokument Indexe vergleichen (das was wir aus SKB kennen)
- Dokumente mit relevanten Informationen aus einem Dokumentenstrom herausfiltern und weiterleiten (push). Denke einfach an Filtersuche (z.Bsp: Dokumente von 1999 – 2008) oder Spam Mails oder
- Neue Dokumente kategorisieren und in eine Informationsstruktur einordnen (browse). Dokumente in Themenhierarchie einordnen (Baumstruktur)
Daten + Bedeutung, die Ihnen beigemessen wird.Informationen immer an Informationsbedürfnis gebunden
Inhaltstragende Wörter?
- Annahme: die Wörter in einem Text (und ihre Häufigkeiten) sagen etwas über die Relevanz dieses Textes aus - Information wird in inhaltstragenden Wörtern codiert.
Inhaltsragende Wörter :
Manche Wörter tragen "wenig" Inhalt (lexikalische Bedeutung). Es sind dies die "Funktionswörter", wie Artikel, Partikel, Pronomen,
Konjunktionen, ..
• Aber: beachten sie die Bedeutung von "nicht" im vorhergehenden Beispiel!
• Manche Wörter sind inhaltstragend, helfen aber nicht, den Text zu
charakterisieren
• Für das Retrieval besonders interessant sind diejenigen Wörter,
welche inhaltstragend sind und den Text "auszeichnen"
Besteht aus geortnete Liste aus Merkmalen mit Information, Häufigkeit jedes Merkmales inDer Dokumentenkollektioneffizent ist vom wort zum dokument, andersrum nichtalso ich muss das irgendwi umdrehenSpickzettel: Invertierte liste => Begriff auf dokumentExample auf seite 7
- Datenbanken liefern für strukturierte Information mit kontrolliertem Vokabularperfekte Resultate.- Daten in Datenbanken sollten unabhängig sein von der Applikation(erlaubt zukünftige Nutzung). Redundanz wird vermieden.- Elemente sind entweder Teil der Resultatmenge oder nicht (binäre Unterscheidung).- Boole’sche Kriterien zur Selektion- Geeignet für die Suche in (hoch-)struktierter Information mit kontrolliertem Vokabular.Schaue dir auch Seite 47 an
Suchfunktionen in Editoren/Textverarbeitungen basieren auf Mustervergleichen. Skaliert nicht - Linearer Scan über Dokument(e) Binär: erfüllt Suchkriterium oder nicht Ermöglicht nur einfache Anfragen Geeignet für die Suche innerhalb eines Dokuments (vor allem zurBearbeitung), nicht für die Suche nach Dokumenten.
Verbalisierung/Codierung
Verbalisierung: „Verstehen des Problems“: richtige Begriffe, Vollständigkeit
Paradox: muss Problem verstanden haben, um es richtig zu verbalisieren
Codierung: „Verstehen des Systems“: richtige Operatoren, etc.
Paradox: muss die Resultate kennen, um Anfrage richtig zu codieren
Das System kann a priori nur die explizite Information, welche in der „codierten“ Anfrage
enthalten ist, auswerten.
Das Resultat bevorzugt also Entscheide, welche bestmöglich zu dieser „codierten
Anfrage“ passen. Nicht explizit formulierte Präferenzen oder Hintergrundwissen des
Benutzers können nicht in die Resultatfindung einfliessen.
Das Resultat ist immer nur so gut wie die Anfrage!
Verständnis des Benutzers für sein Informationsbedürfnis ändertsich mit der Information, welche er sammelt.Suche ist oft ein iterativer Prozess
Das hat mit dem Suchparadox zu tun.Sind es strucktuierte Daten?Ist das System homogen oder heterogen?Haben die Daten eine Gute oder schlechte Qualität?Schaue dir nochmals das Suchparadox an!!!
Ja, kommt zum Beispiel auf das Dateiformat anIn form von Tabelle (viel specherbedarf), In form von Text (wenig specherbedarf)
Klassifikation deckt eine Dokumentenkollektion im Allg. vollständig ab.Arbeitet mit NT und BT
HITS (Hypertext Induced Topic Selection) vorgeschlagen von KleinbergWebseite kann als Hub angesehen werdenUrsprungsmenge R ziehen wir alle Nachbaren in BetrachtVon dieser erweiterten Menge können wir die „hubness“ und „Autorität“ jedeseinzelnen Knoten (Webseite) bestimmen.Knoten, die im zurück gelieferten Graphen vorkommen, können wir die Wertevom Hub und der Autorität berechnen.
Komposita
• Deutschen können (unendlich viele) Komposita gebaut werden, indemman Wörter zusammenfügt
Komposita können nicht lexikalisch aufgezählt werden
Die Komposita sind eigentlich sehr gute Suchbegriffe, aber:
Der gleiche Sachverhalt lässt sich immer auch als Nominalphrase umschreiben (z.B. mit den Einzelbegriffen) "Rindfleischetikettierungsüberwachungsaufgabenübertragungsgesetz"
Es ist sehr hilfreich, solche Komposita zu zerlegen (weitere ca. +30% Effektivität) Aber: Frühstück => nicht alle Komposita sollten getrennt werden Fussballweltmeisterschaft => Fussball|Weltmeisterschaft oder Fuss|Ball|Welt|Meisterschaft?
=> wenige Systeme bieten eine solche Zerlegung!
- Der “unscharfe” Begriff der Relevanz und die vielfältigen Darstellungsformender Information, welche eine Übereinstimmung von Anfrage und Dokumenterschweren, führen zu einer wahrscheinlichkeitsbasierten Lösung: Es werden diejenigen Dokumente geliefert, für welche die Wahrscheinlichkeit, dass sievom Benutzer als relevant zur Anfrage beurteilt werden, am höchsten sind. Ein Retrievalresultat ist fast nie vollständig “korrekt”: es fehlen relevante Dokumente, oderirrelevante Dokumente werden zusätzlich gefunden. Merke: “scharfe Kriterien” (ja/nein) sind ungeeignet, da der Benutzer die Anzahl und dieForm der gesuchten Dokumente kennen müsste, um eine Anfrage zu formulieren, welchedas gewünschte Resultat liefert => Paradox Gute Retrieval-Systeme erlauben dem Benutzer alles zu formulieren, was er weiss, ohnedie Gefahr, zuviel oder zuwenig zu finden.
• Was ist Information Retrieval? => viele Relevante, wenig irrelevante Informationen finden• Was ist das Retrievalproblem? => Benutzer und Kontext abhängig• Was ist die Bedeutung des IR-Kreislaufs?=> Information die ich brauche, → Verbalisierung, → Formulation/Coding, → Retrival, → Resultat• Ist Google ein schlechtes IR-System? Was war der Knackpunkt?=> -Vereinfachung erlauben dank Suchparadox, -belibig Verbalisierung, findet immer was,-Grosse datenmenge, - für Präzisionsorientierte Nutzer gut• Warum sollten wir bei (Web-)suche NICHT "Die Nadel imHeuhaufen" bemühen? => wir stellen präzisionsorientierte anfragenEinfach anfragen: wie gross ist eifelturm, Antwort 300