IE1

gleich verteilt=>Viele Wörter sind seltenWenig Wörter sind häufig=> Zipfisches GesetztX-achse => Häufigkeit => geht mit anzahl wörter extrem RunterY-Achse => WörterSiehe Seite 11

Ausbeute und PräzisionGut für analyse, aber nicht perfektBeide Masse modellieren die Annahme, dass möglichst viel relevante,und möglichst wenig irrelevante Information gefunden werden soll.Ziel: Optimierung eines oder beider KriterienMassen sind mengenbassiert und wiedersprchen sich

Ausbeute und Präzision

Volltextindexierung und Verschlagwortung

Web-specific data- Hyperlink- oder Verbindungsanalyse- Click-through data (Angeklickte Resultate)- Ankertext (wie Leute auf diese Webseite verweisen)- Google (1998) mit PageRank-Algorithmus

1. Lemmatisierung : Korrekte linguistische Analyse der Wortformen
2. Corpusbased Stemming 
3. N-Gram
4. Semantische Lösungen wie Expansionen

Beim Indexierungsprozess ensttteht ein Bag of words

Term = eindeutiges Wort

Token = Auftreten ines Terms 

Merkmal = Term oder andere eindeutige Einheiten (Phoneme, Linienkanten, Histogramme)

Ein N-Gram ist eine Sequenz von n(3,4,...) Buchstaben

Information

_In

  Inf 

    nfo 

     ......

Anwendung :

1. Sprachunabhängige Algorithmen
2. Erkennung der SDprache
3. Spellchecking
4. Fehlertoleranter Vergleich (OCR-Text)
5. Vergleich der Ähnlichkeit der Dokumente

Siehe Bild

1. ff (feature frequency; Merkmalshäufigkeit), auch tf (term frequency,Termhäufigkeit) – wie oft tritt ein Merkmal/Term in einem Dokument auf
2. df (document frequency, Dokumentenhäufigkeit) – in wievielen Dokumenten tritt ein Merkmal/Term auf
3. Dokumentlänge – ein Mass für die Länge des Dokuments:z.B. Anzahl Tokens, Anzahl Merkmale/Terme, Bytelänge
4. Position der Merkmale im Text, Inlinks/Outlinks (im folgenden nicht weiter betrachtet)

Anstatt nur Worthäufigkeiten in einem Text zu zählen, ermittle wie viele Dokumente der Kollektion den Term beinhalten in Verhältnis zur totalen Anzahl von Dokumenten der Kollektion.

idf(φk) = log((1+N)/(1+df(φk)))

wobei

1. N: Anzahl der Dokumente in der Kollektion
2. df(φk): Anzahl Dokumente, die Term k enthalten
3. Mit idf(φk) kann die Ausprägung (Wichtigkeit; wie "charakteristisch") eines Terms für ein bestimmtes Dokument besser bestimmt werden als durch
4. simples Zählen der Häufigkeiten.

Siehe Bild

Wie gut ist ein Term geignet um Dokumentte zu unterscheiden?

-> Gute Terme expandieren den Vekorraum

Wir unterscheiden nun:
– DISCVALUEk > 0: (gut)
• Term dünnt Vektorraum aus, d.h., dient der Unterscheidung von
Dokumenten
• Meistens Terme mit mittlerer Häufigkeit
– DISCVALUEk ≈ 0: (neutral)
• Hinzufügen des Terms hat kaum Effekt
• Meistens Terme tiefer Häufigkeit (schaden Ausbeute)
– DISCVALUEk < 0: (schlecht)
• Term verdichtet Vektorraum, d.h., erschwert die Unterscheidung von
Dokumenten
• Meist Terme mit hoher Häufigkeit (schaden Präzision)

Idee: Der Benutzer identifiziert im Resultat die relevanten und irrelevanten Dokumente

Es wird dadurch ein neuer Vektor konstruiert, der näher an den relevanten Dokumenten und weiter weg von den irrelevanten liegt.

Danach wird die Original-anfrage neu gewichtet und um neue Begriffe (aus den relevanten Dokumenten) ergänzt

dadurch entsteht eine komplett neue Anfrage

Im Blind Relevance Feedback sagt nicht der User ob die Resultate relevant sind, sondern das System

Aus der 1. Anfrage wird eine neue query mit zusätzlichen Wörtern aus dem Pseudofeedback gebildet.

Konsequenz : Die neuen Wörter helfen bei der Wahl der Begrifflichkeit -> Die Ausbeute der Query wird grösser aber auch der Noise

Idee :

1. Retrieval ist ein Klassifizierungsprozess – die Dokumente sollen in relevant resp. nicht-relevant eingeteilt werden (theoretisch auch mehr als zwei Klassen denkbar, z.B. «egal» – in der Praxis selten)
2. Menge der relevanten Dokumente ist << Menge der irrelevanten Dok.
3. Gegeben ein bestimmtes Dokument D: berechne P(R|D)
4. Unterschiedliche Schätzungen dieser Wahrscheinlichkeit führen zu unterschiedlichen Modellen.

Werkzeuge für die Statistik

1. A, B stochastisch unabhängig, dann P(A,B)=P(A)*P(B)
2. Bedingte W'keit: P(A|B)=P(A,B)/P(B).
3. Bayes: P(A|B)=P(A)P(B|A)/P(B)
4. Das PRP fordert RSV(q,d) = f(P(R|q,d)) + g(q), d.h., eine ordnungserhaltende Funktion auf der Wahrscheinlichkeit, dass ein Dokument d zur Anfrage q als relevant betrachtet wird
5. (absolute Scores sind also für die Rangierung nicht wichtig)

• Ziel: Relevanzwahrscheinlichkeit durch Auftretenswahrscheinlichkeiten von
Merkmalen darstellen
• An der Tafel! ( siehe auch abgegebenen Text mit vereinfachter Herleitung)
• Die Annahmen/Einschränkungen sind im Wesentlichen:
• Grundeinschränkung: P(R|Di) ist unabhängig von P(R|Dj)
• Dokumente sind "Bag of Words", und ausschliesslich über diesen "Bag of Words" dargestellt
• Dokumente und Anfrage werden durch binäre Vektoren repräsentiert
• Einzelne Terme sind voneinander unabhängig, d.h. P(Vektor x|R,q) = Produkt der einzelnen
P(Term xi|R,q)
• Terme, die nicht in der Anfrage vorkommen, sind in relevanten und irrelevanten Dokumenten
gleich häufig
• Alle nicht vom Dokument abhängigen Faktoren werden ignoriert, Logarithmus vereinfacht die
Berechnung
• Sehr wenig relevante, sehr viele irrelevante Dokumente
• Resultat RSJ (Robertson-Sparck Jones) Gewichtung. log(pi(1-qi) / (qi(1-pi)))
• -> ergibt ohne Relevanzinformation eine idf-Gewichtung

Best Match:

1. – Die Anfrage soll das bestpassende oder «gute» Dokumente beschreiben
2. – Jedes Dokument ist prinzipiell zur Anfrage ähnlich
3. – Resultat ist eine Rangliste aus Dokumenten

Exact Match:

1. – Die Anfrage beschreibt ein präzises Retrievalkriterium
2. – Ein Dokument erfüllt das Kriterium/erfüllt dieses nicht
3. – Das Resultat ist eine ungeordnete Menge von Dokumenten

• In der Praxis mischen Systeme oft diese beiden Paradigmen

1. – Bsp: Best-Match mit einzelnen Boole’schen Operatoren

Eine ivertierte Liste besteht aus einer Liste von Merkmalen (Term) mit mindestens Infos über die Häufigkeit jedes Merkmales in der Dokumentenkollektion 

Merkmal# | Merkmal | Merkmal und Lokalisierungsinformation

1                |       cold    |                  2;(1,6),(4,8)

2                |   days       |                  2;(3,2),(6,2)

2; -> Dokumenthäüfigkeit

(3,2), -> Dokumentnummer & Lokalisierung innerhalb Dokument 

Liste geignet effizient Wörter zu finden

updaten : löschen un dienfügen

löschen :

1. Invertierte Liste updaten
2. alle Wörter bestimmen, die in den Dokumenten vorkommen und dann rauslöschen
3. Idf cash & hash der Wörter ändert sich -> riesen Aufwand

Was sin die Listungsfaktoren / Leistungsmasstäbe / Leistungsmasse(Effektivität,Effizienz,Akzeptanz) / Daten

IR-Komponenten (z.B Stemmer)

IR-System (Anfrage → Dokumente) 

IR-Lösung (Wissenschaffungsprozess => UI-Fragen etc.)

- Daten über die Benutzer- Daten über Informationsbedürfnisse- Dokumentdaten- Daten über die Relevanz der Dokumente in Hinsicht auf die Informationsbedürfnisse

Bedeuted «Enterprise Search»

Content-based

Anfrage und Dokument müssen vergleichbar gemacht werden=> somit brauch es eine: «Indexierung»

akzeptiere Anfrage und liefere Resultat zurück- Front end – macht Anfragereformulierung – Stemming, Grossschreib-Regeln,BooleanOptimierung, Zusammensetzung, etc.- Back end – findet passende Dokumente und rangiert diese

Ich möchte eine statistik/änlichkeit zwischen lift und aufzugich will aber auch eine statistik/ähnlichkeit zwischen lift und aprikoseSchaut nicht für synonyme aber Begriffe die extrem stark im gleichen Kontext auftretten

auf einen effektiven Informationszugriff(aus diesen "expliziten" Informationen wird dann (teilw. "implizites") Wissen abgeleitet)

Clustering: Gruppierung von Kollektionen, Menge die sich mit Kategorisierung gegenseitigAuschliessen => schwierig wenn Dokumente Kurz sind (gibt ausreisser)Annotation: Gruppierung von Dokumenten (z.B wissenschaftliche Artikel

Textinhalt automatisch zu beschreiben, ist die Häufigkeit der einzelnen Wörter zu untersuchen.=> automatische Indexierung nicht so einfach wie man glauben könnte.

Wird sehr oft für spam filtering eingesetzt => hier wird auch KategorisiertDenke an den Satzt von Bayes

möglichst viel relevante, und möglichst wenig irrelevante Information gefunden werden soll.

- Werden irrelevante, oder zu viele resp. zu wenige relevante Dokumentegefunden, formuliert der Benutzer die Anfrage um (ändert die Verbalisierungresp. Codierung)- Der Benutzer kann vom System bei der Umformulierung unterstützt werden(automatische Erweiterung der Anfrage, Suche nach ähnlichen Dokumenten)=> was ist der spezielle Vorteil, den das System dabei gegenüber dem NutzerHat? Schmeisst nicht Wörter Raus, könnte zur folge haben das Resultat schlechter wird +Muss ich dem User nicht auf den Sack gehen- Werden relevante Dokumente gefunden, ändert sich Verständnis des Informationsbedürfnisses.

- Informationelle, navigationale, transaktionale, örtlich gebundene Bedürfnisse.- “Klassisches IR” konzentriert sich auf informationelle Bedürfnisse (“Bibliothekszenario”)

Beispiel:- Sortiere Q so, dass populäre Seiten (mit vielen in-coming Links) bevorzugt werden.- Sortiere Q so, dass zusammenfassende Seiten (mit vielen out-going Links) bevorzugt werden.- Verwende den Google-Algorithmus => PageRank

Auffinden von möglichst vielen Relevanten Informationen bei gleichzeitig minimieren der Gelieferten irrelevanten Informationen Wir wollen nicht nur Informationen wiederfinden sondern auch neue Informationen finden