IR - Kontrollfragen 2

Informationswissenschaft

Informationswissenschaft


Mario Marusic
Diese Karteikarten behandeln fortgeschrittene Themen zu Informationsretrieval (IR) und Web-Suchmaschinen auf Universitätsniveau. Sie decken die Bewertung von IR-Systemen, die Funktionsweise von Suchmaschinen wie Google, und die Messung der Popularität von Webseiten ab. Besonders relevant sind die Konzepte von Precision, Recall, und PageRank, sowie die Bedeutung von TREC für die Evaluierung von IR-Systemen. Diese Karteikarten sind ideal für Studierende und Forscher, die sich mit den technischen und kommerziellen Aspekten von Suchmaschinen und Informationsretrieval auseinandersetzen.
Karten
60
Lernende
3
Sprache
Deutsch
Kategorie
Allgemeinbildung
Stufe
Universität
Erstellt / Aktualisiert
11.03.2012 / 31.03.2022

Flashcards

Web-Retrieval F20 (Teil1)

Wer sind die aktuellen Global Player der Internet-Suche und welches sind deren Kernkompetenzen?

Bing: geht mehr Richtung Webportal. Man kann z.B. Flüge buchen, Filme schauen und News bekommen, alles während man auf der Seite bleibt.

Die Microsoft--‐Suchmaschine strukturiert ihre Suchergebnisse nicht und personalisiert dies auch nicht.

Kritik: Das indexieren der Webseiten auf Global Player Webseiten ist langsamer als Google, da das indexieren bei Googel eines der Kerngeschäfte ist.

Bei kurzen Suchanfragen erscheinen Ergebnismengen mit sehr hohen Relevanzen.

Siehe seo-united.de, dort ist die Verbreitung von Suchmaschinen (D) im März 2012 gelistet.

Web-Retrieval F3

Können über die lokale Suche auch Inhalte des Deep-Web zugänglich gemacht werden?

Nein. Die L-Suche sucht entweder nur in einem Computer (Festplatte) oder nur in einem Web-Server (d.h. sie sucht den Inhalt einem spezifischen Website durch). Daher kann sie nicht der Websuche gleichgestellt werden (die übrigens Inhalte des Deep-Web auch nicht zugänglich machen kann, denn zum Deep-Web gehören eben Web-Inhalte, die von Suchmaschinen nicht findbar sind). Die lokale Suche macht nichts zugänglich, sie ist einfach eine Hilfe, damit man sich in einem Website zurecht finden kann.

Hmmm!? Lokale Sucmaschinen sind doch in der Lage alle Files auf einem Laufwerk zu indexieren - unabhängig von der Verlinkung im Web! Damit können diese doch auch Dokumente nachweisen, auf die eine Suchmaschine gar nicht stossen könnte (z.B. weil nicht verlinkt).

Wenn man in einer Datenbank suchen möchte, deren Inhalte nicht im Web indexiert sind, und man aber die Zugangsdaten zum entsprechenden Webserver hat, kann man darin über die lokale Suche im Inhalte finden, die im Surface-Web verborgen

Web-Retrieval F18

Wo liegt das Problem beim Ranking von Metasuchmaschinen?

Das Problem ist, dass Metasuchmaschinen kein "eigenes" Ranking durchführen. Sie nehmen die ersten Ergebnisse jeder "eingeschlossenen" Suchmaschine und listen sie einfach auf, ohne einer besonderen Logik zu folgen.

Web-Retrieval F1

Vergleichen Sie Informationsanbieter im Internet/WWW mit denen des klassischen Informationsmarktes (Hostanbieter, Bibliotheken).

Der Zugriff auf die Information ist erleichtert auf dem Internet, vor allem dank der Volltextsuche und die Tatsache, dass man die Information in der Regel sofort kriegt, d.h. man bekommt nicht nur Verweise auf Dokumente, die uns weiterhelfen können, sondern sofort die Dokumente bzw. die Information selbst. Weiterhin kann man auf die Information von zu Hause aus zugreifen, und die Warte- und Suchzeit ist meistens gering während die Suche in Bibliotheken oft zeitaufwändiger ist. Die Suchmaschinen weisen auch eine höhere Abdeckung auf als Bibliotheken, denn sie nicht durch Platz oder Sammelprofile begrenzt sind. Im Vergleich mit einzelnen Hostanbietern ist dieser Vorteil immer noch relevant, denn sie decken in der Regel nur einen begrenzten wissenschaftlichen Bereich. Dagegen ist die Informationsqualität auf dem Internet nicht immer gut, und es kann schwierig sein, Information zu finden, die wissenschaftlich als akzeptabel betrachtet werden kann. Die Gefahr, gegen „falsche“ Information...

Evaluation F2

Was bedeutet Precision und Recall und wie werden diese zwei Werte berechnet?

- Precision (Relevanzquote/Genauigkeit) ist die Angabe des Anteils gefundener relevanter Dokumente im Vergleich zu allen gefundenen Dokumenten: P = gefundene relevante Dokumente/alle gefundenen Dokumente. Die Ergebnisse liegen zwischen 0 und 1, wobei ein Ergebnis nahe 1 bedeutet, dass annähernd alle gefundenen Dokumente relevant sind. Ergebnisse nahe 0 bedeuten, dass nahezu kein gefundenes Dokument relevant ist.

- Recall (Nachweisquote/Vollständigkeit) ist das Verhältnis aller gefundenen relevanten Dokumente zu allen relevanten Dokumenten: R = relevante gefundene Dokumente/relevante Dokumente. Die Ergebnisse liegen zwischen 0 und 1. Ein Ergebnis nahe 1 bedeutet, dass nahezu alle relevanten Dokumente gefunden wurden. Ergebnisse nahe 0 bedeuten, dass nahezu kein relevantes Dokument gefunden wurde.

Grundlagen F2 (Teil1)

Schätzen Sie die Relevanz der skizzierten informationstechnischen und -methodischen Entwicklung für das IR ein!

Zu wichtigen informationstechnischen Entwicklungen des IR gehören die steigende Verfügbarkeit von Speicherkapazitäten, da immer mehr Dokumente aufgenommen werden und Aktualiesierungen durchgeführt werden müssen, eine höhere Prozessorleistung, welche eine schnellere Bearbeitung der Anfragen gewährleistet, die Entwicklung von Time-Sharing und Multi-User-Technologien, um viele Benutzer zur gleichen Zeit über einen Rechner arbeiten zu lassen, die Entwicklung von elektronischen Text- und Datenproduktionen, bei der immer mehr Dokumente in elektronischer Form als Papierform zur Verfügung gestellt werden, Client-Server und Multimedia Technologie, sowie Telekommunikationsnetze und mobile Computing, welches einen Zugriff über das Internet auch von mobilen Endgeräten unabhängig vom Ort ermöglicht.

Zu Informationsmethodischen Entwicklungen des IR gehören Thesauri, welche mit Ober- und Unterbegriffen eine breitere Abdeckung des Suchbegriffs ermöglichen und die Freitextsuche.

Grundlagen F2 (Teil2)

Schätzen Sie die Relevanz der skizzierten informationstechnischen und -methodischen Entwicklung für das IR ein!

Zu weiteren Entwicklungen gehören automatische Indexierung und Wissensrepräsentation,sturkturierte modellierungsverfahren, Metabeschreibungssprachen oder Auszeichnugssprachen, sowie Hypertextifizierung und Multimedialisierung, Multidimensionale Suchtechniken, Dokumentmanagement/ Content Management Systeme und Information Mining/ Visualization.

Retrievalfunktionen F5 (Teil2)

Was versteht man unter einer disjunktiver bzw. konjunktiver Normalform bei Booleschen Suchanfragen und wozu werden diese benötigt?

KNF und DNF können aus jedem beliebigen Booleschen Ausdruck berechnet werden.

EDNF und EKNF braucht man, damit man

- unterschiedliche Boolesche Ausdrücke miteinander vergleichen

- und komplexe Boolesche Ausdrücke vereinfachen kann

Retrievalfunktionen F6

Formulieren Sie zur folgenden Booleschen Anfrage die EDNF und die EKNF:

(Abendessen AND Konzert) OR (NOT Abendessen AND Schwimmen)

Wurde noch nicht beantwortet

Web-Retrieval F10

Was definiert der Robots-Exclusion-Standard und wie wird dieser umgesetzt?

Der Robots-Exclusion-Standard ist ein 1994 von einer unabhängigen Gruppe von "Suchmaschinenentwicklern" aufgestellter Standard um das Verhalten von Suchmaschinenrobotern auf Domainebene zu steuern. Die entsprechenden Informationen werden in einer Textdatei namens Robots.txt hinterlegt. Mit Hilfe dieser Datei können Websitebetreiber Suchmaschinenrobotern z.B. mitteilen, dass ihre Domain oder Teile davon nicht indexiert werden sollen.

Umsetzung: Da hinter diesem Standard keine offizielle Organisation oder kommerzielle Firma steht, ist er eine reine Konvention und nicht verbindlich, d.h. Suchroboter können diesen Standard umsetzen oder auch nicht. Allerdings wird dieser Standard von vielen führenden Suchmaschinenbetreibern wie Microsoft, Yahoo oder Google befolgt.

Der Standard garantiert keine Geheimhaltung der so geschützten Seiten. Hierzu bedarf es einer HTTP-Authentifizierung oder einer Access-Control-List.

Web-Retrieval F15 (Teil1)

Welche Möglichkeiten gibt es die Popularität von einzelnen Web-Seiten zu messen?

Eine erste Möglichkeit ist durch eine Analyse der Verweisstruktur aller indexierten Webseiten die Anzahl auf eine spezifische Webseite eingehender Links zu bestimmen. Je höher diese Zahl, desto theoretisch populärer die Webseite.

Eine zweite Möglichkeit ist das Benutzerverhalten bezüglich dieser Webseite zu analysieren und zu bestimmen, wie oft die Webseite abgerufen wurde.

Ein populäres Tool dazu wäre alexa.com, dass man sich als Toolbar im Webbrowser installieren kann. Allerdings basiert das Ranking dort auf die freiwilligen Angaben der Nutzer.

Wenn man eine eigene Seite betreibt oder die entsprechenden Rechte bei einer Webseite besitzt, kann man kostenlos via Google-Analytics die eigene Popularität bei Google sehr detailliert messen und darstellen.

Wenn man Geld ausgeben möchte, ist sistrix.com gut unter anderem auch für eine Konkurrenzanalyse.

Web-Retrieval F15 (Teil2)

Welche Möglichkeiten gibt es die Popularität von einzelnen Web-Seiten zu messen?

Eine dritte Möglichkeit besteht darin, die Webseiten zu ermitteln, bei denen direkt nach dem ersten Anklicken, die zurück-Taste gewählt wurde. Diese Seiten werden dann mit einem Rankingmalus versehen, da sie offenbar nicht die gewünschte Information enthielten.

Web-Retrieval F20 (Teil2)

Wer sind die aktuellen Global Player der Internet-Suche und welches sind deren Kernkompetenzen?

Die Globalplayer der Internetsuche sind Google und Yahoo.

Yahoo ist ursprünglich ein Katalog/Verzeichnis, Google ursprünglich eine Suchmaschine.

Beide Anbieter haben sich in den letzten Jahren jedoch zu Webportalen gewandelt, die unter einem gemeinsamen Dach zahlreiche Angebote vereinen (z.B Google scholar als wissenschaftliche Spezialsuchmaschine oder Google Blog Search als Blogsuchmaschine)

Der Trend geht auch eindeutig hin zum "Universal Search" solcher grosser Anbieter. Ein weiteres Kerngeschäft der Zukunft ist die Kombination von automatischen Verfahren und menschlichem Wissen, und zwar sowohl was Expertenwissen als auch eine verstärkte Beteiligung der Nutzer (z.B. Beschlagwortung durch Nutzer in Tagging Communities) betrifft.

Web-Retrieval F16 (Teil 1)

Erklären Sie das PageRank-Verfahren von Google. Warum ist dies so erfolgreich?

Das PageRank-Verfahren von Google basier auf der Idee der "objektiven Wichtigkeit". Diese soll durch die Analyse der Verweisstrukturen aller indexierten Seiten ermittelt werden. Je mehr Links also auf eine Webseite verweisen, desto höher ist die Wahrscheinlichkeit, dass ein Nutzer auf diese Seite Stößt.

Das Verfahren von Google bietet besonders bei den häufigen kurzen Anfragen einen hohen Precision Wert und der Missbrauch für Webseitenbetreiber, die ihren PageRank verbessern wollen, ist relativ schwer.

Doch nachteilig am Verfahren ist, dass neue Seiten, sowie unpopuläre, aber möglicherweise relevante Dokumente benachteiligt werden.

Bleibt zu ergänzen, dass Google niemals seine kompletten Page-Rank-Algorithmus preisgeben wird und diesen ständig ändert. Der Page-Rank ist auch mit einer Black-Box vergleichbar. Demnächst werden zu stark optimierte Seiten bestraft, siehe golem.de.

Web-Retrieval F16 (Teil 2)

Erklären Sie das PageRank-Verfahren von Google. Warum ist dies so erfolgreich?

Das Page-Rank-Verfahren von Google beruht auf vier Säulen:

1. On-Page Faktoren (z.B. Häufigkeit von Suchbegriffen im Volltext der Dokumente etc.)

2. On-Site-Faktoren: werden von Google geheim gehalten. Als wahrscheinlich gilt jedoch, dass Google neue Websites mit einem Rankingmalus versieht.

3. Linkfaktoren: Je grösser die Zahl der auf einer Website eingehenden Links, desto grösser der PRank. In den PRank geht neben der Anzahl der Links auch deren Gewichtung ein. Sie wird aus dem PRank der Website von der ein Link ausgeht berechnet, indem dieser Wert gleichmässig unter den verlinkten Seiten aufgeteilt wird. Das PRank Verfahren ist also sehr wohl bekannt.

4. Eigenschaften und Verhalten der Nutzer: Manche Angebote von Google ermöglichen es Nutzerprofile anzugeben; ansonsten kann man aus der IP Adresse auf den geogr. Ort des Nutzers rückschliessen und dadurch etwas sagen über das Land, in dem dieser lebt oder die Sprache, die er spricht. Das Ranking passt dann an das Nutzerprofil an

Web-Retrieval F21

Welche Möglichkeiten gibt es bezüglich der Kommerzialisierung von Internetsuchdiensten (mit was kann man hier überhaupt Geld verdienen)? Beschreiben Sie diese kurz und nennen Sie auch mögliche negative und positive Auswirkungen. (6)

Sogenannte Pay-per-Click-Dienste, d.h. Werbeanzeigen und Sponsorenlinks, die von den Anbietern gegen Bezahlung gebucht werden können, sind heute die wichtigste Einnahmequelle von Websitebetreibern. Durch sie werden fast alle kostenlosen Angebote des Internets finanziert.

Evaluation F6

Was versteht man unter TREC? (Teil1)

TREC bedeutet Text Retrieval Conference und bezeichnet einerseits eine seit 1992 jährlich stattfindende, im Wesentlichen von der US-Regierung finanzierte Konferenz zum Thema Evaluierung von Information-Retrieval-Systemen, andererseits eine fortlaufende, internationale Studie zum gleichen Thema, an der 2003 bereits 93 Gruppen aus 22 Ländern teilnahmen.

Für diese Studie stellen die Spezialisten der TREC standardisierte Testbedingungen zur Verfügung, die i.R. aus 50 vorgegebenen Suchanfragen an verschiedene Testkollektionen (Dokumentsammlungen) bestehen. Die Teilnehmer können ihre eigenen Informationretrievalsysteme mit diesen Suchanfragen und an diesen Dokumentsammlungen testen und stellen die Ergebnisse der TREC zur Auswertung zur Verfügung. Seit 1992 gilt die TREC Studie als State of the Art für die Evaluierung von IR Systemen.

Evaluation F6

Was versteht man unter TREC? (Teil2)

Wesentliche Ziele von TREC sind:

- Schaffen einer gemeinsamen Grundlage für den Vergleich verschiedener IR-Techniken

- Teilen von Ressourcen und Erfahrungen bei der Entwicklung der Benchmarks

- Förderung der Beteiligung von Industrie und Wissenschaft

- Entwicklung neuer Evaluierungstechniken, besonders für neue Anwendungen

Evaluation F4

Welche Bedeutung haben die Werte Fallout und Generality?

Fallout ist der Anteil der ausgegebenen nicht-relevanten Dokumente im Verhältnis zur Gesamtmenge der nicht-relevanten Dokumente im System und misst damit die Unfähigkeit des untersuchten Systems, nicht-relevante Dokumente auszuschließen. Ebenso wie beim Recall besteht das Problem der Nicht-Messbarkeit der Gesamtzahl der nicht-relevanten Dokumente.

Generality bezeichnet den Anteil der Dokumente im Datenbestand, die für ein bestimmtes Thema relevant sind. Je höher der Generality-Werte eines Datenbestands für ein bestimmtes Thema ist, desto „einfacher" ist es für das System, relevante Dokumente zurückzugeben

Evaluation F1

Was wird bei der Evaluation von IR-Systemen bewertet?

Zugriffszeit

Genauigkeit (Precision)

Vollständigkeit (Recall)

Image

Aktualität

Benutzerschnittstelle

Dokumentation

Kennzahlen:

Precision (Relevanzquote, Genauigkeit):

Relevante gefundene Dokumente / alle gefundenen Dokumente

Messintervall zwischen 0 – 1, idealer Wert: 1

Recall (Nachweisquote, Vollständigkeit)

Relevante gefundene Dokumente / all relevanten Dokumente

Messintervall zwischen 0 – 1, idealer Wert: 1

Ausfallquote/ Fallout

Irrelevante gefundene Dokumente / alle irrelevanten Dokumente

Messintervall zwischen 0 – 1, idealer Wert: 0

Study