💾 Archived View for gemini.logological.org › efisk.gmi captured on 2021-12-05 at 23:47:19. Gemini links have been rewritten to link to archived content
⬅️ Previous capture (2021-11-30)
-=-=-=-=-=-=-
PIs: Andreas Dengel (DFKI GmbH), Tristan Miller (DFKI GmbH)
Laufzeit: 1.4.2004 – 31.3.2005
Förderung: Stiftung Rheinland-Pfalz für Innovation
Arbeitsrichtung: Information Retrieval, Automatische Schlüsselwort-Extraktion
Die Suche nach Informationen in Texten ist eine Problemstellung, die im Information-Retrieval (IR) untersucht und von einer klassischen Aufgabenstellung dominiert wird: Ein Nutzer stellt ad-hoc eine Suchanfrage und möchte als Antwort möglichst alle relevanten Dokumente einer Kollektion erhalten. Während die Präzision der bestehenden Systeme über Jahre hinweg nicht wesentlich zu steigern war, ermöglicht die Einbeziehung multi-modaler Interaktionen in den Suchprozess, wie z.B. gestisches und visuelles Feedback, inzwischen eine Verbesserung der Ergebnisse.
Ziel von eFISK war die Entwicklung eines Systems, das beim Lesen automatisch jene Wörter und Passagen identifiziert, die für den Leser von besonderem Interesse sind. Die extrahierten Schlüsselwörter werden dann in einem Information-Retrieval System dazu benutzt, Dokumente zu identifizieren, die ähnliche Schlüsselwort-Konstellationen aufweisen und deshalb für den Leser interessant sein könnten. Im Gegensatz zu traditionellen IR-Techniken, die Dokumente ausschließlich auf Grundlage der verwendeten Terminologie miteinander vergleichen, berücksichtigt eFISK zusätzlich die unterschiedlichen Gewichtungen, die der Nutzer durch seine Aufmerksamkeitsverteilung implizit bestimmten Wörtern und Textpassagen zuweist. Hierzu werden mithilfe einer auf dem Schreibtisch platzierten Infrarot-Kamera die Augenbewegungen erfasst und zeitnah unterschiedliche Parameter wie Blickrichtung, Pupillengröße und Verweildauer ermittelt (Abb. 1). Nachdem man aus der psycholinguistischen Theorie weiß, dass Fixierungen (Blicke, die über einen längeren Zeitraum an einer Position verweilen) mit erhöhter Aufmerksamkeit und Konzentration einhergehen, lassen sich anhand dieser Daten die maßgeblichen Wörter und Übergänge erschließen. Das Durchblättern und Überfliegen von Sequenzen ist demgegenüber durch Sakkaden (rasche Sprünge von einem Bereich zum Nächsten) gekennzeichnet.
Um die Leistungsfähigkeit von eFISK zu testen, haben wir das System in unterschiedlichen Kombinationen erprobt und mit Standardverfahren verglichen. Dabei gingen wir folgendermaßen vor: Wir lizensierten die German Indexing and Retrieval Test (GIRT) Datensammlung, welche Teil des Cross-Language Evaluation Forum (CLEF)-Corpus ist. Die GIRT-Dokumente bestehen aus kurzen Zusammenfassungen akademischer Artikel. Jedes Dokument wurde von Experten einer oder mehreren Themenkategorien zugeordnet. Als Information-Retrieval-Maschine wählten wir InQuery, eine Suchmaschine, die am Center for Intelligent Information Retrieval (CIIR) an der University of Massachusetts entwickelt wurde. Als Testpersonen für das Eye Tracking-Experiment dienten zwanzig Studierende der Universität des Saarlandes. Ihre Aufgabe bestand darin, in der Rolle eines Forschungsassistenten sechs Artikel zu überfliegen und deren Relevanz für ein - zuvor sorgfältig studiertes - Referenzdokument, das das Thema vorgab, zu beurteilen. Aus den vom Eye Tracker gelieferten Daten wurde für jedes einzelne Wort die Fixierungszeit berechnet. Die Wörter mit ihren Fixierungszeiten wurden anschließend dazu verwendet, eine Suchanfrage an die Information-RetrievalMaschine zu generieren oder die auf Grundlage des Referenzdokumentes formulierte ursprüngliche Anfrage zu erweitern.
Als Vergleichsverfahren dienten:
Referenzdokument als Anfrage (RefDoc): Hierbei wird das Referenzdokument als Grundlage für die Anfrage an das IR-System verwendet.
Relevance Feedback (RF): Für das RF muss der Benutzer die zurückgelieferten Dokumente als “relevant” bzw. “nicht relevant” bewerten (explizites Feedback). Aus diesen Bewertungen wird zusammen mit der auf Grundlage des Referenzdokumentes erstellten ursprünglichen Suchanfrage eine neue verbesserte Anfrage berechnet.
Pseudo-Relevance Feedback (PRF): Beim PRF werden die ersten n Dokumente der Ergebnisliste als “relevant” interpretiert und mit der auf Grundlage des Referenzdokumentes erstellten ursprünglichen Suchanfrage verrechnet. Bei unseren Tests hat sich n = 5 als optimal erwiesen.
Die kombinierten Eye-Tracking Verfahren waren:
Top n Keywords (Top n): Bei diesem Verfahren besteht die Suchanfrage aus den n Schlüsselwörtern mit den höchsten Gesamtfixierungszeiten. Für unsere Datensammlung hat sich n = 30 als optimal erwiesen.
Weighted Keywords (Weighted): Bei den Weighted Keywords werden die Schlüsselwörter entsprechend ihrer jeweiligen Fixierungszeit gewichtet. Dabei spielen zwei Parameter eine Rolle: ein konstanter Faktor für die Gewichtung und ein glättender Wert, mit dem Terme gewichtet werden, für welche die Gesamtfixierungszeit 0 ist. Dieses Glätten ist im Englischen als “Smoothing” bekannt.
Top n Keywords + Referenzdokument (Top n + RefDoc): Hier setzt sich die Anfrage aus den n Schlüsselwörtern mit den höchsten Gesamtfixierungszeiten und dem Referenzdokument zusammen. Bei unseren Experimenten hat sich n = 60 als optimal erwiesen.
Abbildung 2 zeigt die Average Precision at seen Relevant Documents der verglichenen Verfahren unter Berücksichtigung der ersten 50 zurückgelieferten Dokumente. Von den Eye Tracking-basierten Verfahren ist “Top 60 + RefDoc” mit großem Abstand das beste. Es übertrifft bei den ersten 30 Dokumenten die Ergebnisse des Relevance Feedback und des Pseudo Relevance Feedback Verfahrens deutlich.
Die Berücksichtigung weiterer Eye Tracker-Informationen wie z.B der Pupillengröße und Sakkaden verbessert die Ergebnisse zusätzlich, ebenso der Einsatz von Self Organizing Maps.
Während Standardsuchverfahren zur Identifizierung weiterführender Informationsquellen den kompletten Dokumentinhalt als Basis heranziehen und damit notgedrungen eine Vielzahl irrelevanter Daten mit berücksichtigen, stützt sich eFISK auf jene Abschnitte eines Dokumentes, denen seitens des Nutzers die größte Aufmerksamkeit zuteil wurde. Ohne Mehraufwand und die Formulierung komplexer Suchanfragen ermöglicht dies eine wesentlich effizientere und zielgenauere Suche. Die Technologie von eFISK wird im Nachfolgeprojekt „MyMory“ weiterentwickelt.
Last modified: 2021-08-08 21:36 CEST