Qalamos im Test – Einblicke in ein Information Retrieval-Verfahren

_{Von Katja Jana}

In einem siebenmonatigen Praktikum im DFG-Projekt „Orient-Digital“ in 2021 konnte ich die Entstehung von Qalamos ein gutes Stück begleiten. Es lag also nahe, auch meine MA-Arbeit in Bibliotheks- und Informationswissenschaften im Projekt anzusiedeln. Da Qalamos kurz vor dem Launch stand, bot sich ein Information Retrieval Test mit einem Prototyp des Portals an. Dazu führte ich von Februar bis Mitte April 2022 Interviews und Tests mit zehn Proband:innen durch.

Leitfragen dieser Studie waren, wie sich eine neuartige Informationsinfrastruktur wie Qalamos anhand von Nutzer:innenbedürfnissen evaluieren lässt, welche Probleme und Themen bei der Recherche aufkommen und wie sich die Suchfunktionen verbessern lassen. Das Forschungsdesign orientierte sich an den Besonderheiten des Information Retrievals¹ in einem mehrsprachigen Portal mit Handschriften aus diversen Handschriftentraditionen.

Vorbereitung und Durchführung der Tests

Über Zoom fanden sowohl die Vorgespräche als auch die eigentlichen Tests mit Proband:innen in den USA, Tschechien, Israel und an verschiedenen Orten in Deutschland statt. Die vertretenen Fächer waren Kunstgeschichte, Islamwissenschaft, Arabistik, vergleichende Literaturwissenschaft, Religionswissenschaft, Osmanistik/Ottoman Studies, Iranistik, Turkologie, Geschichtswissenschaft, Mediävistik, Pharmazie, Wissenschaftsgeschichte, Middle Eastern Studies, Hellenic Studies, Mediterranean Studies, Ecumenical Studies, Hebrew and Jewish Studies. Alle Teilnehmenden kamen von Universitäten oder außeruniversitären Forschungseinrichtungen, davon eine Person mit MA-Abschluss und neun promovierte Proband: innen, darunter zwei Professor:innen.

Die Vorgespräche von jeweils dreißig Minuten dienten dazu, die Erfahrungen, Erwartungen und Informationsbedürfnisse der Proband:innen zu erfassen, mit dem Ziel, ein möglichst passgenaues Testszenario zu konzipieren.² Auf Nachfrage nannten die Proband:innen insgesamt 22 andere Onlinekataloge für orientalische Handschriften, die sie meist als gut bis zufriedenstellend befanden.

Die Teilnehmer:innen gaben an, das neue Portal für eine Bandbreite unterschiedlichster Recherchen nutzen zu wollen. Von Titel- und Signatursuchen über Provenienz der Katalog- und Metadaten und Dukti des Hebräischen bis zur Suche nach seltenen bisher eher unbekannten Handschriften und Genres, zum Beispiel kleine Notizbücher und Materialen für den Unterricht nannten sie 39 verschiedene Aspekte. Die Erwartungen an Qalamos, die in den Interviews geäußert wurden, waren ähnlich vielfältig. Hier formulierten die Proband:innen insgesamt 38 verschiedene Anforderungen: Anleitungen zur Suche, intuitive Benutzung, Feedbackmöglichkeiten für die einzelnen Einträge, Fehlertoleranz, Transparenz über die verwendete Umschrift, einheitliche Transkription, Auffindbarkeit einzelner Teile von Sammelhandschriften, Links zwischen verschiedenen Exemplaren der gleichen HS, Suche nach bestimmten Alphabeten, Vorhandensein von Digitalisaten, Angabe von Sekundärliteratur, Angaben zur Sacherschließung (warum werden bestimmte Schlagwörter benutzt), Metadaten-Harvesting, Open Access, Downloadmöglichkeiten u.a. Aufgrund der unterschiedlichen Informationsbedürfnisse und Interessen der Proband:innen entschied ich mich für ein möglichst offenes Design der Tests, um möglichst viele Features des Portals testen zu können: Den Teilnehmer:innen würden fünf verschiedene Suchanfragen gestellt, darunter je eine Titel-, Personen- und thematische Suche, sowie zwei freie Suchen.

Die Tests selber waren als Usability- und Ux-orientierte Information Retrieval Tests unter Einbeziehung der Think-Aloud Methode konzipiert.³ Ein userorientierter Ansatz bietet gewisse Vorteile gegenüber einem rein technischen Retrieval Test. Der Methodenmix und die Einbeziehung der Perspektive der Nutzer:innen kann ein genaueres Bild über die Qualität des Retrieval ergeben.⁴ In einem User- und Usability-orientierten Test kann das Informationsverhalten der Proband:innen in die Bewertung und Verbesserung des Systems einfließen. Ein Nachteil der gewählten Methode liegt darin, dass User- und Usabilityzentrierte Studien Hinweise zur Verbesserung eines bestimmten Systems geben können, sie liefern aber keine Ergebnisse hinsichtlich der Vergleichbarkeit mit anderen Systemen.))

Bei einem Retrievaltest kann die Treffervollständigkeit (Recall) und die Treffergenauigkeit (Precision) gemessen werden.⁵ In dem vorliegenden Test konnten keine Aussagen über den Recall getroffen werden, da keine Angaben zu allen relevanten Treffern einer Suchanfrage vorlagen. Die Suchanfragen konzipierten die Teilnehmer:innen spontan selbst und bewerteten anschließend die ersten zehn Suchergebnisse am Ende ihrer Suche nach Relevanz. Insgesamt verteilten sich die Suchen, aufgeteilt nach Sucheinstiegen und Sprachen, wie folgt:

Im gesamten Testverlauf gab es 179 Suchanfragen, davon werteten die Proband:innen fünfzig nach Relevanz aus. Diese Auswertung der Treffergenauigkeit ergab eine Precision von 1, also eine Relevanz von 100% in 19 von 50 der ausgewerteten Suchergebnisse. Zusammen mit den Suchanfragen, die eine Precision von 0,9 aufwiesen, ergab dies 48%, was heißt, dass knapp die Hälfte aller ausgewerteten Suchanfragen zu relevanten Ergebnissen führte. Weitere 8% der Anfragen hatten eine Precision von 0,7. Null relevante Treffer weisen 12 % der Anfragen auf.

Bewertet nach der jeweiligen Suchoberfläche ergibt sich ein recht ähnliches Bild mit nur geringen Abweichungen: Die durchschnittliche Relevanz für die englischsprachige Suche lag bei 0,62%, die deutschsprachige bei 0,6. Die Relevanz getrennt nach Suchanfragen betrachtet, ergibt folgendes Bild:

Auch aus der jeweiligen Treffergenauigkeit der fünf Suchanfragen lassen sich keine signifikanten Unterschiede ablesen: Die größte Precision liegt bei den Titelanfragen mit knapp 0,7, gefolgt von der ersten freien Suche und der Stichwortsuche. Die reine Personensuche war am wenigsten erfolgreich.

User und Usability-zentrierte Auswertung der Retrieval Tests

Aus der Usability-zentrierten Betrachtung der Retrieval-Tests ergaben sich bestimmte Themenfelder, die der Analyse dienten: Das wären zunächst die Mensch-Maschine-Interaktionen in Form von Eingaben in die Suchmaske, Scrollen durch die Suchergebnisse, das Anklicken und Anschauen von Filtern, die nähere Betrachtung von Treffern, indem die Katalogeinträge angeklickt werden oder das Erstellen personalisierter Trefferlisten. Ein weiteres Untersuchungsfeld waren die Kommentare der Proband:innen zu den Suchergebnissen oder zur Interaktion mit dem Suchschlitz, und nicht zuletzt die Besonderheiten von Qalamos im Retrieval, die z.B. Transliterationssysteme betreffen.

Beispiele aus dem Themenfeld „Navigation“ waren in einigen Tests die Schwierigkeit, Digitalisate zu finden bzw. zu erkennen, ob eines vorhanden ist, Einträge als Sammelhandschriften zu identifizieren, Unklarheiten über das Ranking der Treffer, sowie die Navigation in der Trefferliste, wenn sehr viele Treffern aus dem Bildmodul angezeigt wurden. Vorhandene Verlinkungen kommentierten die Proband:innen meist positiv. Probleme traten meist bei generischen Namen oder Wortendungen/-teilen auf, für die es eine Vielzahl von unterschiedlichen Schreibweisen gibt, wie etwa nama, -name, -nāme, -nāma. Generell bereiteten Bindestriche, die Izafet, lange Vokale und deren Kennzeichnung oder der arabische Artikel Schwierigkeiten bei der Suche. Am Beispiel „Kemalpaşazade“ zeigen sich einige dieser Hürden besonders deutlich: Im Personeneintrag waren zum Testzeitpunkt siebzig Namensvarianten vorhanden (ein Ausschnitt davon ist in der Abbildung unten zu sehen), aber dennoch führt eine Suche mit Kemalpashazadeh und Kamalpashazade zu null Ergebnissen.

Im Folgenden beleuchte ich zwei Aspekte, die für Fragestellungen im Retrieval zentral sind: die Suchstrategien und die Auswirkungen der Suchplattform Solr auf die Suche.

Suchstrategien

Bei den Suchstrategien der Probandinnen lassen sich drei Wege unterscheiden: die strategische Suche, Trial-and-Error und das Browsen der Suchergebnisse. Bei der strategischen Herangehensweise evaluierten die Proband:innen eine erste Suchanfrage, um diese gegebenenfalls in mehreren Schritten zu verbessern, bzw. zu filtern. Trial-and-Error beschreibt eine eher intuitive Herangehensweise. Manche Proband:innen wandten sie an, wenn eine Suche nicht so erfolgreich war, oder auch einfach so, um etwas auszuprobieren: sie gaben hintereinander eine Vielzahl von Suchbegriffen ein, ohne die Trefferliste intensiver zu evaluieren. Ein dritter Weg der Proband:innen nach relevanten Treffern zu suchen war, durch die Trefferliste zu browsen und dabei mehr oder weniger zufällig gar nicht explizit gesuchte Einträge zu finden.

Die Suche mit Solr

Es stellt sich die Frage, warum mit -nama/-name etc. nichts gefunden wird, wenn laut der Dokumentation der genutzten Suchplattform Solr Wörter mit Ziffern und Bindestrichen nicht getrennt werden (ClassicTokenizer15).⁶ Die Erklärung liegt in den verschiedenen Datentypen in Solr (StrField und TextField). Nur TextField erlaubt eine weitere Verarbeitung in der Suche. Bei Feldern, die als StrField definiert sind, muss also die exakte Zeichenkette eingeben werden, damit darin etwas gefunden werden kann. Es kommt also darauf an, in welchem Feld die gesuchte Zeichenfolge steht, ob sie weiter verarbeitet wird oder nur die exakte Zeichenfolge gefunden wird.

Das macht die Titelsuche kompliziert, denn unter Umständen wird entweder nur der exakte Begriff gefunden oder auch Varianten. Zum Beispiel bringt die Titelsuche für Kanunname 5 Treffer. Vier davon entsprechen der Schreibweise der Suche, ein Eintrag in einer Sammelhandschrift lautet Ḳānūnnāme-i Cedīd. Einträge mit anderen Schreibweisen, zum Beispiel Qānūn-nāme, die in der Volltextsuche gefunden werden, erscheinen nicht. In einer Titelsuche nach Qānūn-nāme erscheint dieser nicht unter den ersten 50 Treffern. Bei einer Suche mit Kanun-name hingegen erscheinen unter den 50 Treffern auf der ersten Seite Einträge für Kanun oder Qanun und verschiedene -name (zu Beispiel Ṭuṭi-nāme, Hurşidname, Şatrançname-i kebîr, Marifet-nâme), aber kein einziger für Kanunname. Unter den ersten 10 Treffern ist kein einziger der Suchterme, Kanun oder name, enthalten. Leider lässt sich das Problem auch nicht damit lösen, den Bindestrich wegzulassen, wie in den Hinweisen zur Suche empfohlen wird, die nach dem Launch des Portals am 28. Juni 2022 zugänglich waren. Dies führt zwar zu besseren Ergebnissen, lässt aber immer noch relevante Treffer aus. So findet sich bei einer Suche nach Kanun name kein einziger Treffer in der Schreibweise mit k. Diese werden nur mit der Suche nach Kanunname gefunden. Eine Suche nach Tuti name führt zu 8 Treffern, tutiname nur zu zwei Treffern. Davon ist einer in den 8 Treffern auch enthalten.

Sucheinstieg und -wege und Ranking in Solr

Verwirrung entstand bei manchen Proband:innen dadurch, dass sie über „Startseite-Alle“ suchen und dann Treffer erhalten, die sie nicht interpretieren können, da sie erwarten, eine Titelsuche gemacht zu haben; die Proband:innen wünschen sich Angaben dazu, wie das Ranking erfolgt. Etwa 50% der Teilnehmer:innen fragte nach den Kriterien des Rankings in der Trefferliste. In Solr geschieht dies über einen Algorithmus, der die Termfrequenz berechnet, also die Häufigkeit der Vorkommnisse der indexierten Zeichenkette im gesamten Dokument. Für Qalamos heißt dies, dass die gesamten Felder nach den jeweils festgelegten Regeln durchsucht werden. Inwiefern das Ranking, wie es momentan in Solr erfolgt, für Qalamos praktikabel ist, darüber muss in Zukunft nachgedacht werden. Eventuell müssen Verbesserungen und Anpassungen vorgenommen werden. Bei der Anpassung des Rankings der Trefferliste wäre zu beachten, dass unterschiedliche Informationsbedürfnisse zu unterschiedlichen Ergebnisse bei der Bewertung des Rankings führen.

“It looks good, works.”⁷ – Fazit und Ausblick

Die Proband:innen zeigten sich insgesamt zufrieden mit der Qualität der Einträge in Qalamos. Mehr Informationen wünschten sich einige zum Inhalt und zur Provenienz. Auf echte oder vermeintliche Fehler im Katalog wurde nur einmal hingewiesen. Das Retrieval kann ähnlich positiv gewertet werden. Gleichzeitig ergaben die Tests zahlreiche Anhaltspunkte für Verbesserungen. Sowohl aus den Kommentaren der Proband:innen als auch aus der hohen Anzahl an relevanten Treffern in der Relevanzbewertung, kann das Portal als effektiv bewertet werden. Vergleichswerte mit ähnlichen Portalen wären hier interessant und möglicher Gegenstand weiterer Untersuchungen. Die Filter wurden teilweise nur zögerlich angenommen oder gar nicht genutzt. Bedarf nach weiteren Filtermöglichkeiten besteht bei illustrierten Handschriften, Datumsangaben und detaillierten und exakteren Angaben zu Regionen. Einige Themenbereiche sahen die Proband:innen als zu weit oder zu eng an. Die unterschiedlichen Umschriftsysteme verursachen immer wieder Probleme, wie etwa die parallele Nutzung von Makron versus Zirkumflex für die Darstellung langer Vokale.

In einer weiteren Evaluation der Suchfunktionen des Portals könnte getestet werden, inwiefern ein Einsatz von Wildcards und Booleans die Probleme mit der Umschrift lösen und zu einer höheren Anzahl von relevanten Treffern führen kann. Die im Test angewandte Kombination von Relevanzberechnung und Userorientierter Evaluation lenkte den Blick auf Suchstrategien: Erschienen sie teilweise chaotisch und enthielten viele Suchanfragen null Treffer, führten die Recherchen am Ende aber doch zu relevanten Treffern. Zur weiteren Optimierung des Retrievals in Qalamos muss mindestens zweigleisig gefahren werden: Einerseits kann die Qualität der Katalogeinträge noch weiter verbessert werden, indem Anpassungen durchgeführt, Varianten und inhaltliche Informationen hinzugefügt und Standards angeglichen werden. Zudem besteht die Möglichkeit auf der technischen Seite, über Anpassungen und Verbesserungen in Solr das Retrieval zu optimieren. Inwiefern die Metadaten von Qalamos für Digital-Humanities-Projekte genutzt und die Daten von solchen Projekten wiederum in Qalamos eingebunden werden können, wird hoffentlich Teil weiterer Untersuchungen zum Portal sein.

1. Unter Information Retrieval versteht man den computergestützen Abruf von Informationen, meist aus Datenbanken. [↩]
2. Auf die hohe Varianz von Informationsbedürfnissen wird auch eingegangen in Christiane Behnert, Kim Plassmeier, Timo Borst, und Dirk Lewandowski, „Evaluierung von Rankingverfahren für bibliothekarische Informationssysteme“, Information – Wissenschaft & Praxis 70, Nr. 1 (1. Februar 2019): 14–23, https://doi.org/10.1515/iwp-2019-0004. Zur Bedeutung und den verschiedenen Definitionen des Begriffs Informationsbedürfnis in den Informations- und Bibliothekwissenschaften und dessen engem Zusammenhang mit einer userorientierten Forschung vgl. Charles Naumer und Karen Fisher, „Information needs“, in Encyclopedia of Library and Information Sciences , 2017, https://doi.org/ 10.1081/E-ELIS4. [↩]
3. Vgl. Vivien Petras, „Methoden für die Evaluation von Informationssystemen“, 2013. Zu Usability und User Experience vgl. Jens Jacobsen, Praxisbuch Usability & UX, 2. aktualisierte und erweiterte Auflage (Bonn: Rheinwerk Verlag, 2019); Vivien Petras, Juliane Stiller, und Maria Gäde, Building for Success? (Humboldt-Universität zu Berlin, 2013), https://doi.org/10.18452/21868. [↩]
4. Zur Informationsverhaltensforschung und Usability und Ux-zentrierten Evaluationsansätzen vgl. Hans-Christoph Hobohm, „A 12 Erhebungsmethoden in der Informationsverhaltensforschung“, in Grundlagen der praktischen Information und Dokumentation (Berlin: De Gruyter Saur, 2013), 139–42, https://doi.org/10.1515/9783110258264.139; Milena Dobreva und Pierluigi Feliciati, „User-Centric Evaluation of Digital Libraries: Three Case Studies“, Review of the National Center for Digitization 18 (2011): 1–14, https://eudml.org/doc/254444. [↩]
5. Recall = Anzahl der gefundenen relevanten Dokumente geteilt durch Anzahl aller relevanten Dokumente in der Datenbank; Precision = Anzahl der gefundenen relevanten Dokumente geteilt durch Anzahl aller gefundenen Dokumente. Vgl. Fachrichtung Informationswissenschaft Saarbrücken, „6. Recall und Precision | Informationswissenschaft, Saarbrücken Archiv“, zugegriffen 30. Juni 2022, https://saar.infowiss.net/projekte/ident/themen/info_aufbereitung/recall. [↩]
6. Becker, Michael, Thoralf Hanstein, und Jens Kupferschmidt. „Documentation_dptbase-Work.Pdf · Dptbase-Work_2020_06 · Mycore_applications / Common /Dptbase-Work“. GitLab. Zugegriffen 4. Juni 2022. https://git.sc.uni-leipzig.de/mycore_applications/common/dptbase-work/-/blob/dptbase-work_2020_06/documentation_dptbase-work.pdf. [↩]
7. Test 4, Minute 8:21. [↩]

---

---