Das Umschrift-Tool von Qalamos: Entwicklung, Umsetzung, Anwendung

Von Michael Becker und Yoones Dehghani Farsani

Bei der Arbeit im Portal tragen wir jeden Tag viele Namen und Titel ein, und das in dreifacher Form! Für jede Person und jeden Titel nutzen wir die DIN 31635-Umschrift, die an der Umschrift der Deutschen Morgenländischen Gesellschaft angelehnt ist, sowie die Umschrift der Library of Congress (LoC) für die englischsprachigen Datenbanknutzer:innen. Dazu kommt die originalschriftliche Form der Titel und Personen-Namen in ihren verschiedenen Funktionen wie Verfasser, Schreiber, Zusammensteller, Leser usw. Wir haben uns gefragt, wie wir uns diese Arbeit erleichtern können. Die Entwicklung eines Umschrift-Tools, das diese Arbeit beschleunigt und möglichst viele Flüchtigkeitsfehler verhindert, ist ein wertvoller Schritt, um letztendlich das angestrebte Ziel des Portals zu erreichen, nämlich die Metadaten zu über 28 000 handschriftlichen Objekten in Qalamos zugänglich zu machen.

Drei Schriftformen: Deutsch, Englisch, Originalschrift

Ein Teil unserer täglichen Arbeit im Portal Qalamos besteht aus der Erfassung der deutschen (DIN 31635) und der englischen (LoC) Transkription sowie der originalschriftlichen Form der Titel von Handschriften. Die tägliche Beschäftigung mit dieser Aufgabe kann nicht nur schnell monoton und ermüdend werden, sie kann auch zum Auftauchen von ungewollten Fehlern führen. Die Erstellung einer sauberen und korrekten Umschrift erfordert immer hohe Konzentration. Die naheliegende Frage war also: gibt es eine technische Möglichkeit, diese Arbeit zu erleichtern und damit sowohl wertvolle Zeit zu sparen, als auch Flüchtigkeitsfehler zu vermeiden? Dafür haben wir uns mit Methoden aus dem Bereich der Digital Humanities vertraut gemacht.

Digital Humanities und die Anwendung von digitalen Tools in der Forschung sind das Gebot des Tages; die Anwendung von computergestützten Methoden wird auch in den Geisteswissenschaften immer wichtiger. Um mich damit vertraut zu machen, besuchte ich (Yoones) bereits 2014 und 2015 zwei einwöchige Workshops in Göttingen und Leipzig, wo ich unter anderem eine Einführung in die Programmierung mit Python erhielt. Dazu kommt meine Erfahrung in der Programmierung mit QBasic in der Schule, Ende der 1990er Jahre. Da ich seither aber kaum mit diesen Kenntnissen gearbeitet habe und sie auch in meiner Forschung nicht angewandt hatte, hatte ich vieles wieder verlernt.

Abb. 1: Felder im Reiter „Personen“ bei einem Handschriften-Eintrag, die händisch befüllt werden mussten

Schnell und präzise: Lösung für ein „Problem“

Am 20. November 2021 besuchte ich die Tagung „Digital Humanities and Islamic Studies: Online Workshop“, organisiert vom Oxford Centre for Islamic Studies. Im Rahmen dieser Veranstaltung wurde ein Transkriptions-Tool vorgestellt, entwickelt im CAMel Lab der New York University Abu Dhabi, mit dem man durch die Anwendung von Künstlicher Intelligenz arabische Texte mit über 90%-iger Genauigkeit in LoC-Umschrift umwandeln kann.1 Ich war von diesem Tool begeistert, weil es eine meiner täglichen Aufgaben betraf. Das Problem war jedoch, dass wir hundertprozentige Genauigkeit in der Umschrift brauchen. Deshalb begann ich, darüber nachzudenken, ob und wie eine so hohe Präzision erreicht werden kann. Dabei bin ich auf die Idee gekommen, dass man wohl von der Umschrift ausgehen sollte und nicht vom originalsprachlichen Text. Denn bei dem vorgestellten Tool war das Fehlen von arabischen Kurzvokalen der Hauptgrund für die fehlende hundertprozentige Genauigkeit. Ein präziser Input, der auch die Kurzvokale beinhaltet, wird sicherlich zu einem präzisen Output führen, so meine Idee. Mit einer einzelnen Eingabe kann man somit verschiedene Umschrift-Formen und die originalschriftliche Form fehlerfrei generieren.

Später, als ich mich mit dem Verfassen des Skriptes befasste, stellte sich heraus, dass die Sache nicht so einfach war, wie ich das mir vorgestellt hatte. Trotzdem war diese Idee der Schlüsselgedanke, der den Weg zum Entwurf eines Skripts ebnete, das später zur Entwicklung des Umschrift-Tools führte.


Das Skript wird zusammengestellt

Python wird aus verschiedenen Gründen als die einfachste Programmiersprache bezeichnet: Erstens ist sie der menschlichen Sprache sehr ähnlich und deshalb leicht erlernbar. Vor allem muss man keine komplizierte Syntax lernen. Zweitens hat Python aufgrund der großen Beliebtheit eine große Nutzer:innencommunity. So lassen sich viele Probleme, die einem bei der Programmierung begegnen, mit Hilfe von Online-Tutorials und Q&A lösen.

Vor diesem Hintergrund begann ich, mich erneut mit Python zu befassen, und zwar mit Hilfe des YouTube-Channels von Microsoft, wo in 40 kurzen Videos (5 bis 12 min) die Grundlagen des Programmierens mit Python vermittelt werden. Dabei habe ich versucht, mich bei allen Übungen, welche die Lehrenden in Videos zeigten, auf meine Fragestellung zu konzentrieren. Das Lernen lief gut, trotzdem war ich immer noch nicht sicher, ob dieser Weg zum Erfolg führen würde. Was mich dabei weiterhin motivierte, war einfach die Freude, etwas Neues im Bereich Digital Humanities zu lernen. Bald hatte ich die Stellen im Online-Kurs erreicht, wo vermittelt wurde, wie man String A zu String B umwandeln kann. Das war genau das, was mir helfen konnte, einen Titel oder einen Namen in einer anderen Schrift bzw. in derselben Schrift, aber einer anderen Form wiederzugeben!

Nachdem ich die Formeln zum Umwandeln von Strings gelernt hatte, begann ich im nächsten Schritt die Umschrift-Regeln nochmals genau zu studieren, um exakt zu wissen, wie man von der Input-Umschrift zur Output-Umschrift kommen kann. Unter anderem lernte ich dabei, dass die LoC-Umschrift sich mehr am rasm (dem Grundgerüst des Geschriebenen) eines Wortes oder einer Wortkombination orientiert, als an der Aussprache derselben. In einigen Fällen fand ich die LoC-Umschrift ausdifferenzierter als die DIN-Umschrift: zum Beispiel werden tāʾ-marbūṭa und alif-maqṣūra in der DIN-Umschrift nicht ausgeschrieben (bis auf den Fall, dass tāʾ-marbūṭa in der Genitiv-Form wiedergegeben wird); außerdem wird alif-maqṣūra wie ein normales alif (ā) wiedergegeben.

Als ich alle notwendige Kenntnisse beisammen hatte, stellte ich an einem Wochenende die Grundlage des Skriptes zusammen und schickte es an die IT-Fachleute, die das Projekt unterstützen, so dass sie das Skript in Form eines Umschrift-Tools umsetzen konnten.

Umsetzung des Skripts als Tool

Aufbauend auf der guten Vorarbeit konnte das Tool relativ unkompliziert in Qalamos integriert werden. Im Zuge der Entwicklung haben wir uns dazu entschieden, die Umschrift-Generierung sowohl für interne Bearbeiter:innen bereitzustellen als auch für externe Nutzer:innen zugänglich zu machen. Für die Bearbeiter:innen findet sich eine direkte Integration in den Arbeitsfluss, so dass keine zusätzlichen Schritte notwendig sind.

Beide Zugänge sind über eine REST-Schnittstelle verfügbar, mit der die verschiedenen Umschriften programmatisch abgefragt werden können. Diese ist unter https://www.qalamos.net/TransliterationServlet erreichbar und hat die beiden Parameter method (in2ara, in2dmg, in2loc oder in2rak zur Generierung der entsprechenden Umschrift) und input (zur Übergabe der Input-Umschrift). Als Resultat wird ein JSON-Array in der Form „Eingabe“:“Umschrift“ zurückgeliefert. Für externe Nutzer:innen sowie als Testumgebung ist das Tool darüber hinaus als Webseite verfügbar.2

Alle Umwandlungen im Tool basieren auf der sequentiellen Abarbeitung von String-Ersetzungen. Dazu wurden die Ersetzungen aus dem Python-Skript in eine externe Datei ausgelagert, die wieder eingelesen wird. Dies bietet eine schnelle und einfache Möglichkeit, eventuell vorhandene Fehler zu beheben und neue Umwandlungen in bisher noch nicht vorhandene Transliterationssysteme zu integrieren. Ein Ausschnitt aus einer Ersetzungsdatei findet sich in der folgenden Abbildung beispielhaft an der Umwandlung der Eingabe in die LoC-Umschrift.

Abb. 2: Ausschnitt aus einer Ersetzungsdatei in JavaScript

 

Entsprechend der Darstellung werden zunächst alle vorhandenen bi-‘l in bi-al- umgewandelt, anschließend alle vorhandenen bi-‘d in bi-al- usw. Durch die sequentielle Abarbeitung ist es möglich, Vorverarbeitungsschritte zur Bereinigung der Eingaben durchzuführen. Dies wird insbesondere bei der Generierung der arabischen Originalschrift genutzt.

Die Testumgebung des Tools ist in der Abbildung unten dargestellt. Hier werden anhand der Eingabe die verschiedenen Umschriften sowie die arabische Originalschrift erstellt. Zur Generierung wird die REST-Schnittstelle vier Mal angesprochen, da jede Umwandlung als eigene Methode implementiert ist. Ein Aufruf zur Umwandlung ins Arabische aus der Abbildung ist dann entsprechend https://www.qalamos.net/servlets/TransliterationServlet?method=in2ara&input=Ǧalāl-ad-Dīn ʿAbd-ar-Raḥmān Ibn-Abī-Bakr as-Suyūṭī. Analog zur Testumgebung wird bei der Nutzung des Eingabeformulars durch interne Bearbeiter:innen die REST-Schnittstelle genutzt.

Abb. 3: Beispiel für einen mit dem Tool generiertem Personennamen (die DMG-Umschrift wird momentan nicht berücksichtigt)

Testphase und Integration ins Portal

Nachdem das Skript als Umschrift-Tool ins Portal integriert und allen Kolleg:innen zugänglich war, begann eine Testphase. Im Arabischen gibt es immer wieder Unregelmäßigkeiten in der geschriebenen Form eines Wortes und das Skript muss auch diese Ausnahmefälle korrekt generieren können. Aus diesem Grund wurde das Tool zunächst eine Zeit lang von den Mitarbeiter:innen des Projektes getestet, um möglichst viele Unregelmäßigkeiten zu finden. Nach zwei Monaten wurde die verbesserte Version des Skripts den IT-Fachkollegen zur Verfügung gestellt, damit sie entsprechend der neuen Version des Skriptes die Funktion des Tools aktualisieren.

Abb. 4: integriertes Tool im Werkdatensatz

Aktueller Stand und Ausblick

Inzwischen ist das Umschrift-Tool im Portal integriert und wird von den Mitarbeiter:innen verwendet. Momentan lässt sich im Werk-Modul durch Eingabe einer teilweise modifizierten DIN-Umschrift die korrekte DIN- und LoC-Umschrift sowie die arabischen Originalform generieren. Dies wird bald auch in Personen-Modul möglich sein. Darüber hinaus planen wir, neben der Standardumschrift der deutschen Bibliotheken (DIN 31635) die Normdaten3 auch im Umschriftsystem der Deutschen Morgenländischen Gesellschaft (DMG) zu präsentieren. Dabei wird ein neues Skript entwickelt, welches die DIN-Umschrift direkt in die DMG-Umschrift umwandelt. Dies ist inzwischen im Umschrift-Tool eingebaut und befindet sich in der Testphase. Im weiteren Verlauf des Projekts Qalamos werden neben dem Arabischen noch weitere Schriften eine größere Rolle spielen. Aus diesem Grund ist langfristig auch die Integration anderer Umschriftsysteme denkbar. Digitale Tools zur Optimierung der Arbeitsergebnisse und –Prozesse tragen nicht nur dazu bei, die Arbeitsqualität in repetitiven Aufgaben in den Geisteswissenschaften zu erhöhen, sondern auch gleichzeitig Zeit und Kosten zu sparen.

Cite this article as: Yoones Dehghani Farsani, "Das Umschrift-Tool von Qalamos: Entwicklung, Umsetzung, Anwendung," in Alte Kataloge in neuem Gewand. Blog des DFG-Projekts Orient-Digital, 10/02/2023, https://od-portal.hypotheses.org/1750.
  1. Titel des Vortrags: „Arabic Language Processing Tools and Resource from CAMeL Lab“, präsentiert von Nizar Habash. Siehe: https://www.oxcis.ac.uk/events/digital-humanities-and-islamic-studies. []
  2. https://www.qalamos.net/content/transliteration.xed []
  3. Siehe hierzu Colinda Lindermann, “Das Werkmodul in Qalamos”, in Alte Kataloge in neuem Gewand. Blog des DFG-Projekts Orient-Digital, 10/06/2022, https://od-portal.hypotheses.org/850 []

Resümee 2. Halbjahr 2022

Ein frohes neues Jahr wünschen wir allen Leser:innen! Mit dem Beginn des Jahres 2023 befinden wir uns im letzten Halbjahr der aktuellen Projektphase. In diesem Blogbeitrag geben wir einen Überblick über die Arbeit der vergangenen sechs Monate, eine personelle Veränderung und die nächsten Arbeitsschritte.

„Resümee 2. Halbjahr 2022“ weiterlesen

Resümee 1. Halbjahr 2022

Am Ende des 1. Halbjahrs 2022 war es endlich soweit: Qalamos ging live!

Damit ist eines der zentralen Ziele, worauf wir die vergangenen zwei Jahre hingearbeitet hatten, erreicht. Das Portal und die darin enthaltenen Daten sind nun für alle Forscher*innen und Interessierten zugänglich. In diesem Blogbeitrag geben wir einen Überblick über die Arbeit der vergangenen 6 Monate, die nächsten Arbeitsschritte sowie personelle Veränderungen.

„Resümee 1. Halbjahr 2022“ weiterlesen

Vom Suchen und Finden in Qalamos

Von Larissa Schmid

Die Optimierung der Suche ist einer der wichtigsten Bereiche in der Entwicklung von Qalamos. Dabei binden wir – wo immer es möglich ist – die Meinung von Nutzenden oder Kolleg:innen in den Entwicklungsprozess ein. Unser Entwicklerteam in Leipzig steckt viel Zeit und Energie in die Entwicklung der Suche und wird auch nach dem Launch weiter an dem Thema arbeiten.

„Vom Suchen und Finden in Qalamos“ weiterlesen

Filterfunktionen in Qalamos

Von Torsten Wollina

Wer kennt es nicht? Eine Suchanfrage war so „erfolgreich“, dass die Ergebnisanzeige noch eine fast unüberschaubare Zahl von Angeboten enthält. Man hat in so einem Fall trotz der Suche das Gefühl, die gesamte Datenbank nach den wenigen gewünschten Datensätzen durchforsten zu müssen. An dieser Stelle kommt eine neue Funktionalität von Qalamos ins Spiel: Die Filter.

„Filterfunktionen in Qalamos“ weiterlesen

Das Werkmodul in Qalamos

Von Colinda Lindermann

Eine der wichtigsten Neuerungen in Qalamos im Vergleich zu den älteren MyCoRe-Anwendungen ist das Werkmodul. Es enthält Normdaten für Werke, die wiederum mit den Datensätzen von Handschriften und Personen (vor allem Verfassern) verknüpft sind.

Darüber hinaus enthält ein Werkdatensatz Links zu anderen Werken, zu denen ein inhaltlicher Bezug besteht. So kann man dem intertextuellen Geflecht aus Grundtexten und ihren Kommentaren, Glossen, Zusammenfassungen und Übersetzungen nachspüren. In diesem Beitrag werde ich anhand des Rhetorikhandbuchs Miftāḥ al-ʿulūm des Yūsuf Ibn Abī Bakr as-Sakkākī (gest. 626/1229) zeigen, welche Vorteile das Werkmodul den Nutzer:innen bietet.

„Das Werkmodul in Qalamos“ weiterlesen

Alte Kataloge in neuem Gewand: zum Design des Portals Qalamos

Von Michaela Hoffmann-Ruf

Schon zu Beginn des Projektes im Sommer 2020 war uns allen klar, dass unsere Datenbank nicht allein in technischer Hinsicht weiterentwickelt werden musste. Auch die Entwicklung eines neuen Design-Konzeptes war bereits im Antrag fest eingeplant. Modern sollte es sein, klar strukturiert, Nutzer*innen-orientiert und natürlich barrierefrei. Und dabei auf gar keinen Fall „orientalisierend“ – dies war ein ganz wichtiges Kriterium!

„Alte Kataloge in neuem Gewand: zum Design des Portals Qalamos“ weiterlesen

Resümee 2. Halbjahr 2021

Mit dem letzten Halbjahr begann gleichsam das zweite Jahr des DFG-Projektes „Orient-Digital“. Die Arbeit am Portal ist weit vorangekommen – es hat sogar einen neuen Namen erhalten: Qalamos. In diesem Blogbeitrag werfen wir einen Blick zurück – und nach vorn.

„Resümee 2. Halbjahr 2021“ weiterlesen

Ein promovierter Biologe bei der Arbeit mit orientalischen Handschriften

Von: Dr. Ghazwan Kanbar

Seit September 2020 arbeitet Dr. Ghazwan Kanbar im Projekt „Orient-Digital“ an der Staatsbibliothek zu Berlin. In diesem Beitrag stellt er sich und seine Arbeit kurz vor.

„Ein promovierter Biologe bei der Arbeit mit orientalischen Handschriften“ weiterlesen
Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search