BuB-Schwerpunkt zum Thema Sacherschließung
Aus dem Bereich der Sacherschließung, die im Zentrum dieses Blog-Beitrags stehen soll, ist zunächst zu berichten, dass der Themenschwerpunkt zur Sacherschließung aus Heft 1/2018 von BuB mittlerweile frei im Netz zugänglich ist. Sie finden das Heft im PDF-Archiv von BuB. Hier die Beiträge im Überblick:
Mein eigener Aufsatz, der auf meine Bitte hin schon bei Erscheinen des Hefts im Blog von BuB veröffentlicht worden war, war als Übersichtsbeitrag gedacht - gerade auch für Kolleginnen und Kollegen, die nicht soviel mit Sacherschließung zu tun haben. Ich habe mich dabei bemüht, die Entwicklungen der letzten Jahre zusammenzufassen und auch die derzeitige Situation zu charakterisieren.
Aktueller Bericht zur Praxis bei der DNB
Besonders hinweisen möchte ich auf den Artikel von Frau Mödden, Frau Schöning-Walter und Herrn Uhlmann, der einen aktuellen Bericht über den Stand der maschinellen Erschließung bei der DNB liefert. Dies ist besonders wichtig, da sich in letzter Zeit die Diskussion sehr stark (vermutlich zu stark) auf die Aktivitäten der DNB konzentriert hat. Hier kann man nun noch einmal genau nachlesen, wie der eingesetzte Mechanismus funktioniert.
Ein bisschen schade ist allerdings, dass darin nur relativ wenig zu den Ergebnissen der Stichprobenprüfungen gesagt wird (allerdings hatten wir AutorInnen auch klare und eher knappe Vorgaben dafür, wie umfangreich die Beiträge werden durften). Auf S. 35 heißt es zur Qualitätsprüfung: "Für den Jahrgang 2016 der Reihe O haben die Auswertungen zu dem Ergebnis geführt, dass etwa 78 Prozent der Schlagwörter in die Bewertungskategorien »sehr nützlich« bis hin zu »wenig nützlich« eingeordnet wurden, etwa 22 Prozent der maschinell vergebenen Schlagwörter sind falsch."
Auf einem Workshop bei der DNB im Dezember 2017, der sich an die Mitglieder der AG KVA und der Fachgruppe Erschließung wandte, wurden diese Ergebnisse (die auf 1.729 Stichproben beruhen) dankenswerterweise noch etwas ausführlicher vorgestellt:
- 27 % sehr nützlich
- 18 % nützlich
- 33 % wenig nützlich
- 22 % falsch
Für mich stellt sich dabei die Frage, ob man die "wenig nützlichen" Schlagwörter wirklich noch auf der Haben-Seite verbuchen kann. Ich persönlich vermute, dass diese zwar bei der Titelanzeige nicht sehr störend sind, aber bei der Recherche zu erheblichem Ballast führen. Wenn diese Einschätzung stimmt, müsste man die Zahlen wohl etwas anders bewerten - dann wären weniger als die Hälfte der vergebenen Schlagwörter hilfreich.
Eine weitere interessante Frage ist die nach wichtigen Schlagwörtern, die von der Maschine nicht zugeordnet werden konnten und folglich in der Titelanzeige und bei der Suche fehlen. Auch dies wird bei der Qualitätsprüfung durch die DNB-MitarbeiterInnen ermittelt. Für die Stichproben aus der Reihe O von 2016 lag der Recall, wie auf dem Dezember-Workshop berichtet wurde, zwischen 0,34 (bei 621.3 Elektrotechnik, Elektronik) und 0,82 (bei 150 Psychologie). Bei all diesen Zahlen darf man nicht vergessen, dass sie sich auf die Reihe O beziehen: Dort kann der Algorithmus auf der Basis der Volltexte arbeiten und nicht nur mit den Inhaltsverzeichnissen. Ich vermute deshalb, dass die Ergebnisse der Stichprobenprüfung bei der Reihe B deutlich schlechter ausfallen werden.
Strategische Überlegungen
Der Standardisierungsauschuss hat sich auf seiner letzten Sitzung im Dezember 2017 mit den Änderungen bei der Erschließung durch die DNB und möglichen weiteren Entwicklungen beschäftigt (vgl. den Protokollentwurf für die 32. Sitzung auf der DNB-Website, TOP 7 auf S. 10-13), nachdem dies auf der vorherigen Sitzung im Juni 2017 nur andiskutiert worden war. Die DNB war in diesem Zusammenhang auch damit beauftragt worden, einen Verfahrensvorschlag vorzulegen, der unter dem Titel "Initiierung eines Kooperationsprojekts zur Modernisierung der Erschließung und Informationsversorgung im D-A-CH-Raum" steht. Im Protokollentwurf heißt es dazu unter anderem:
"Die DNB schlägt vor die künftige Zusammenarbeit im Bereich der Erschließung und Informationsversorgung im Rahmen eines Kooperationsprojekts auszuarbeiten. Ziel sollte es sein u.a. Verabredungen zur Priorisierung von Nutzungsszenarien, zur Arbeitsteilung und zur Entwicklung und Einbindung neuer Verfahren zu treffen. Neben der Inhaltserschließung sollten dabei auch weitere Aspekte der Zusammenarbeit im Bereich der Erschließung und Informationsversorgung adressiert werden. Die DNB schlägt weiterhin vor, die konkreten Inhalte eines solchen Kooperationsprojekts im Rahmen eines Workshops zu erarbeiten."
Dieser Workshop für Mitglieder des Standardisierungsausschusses hat im März 2018 stattgefunden und an dem Thema soll, wie man hört, weiter gearbeitet werden.
Sehr positiv finde ich, dass der Aspekt von Kooperation und Arbeitsteilung angesprochen wird - denn darin steckt m.E. immer noch sehr viel ungenutztes Potenzial. Darüber hinaus glaube ich, dass man nicht darum herumkommen wird, inhaltliche und formale Kriterien dafür zu entwickeln, welche Qualitätsstufe für welche Bereiche und Arten von Publikationen benötigt wird. Ich denke schon, dass sich ein Kernbestand identifizieren lässt, für den eine hochwertige (was für mich nach derzeitigem Stand bedeutet: eine intellektuelle) Erschließung sinnvoll und wichtig ist - auch wenn andere Segmente nur noch maschinell erschlossen werden können.
Sacherschließung auf dem Bibliothekartag
Auch auf dem nächsten Bibliothekartag in Berlin spielt das Thema eine Rolle. Gleich am ersten Kongresstag findet der LIS-Workshop statt. In dessen erstem Teil liegt der Schwerpunkt auf der maschinellen und computerunterstützten Inhaltserschließung. Hier das Programm:
Am Mittwochnachmittag gibt es außerdem ein "Hands-on Lab" zum Thema Bewertung maschineller Indexierung – "Qualität ist kein Zufall!", das von
KollegInnen aus der DNB und der ZBW organisiert und moderiert wird. Die Veranstaltung klingt ausgesprochen spannend, und der Raum wird gewiss in kürzester Zeit aus allen Nähten platzen (soweit
ich sehe, ist das Lab IV für 50 Personen konzipiert). Hier das Abstract:
"Die Qualität der maschinellen Sacherschließung ist das zentrale Thema, wenn es um eine Automatisierung der Inhaltserschließung geht. Einerseits werden die Ergebnisse der maschinellen Erschließung durch verfahrenstechnische Weiterentwicklungen laufend verbessert, andererseits sind die Qualitätsverbesserungen nicht konstanter Art und nicht auf alle Fachdomänen übertragbar.
Demzufolge wird zum jetzigen Zeitpunkt eine computergestützte Inhaltserschließung von vielen Akteuren als "goldener Weg" gesehen. Jedoch muss angesichts des stetig wachsenden Publikationsoutputs konstatiert werden, dass eine reine Fokussierung auf unterstützende Computererschließung allein die schon bestehenden Erschließungslücken in Zukunft weiter anwachsen lassen wird. Infolgedessen haben sich sowohl die Deutsche Nationalbibliothek als auch die ZBW - Leibniz-Informationszentrum Wirtschaft mit Blick auf ihre umfangreichen Sammlungen dazu entschieden, bereits zum jetzigen Zeitpunkt neben einer intellektuellen Indexierung vollautomatische Verfahren einzusetzen. Im Rahmen eines Hands-on Labs geben beide Institutionen einen tieferen Einblick in das Qualitätsmanagement der maschinellen Indexierung. Teilnehmerinnen und Teilnehmer sind dazu eingeladen, im ersten Teil der Veranstaltung gemeinsam mit den Fachexpertinnen und -experten der Einrichtungen die Qualität der aktuellen Indexierungsverfahren in webbasierten Tools zu bewerten. Darüber hinaus werden anhand von Beispielen die Arbeitsweisen der Verfahren näher betrachtet sowie Vor- und Nachteile aufgezeigt. Im zweiten Teil der Veranstaltung werden wir im Rahmen eines World Cafés allen Teilnehmerinnen und Teilnehmern die Gelegenheit zum direkten fachlichen Erfahrungsaustausch bieten und die in der Bewertungssession aufgeworfenen zentralen Fragen hinsichtlich der Qualität vollautomatischer Verfahren diskutieren.
Abgerundet wird die Veranstaltung mit einer gemeinsamen Vorstellung der Ergebnisse des World Cafés und einer Zusammenfassung der Key-Learnings."
Ausblick
Insgesamt ist mein Eindruck, dass das Thema Sacherschließung (inkl. der dafür eingesetzten Methoden) inzwischen erfreulich offen und konstruktiv betrachtet und diskutiert wird. Dieses Klima sollten wir nützen, um zu guten Lösungen für die Zukunft zu kommen. Hier passt vielleicht mein Schlusswort aus dem BuB-Aufsatz: "Will man im Interesse unserer Nutzerinnen und Nutzer ein gutes Gesamtergebnis bei der Sacherschließung erreichen, so wird künftig ein ausgewogener und durchdachter Mix von unterschiedlichen Methoden – und von intellektueller ebenso wie automatischer Erschließung – nötig sein."
Heidrun Wiesenmüller
Kommentar schreiben
Anna Kasprzik (Mittwoch, 02 Mai 2018 10:05)
Liebe Frau Wiesenmüller,
danke für Ihren wie immer sehr nützlichen Übersichtsartikel!
Was die Performanz von maschinellen Algorithmen auf Titeldaten ohne Volltext angeht, bin ich nicht ganz so sicher -- es gibt Ergebnisse, dass das teilweise sogar besser funktioniert, siehe z.B. hier (Mai et al., 2018): https://arxiv.org/pdf/1801.06717.pdf
Ich denke, das kann man sich damit erklären, dass dort die relevante Information kompakter repräsentiert ist. Man müsste allerdings noch einmal prüfen, ob die dort verwendeten Titeldaten zuverlässiger mit Schlagwörtern oder Klassifikationscodes ausgestattet sind als der Durchschnitt in DACH-Titeldaten, bzw., ob sie aus Fächern stammen, die generell einfacher zu klassifizieren sind (siehe Abschnitt 4.1 "Datasets" -- es wurden nur mit STW und MeSH annotierte Titeldatensätze verwendet).
Da beißt sich aber wieder die Katze in den Schwanz: Wir brauchen hochqualitative Sacherschließung, und sei es nur, um performantere Lernalgorithmen zu trainieren.
Herzlichen Gruß
Anna Kasprzik (TIB)
Heidrun Wiesenmüller (Donnerstag, 03 Mai 2018 09:08)
Liebe Frau Kasprzik,
vielen Dank für den Hinweis auf den Aufsatz (muss ich aber erst noch lesen).
Ja, es stimmt, man kann sich gut vorstellen, dass der Volltext unter Umständen gar nicht so hilfreich ist. Aber die Inhaltsverzeichnisse sind nach meinem Eindruck eben auch sehr häufig keine gute Basis für ein automatisches Verfahren. Bei einer monografischen Darstellung dürfte das eigentliche Thema in den Überschriften der Kapitel kaum mehr aufscheinen, weil es ja vorausgesetzt wird. Stattdessen kommen typischerweise lauter Unteraspekte vor, die dann womöglich eher "verunklarend" sind.
Der Titel hat zumindest die Aufgabe, das Thema zu benennen (auch wenn dies natürlich nicht immer so klar erfolgt, wie man sich das wünscht, u.a. wegen "flotter" Formulierungen und metaphorischem Sprachgebrauch). Die Überschriften im Inneren haben hingegen eine ganz andere Funktion (primär eine strukturierende).
Aus ihnen wird man auch kaum durch Auszählen des Vorkommens von Wörtern ermitteln können, was ein wichtiger Unteraspekt ist und was nicht (allenfalls bei einem Aufsatzband o.ä.). Da wäre es vielleicht eher sinnvoll, den Umfang der einzelnen Kapitel mit einzubeziehen... Mein Eindruck von den DNB-Beispielen ist, dass es sehr willkürlich erscheint, was aus den Überschriften herausgezogen wird und was nicht.
Außerdem sind Überschriften natürlich vielfach stark summierend wie "Allgemeines", "Grundlagen", "Methodik" o.ä. Man müsste sich mal wohl textwissenschaftlich mit der Textgattung "Inhaltsverzeichnis" auseinandersetzen und herausarbeiten, was man davon erwarten kann und was nicht.
Ich habe mich schon gefragt, ob nicht evtl. ein Sachregister eine gute Basis wäre, auf der ein automatisches Verfahren aufsetzen könnte. Das sind dann zumindest sinntragende Wörter mit einer gewissen Themenfunktion, was man bei einem beliebigen Wort aus dem Volltext nicht voraussetzen kann.
Viele Grüße
Heidrun Wiesenmüller