Hands on „Open Semantic (Desktop) Search“

Seit einigen Monaten beschäftige ich mich im Kontext der Digitalen Geschichtswissenschaft intensiver mit einem Softwarebundle mit dem Namen Open Semantic (Desktop) Search (OSDS) und möchte meine Erfahrungen gerne teilen. Zunächst einmal – worum handelt es sich? OSDS ist eine freie Software, die nur aus Open Source Bestandteilen zusammengestellt wurde und auf dieser Grundlage als Donationware weiter entwickelt wird. Das Projekt stammt aus dem Journalismus und spezieller aus dem Bereich des investigativen Journalismus, der sich heutzutage mit teilweise riesigen Datenmengen (Stichwort: Panama Papers) auseinander setzen muß.

Der Entwickler hinter OSDS ist Markus Mandalka, der sich selber als Journalist und Informatiker bezeichnet. Auf seiner Homepage stellt er sich als politisch eher links orientiert dar – ein Detail, das mir sein Softwarebundle noch sympathischer macht. Zwar bin ich als Historiker mit Spezialisierung auf das späte Mittelalter nicht so auf Datenschutz, Privatheit und Anonymität aus, wie das im investigativen Journalismus der Fall sein mag, aber es schadet natürlich auch nicht, dass Markus Mandalka sein Softwarebundle auch als verschlüsseltes und auf USB-Stick betreibbares Livesystem unter dem Namen InvestigateIX anbietet. Ich beschäftige mich im folgenden aber nur mit den drei! anderen Varianten, die er über die Webseite www.opensemanticssearch.org und ein dazugehöriges github-repository anbietet:

1. Open Semantic Desktop Search

2. Open Semantic Search Appliance

3. Open Semantic Search Server (Package)

Paket 1 ist eine VM Appliance, die man mit Oracle Virtual Box laden und lokal auf einem Rechner betreiben kann. Die Appliance wird in zwei Varianten zum Download angeboten: einmal mit englischen und einmal mit deutschen Keyboard Settings. Beide Varianten sind relativ aktuell (Juli bzw. August 2018). Das Projekt selber scheint seit drei oder vier Jahren zu bestehen. Das alleine ist schon eine Leistung für ein Softwarepaket des Umfangs und der Leistensfähigkeit von OSDS, das von nur einer Person gepflegt und weiterentwickelt wird.

Die zweite Variante ist ebenfalls eine Appliance, die ebenfalls unter Oracle Virtual Box läuft, aber nur einen Server als localhost bereit stellt. Dort fehlt der „Desktop“ im Debian Linux, auf dem beide Distributionen aufsetzen. Wie das so bei virutuellen Maschinen für Virtual Box üblich sind, bringen die Appliances ein gewisses Gewicht auf die Waage. Die OSDS Version schlägt mit 3GB zu Buche, die Servervariante OSS mit (nur) 1.8 GB. Das dritte Paket (OSSS) ist mit etwa 300 MB am Leichtgewichtigsten, aber erwartet natürlich auch eine (manuelle) Installation und vor allem Konfiguration auf einem Debian oder Ubuntu basierten System. Letzteres habe ich bislang noch nicht ausprobiert – ich beschränke meinen Bericht daher auf die ersten beiden Varianten, die komfortabel in Virtual Box laufen.

Bevor wir zur eigentlichen Installation kommen, vorab noch einige Informationen zum Leistungsumfang des Pakets und warum es sich überhaupt lohnt, sich damit zu beschäftigen. Kernstück der Enterprise Suchmaschine ist ein Lucene SOLR Indexer (Elastic Search ist ebenfalls verwendbar), mit dem recht beliebige Dokumente indexiert werden können. Die enthaltenen Informationen werden damit als Keyword im Kontext findbar und referenzierbar. Aber OSDS ist noch wesentlich mehr. In dem Paket ist auch ein sogenanntes Open Semantic ETL (Extract-Transform-Load) Framework integriert, in dem die Texte für die Extraktion, Integration, die Analyse und die Anreicherung vorbereitet werden. Es handelt sich um eine Pipeline, die einem sehr viel von Arbeit hinsichtlich der Bereitstellung der Texte für den Indexer abnimmt. Wer mit Lucene/Solr arbeitet weiß, wie viel Zeit die Aufbereitung der Daten in der Regel beansprucht. OSDS nimmt einem sehr viel davon ab und kümmert sich nach dem Prinzip eines überwachten Ordners um sämtliche Schritte, die von der Extraktion über die linguistische Analyse bis zur Anreicherung mit weiteren Metadaten notwendig sind. Schliesslich stellt das Paket auch einen Webservice (Rest-API) für die maschinelle Kommunikation sowie ein durchdachtes User Interface zur Verfügung, mit dem die Suchmaschine bedient, konfiguriert und natürlich auch durchsucht werden kann. Die facettierte Suche spielt dabei eine besondere Rolle, da die Facetten mehr oder weniger automatisch aus der linguistischen Analyse der Texte und auf der Grundlage von  (konfigurierbaren) Namen Entities (Personen, Orte, Organisationen etc.) gebildet werden. Entsprechend sind auch die Hauptfunktionen des Softwarepakets angelegt: Sucheninterface, ein Thesaurus für Named Entities, Extraktion von Entitäten in neu zugefügten Texten, eine listenbasierte Suche sowie eine Indexfunktion, die den Aufbau des Suchindex neu anstößt. Und das alles in einem einfach zu bedienden Userinterface, das mit der Maus bedient werden kann.

Wer nun neugierig oder enthusiastisch geworden ist, dem sei gesagt, dass es wie meist im Leben einen Wermutstropfen gibt: insbesondere OSDS aber auch OSS brauchen gewisse Ressourcen, um ihre Arbeit effizient verrichten zu können. Als Mindestausstattung für einen Betrieb unter Orcale Virtual Box gebe ich 8 GB RAM und (der Größe des Projekts entsprechend) ausreichend Speicherplatz auf einer SSD an. Auf einem immerhin mit 8GB ausgstatteten Notebook mit Doppelkernprozessor der Core Duo Reihe ist es mir nicht mehr gelungen, in vertretbaren Zeiten einen Index zu produzieren. Allerdings waren meine Testdaten auch recht umfangreich (25 GB PDF Dateien mit zehntausenden von Seiten). Alternativ kann man sich, bei schwacher Hardware, eines Tricks bedienen und den Index auf einer schnellen Maschine (aktueller Mehrkernprozessor mit möglichst üppigem RAM) erstellen lassen und dann beides (Appliance und Solr-Index) auf das betreffende Gerät zurückspielen. Meist reicht dann die Performance, um zumindest die Suchfunktionalität auch auf schwächerer Hardware zu ermöglichen. Ein weiterer Ressourcenfresser beim Anlegen des Index ist OCR. OSDS hat Tesseract als eigene OCR Egine inkl. (hört hört) Frakturerkennung! integriert. Wenn man seine PDF Dokumente aber vor der Indexierung erst noch mit der OCR behandelt, kann man den Rechner bei entsprechender Materialfülle gerne mal ein oder zwei Tage durchrödeln lassen, bevor sich (hoffentlich) ein brauchbares Ergebnis zeigt. Daher rate ich (ebenso wie der Entwickler es tut) dazu, OCR erst mal abzustellen, wenn man es nicht unbedingt braucht (geht im Konfigurationsmenue) und den Index zunächst mal nur mit schon vorhandenen Textlayern oder am besten mit Dokumenten zu füttern, die eh nur aus Text bestehen. Dabei ist die Suchmaschine recht offen für Formate und bringt eine Menge Filter mit, die den Text extrahieren können (hier mal die Liste von der Webseite kopiert: text files, Word and other Microsoft Office documents or OpenOffice documents, Excel or LibreOffice Calc tables, PDF, E-Mail, CSV, doc, images, photos, pictures, JPG, TIFF, videos and many other file formats). Im Hintergrund werkelt hier natürlich Apache Tika.

I. Getting started: Für unser Hands on workshop wollen wir OSDS auf einem aktuellen Gastsystem installieren. Dazu nehmen wir die Version mit den Deutschen Keyboard. Das spart einige Einstellungen und Probleme mit der Einrichtung. Bevor wir starten können, benötigen wir Oracle VM mit dem Extensionpack. Die Software kann man für verschiedene Betriebsysteme auf dieser Seite herunterladen. Dann wird zuerst VB und anschliessend werden die Erweiterungen mit VB geöffnet und installiert. Virtual Box benötigt einige Virtualisierungserweiterungen der aktuellen Intel-CPUs mit der Bezeichnung VT-x und dessen AMD-Pendant AMD-V. Hierbei werden auch neuere Funktionen dieser Befehlssatzerweiterungen wie Nested Paging/Rapid Virtualization Indexing unterstützt. Was Virtual Box gar nicht mag ist, wenn man Hyper-V aktiviert hat. Das muss man dann erst im BIOS wieder ausstellen, da sich beide Virtualisierungssysteme sonst um die Ressourcen streiten würden. Da Microsofts Hyper-V gewissermaßen im Heimvorteil ist, hat Virtual Box dann keine Chance. Wenn alles korrekt eingerichtet ist, können wir einen Blick auf das Hauptmenue von Virtual Box werfen. Dort können wir unter Datei den Menuepunkt Appliance Importieren finden, der uns die Auswahl der zuvor gespeicherten oder heruntergeladenen OSDS Datei erlaubt (Achtung – bei MacOS sind die Menuepunkt ganz oben im Finder, nicht im VB Manager!) .

Wenn man auf weiter klickt, erhält man einen Überblick der Einstellungen der virutellen Maschine. Dies kann man ggf. anpassen, aber das ist auch später noch über das Menue „Ändern“ in Virtual Box möglich.

Achtung. Diese Einstellung mit 5 GB RAM wird nur funktionieren, wenn das Gastgebersystem mindestens über 8 GB verfügt! Je niedriger man hier die Einstellung wählt, je zäher läuft das System hinterher und um so länger dauert der Aufbau des Index. Zusätzliche CPUs sind übrigens der Geschwindigkeit auch sehr zuträglich. Wenn man dann auf importieren klickt, dauert es etwa 2 bis 3 Minuten, bis die virutelle Festplatte angelegt ist. Nun ist es wichtig, zumindest einen gemeinsamen Ordner anzulegen, den Host und Gast, als die gerade eingerichtete OSDS VM, gemeinsam nutzen. Dazu einfach einen beliebigen Ordner an einem beliebigen (aber besser lokalen) Ort anlegen oder einbinden.

Ich habe hier z.B. den Ordner tmp auf dem Laufwerk C: unter windows angelegt und die Häkchen bei „nur lesbar“ und „automatisch einbinden“ gesetzt. Damit kann das Gastsystem auf Dateien zurückgreifen, die in diesem Ordner abgelegt sind. Für diesen Workshop habe ich zwei PDF Dateien herausgesucht, die als Beispiel dienen und den Aufbau des Suchindex demonstrieren sollen.

Diese Dateien müssen in den angelegten geteilten Ordner heruntergeladen werden, damit sie anschliessend von OSDS indexiert werden können.

Es gibt eine spezielle Voreinstellung bei OSDS, die man kennen sollte. Wenn man auf Laufwerk C einen Ordner namens index anlegt und auf die folgende Weise einbindet, dann wird der SOLR Index nicht in der VM, sondern in diesem Ordner im Gastsystem gespeichert. Das kann verschiedene Vorteile haben (die Festplatte der VM wird nicht unmäßig groß und man kann den index Ordner einfach von einem zum anderen Rechner übertragen). Ich nutze dieses Feature gerne, da es die Anwendung noch flexibler macht.

Der Index-Ordner muss selbstverständlich auch schreibbar sein und sollte am besten auch automatisch eingebunden werden, damit OSDS beim Start gleich alle wichtigen Ressourcen beeinander hat.

Das war es eigentlich schon. Nun können wir die VM zum ersten Mal starten und OSDS laufen lassen. Nach einiger Zeit sollte zunächst Debian und dann der Firefox ESR starten und ein UI mit der Suchmaske anzeigen. Die ist momentan noch leer, da eine entscheidende Information noch fehlt: der Ort der Dateien oder Ressourcen, die Indexiert werden sollen. Dies wird im Menuepunkt Datasources -> Files and Directories (Filesystem) eingestellt.

Sobald dies gespeichert ist, kann man den entsprechenden Ordner indexieren lassen und erhält nach einem reload der Suchmaske das Ergebnis. Mit Blick auf die indexierbaren Ressourcen ist bemerkenswert, dass neben Dateien im Filesystem der VM oder des Hosts auch Webseiten (ein oder mehrmals im Intervall), Newsfeeds, Tabellen (csv) und sogar Annotationen aus hypothes.is mit in den Index aufgenommen werden können. Die Ergebnisse können als Liste, als Vorschau (des Suchergebnisses im Volltext) , als Enitäten oder auch im entsprechenden Medienformat ausgegeben werden. Eine Geovisualisierung und weitere Analysetools stehen ebenfalls zur Verfügung.

Bei der ersten Suche fällt sogleich auf, dass die Ergebnisse in der Listenansicht als KWIC (Keyword in Context) angezeigt werden, aber von dort leider kein direkter Zugriff auf die einzelnen Funstellen möglich ist. Das hängt mit der Indexierung zusammen. Hätten wir jede Seite der Dokumente einzeln indexiert, könnten wir nun auch einzeln darauf zugreifen. So erhalten wir nur eine dokumentweise Ausgabe, bei der wir dann noch per Hand zu den Fundstellen navigieren müssen. Immerhin können wir mit einem Klick das Dokument laden oder auch den Volltext (Vorschau) anzeigen lassen. Wer eine Seitenweise Indexierung (doppelte Indexgröße) bevorzugt, kann dies hier einstellen:

Damit kennen wir nun die Grundfunktionalität des OSDS und können uns dem Thema Annotation und Tagging widmen, das besonders spannend ist. Übrigens, wenn wir den erstellten Index wieder löschen wollen, dann müssen wir auf die Kommandozeile des Debian OS gehen und dort opensemanticsearch-delete –empty eingeben. Anschliessend ist der Index wieder leer wie direkt nach der Installation.

Wem das zu umständlich ist (und wer genug Platz auf seinem Speichermedium besitzt), kann natürlich auch einen Snapshot von der VM erstellen, auf die man dann bei Bedarf zurückgreifen kann.

Eine zusätzliche Steuerungsebene direkt auf OS Ebene bietet das GUI, das sich hinter dem Reiter Aktivitäten (ganz oben link) verbirgt.

Die Lupe öffnet den Browser und das Suchfenster, das Listensymbol führt zur listenbasierten Suche (ein feature, das ich mir schon länger für Digitale Bibliotheken wünsche!) . Das Buch öffnet das Thesaurus Managment für Named Entities und das Symbol des geöffneten Ordners steht schliesslich für den Start des Indexdienstes. Mit dem Extraktionstool kann man Entitäten auch noch nachträglich in vorhandenen Datensammlungen taggen und der Aktenschrank führt schliesslich auf das Dateisystem der GastVM. Es handelt sich ja um eine VM mit Gnome Desktop und allem, was so dazu gehört. Übrigens hat die VM die Nutzer root und user. Das Passwort für user ist „live“ und für root ist keins gesetzt. Das macht durchaus Sinn, wenn man in Virtual Box arbeitet und die VM vor Zugriffen von aussen geschützt ist. Wenn  man aber die Serverversion installieren und produktiv betreiben möchte, sieht die Sache schon anders aus. Spätestens dann sollte man die voreingestellten Passworte ändern und dafür sorgen, dass ein administrativer Zugriff von aussen nicht mehr ohne weiteres möglich ist.

Die ausführlichste Anleitung (auf Englisch) findet sich (natürlich) auf der Seite www.opensemanticsearch.org. Es gibt dort auch eine deutsche Version, aber meist sind nur die Überschriften übersetzt. Zusätzlich kann man bei Problemen noch auf die Github-Seite des Projekts gehen, um Lösungsvorschläge zu finden.

II. Using OSDS: Nachdem die VM läuft, möchte man natürlich ausprobieren, was OSDS alles bietet. Das ist recht viel. Durch die Integration verschiedener NLP Tools und der Bereitstellung von Schnittstellen zum Semantic Web sind die Möglichkeiten ziemlich weit gesteckt, die gesammelten und idexierten Daten anzureichern, zu analysieren und schliesslich zu finden, was man (zumindest in den Geisteswissenschaften) eigentlich sucht: nämlich eine ganz bestimmte Information zu einer sehr speziellen Fragestellung. Ich möchte im folgenden auf einige der oben schon angesprochenen Möglichkeiten zur Aufbereitung und Erschließung von Daten eingehen und werde diesen Blogeintrag kontinuierlich ergänzen, sobald ich weitere Möglichkeiten entdecke bzw. ausprobiere.

a)  Entitäten, Worte, Konzepte als Facetten zufügen. Diese Funktion erlaubt ein sehr präzise auf die Fragestellung gerichtetes Tagging der Daten. Wenn man ein neues Konzept hinzufügt, dann versucht OSDS sofort dieses in den Texten zu finden und entsprechend auszuzeichnen. Wenn man dort also etwas eingibt, was häufiger vorkommt, kann der update des Index schon einige Sekunden dauern.

Wem das zu mühselig erscheint und wenn man evtl. schon eine Liste von Namen oder Konzepten zur Verfügung hat, die im Zusammenspiel mit den Daten hilfreich ist, der kann auch ganze Listen, kontrollierte Vokabularien oder Ontologien hochladen, die dann auf die Daten angewendet werden. Das Format der Liste wird i.d.R. erkannt. So ist es zum Beispiel möglich einfache Namen bzw. Ortslisten im CSV Format in Exel abzuspeichern und zu importieren. Aber auch RDF, SKOS und OWL werden unterstützt. Je nach Umfang der Daten und Listen ist hier mit einer längeren Bearbeitungzeit zu rechnen.

In der voreingestellten Konfiguration versucht OSDS Autoren, Personen, Organisationen, Orte, Emailadressen und die Dokumentensprache zu erkennen. Dazu nutzt das Framework in der Voreinstellung das SpaCy NER tool, zur Auswahl steht aber auch Standford NER Tagger, mit dem das Taggen aber wohl erheblich länger dauert. Den Autor versucht OSDS aus den entsprechenden Metadaten der Dokumente zu extrahieren. Wenn dort also etwas nicht der Autor des Textes, sondern der Setzer der Druckerei sich verewigt hat, dann erhält man auch dieses Ergbnis in den Facetten zurück. Für Historiker (zumindest des Spätmittelalters) relativ sinnfrei ist auch das Erkennen von email-Adressen oder von Geldmengen (wenn man nicht gerade Wirtschaftshistoriker ist). Wie immer bei NER sind die automatisch gewonnenen Ergebnisse weit von perfekt und man muß relativ tolerant sein, um die generierten Facetten trotz der vielen fehlerhaften Einträge produktiv zu nutzen.

Viel präziser und effektiver ist das Tagging über die bereitgestellten Werkzeuge. Hier kann man z.B. aufgrund einer Suchabfrage ein Label vergeben, das dann unter der gewünschten Facette aufgenommen wird, obwohl der Begriff möglicherweise gar nicht im Text vorkommt. Eine genaue Anleitung zur Verwendung findet man hier. Einige mögen sich nun fragen, was genau das Semantische an Open Semantic Search sei. Mit der NER Funktionalität ist ja schon ein erster Schritt in diese Richtung getan. Aber OSDS hat diesbzüglich noch wesentlich mehr zu bieten. Neben der Bereitstellung von neo4j gibt es verschiedene Möglichkeiten, Linked (Open) Data für die Anreicherung der eigenen Daten zu importieren oder auch die eigenen Ergebnisse als RDF zu exportieren. Ich möchte hier ein Beispiel vorstellen, dass der Entwickler selber beschreibt, nämlich den Import von Entitätenlisten aus Wikidata.

Im Rahmen dieses Hands-on können nicht alle Möglichkeiten von OSDS vorgestellt werden. Ich hoffe die Beispiele haben verdeutlicht, welche Potentiale dieses Werkzeug bietet und zum selber ausprobieren und zur Weiternutzung angeregt. Viele Anregungen zum Betreiben eigener Suchmaschinen bietet Markus Mandalka auch auf seiner persönlichen Webseite https://www.mandalka.name.

 

 

Bericht DHd 2018 Köln „Kritik der digitalen Vernunft“, 26.2.-2.3. #dhd2018

Köln ist eine schöne Stadt! Und wenn die Jahrestagung des Vereins Digital Humanities im deutschsprachigen Raum dort stattfindet, ist sie noch schöner! Eine Woche lange stand die Kölner Universität im Zeichen des Themas „Kritik der Digitalen Vernunft„. Über 600 Teilnehmerinnen und Teilnehmer aus der Schweiz, Österreich und Deutschland waren zusammengekommen. Viele ließen sich auch von der grassierenden Grippewelle nicht abhalten… und wurden mit einer insgesamt perfekt organisierten Tagung belohnt, die nicht nur bei der Teilnehmerzahl sondern auch im Abendprogramm neue Maßstäbe setzte. Aber dazu später.

http://dhd2018.uni-koeln.de/wp-content/uploads/dhd2018_logo.png

Der DHd Verein ist noch verhältnismäßig jung. Um so bemerkenswerter ist der stete Zuspruch, den die Digital Humanities bislang erhalten. Die Mitgliederzahl des Vereins ist inzwischen auf über 300 Personen gestiegen und es gibt eine Vielzahl von Arbeitsgruppen, die tatsächlich auch etwas arbeiten. In wiss. Vereinen ist das nicht immer selbstverständlich. Die Tagung begann am Montag Mittag mit Workshops. Am Dienstag abend begann mit einem Vortrag von Sybille Krämer (Berlin) das Hauptprogramm. Sie sprach über den „Stachel des Digitalenein Anreiz zur Selbstreflektion in den Geisteswissenschaften?“. Generalthema und Keynotes der Tagung waren nicht zufällig philosophisch angehaucht: Lokaler Organisator war Andreas Speer, seit 2004 Professor der Philosophie an der Universität zu Köln und Direktor des dortigen Thomas-Instituts. Tatkräftig unterstützt wurde er von Patrick Sahle und dem gesamten Team des CCeH. Auch die Abschlußkeynote am Freitagnachmittag von Michael Sperberg-McQueen, einem Urgestein der digitalen Geisteswissenschaften, stieß mit „Kritik der digitalen Vernunft“ in das selbe kantianische Horn. Dazwischen lagen drei ereignisreiche Tage, deren über 60 Vorträge sich in vier parallelen Sessions über die Zuhörer ergossen.

Man kann nur berichten, was man gehört und gesehen hat, also beschränke ich mich schon aus praktischen Gründen darauf. Verschweigen will ich aber auch nicht, was ich gefühlt habe (tagsüber, in den Hörsälen): nämlich Kälte! Nun wird es am Niederrhein bekanntlich nie wirklich kalt (ausser in dieser Woche eben), aber falls es zutreffen sollte, dass das Hörsaalgebäude tatsächlich nicht über eine Heizungsanlage verfügt, dann kann daran nur der Kölner Klüngel Schuld sein, denn ansonsten machten mir die Kölner insgesamt einen recht vernünftigen, ja lebensfrohen Eindruck. Unerklärlich hingegen bleibt die wohl absichtliche Verweigerung von Strom und Steckdosen bei den vorgeschalteten Workshops. Ich selber musste einen sehr spannenden (und leider etwas zu klein geplanten, da sehr nachgefragten) Workshop zu wikidata im Übungsteil abbrechen, da meinem inzwischen betagten Notebook der Saft ausging. Und es ging mir nicht alleine so! Am bemerkenswertesten war aber die Begründung, die uns im ersten Workshop am Montag „Suche und Visualisierung von Annotationen historischer Korpora mit ANNIS“ mit Carolin Odebrecht und KollegInnen mitgeteilt wurde: die Universität zu Köln wolle keine Stromanschlüsse zur Verfügung stellen, da dies den Stromverbrauch ungebührlich erhöhen würde…. Wenn die Univerwaltung tatsächlich so argumentierte, dann würde sich hier doch in einzigartiger Weise ein für die Region Niederrhein untypischer Geiz mit Unvernunft paaren (denn ökologische Argumente können wir wohl ausschließen). Der Tagungsleitung und dem Organisationsteam ist dieser Schildbürgerstreich nicht anzulasten – vielmehr liegt hier das Problem wie so häufig bei der Verwaltung der Universitäten, und zwar vermutlich (hoffentlich) in den unteren Etagen…

Nun zum Inhalt. Der dritte Workshop, den ich besuchte, war dem Thema „Research Software Engineering und Digital Humanities“ gewidmet. Mit über hundert TeilnehmerInnen war das schon eine größere Veranstaltung und es war sicher klug, sich für die Diskussionen in Untergruppen aufzuteilen. Erst kürzlich hat sich eine Gruppe fächerübergreifend zu diesem Thema gegründet: de-RSE.org, die von Stefan Janosch (MPI-CBG) vorgestellt wurde. Insgesamt ist eine Diskussion über die Professionalisierung  der Softwareentwicklung in den DH sehr zu begrüßen, eben weil dies nicht zur originären Ausbildung von GeisteswissenschaftlerInnen gehört. Bei den Vorträgen und Panels gab es wie immer Licht und Schatten, obwohl mir das Niveau insgesamt diesmal erfreulich hoch erschien. Ich wende mich mal dem überwiegenden Licht zu. Da sind zunächst die Tracks, die sich durch das Programm zogen und strukturierten: Sitzungen zu Visualisierung, Theorie der digitalen Geisteswissenschaften, Textmining, Sammlungsdigitalisierung, Digitale Literaturwissenschaft, Computer Vision, Digitale Rekonstruktion, Sentimentanalyse, Softwareentwicklung, Annotation, Semantische Analyse sowie Panels zu Historischen Grundwissenschaften, Sprachanalyse, Wissenschaftsorganisation und Forschungsdaten. Zusammen boten sie ein breites Bild der aktuellen Forschungslandschaft und ermöglichten, sich spezifischen Interessengebieten zuzuwenden. Besonders am Herzen lagen mir die Panels zu Forschungsdaten. Das eine von DARIAH/CLARIN , das andere von der AG Datenzentren ausgerichtet. Beide fanden nacheinander am Donnerstagnachmittag statt und waren gute besucht. DARIAH/CLARIN hatte sich als Thema „Gute Forschungsdaten, bessere Forschung: wie Forschung durch
Forschungsdatenmanagement  unterstützt wird“ gewählt und das Datenzentrumspanel, organisiert von Katrin Moeller (Halle-Wittenberg) stand ganz im Zeichen der Frage nach den Standards und ihrer Einbettung in die Fachwissenschaften „Die Summe geisteswissenschaftlicher Methoden? Fachspezifisches Datenmanagement als Voraussetzung zukunftsorientierten Forschens“. Im Zuge des NFDI Prozesses zur Schaffung einer Nationalen Forschungsdateninfrastruktur legen sich alle Beteiligten zurzeit mächtig ins Zeug, um Teil einer föderierten Struktur zu werden. Die Forschungsinfrastrukturen und Datenzentren zeigen sich dazu gut gerüstet.

Besonders spannend fand ich persönlich den Vortrag „Das neue ‚Gesetz zur Angleichung des Urheberrechts an die aktuellen Erfordernisse der Wissensgesellschaft‘ und seine Auswirkungen für Digital Humanities“ am Donnerstag Vormittag. Just am 1.3. trat das neue Gesetz in Kraft und so war dieser Beitrag zum einen hochaktuell und zugleich sehr informativ.

Vielleicht hätte es gelohnt, etwas ausführlicher zu diskutieren, wie sich die Politik eine digitale Nutzung von Werken (keine Veröffentlichung!) für die eigene! wissenschaftliche Forschung im Umfang von bis zu 75% vorstellt. Sollen wir in Zukunft die letzten 25% eines Werkes einfach nicht mehr rezipieren? Oder vielleicht am Ende eines Textes nur noch Lore ipsum Seiten drucken, um diese unsinnige Bestimmung auszuhebeln? Insgesamt sind das Gesetz und die Wissenschaftsschranke sicher ein Schritt in die richtige Richtung, aber gut gemeint ist bekanntlich nicht immer ausreichend. So wird es jedenfalls nichts mit der exzellenten Forschung im internationalen Vergleich in Deutschland. Da schaffen wir maximal 75% Exzellenz!

„Data Models for Digital Editions: Complex XML versus Graph Structures“, so lautete ein Vortrag von Daniel Bruder und Simone Teufel, der ein wichtiges Problem in den DH adressierte, dem meiner Meinung nach zu wenig Aufmerksamkeit geschenkt wird. XML aus Auszeichnungssprache mit ihrem streng hierarchischen Baum wird in manchen Fällen der Komplexität geisteswissenschaftlicher Beschreibungstiefe nicht gerecht. Andere, z.B. Graph- bzw. RDF basierte Formen könnten langfristig besser geeignet sein, tiefe Annotation – vielleicht ja sogar über eine gemeinsame ontologische Basis(?) – zu repräsentieren. Posterslam und Postersession sind inzwischen etablierte Präsentationsformen auch in den Geisteswissenschaften. Ihnen war der Donnerstagnachmittag gewidmet, der mit einem Empfang schloss, bei dem man die Poster anschauen und diskutieren konnte. Kulturelles Highlight war aber sicher der für Mittwochabend angesetzte Fightclub, in dem vier prominente „KontrahentInnen“ (Henning Lobin, Heike Zinsmeister, Hubertus Kohle, Mareike König) mit Gedichten und coolen Sprüchen gegeneinander antraten und für eine gelungene Mischung aus Unterhaltung und Reflektion über das eigene Tun sorgten. Anschliessend wurde bis tief in die Nacht getanzt… Mehr dazu auf Twitter, immer unter dem Hashtag #dhd2018.

Bleibt der Blick in die Zukunft. Die nächste DHd  findet 2019 in Mainz und Frankfurt statt, also gar nicht so weit vom diesjährigen Austragungsort. Die Latte hängt hoch, aber die  nächsten Gastgeber sind gut gerüstet für diese Aufgabe und haben schon ein Boot organisiert, um die TeilnehmerInnen sicher und stilvoll von einem Ort an den anderen zu bringen….

Bericht von der Tagung #dhnord2017 in Lille, 27.-29.11.2017 über #digitalhistory

Im Rahmen einer „Tournée“ von drei Tagungen/workshops in Frankreich habe ich am 27. November am ersten Tag der #dhnord Tagung in Lille teilgenommen. Diese Tagung wurde vom MESHS organisiert und beschäftigte sich mit dem Thema „Digitale Geschichte“: (De)constructing Digital History. (Programm als PDF)

In Kooperation mit dem Luxembourg Centre for Contemporary and Digital History (C2DH) und durchaus international ausgerichtet bot sich an diesem ersten Tag die Möglichkeit, etwas genauer über den aktuellen Ort der Digitalen Geschichtswissenschaft zwischen Digital Humanities und der Fachdisziplin Geschichtswissenschaft nachzudenken. Andreas Fickers vom C2DH führte in das Thema der Tagung mit einem Vortrag zu „Digital History: On the heuristic potential of thinkering“ ein. Zunächst stellte er fest, dass Geschichtswissenschaft heute schon digital sei, wir also nur noch über Grad und hermeneutische Konsequenzen dieser Digitalisierung sprechen müssen. Er forderte explizit die Einführung von „digital hermeneutics“ in die Geschichtswissenschaft als Teil der Ausbildung. Unter digital hermeneutics versteht er dabei „the critical and self reflexive use of digital tools and technologies for the development of new research questions“. Er forderte zur Dekonstruktion des Wahrheitsbegriffs in der Geschichtswissenschaft auf und wies auf die Fiktion von Neutralität beim Schreiben von Geschichte hin. Weitere relevante Begriffspaar in diesem Zusammenhang waren für ihn „statistical evidence and historical relevance“ sowie die Spannung zwischen Verstehen und Erklären. Von digital arbeitenden HistorikerInnen forderte er Interdisziplinarität und „multimodal literacy“ sowie die Fähigkeit zur Kritik von Algorithmen, Werkzeugen, Schnittstellen und digitalen Quellen. Methodisch sprach er sich für einen spielerischen Ansatz im Umgang mit den Werkzeugen und Methoden der DH aus: Thinkering (Erkki Huhtamo) sei die passende Herangehensweise, die auch in Luxemburg unter Einsatz von lab diaries, reflexive reports sowie Audio- und Video Essays erprobt werde. Am Ende seines Beitrags fragte er nach „De-constructing oder Re-coding“ und stellte eine Reihe von kritischen Fragen hinsichtlich der heutigen Praxis in der digitalen Geschichtswissenschaft und in den DH:

Zudem benannte er zwei Hauptprobleme bei der Verwendung von digitalen Werkzeugen oder Methoden in der historischen Forschung:

1. Die Gefahr des Fehlens von Originalität bei der Forschungsfrage (danger of lack of originality in questioning the past)

2. Die Gefahr der Unterkomplexität bei der Problematisierung von vergangenen Realitäten (danger of lack of complexity in problematizing past realities)

Schliesslich wies er auf das vor kurzem veröffentlichte White Paper „Digital History and Argument“ hin, dass aus einer Tagung am Roy Rosenzweig Centre for History and New Media (kollaborativ) entstanden ist und einen Dialog zwischen digitaler und konventioneller Geschichtswissenschaft bzw. Methodik versucht. Der dort formulierte Eindruck „…there is a widespread sense that digital history has over-promised and under-delivered in terms of its interpretative contribution back to the discipline.“ (S. 2) ist sicher auch in Europa zutreffend und sollte in Zukunft stärker thematisiert werden.

Im Programm der Tagung wurde anschliessend die Keynote von Manfred Thaller „Distrustful Brothers 2.0 – On the relationship of quantitative history and ‚digital‘ history“ vorgezogen, in der es um die Beziehung zwischen der quantitativen Methode, wie sie in den 70er Jahren z.B. von der Bielefelder Schule praktiziert wurde, und digitaler Geistes- bzw. Geschichtswissenschaft ging. Wer Thallers Sicht der auf diese Beziehung und die Entwicklung dieses gesamten Felds in den letzten 40 Jahren nachlesen will, kann dies inzwischen in seiner Autobiographie tun, die vor kurzem in einem Sonderheft von Historical Social Research (HSR) erschien. Das ironische, zuweilen auch sarkastische Moment dieses Rückblicks war auch im Vortrag zu spüren, als er zusammenfassend seine Sicht auf diese Zeitspanne mit einem Vergleich zu dem bekannten Film „Und täglich grüßt das Murmeltier“ umschrieb. Immerhin sagte er mir im persönlichen Gespräch, dass es sich womöglich doch um eine Spirale und keinen Kreis handele, in dem sich die Entwicklung der „Digital Humanities“ seit ihrer institutionellen Begründung in den 60er Jahren bewege. In diesem Zusammenhang räumte er in seinem Vortrag auch gründlich mit dem Gründungsmythos auf, die Digital Humanities seien erst Anfang der 2000er Jahre entstanden und versuchte eine längere Traditionslinie bis hin zu dem vielzitierten Pater Busa zu etablieren, die auch die Entwicklungen ab den 60er Jahren stärker berücksichtigt.

Sein Fazit zur heutigen Situation der Digital Humanities fiel dagegen weniger kontrovers und fast zuversichtlich aus, obwohl er sich inzwischen selber nicht mehr den digitalen Geisteswissenschaften in ihrer heutigen Ausprägung zurechnen würde. Er betonte vielmehr die finaziellen Interessen und Ressourcen, die bei der Entwicklung des gesamten Bereichs und auch der Digitalen Geschichtswissenschaft heute eine Rolle spielen. Also eigentlich keine schlechten Voraussetzungen für die weitere Entwicklung…

Über die vier folgenden Beiträge in zwei Sitzungen (geleitet von Mareike König und Andreas Fickers) zu „Digital History in Context“ und „Time and Space of Digital History“, die teilweise die schon angedeutete Situation in den USA expemplifizierten (Mokhiber) oder ein interessantes Projekt der digitalen Kunstgeschichte (van den Heuvel) vorstellten, gehe ich in der Hoffnung, dass die entsprechenden Slides bald online gestellt werden, etwas weniger ausführlich hinweg. Erwähnen zum Schluss möchte ich nur kurz die zweite Keynote des Tages von Bertrand Jouve zu einem Thema der angewandten Netzwerkanalyse in der Mediävistik: „Modelisation of hierarchical organization of rural medieval society“.

Jouve war als Mathematiker sichtlich bemüht, dem Publikum das Projekt von seiner netzwerktheoretischen Seite Nahe zu bringen. Allein es waren mehr HistorikerInnen als MathematikerInnen im Raum, so dass sich mir der Eindruck aufdrängte, dass wir es hier mit einem Problem von „technical solutionism“ zu tun hatten, wie er kurz zuvor von Andreas Fickers beschrieben worden war. Das Thema und die Methodik liegen unbestreitbar im Zentrum der Digitalen Geschichtswissenschaft. Aber es stellt sich wie so oft bei gleichberechtigt interdisziplinären Kooperationen oder Themen die Frage, welches Zielpublikum am Ende angesprochen werden soll bzw. kann. Vielleicht hätte das Thema nicht nur gemeinsam erforscht, sondern auch gemeinsam präsentiert werden sollen? So war zumindest mein Eindruck zu diesem Projekt, dass ich sehr spannend finde und von dem ich auch aus historischer Perspektive gerne noch mehr erfahren würde.

Leider musste ich diesen Vortrag kurz vor Ende aus Termingründen verlassen, so dass ich über die folgende Diskussion und die Präsentation der Doktorandenausbildung am Luxemburger C2DH nicht berichten kann. Das mögen andere, die der gesamten Tagung und evtl. auch dem Nodegoat workshop am Mittwoch folgen konnten, vielleicht an anderer Stelle nachholen.

 

 

„Data for History“ workshop at ENS, Lyon, 23.-24.11.17. CIDOC-CRM to model historical events and data

Die Überlegungen, die Francesco Beretta und Kollegen zu einer Ontologie für die historischen Wissenschaften auf Basis von CIDOC-CRM seit einigen Jahren anstellen, gehen in die nächste Runde. Am 23. und 24. November dieses Jahres wird ein entsprechender Workshop zu „Data for History“ (http://dataforhistory.org/) an der ENS in Lyon stattfinden. Mehr Informationen zu diesem Vorhaben finden sich auch auf den folgenden Folien: www.cidoc-crm.org/sites/default/files/intervention_FBeretta_20170403.pdf

Die Veranstalter freuen sich über Teilnehmerinnen und Teilnehmer, die ggf. auch eigene Projekte, die zu dieser Fragestellung passen, kurz (5 min.) vorstellen möchten. Übernachtungskosten für einen Teilnehmer/Projekt können voraussichtlich je nach Verfügbarkeit der Mittel übernommen werden. Eine Anmeldung sollte man am besten direkt bei Herrn Beretta oder Herrn Alamercery vornehmen. Das aktuelle Programm gibt es unter dieser Adresse. Hier der Originaltext der Ankündigung der Tagung:

We are please to announce that the founding workshop of the international consortium for the development of a CIDOC-CRM hist extension „Data for History“ will be held on 23-24 November 2017 at the École normale supérieure de Lyon (France).

The purpose of the Data for History consortium is to establish a common method for modelling, curating and managing data in historical research. Such a method would provide foundational support to historical research projects adopting a framework of collaborative, cumulative and interoperable scientific data production and investigation. The consortium aims to build up an international community of historians and computer scientists to first develop and then maintain a common ontological model that would allow for domain specific, semantically robust data integration and interoperability. The consortium aims to build this model as an extension of the CIDOC-CRM, in order to integrate to a broader cross-disciplinary modelling and data community. It begins already with the foundational modelling experience and data developed within the symogih.org project.

To support this process, the consortium has undertaken the development of an ontology management system which is designed to facilitate the understanding of different data models and ontologies related to the domain of historical research and support an open ontology development process. This platform will support a controlled development process of the ontology where the modification of the model (addition/modification/subtraction of classes and properties) will be tracked and submitted to a validation process by the expert community. This open and traceable process aims to foster the coherence and interoperability of the ontology model development in the domain of historical research. It will also allow the management of specific data models for research projects and use them for data production.

Here is the provisional programme :

  • 23 November 2017
    • 15.00 Introduction
    • 15.15 dataforhistory.org project presentation: a proposition
    • 16.00 spotlight presentation of present projects (5 minutes presentations)
    • break
    • 17.30 general discussion about the dataforhistory.org proposition
    • 19.00 dinner
  •  24 November 2017
    • 9.00 – 10.30 Activity planning (Planning of the common activity in the next months)
    • break
    • 11.00-12.30 Funding – Next project calls

To organize the workshop in the best conditions, please let us know quickly if you are going to participate.

We encourage you to present your project in the spotlight session and explain, if possible, the interest of the consortium as described above for your work. If you wish to propose a presentation, please tell us its title as soon as possible in order to establish the final programm.

Accommodation for foreign guests will be provided, travel costs remaining at their expense. Please let us know if you need a reservation for one or two nights in a hotel. If you think that other colleagues might be interested in this workshop, please do not hesitate to send them this message. For budgetary reasons, however, we are obliged to limit the cost of hosting to one representative per project.

With best regards,

Francesco Beretta, head of the digital history department (PHN)

Vincent Alamercery, coordinator of the PHN’s scientific projects

PANDORA LOD Ecosystem auf der semweb.pro Tagung in Paris am 22.11.2017

Das PANDORA LOD Framework von Christopher Johnson @cjohnson39, wird von Christopher und mir @joewett das nächste mal auf der SemWeb.Pro Tagung (#semwebpro) in Paris am 22. November 2017 vorgestellt. PANDORA selber sowie Infos zu dem Projekt gibt es unter https://github.com/pan-dora . Die Tagung findet im FIAP Jean Monnet, 30 rue Cabanis, 75014 Paris statt. Der Vortrag beginnt um 16:15 h und wird sportliche 15 Minuten dauern.

Workshop GIS und Historical Network Research, Göttingen, 18.5.17, 14:00 bis 18:00 h GCDH, Papendiek 16, Heyne-Haus.

Besser spät als nie poste ich hier das Programm unseres gestrigen Workshops über GIS und Historical Network Research. Allen Teilnehmerinnen und Teilnehmern (wir waren etwa 15 Personen) sei für die anregenden Projektvorstellungen und Diskussionen nochmals gedankt. Ich würde mich freuen, wenn diese Themen auch weiterhin in Göttingen diskutiert und aktiv weiterentwickelt werden. Gelegenheit dazu gibt es bald in einem Blockkurs der Göttinger Uni im Juni extra für GeisteswissenschaftlerInnen, der von Niels Petersen und Marcel Flörl ausgerichtet wird. Informationen und Möglichkeiten zur Anmeldung hierzu gibt es auf dieser Seite.

Programm Workshop GIS und HNR in Göttingen, GCDH, 18.5.17:

14:00 – 14:15:  Jörg Wettlaufer (ADWG/GCDH)

Introduction

14:15 – 15:00:   Anna P. Orlowska & Grzegorz Myrda (Polish Academy of Sciences and Humanities)

Trade Networks in Poland in the Late Middle Ages and early Modernity. Time and Additional Factors in the Formation of Networks

15:00 – 15:30: Christoph Kudella (SUB Göttingen)

Historical Network Research. Crossover Networks and spatial Aspects

15:30 -15.45: Discussion Network Research

15:45 – 16:15: Coffee Break (Foyer)

16:15-16:45: Niels Petersen (Univ. Göttingen)

„Historische Klosterkarte Niedersachsen“ and „Chausseebau in Nordwestdeutschland 1764-1843“

16:45-17:15:   Mauricio Nicolas Vergara (GCDH guest)

GIS-Based Approach for the Study of Avalanche Incidents in the Alps during the First World War

17:15-17:45:  Friedrich Müller (SUB Göttingen)

DARIAH-DE Geo-Browser – a tool for visualizing, exploring and analyzing spatio-temporal relations in the field of digital humanities

17:45-18:00: Discussion GIS and Conclusion

18:30: Dinner at a local restaurant (Kartoffelhaus)

Abstracts der Beiträge finden sich unter: http://www.gcdh.de/index.php/en/events/calendar-view/workshop-gis-and-historical-network-research-hnr/

Workshop: Digitale Geschichtswissenschaft und Semantic Web [Journées „Histoire numérique et web sémantique“], Brest, 9-11 mai 2017

Ich möchte gerne auf diese Tagung in Brest in der kommenden Woche hinweisen, da sie sich thematisch genau im Zentrum dieses Blogs befindet und zudem Francesco Beretta, der auch schon einmal zu einem von mir organisierten Workshop zu diesem Thema in Göttingen war, sein Projekt einer Ontologie für die Historische Forschung dort ausführlich vorstellt. Tagungssprache ist sicherlich französisch. Hier der Ankündigungstext aus einem Post der französischen DH-Liste:
————————–
La Maison des sciences de l’Homme de Bretagne, le Centre François Viète, le Lab-STICC, le Centre européen de réalité virtuelle et le LARHRA organisent à Brest en collaboration avec la Maison des sciences de l’Homme de Bretagne du 9 au 11 mai 2017 les journées „Histoire numérique et web sémantique“.

Ces journées sont destinées aux participants du groupe de travail pour la constitution du consortium „Données pour l’histoire“. Ce groupe est ouvert à toute personne intéressée par l’histoire numérique et la modélisation des données, n’hésitez pas à nous contacter :
Aurélie Hess : aurelie.hess(at)univ-ubs.fr / Vincent Alamercery : vincent.alamercery(at)ens-lyon.fr

Programme :

Mardi 9 mai

14h-14h30 : Introduction aux journées
14h30-15h15 : Le système d’autorité IdRef – François Mistral (ABES équipe IdRef)
15h15-16h00 : La gestion des autorités aux Archives de France – Hélène Zettel (Archives de France)
16h-16h30 : pause
16h30-17h15 : Modélisation et alignement en CIDOC-CRM (présentation en anglais, discussion en français) – George Bruseker (FORTH ICS).
17h15-18h15 : Projet d’extension du CIDOC-CRM pour l’histoire – Francesco Beretta (CNRS LARHRA)
18h15-18h30 : Organisation des ateliers du lendemain

Mercredi 10 mai

9h-12h : Ateliers en parallèle
Thématiques communes (mais discussion en petits groupes) : „Quel type de données je souhaite produire ?“, „Quelle est la différence entre objets / entités temporelles ?“, „Quelles difficultés je rencontre à modéliser mes données avec le CIDOC-CRM ?“, dans le contexte de la modélisation des données en CIDOC-CRM / l’extension du CIDOC-CRM pour l’histoire / symogih.org.

14h-14h30 : Bilan rapide des ateliers
14h30-15h30 : Pause et visite du Centre européen de réalité virtuelle
15h30-16h30 : Présentation de l’ontologie MASCARET – Ronan Querrec (ENIB CERV / Lab-STICC), Sylvain Laubé (UBO Centre François Viète)
16h30-18h : Discussion, l’extension du CIDOC-CRM pour l’histoire – animation Francesco Beretta

Jeudi 11 mai

9h-11h30 : Discussion, le consortium et la plateforme en cours de développement : état d’avancement ; programmation des chantiers communs (modélisation et ontologies) ; perspectives et feuille de route ; planification d’une journée d’études en vue du lancement public du consortium.
——————————————-

1. Digital-Humanities-Stammtisch 2017 am 27. Februar im Apex/Göttingen

Am 27.02.17 um 20.00 Uhr im Apex findet der 1. DH-Stammtisch 2017 (in lockerer Fortsetzung des früheren Webmontag) statt. Wie der Stammtisch auf lange Sicht gestalten werden soll – als reines Vernetzungstreffen oder themenbezogen mit Schwerpunkten aus der IT, Sicherheit, Open-Source-Tools, geistes- und sozialwissenschaftlichen Fragestellungen – soll auf diesem ersten Treffen besprochen werden! Alle sind herzlich eingeladen.

Bei Interesse bitte Eintrag unter: http://doodle.com/poll/ccaawe24tc6hhkkm. Rückfragen können an: franziska.pannach@stud.uni-goettingen.de gestellt werden.