Design and Implementation of an Extensible Knowledge Base for the Reliability Assessment of Predictive Analytic Results

Data mining plays an increasingly important role in helping organizations draw conclusions from large datasets and make informed decisions. However, a recurring problem is the evaluation of prediction reliability. In many practical settings, unreliable predictions can have serious implications, such as financial misjudgments or incorrect clinical decisions. This thesis addresses the issue of how to support a user to assess the reliability of new predictions by selecting and applying suitable approaches for assessing the reliability of analytic results from predictive models. Building on the reference process proposed by Staudinger et al. (2024), the system integrates assessment approaches, methodologies, and implementations into a unified semantic framework. A knowledge graph based on RDF and the PROV Ontology forms the core data layer and links entities such as assessment approaches, methodologies, and implementations across several abstraction levels, namely generic, method-specific, and instance-specific. The proposed knowledge base consists of three sections: the Guided Section, which helps users narrow down suitable approaches through structured filtering; the Browsing Section, which provides an overview of all stored elements; and the Results Section, where recorded assessment cases can be viewed and compared. The implemented knowledge base shows how the integration of assessment knowledge in a knowledge graph can support users in selecting suitable assessment approaches for evaluating the reliability of analytic results.

Data Minig spielt eine wichtige Rolle um Organisationen dabei zu unterstützen große Datenmengen zu analysieren und fundierte Entscheidungen darüber zu treffen. Ein wiederkehrendes Problem dabei besteht jedoch in der Bewertung der Zuverlässigkeit solcher Entscheidungen, da unzuver-lässige Modelle zu schwerwiegenden Folgen wie finanziellen Fehlentscheidungen oder fehlerhaften klinischen Diagnosen führen können. Daher befasst sich diese Masterarbeit mit der Entwicklung einer erweiterbaren Wissensbasis um Anwenderinnen und Anwender bei der Auswahl von geeigneten Ansätzen für die Beurteilung der Zuverlässigkeit von Modellen zu unterstützen. Aufbauend auf dem von Staudinger et al., 2024 entwickeltem Referenzprozess integriert das System Bewertung-sansätze, methodische Konzepte sowie Implementierungen in einen einheitlichen Rahmen. Ein auf RDF und PROV-O basierender Knowledge Graph bildet dabei die zentrale Datenbasis, die die unterschiedlichen Entitäten über mehrere Abstraktionslevels hinweg miteinander verbindet. Die Wissensbasis besteht aus drei Bereichen: die Guided Section, die durch strukturierte Vorgaben und Filter Optionen bei der Auswahl geeigneter Ansätze unterstützt; die Browsing Section, in der ein Überblick über alle gespeicherten Elemente geboten wird; und die Results Section, in der gespeicherte Bewertungsergebnisse angezeigt werden. Das implementierte System zeigt, wie die Integration von Bewertungswissen in einem Knowledge Graph Benutzerinnen und Benutzer bei der Auswahl von geeigneten Methoden unterstützt, um analytische Ergebnisse zu evaluieren und die Ergebnisse dieser Methoden in der Wissensbasis darzustellen. Zukünftige Arbeiten könnten sich darauf konzentrieren mehr Ansätze in die Wissensbasis aufzunehmen, die Empfehlungen der Wissensbasis zu verbessern sowie die Benutzerfreundlichkeit der Wissensbasis anzuheben.