Assessing the Reliability of Flight Delay Predictions Using the Perturbation Approach

Flight delays are known to be one of the biggest disturbance factors in the air travel domain. Therefore, solving this logistical problem is critical for stakeholders in the aviation industry. With the rise of machine learning (ML) and artificial intelligence (AI), predicting flight delays has become more reliable than ever. Although the introduction of AI and ML allowed for a more precise flight delay prediction, additional issues arose due to factors like model complexity, high volumes of data, complex data gathering and processing as well as black box algorithms. Furthermore, predictions of ML systems are often challenging to reproduce without significant insight into the development process. Additionally, some ML algorithms in classification tasks only provide the end-user a target class without specifying possibilities to evaluate how certain the classification is. Therefore, edge cases are potentially not recognised as such, leading to suboptimal decisions with possible ramifications. Because of these issues, evaluating the reliability of individual predictions is critical to prevent potential damages of decisions based on unreliable predictions and increase trust in the predictive system. One approach to identify potentially unreliable predictions is the perturbation approach. The perturbation approach involves slightly altering input vectors within predefined margins to observe whether minor changes in input vectors lead to unintended changes to the prediction outcome. This approach is embedded into a reliability assessment process that follows the Cross-Industry Standard Process for Data Mining (CRISP-DM), extended with additional documentation tasks needed for reliability assessment. This reliability assessment process combined with the perturbation approach allows stakeholders to evaluate the certainty of individual predictions without requiring in-depth knowledge of the underlying machine learning algorithm, creating a model-agnostic method for assessing prediction outcomes. This thesis describes a data mining process for multi-class prediction of flight arrival delays to test the validity of the reliability assessment process on a real-world dataset. The data mining project follows the reliability assessment process to find sensitive data fields on basis of which perturbation is used to find unreliable predictions. Three differing tree-based classification models have been trained. The evaluated Random Forest Classifier performed best with an accuracy of 75.19% over all classes. By using perturbation analysis to filter the input dataset to only contain entries leading to reliable predictions, accuracy changed to 80.07%, indicating that perturbation is capable of identifying unreliable predictions regarding flight arrival delay classification. In the theoretical scenario that all unreliable predictions could be corrected with domain knowledge, the test accuracy of the model would amount to 84.10%, showing the potential positive influence of the perturbation approach on the predictive system.

Verzögerungen im Flugverkehr gelten als einer der größten Störfaktoren in der Luftfahrtbranche. Daher ist eine zeitgerechte Identifikation von Verzögerungen wesentlich für einen effizienten Ablauf aller Prozesse innerhalb der Branche. Mit dem Aufstieg von maschinellem Lernen (ML) und künstlicher Intelligenz (KI) bekamen Unternehmen weitere Möglichkeiten, Flugverspätungen zuverlässiger als je zuvor vorherzusagen. Jedoch führen Modelle auf Basis von ML und KI teils zu unerwarteten und nicht replizierbaren Vorhersagen, die das Vertrauen in Vorhersagemodelle verringern. Des Weiteren wird bei klassifizierenden Vorhersagemodellen ein Benutzer nicht über die Verlässlichkeit der Vorhersage informiert. Speziell in Branchen, die auf verlässliche Vorhersagen angewiesen sind, ist es besonders wichtig, die erstellten Vorhersagen auf deren Verlässlichkeit zu überprüfen. Eine solche Methode, die Verlässlichkeit einzelner Vorhersagen zu überprüfen, ist der ’Perturbation Approach’. Bei dem Einsatz dieser Methode werden Datenvektoren, die für eine Vorhersage an ein Vorhersagemodell gegeben werden, leicht gestört, um die Auswirkung der Veränderung auf die Vorhersage zu untersuchen. Sind solche Störungen genug, um die Vorhersage zu beeinflussen, gilt die Vorhersage als unzuverlässig. Diese Methode wurde in einen Prozess für die Erkennung von unzuverlässigen Vorhersagen (Relaibility Checking Process) eingebettet, welcher streng mit dem ’Cross-Industry Process for Data Mining’ (CRISP-DM) verbunden ist. Durch dieses Vorgehen ist es möglich, die Verlässlichkeit von individuellen Vorhersagen auf eine projektspezifische Art zu bestimmen, die unabhängig von den verwendeten Vorhersagemodellen ist. Im Zuge der Arbeit wurden drei Modelle für die Klassifizierung von Flugverspätungen erstellt, die Flugdaten in verfrühte, pünktliche und verspätete Ankunft in KATL (Atlanta, USA) klassifizieren. Für die Entwicklung der Modelle wurde der ’Reliability Checking Process’ angewandt und alle Schritte dokumentiert. Die Vorhersagen wurden mittels ’Perturbation’ auf deren Verlässlichkeit überprüft, um Schlüsse über die Verwendbarkeit des ’Perturbation Approach’ innerhalb der Luftfahrbranche ziehen zu können. Das beste Vorhersagemodell erreichte eine ’Accuracy’ von 75.19% über alle Klassen. Durch die Erkennung unzuverlässiger Vorhersagen und die Eliminierung solcher würde das Modell eine ’Accuracy’ von 80.07% erreichen. Des Weiteren erlaubt die Identifikation von unzuverlässigen Vorhersagen eine manuelle Analyse von Datenvektoren, die zu unzuverlässigen Vorhersagen führen. Durch domänenspezifische Kenntnisse könnte ein Benutzer die Vorhersage manuell ausbessern. Theoretisch könnte ein Benutzer alle als unzuverlässig markierten Einträge manuell auf die tatsächlich korrekte Vorhersage ausbessern, was eine ’Accuracy’ von 84.10% im ausgebesserten Datensatz zur Folge hätte und somit die Wirksamkeit des ’Perturbation Approach’ innerhalb dieser Arbeit aufzeigt.