Automated Generation of Forecasting Texts in Aviation Weather for Thunderstorm Activity: A Hybrid Workflow Combining Rule-Based Processing and Large Language Models

This master’s thesis examines the generation of forecasting texts in aviation weather using rule-based preprocessing and a large language model (LLM). Forecasting texts in aviation weather aim to provide a general overview of the weather situation in Austria. The specific focus of this thesis is on generating forecasting texts in aviation weather for thunderstorm activity. Toward the goal of generating forecasting texts in aviation weather, an AI-based workflow was developed as a proof-of-concept prototype for generating forecasting texts in aviation weather, including preprocessing, summarization, verification and comparison. Therefore, the AI-based workflow additionally serves as a tool for assessing the correctness of generated forecasting texts in aviation weather. An experiment was conducted using 145 cases of historical weather data containing thunderstorm activity to assess the correctness of the generated forecasting texts in aviation weather based on the preprocessed data. Additionally, 96 cases were used to assess the completeness of generated forecasting texts in aviation weather, comparing them to human-written forecasting texts in aviation weather in German. The correctness scores show that the format of the preprocessed data serving as input for the LLM has an impact on the generated forecasting texts in aviation weather. Using preprocessed data formatted as natural language as input for the LLM leads to better results than using preprocessed data formatted as tabular format. The completeness scores show that the generated forecasting texts in aviation weather differ from the human-written reference forecasting texts in aviation weather. An expert evaluation revealed shortcomings in preprocessing with missing details of thunderstorms, such as shape, direction of movement and size. The preprocessing part is the most essential part. Therefore, future work will focus on further preprocessing and utilizing an LLM exclusively for text summarization and stylistic variations.

Diese Masterarbeit untersucht die Generierung von Flugwettervorhersagetexten durch die Ver-wendung von regelbasierter Vorverarbeitung von Daten und einem Large Language Model (LLM). Die Flugwettervorhersagetexte dienen dazu, einen Gesamtüberblick über die Wettersituation in Österreich zu bekommen. Der spezifische Fokus dieser Masterarbeit ist die Generierung von Flug-wettervorhersagetexten für Gewitteraktivitäten. Zur Erreichung dieses Ziels wurde ein KI-basierter Workflow als Proof-of-Concept Prototyp entwickelt, um Flugwettervorhersagetexte generieren zu können. Dieser Workflow beinhaltet die Vorverarbeitung von Wetterdaten, Zusammenfassung, Verifikation und Vergleich. Daher dient dieser Workflow zusätzlich als ein Werkzeug zur Verifikation der Korrektheit solcher generierten Flugwettervorhersagetexte. Es wurde ein Experiment durchge-führt, welches 145 Fälle von historischen Wetterdaten mit Gewitteraktivitäten zur Überprüfung der Korrektheit beinhaltet und 96 Fälle für die Überprüfung der Vollständigkeit. Die Ergebnisse hinsichtlich der Korrektheit zeigen, dass das Format der vorverarbeiteten Daten als Eingabe für das LLM entscheidend ist. Die Nutzung von vorverarbeiteten Daten in Form von natürlicher Sprache zeigte bessere Ergebnisse bei der Erstellung von Flugwettervorhersagetexten als vorver-arbeitete Daten in einer tabellarischen Darstellung hinsichtlich der Korrektheit. Die Ergebnisse hinsichtlich der Vollständigkeit zeigen, dass sich die generierten Flugwettervorhersagetexte von den von Menschen verfassten Flugwettervorhersagetexten unterscheiden. Eine Expertenevalierung zeigte, dass zu wenig Datenvorverarbeitung durch fehlende Details zu Gewitteraktivitäten wie Form, Bewegungsrichtung und Größe vorgenommen wurde. Daher sollte der Fokus für zukünftige Forschung in der Datenvorverarbeitung liegen. Ein LLM sollte zur Zusammenfassung der Daten dienen und stilistische Variationen der Flugwettervorhersagetexte ermöglichen.