Building an LLM-based chatbot for automation of IT support requests and defined standard processes

Die zunehmende Komplexität von IT-Umgebungen in Unternehmen sowie das exponentielle Wachstum von Support-Anfragen stellen Support-Abteilungen vor große Herausforderungen – insbesondere, da ein Großteil dieser Anfragen repetitiv ist. Die manuelle Bearbeitung routinemäßiger Support-Tickets ist nicht nur arbeitsintensiv und fehleranfällig, sondern führt auch zu Verzögerungen und einer verminderten Servicequalität. Daher ist die Integration von Automatisierung in die IT-Support-Umgebung essenziell, um wiederkehrende Aufgaben zu bewältigen und dem menschlichen Support-Personal die Konzentration auf komplexere und priorisierte Anliegen zu ermöglichen. Diese Arbeit adressiert diese Herausforderungen durch die Konzeption und Implementierung eines Chatbot-Systems basierend auf künstlicher Intelligenz (KI), das mithilfe großer Sprachmodelle (LLMs) die Bearbeitung von IT-Support-Anfragen sowie standardisierter Geschäftsprozesse automatisiert. Geleitet von der Design-Science-Research-Methodik untersucht die Arbeit, wie LLMs – erweitert durch Fine-Tuning und Retrieval-Augmented Generation (RAG) – effektiv zur Automatisierung von IT-Support-Workflows beitragen können. Historische Support-Tickets und Artikel aus internen Wissensdatenbanken wurden aufbereitet und in mehrstufige Dialoge umgewandelt, um als Trainingsdaten zu dienen. Mehrere Open Source LLMs mit weniger als 10 Milliarden Parametern wurden mittels QLoRA feinjustiert. Parallel dazu wurde eine RAG-Pipeline implementiert, um das Kontextverständnis zu verbessern. Für die Automatisierung standardisierter Prozesse wurden Microsoft Power Automate Workflows in das Chatbot-System integriert. Dies erfolgte über einen auf Ähnlichkeitsanalyse basierenden Erkennungsmechanismus mithilfe von Embeddings, bei dem die Benutzereingabe analysiert wird, ob ein Standardprozess ausgelöst werden soll. In der Evaluierungsphase wurde die Leistung der LLMs in verschiedenen Konfigurationen – Basis, Basis mit RAG, fine-tuned, und fine-tuned mit RAG – anhand von BERTScore und Genauigkeitsmetriken bewertet. Die Ergebnisse zeigen, dass Unterschiede in der Prompt-Formulierung, der Prompting-Strategie und den LLM-Parametern nur geringen Einfluss auf die Ausgabequalität in diesem Anwendungsfall hatten. Am erfolgreichsten war die hybride Konfiguration aus Fine-Tuning und RAG, mit einer Genauigkeit von bis zu 80,15 % beim besten Modell. Zudem lieferte der embedding-basierte Ansatz zur Erkennung von Standardprozessen vielversprechende Ergebnisse mit hoher Genauigkeit und niedriger Falsch-Positiv-Rate. Diese Forschung liefert eine modulare Architektur für KI-gestützte Support-Automatisierung und bietet praxisnahe Erkenntnisse zu Fine-Tuning-Techniken, Prompt-Design und Systemintegration. Zukünftige Arbeiten könnten die Integration größerer und leistungsfähigerer LLMs, den Einsatz von Reinforcement Learning zur iterativen Leistungsverbesserung sowie die Einbeziehung visueller Benutzereingaben zur Verbesserung des Kontextverständnisses untersuchen.

The increasing complexity of enterprise IT environments and the exponential growth of support requests pose significant challenges for support departments. Especially as most of the support requests are repetitive. Manual handling of routine support tickets is not only labor-intensive and error-prone but also results in delays and reduced service quality. Therefore, integrating automation into the IT support environment is essential to address repetitive tasks and allow human support staff to focus on more complex, higher-priority issues. This thesis tackles these challenges by designing and implementing an artificial-intelligence-based chatbot system that automates the handling of IT support requests and standard business processes using large language models (LLMs). Guided by the Design Science Research methodology, the work investigates how LLMs – enhanced through fine-tuning and retrieval-augmented generation (RAG) – can effectively support the automation of IT support workflows. Historical support tickets and internal knowledge base articles were preprocessed and transformed into multi-turn dialogues to serve as training data. Several open-source LLMs with fewer than 10 billion parameters were fine-tuned using QLoRA. In parallel, a RAG pipeline was implemented to enhance contextual understanding. For standard process automation, Microsoft Power Automate workflows were integrated into the chatbot system. This was achieved through a similarity-based detection mechanism using embeddings, where the user's input was analyzed to determine whether a standard process should be triggered. In the evaluation phase, the performance of the LLMs across different configurations – baseline, baseline with RAG, fine-tuned, and fine-tuned with RAG – was assessed using BERTScore and accuracy metrics. Results indicate that variations in prompt formulation, prompting strategy, and LLM parameters had minimal impact on output quality in this use case. Notably, the hybrid setup combining fine-tuning with RAG achieved the highest response accuracy, reaching up to 80.15% with the best-performing model. Additionally, the embedding-based approach for detecting standard processes yielded promising results with high accuracy and a low false-positive rate. This research contributes a modular architecture for AI-driven support automation and offers practical in-sights into fine-tuning techniques, prompt design, and system integration. Future work may explore the integration of larger and more capable LLMs, the application of reinforcement learning to iteratively improve system performance, and the incorporation of visual user input to enhance context under-standing.