Neulich haben wir uns bei queo valueTec Zeit genommen, um in kleinen Experimenten zu untersuchen, ob und wie KI bei der Konzeption von Softwareprojekten unterstützen kann.

Meiner Meinung nach geht es bei einem Konzept darum, konsistent den Kern einer Anforderung herauszuarbeiten und eine dafür bestmöglich passende, schlüssige Lösung zu entwickeln. Was ein gutes Konzept ausmacht, lässt sich nicht so einfach in Worte fassen. Am besten trifft es wohl: „Ein gutes Konzept schafft ein gemeinsames Verständnis über die zu entwickelnde Software.“

Da Konzepte im Kern Texte sind, liegt es nahe, sich zu fragen, welche neuen Möglichkeiten KI-gestützte Sprachmodelle (LLMs) bieten, um bei der Konzeption zu unterstützen.

Ich wage die These, dass der naive Einsatz von generativer KI zur Erstellung von Konzepten zwar einen längeren Text erzeugen kann, dieser jedoch oft beliebig bleibt. Man könnte auch sagen, was soll die KI denn machen, wenn die Fakten fehlen. Das wäre also vermutlich das genaue Gegenteil dessen, was ein gutes Konzept ausmacht.

Vielversprechender scheint es zu sein, nach Wegen zu suchen, wie LLMs als eine Art QS-Tool dabei helfen können, Unklarheiten in Konzepten zu identifizieren und zu beheben.

KI-gestützte Ansätze zur Qualitätssicherung von Konzepten

Um genau das haben wir: Dominik Bock, Lena Best, Matthes Winkler, Tobias Neubauer und ich letzte Woche ausprobiert. Dabei haben wir in zwei verschiedene Richtungen experimentiert und jeder hat sich anderen Ideen angenommen:

  1. Erzeugung einer Konzeptmap aus Dokumenten, um schnell einen Überblick über den Inhalt zu erhalten. Idealerweise könnte man sich dann nur noch mit den relevanten Aspekten des Konzepts beschäftigen, während die Konzeptmap als Zusammenfassung für den Rest dient.
  2. Erkennung von Unklarheiten und Lücken Wir haben verschiedene Ideen untersucht, ob ein LLM unterstützen kann, von der: direkten "plumpen" Frage nach Unklarheiten, über dedizierte spezifischen Fragen nach Aspekten, die immer wieder in Konzepten beantwortet werden müssen, bis hin zur Idee durch Verfeinerung des Konzeptes durch das LLM die Unklarheiten aufzudecken.

Die Konzeptmap

Ich habe mich insbesondere mit der Erstellung der Konzeptmap beschäftigt, weil ich überzeugt bin, dass eine visuelle Zusammenfassung das Erfassen der Zusammenhänge im Vergleich zum linearen Lesen erheblich erleichtert und beschleunigt.

Der grobe Prozess der Lösungsidee:

  • Zunächst wird mithilfe eines LLMs iterativ ein Glossar aus den zugrunde liegenden Dokumenten erstellt.
  • Anschließend generiert das LLM aus diesem Glossar die eigentliche Konzeptmap.
  • Beides zusammen wird dann in einer interaktiven Webseite mit Quellenangaben bereitgestellt.

Es hat sich gezeigt, dass der Ansatz grundsätzlich funktioniert, aber

Lessons Learned

Es stellt sich heraus, dass es schwierig ist, die eine perfekte Konzeptmap zu erstellen. Vielmehr entstehen verschiedenen, die jeweils unterschiedliche Aspekte der Software in den Fokus rücken.

Es zeigt sich, dass einen riesigen Unterschied macht, ob ein Mensch einen Prompt manuell ausführt, das Ergebnis interpretiert und gegebenenfalls nachbearbeitet oder ob eine Software das Ergebnis automatisiert verarbeiten muss. Letzteres erfordert einen deutlich sorgfältiger geschriebenen Prompt und trotzdem immer noch programmierte „Nacharbeit“.

Fazit: KI zur Qualitätssicherung und Unterstützung, aber nicht als Autor von Konzepten

Wir haben uns insbesondere mit der Qualitätssicherung von Konzepten beschäftigt, um herauszufinden, ob LLMs in diesem Bereich unterstützend eingesetzt werden können. Die Experimente der Woche haben gezeigt, dass dies nicht perfekt funktioniert, aber durchaus hilfreich sein kann.

Den Einsatz generativer KI zur Erstellung von Konzepten haben wir nicht untersucht. Persönlich halte ich ihn, wie oben beschrieben, derzeit für unrealistisch und nicht zielführend.