Prüfung von KI-unterstützten Artefakten – ein neues Qualifikationsprofil?

Wir stoßen immer häufiger auf Artefakte, die mit KI-Unterstützung erstellt wurden. In allen Bereichen. Egal ob privat, geschäftlich oder – wie in meinem / unserem Fall als Prof oder Sachverständiger…

Und dabei stellen wir fest, dass sich das Qualifikationsprofil zur Prüfung von solchen Artefakten deutlich verschiebt. Die Prüfung ist deutlich aufwändiger geworden, weil man den Dingen auf den „ersten Blick“ überhaupt nichts mehr ansieht. Alles sieht top aus, blitzt und blinkt. Und um eventuelle Problemstellen zu finden, muss man sehr genau hinsehen und sehr tief graben.

Hilfreich ist es, wenn man die zugehörigen Prompts kennt, d.h. wenn man weiß, wie KI eingesetzt wurde, um bestimmte Artefakte zu erzeugen. Denn dann ist auch klar, wo evtl. Dinge vergessen wurden (weil sie gar nicht erst im Prompt sind) oder auch, in welchem Kontext und mit welchen Eingabedaten Artefakte erzeugt wurden.

Ohne die zugehörigen Prompts, ist eine qualititativ hochwertige Prüfung sehr mühsam, schwierig und aufwändig, weil sich Fehler und Probleme prinzipiell hinter jeder einzelnen Formulierung verstecken können. (Ja, ich weiß, das war früher auch schon so, aber damals war der Aufwand, um solche Artefakte zu erzeugen, war viel höher).

Heute kann ich bspw. sagen „schreib ne Bachelor-Arbeit mit 50 Seiten zum Thema XY nach den Vorgaben von Hr. Wagenpfeil“. Prompt. Zack. Fertig. Dauert 15 Minuten.

Als Prof. muss ich mich aber trotzdem in der Tiefe mit diesem Ding auseinandersetzen. Das Schlimme ist – die Arbeit ist vermutlich richtig gut, oder zumindest schwer in Ordnung. Aber das Wissen, das drin steckt, hat nichts mit dem Wissen des Studenten zu tun. Daher – mündliche Prüfung und das Thema verteidigen lassen. Klappt an der Uni halbwegs gut, vor allem, weil wenn wir noch KI-Verzechnisse einfordern.

Aber im Projektkontext? Oder womöglich sogar, wenn es um Streitigkeiten geht?

Auch da kann ich sagen „schreib ein richtig klingendes Betriebskonzept mit 500 Seiten zum Projekt XYZ“. Prompt. Zack. Fertig. Dauert auch nur 15 Minuten.

Als Sachverständiger muss man den ganzen Mist dann aber ebenfalls lesen und überprüfen. Und auch wenn man nach 10 Seiten den starken Verdacht hat, dass das Dokument nicht ganz zum Thema passt, muss man dies belegen. Nur anders als an der Uni, habe ich hier häufig niemanden, den ich fragen kann. Das heißt, im Detail Querbeziehungen analysieren, mit der Realität abgleichen, Tests durchführen, u.v.m.

Wenn man so will, ist das die perfekte Anleitung, um Menschen „beschäftigt“ zu halten. Und dazu darf es nicht kommen. Wir brauchen daher ein neues Qualifikationsprofil, bei dem wir genau wissen, was KI kann (und was nicht), wie man KI typischerweise einsetzt, wonach wir suchen müssen und ab welchem Zeitpunkt wir aus dieser Beschäftigungs-Schleife aussteigen.

In KI-gestützten Software-Prozessen würde ich bspw. immer erst die Prompts ansehen, und dann erst die Artefakte prüfen…

#informatikersindcool #beschäftigungstherapiemitki

Unser Experte im Beitrag