Peer Review für Google Jules: KI-Assistent schaut KI-Assistenten auf die Finger

Google hat für seinen KI-Assistenten für die Softwareentwicklung Jules einen neuen Modus eingeführt: Die sogenannte Critic-Augmented Generation übergibt alle Änderungsvorschläge zunächst an einen in Jules integrierten Kritiker, der sie gründlich überprüft. Der Kritiker führt also ein Peer Review durch und konzentriert sich dabei auf gute Codequalität.

Google hatte Jules im Rahmen der diesjährigen Google I/O im Mai vorgestellt. Der KI-Agent macht keine Codevorschläge innerhalb des Editors wie Cursor, sondern untersucht Projekte, um Bugs aufzuspüren, Tests zu erstellen oder neue Features zu integrieren.

Die erste Lösung ist nicht immer die beste

Ein allgemeines Problem der KI-gestützten Softwareentwicklung ist, dass die Modelle typischerweise Code erstellen, der auf den ersten Blick scheinbar problemlos funktioniert. Dabei berücksichtigen sie jedoch häufig nur den typischen Programmverlauf, sodass die Anwendungen in Grenzfällen scheitern können.

Auch gehen die KI-Agenten meist von passenden, regulären Eingaben aus, sodass unerwarteter Input zu Fehlern oder im schlimmsten Fall Schwachstellen führen kann. Außerdem erstellt der KI-Assistent nicht immer den effizientesten Code für eine bestimmte Aufgabe.

Die Critic-Augmented Generation soll ebendiese Fehler oder Schwächen aufspüren. Der integrierte Kritiker korrigiert sie nicht selbst, sondern markiert sie und gibt sie Jules zum Überarbeiten zurück.

Als Beispiel nennt der Blogbeitrag mit dem Titel „Triff Jules schärfsten Kritiker und wertvollsten Verbündeten“ unter anderem Code, der zwar alle Tests besteht, aber einen subtilen Logikfehler einführt. Jules erhält den Code mit dem Kommentar „Output matches expected cases but fails on unseen inputs.“ zurück.

Bis der Kritiker zufrieden ist

In der jetzigen Variante erhält der Kritiker den kompletten Output von Jules, überprüft ihn und gibt seine Kommentare zurück. Jules verbessert daraufhin seinen Code und übergibt ihn erneut zum Peer Review. Der Prozess wiederholt sich so lange, bis der Kritiker zufrieden ist. Erst dann gibt Jules die Änderungen an die User zurück.

Google will den Prozess künftig erweitern, damit Jules den Kritiker auch für Teilaufgaben befragen kann und dieser Zugang zu externen Tools wie Suchmaschinen oder zu Codeinterpretern zum Ausführen und Prüfen des Codes erhält.

(rme)