Connect with us

Entwicklung & Code

Peer Review für Google Jules: KI-Assistent schaut KI-Assistenten auf die Finger


Google hat für seinen KI-Assistenten für die Softwareentwicklung Jules einen neuen Modus eingeführt: Die sogenannte Critic-Augmented Generation übergibt alle Änderungsvorschläge zunächst an einen in Jules integrierten Kritiker, der sie gründlich überprüft. Der Kritiker führt also ein Peer Review durch und konzentriert sich dabei auf gute Codequalität.

Google hatte Jules im Rahmen der diesjährigen Google I/O im Mai vorgestellt. Der KI-Agent macht keine Codevorschläge innerhalb des Editors wie Cursor, sondern untersucht Projekte, um Bugs aufzuspüren, Tests zu erstellen oder neue Features zu integrieren.

Ein allgemeines Problem der KI-gestützten Softwareentwicklung ist, dass die Modelle typischerweise Code erstellen, der auf den ersten Blick scheinbar problemlos funktioniert. Dabei berücksichtigen sie jedoch häufig nur den typischen Programmverlauf, sodass die Anwendungen in Grenzfällen scheitern können.

Auch gehen die KI-Agenten meist von passenden, regulären Eingaben aus, sodass unerwarteter Input zu Fehlern oder im schlimmsten Fall Schwachstellen führen kann. Außerdem erstellt der KI-Assistent nicht immer den effizientesten Code für eine bestimmte Aufgabe.

Die Critic-Augmented Generation soll ebendiese Fehler oder Schwächen aufspüren. Der integrierte Kritiker korrigiert sie nicht selbst, sondern markiert sie und gibt sie Jules zum Überarbeiten zurück.

Als Beispiel nennt der Blogbeitrag mit dem Titel „Triff Jules schärfsten Kritiker und wertvollsten Verbündeten“ unter anderem Code, der zwar alle Tests besteht, aber einen subtilen Logikfehler einführt. Jules erhält den Code mit dem Kommentar „Output matches expected cases but fails on unseen inputs.“ zurück.

In der jetzigen Variante erhält der Kritiker den kompletten Output von Jules, überprüft ihn und gibt seine Kommentare zurück. Jules verbessert daraufhin seinen Code und übergibt ihn erneut zum Peer Review. Der Prozess wiederholt sich so lange, bis der Kritiker zufrieden ist. Erst dann gibt Jules die Änderungen an die User zurück.

Google will den Prozess künftig erweitern, damit Jules den Kritiker auch für Teilaufgaben befragen kann und dieser Zugang zu externen Tools wie Suchmaschinen oder zu Codeinterpretern zum Ausführen und Prüfen des Codes erhält.


(rme)



Source link

Entwicklung & Code

Github-CEO Thomas Dohmke gibt Posten auf


close notice

This article is also available in
English.

It was translated with technical assistance and editorially reviewed before publication.

Github-CEO Thomas Dohmke will den Hut nehmen. Er plant eigenen Angaben zufolge, wieder als Start-up-Gründer aktiv zu werden. Der Schritt folgt knapp vier Jahre, nachdem er den Posten als Chief Executive Officer im November 2021 übernommen hat.

Dohmke gründete 2011 das Unternehmen HockeyApp, das eine Plattform für App-Tests bot. Die Idee verkaufte er an Microsoft und landete selbst als Mitarbeiter in dem Unternehmen. Später wechselte er zu Github, wo er zusammen mit Nat Friedman an der Übernahme durch Microsoft beteiligt war.

Im Blog von Github hat Thomas Dohmke seinen Rückzug aus Github am Montag dieser Woche angekündigt. Er fasst dort knapp seinen Werdegang, den Weggang aus Deutschland, den Verkauf seines Start-ups an Microsoft und einige Meilensteine bei Github zusammen. Dort gibt er auch seinen Beweggrund an: „Doch nach all dieser Zeit haben mich meine Start-up-Wurzeln gepackt und ich habe beschlossen, GitHub zu verlassen, um wieder ein Gründer zu werden“, schreibt Dohmke dort.

Auf LinkedIn ergänzt er zudem Danksagungen an Satya Nadella (Vorsitzender und CEO von Microsoft), Julia Liuson (Leiterin von Microsofts Entwicklungsabteilung) und den „Hubbers“ genannten Github-Mitarbeiterinnen und -Mitarbeitern.

Das Portal Axios hat zudem die Information erhalten, dass Microsoft die frei werdende Position des Github-CEO nicht unmittelbar neu besetzen will. Der Leiter von Microsofts CoreAI-Abteilung Jay Parikh hat demnach in einem weiteren Memo eine neue Struktur angekündigt, bei der die Github-Führungsriege an mehrere Microsoft-Führungskräfte berichten wird. Julia Liuson soll etwa die Umsätze, Technik und Support von Github beaufsichtigen. Githubs Produktchef Mario Rodriguez soll an Microsofts AI-Platform-Vizepräsidentin Asha Sharma berichten.

Dohmke verlässt seinen Angaben zufolge Github in einem guten Zustand. Mehr als 150 Millionen Entwickler arbeiten an über einer Milliarde Repositories und Forks. Außerdem sei Github führend im Markt bezüglich Künstlicher Intelligenz, die mehr als 20 Millionen Nutzer einsetzen: „Github war niemals stärker, als es heute ist.“


Update

12.08.2025,

11:41

Uhr

Korrektur der Erläuterung von „Hubbers“. Der Begriff meint nicht Nutzer, sondern Mitarbeiter.


(dmk)



Source link

Weiterlesen

Entwicklung & Code

Erfolgreiche Jailbreak-Angriffe auf GenAI arbeiten mit schädlichen Prompts


Das Model Context Protocol (MCP) ist noch recht jung, vom November 2024, und seit einiger Zeit tauchen immer häufiger Sicherheitslücken in Verbindung damit auf – und zwar sowohl server- als auch clientseitig. Umgekehrt gibt es Tausende von MCP-Quellen im Netz, die sich mit wenigen Klicks in die eigene KI-Anwendung einbinden lassen.

Eine lange, kuratierte Liste findet sich auf GitHub. Umgekehrt hat Docker eine Liste mit Angriffspunkten und Sicherheitsproblemen gesammelt. Konkrete Beispiele sind ein Angriff über Repositories auf den MCP-Server GitHub oder eine Attacke auf die Cursor IDE via MCP. Mirko Ross, Gründer und CEO der Sicherheitsfirma asvin spricht mit heise developer über die Sicherheit des als „USB-C der KI“ bezeichneten Protokolls.

Mirko, Du beschäftigst Dich schon länger mit der Sicherheit von KI und MCP, wo liegen denn die Hauptschwachstellen Deiner Meinung nach?

MCP ist in Hinblick auf eine einfache Verknüpfung von Applikationen mit GenAI-Modellen hin entworfen worden, das Ganze in einem sich schnell entwickelnden AI-Tech-Umfeld. Die Schwachstelle liegt in der Genese des Protokolls: Das Design von MCP ist auf eine einfache und schnelle Integration ausgelegt, was zulasten der Protokoll- und Systemsicherheit geht. Zudem haben wir generell noch viel zu wenig die Cybersicherheit-Schwachstellen von GenAI-Systemen umfassend begriffen. Wir sehen in einem täglichen Rhythmus, wie Angreifer sich neue Muster und Jailbreak-Attacken ausdenken und anwenden, mit denen die angegriffenen Systeme aus den Sicherheitsschranken ausbrechen. MCP hat im Protokoll keine wirksamen Sicherheitselemente zur Abwehr solcher Angriffe.

Gibt es Risiken, die ihre Ursachen nicht im Protokoll haben, aber bei der Nutzung von MCP dennoch eine Rolle spielen?

Ja, insbesondere Angriffe in der Softwarelieferkette sind eine Gefahr. Angreifer publizieren Bibliotheken für MCP-Clients und Server, die Schadcode enthalten, in öffentlichen Code-Repositorys. Gerade unerfahrene Entwicklerinnen und Entwickler, die nach einem Einstieg in MCP und KI-Agentensystem suchen, sind hier potenzielle Opfer der Angreifer. Ist eine solche Bibliothek einmal integriert, kann der darin enthaltene Schadcode in Firmennetzwerken ausgeführt werden – beispielsweise als Einfallstor für Ransomware-Angriffe.

Mit Void Programming, also wenn GenAI Programmcode für KI-Agenten oder MCP-Services erzeugt, ergeben sich zusätzliche Sicherheitsprobleme: Bereits jetzt kopieren Angreifer populäre Softwarebibliotheken, kompromittieren sie mit Schadcode und publizieren sie unter ähnlich lautenden Namen. Ziel ist es, dass GenAI bei der Codeerzeugung nicht die Originalbibliothek referenziert, sondern die ähnlich benannte schädliche Kopie. Daher gelten auch bei Void Programming die Grundregeln: erstens jede extern eingebundene Quelle auf Vertrauenswürdigkeit prüfen und zweitens den erzeugten Code auf Schadcode scannen, bevor dieser in eine Produktivumgebung gelangt.


Schloss mit Code

Schloss mit Code

(Bild: Titima Ongkantong/Shutterstock)

Am 30. September und 1. Oktober findet die heise devSec 2025 in Regensburg statt. Auf der von iX, heise Security und dpunkt.verlag ausgerichteten Konferenz stehen in Themen wie Threat Modeling, Software Supply Chain, OAuth, ASPM, Kubernetes und der Einfluss von GenAI auf Security im Programm.

Eine erste Korrektur des Protokolls, die Authentifizierung betreffend, gab es Ende April. Hätte man das Protokoll gleich von Anfang an mehr auf Sicherheit optimieren sollen?

MCP wurde in einem aufgeheizten Markt unter hohem Zeitdruck konzipiert. Dabei spielt der Gedanke des MVP – Minimal Viable Product – eine Rolle. Also die schnelle Einführung von Grundfunktionen, die von Anwendern angenommen werden. Aus Sicht der Cybersecurity bedeutet MVP allerdings „Most vulnerability possibilities“.

Es gibt von der OWASP seit kurzem Empfehlungen für den MCP-Einsatz. Bieten sie umfassende Sicherheit für Server- und Client-Anbieter?

Wer sich an die OWASP-Empfehlungen hält, ist sich zumindest der Risiken einer MCP-Integration bewusst und kann damit die entsprechenden technischen Schutzmaßnahmen aufbauen. Einen umfassenden Schutz gibt es allerdings nicht – denn GenAI-Systeme sind leider grundlegend angreifbar und versierte Täter sind sehr kreativ im Design der Angriffe.

Wie kann sich ein Serveranbieter vor Angriffen am besten schützen?

Erstens gilt es, die Grundregeln der Softwareentwicklung zu beachten: Entwicklerinnen und Entwickler müssen alle verwendeten Bibliotheken per SBOM dokumentieren und auf Schadcode scannen. Zweitens müssen sie MCP-basierte Dienste über Authentifizierung einbinden. Dabei müssen die Identitäten der Authentifizierungen gemanagt werden. Und drittens gilt es, die MCP-Dienste in der Applikationsarchitektur von anderen IT-Diensten zu segmentieren und beispielsweise über Zero-Trust-Prinzipien abzusichern.

Inzwischen gibt es große Sammlungen an einsatzbereiten Servern, die jedermann mit ein paar Klicks einbinden kann. Welche Risiken bestehen denn für die Clients beim Anzapfen von MCP-Quellen?

Sehr erfolgreiche Jailbreak-Angriffe auf GenAI arbeiten mit schädlichen Prompts, die die Angreifer beispielsweise in Dateien verstecken. Soll beispielsweise eine GenAI eine Zusammenfassung einer Word- oder PowerPoint-Datei erstellen, wird der darin versteckte Prompt vom KI-Agenten ausgeführt. Wir müssen lernen, dass wir solche Dateien auf schädliche Prompts überprüfen, bevor wir sie der GenAI zur Bearbeitung übergeben.

Worauf sollte man achten, wenn man MCP-Quellen einbinden will?

Generell gilt: nur Quellen einbinden, die als vertrauensvoll gelten und über eine gute Reputation verfügen. Unbekannte Quellen sollte man nicht einbinden.

Mirko, vielen Dank für das Gespräch!


(who)



Source link

Weiterlesen

Entwicklung & Code

Software Testing: Developer Friendliness für bessere Software


Richard Seidl und Lars Luthmann gehen in dieser Folge des Podcasts Software Testing der Frage nach, welche Bedeutung „Developer Friendliness“ in der Softwareentwicklung hat. Sie plaudern darüber, wie ein angenehmes Arbeitsklima und geeignete Werkzeuge, wie Testschnittstellen und Testdatengeneratoren, den Alltag von Entwicklerinnen und Entwicklern erleichtern können.

Lars Luthmann teilt Einblicke aus einem Automobilprojekt, in dem innovative Ansätze wie REST-Schnittstellen und Mock-Services den Testprozess optimierten.

„Wenn man diese Maßnahmen dann umsetzt und die am Ende tatsächlich auch den Nutzen haben, den man denkt, dann spart man langfristig Zeit. Und das ist eben der eine ganz wichtige Punkt meiner Meinung nach.“ – Lars Luthmann

Bei diesem Podcast dreht sich alles um Softwarequalität: Ob Testautomatisierung, Qualität in agilen Projekten, Testdaten oder Testteams – Richard Seidl und seine Gäste schauen sich Dinge an, die mehr Qualität in die Softwareentwicklung bringen.

Die aktuelle Ausgabe ist auch auf Richard Seidls Blog verfügbar: „Developer Friendliness für bessere Software – Lars Luthmann“ und steht auf YouTube bereit.


(mdo)



Source link

Weiterlesen

Beliebt