GitHub Copilot übersetzt Mockups mit Image-to-Code-Generierung in Code

GitHub hat eine Reihe von Updates für Copilot vorgestellt, die einen Ausblick auf eine autonomere Zukunft für seinen KI-gestützten Programmierassistenten bieten.

Eine wichtige neue Funktion ist Copilot Vision, mit der Benutzer Screenshots, Fotos oder Diagramme direkt in den Chat hochladen können. Copilot verwendet dann die visuellen Eingaben, um entsprechende Interface-Elemente, Code oder beschreibenden Alt-Text zu generieren.

Beispielsweise könnte ein Mitglied des Marketingteams einen Screenshot einer Webseite erstellen und die gewünschten Änderungen visuell markieren. Anstatt die Änderungen in Textform zu beschreiben, kann es einfach das mit Anmerkungen versehene Bild hochladen und Copilot anweisen, die gezeigten Änderungen umzusetzen.

Es ist wichtig zu beachten, dass diese Funktionalität bereits seit Oktober letzten Jahres als VS Code-Erweiterung verfügbar war. Microsoft hatte angekündigt, dass sie zugunsten einer nativen Funktion innerhalb von GitHub Copilot Chat irgendwann eingestellt werden würde. Bei der früheren Version mussten die Benutzer außerdem ihren eigenen API-Schlüssel angeben.

GitHub führt außerdem „Vorschläge für die nächste Bearbeitung” ein, eine Erweiterung der Kernfunktionen von Copilot zur Code-Vervollständigung.

Bisher arbeitete GitHub Copilot im VS Code-Editor hauptsächlich von der aktuellen Position des Cursors aus. Jetzt analysiert es die letzten Änderungen in der Datei, um die wahrscheinliche nächste Aktion des Entwicklers vorherzusagen, und verwendet dabei reichhaltigere Kontextsignale, um automatisch die nächste Änderung vorzuschlagen.

Entwickler können diese Vorschläge durch Drücken der Tabulatortaste annehmen oder durch Drücken der Esc-Taste ablehnen.

Die autonome Zukunft von GitHub

GitHub führte Copilot Edits erstmals im November letzten Jahres ein und bot damit eine natürliche Sprachschnittstelle für die Ausführung von Änderungen an mehreren Dateien. Diese Funktion ist nun allgemein verfügbar und umfasst einen neuen „Agent-Modus”. Dieser Modus identifiziert automatisch alle Dateien, die für die vom Entwickler angeforderten Änderungen relevant sind, sodass nicht mehr manuell angegeben werden muss, welche Dateien geändert werden sollen.

„Copilot unternimmt nun mehr Anstrengungen, um die Absicht hinter Ihrer ursprünglichen Anfrage zu verstehen, und versucht dann, diese zu lösen”, erklärte GitHub-CEO Thomas Dohmke gegenüber TechCrunch.

Langfristig besteht die Vision darin, ähnliche „Agent-Modi” auf andere Bereiche von Copilot anzuwenden, um eine stärkere Automatisierung bei miteinander verbundenen Entwicklungsaufgaben zu ermöglichen. Diese Ausrichtung wird durch eine neue Initiative namens Project Padawan unterstrichen, bei der es sich im Wesentlichen um einen Software-Engineering-Agenten (SWE) handelt, der in der Lage ist, ganze Aufgaben selbstständig zu bearbeiten, wenn ein Entwickler Copilot ein Problem zuweist.

Dohmke gab keinen konkreten Zeitplan für die vollständige Veröffentlichung von Project Padawan bekannt und erklärte lediglich, dass GitHub mit Partnern und der Community zusammenarbeiten werde, um es weiter zu verfeinern.

„Wir suchen Partner, die ebenfalls Agenten entwickeln, um sie in diesen Workflow zu integrieren, sowie Kunden, die mit uns zusammenarbeiten und Feedback geben – denn wir wissen, dass es in dieser Phase noch nicht perfekt sein wird”, sagte Dohmke.

TechCrunch veröffentlicht einen speziellen AI-Newsletter. Melden Sie sich hier an, um ihn jeden Mittwoch in Ihrem Posteingang zu erhalten.