Leitfaden: Blender-Workflows mit Gemini API Function Calling entwerfen

Was erfahren Sie in diesem Leitfaden?

Gemini API Function Calling ermöglicht es einem Modell, statt ausschließlich Text zu erzeugen, eine zuvor definierte Funktion auszuwählen und die dazugehörigen Parameter zurückzugeben. Die Anwendung kann diese Ausgabe entgegennehmen und den entsprechenden externen Vorgang ausführen. Der Ansatz eignet sich beispielsweise für Aktionen in externen Systemen, den Abruf externer Informationen oder die Nutzung von Werkzeugen für Berechnungen.

In Blender wiederum können Python-Skripte viele Bereiche der Software erweitern. Das offizielle Blender-Handbuch nennt unter anderem das Erstellen von Objekten, Animationen und Renderings, den Import und Export sowie die Automatisierung wiederkehrender Aufgaben als mögliche Einsatzgebiete. Ziel ist hier nicht die Annahme, Gemini könne Blender direkt steuern, sondern zu verstehen, wie sich der Workflow einer eigens entwickelten Anwendung zwischen den beiden Systemen gestalten lässt.

Voraussetzungen und Grenzen

In Googles Gemini-API-Leitfaden besteht eine Function-Calling-Definition aus einem Funktionsnamen, einer Beschreibung und Parametern. Die Beispiele verwenden mit dem Python-Client die Bibliothek genai; im REST-Beispiel wird die API-Anfrage mit einem Schlüssel namens GEMINI_API_KEY gesendet. Der Ausgangstext erläutert weder die Bedingungen für ein erforderliches API-Konto noch die Preisgestaltung oder eine mindestens benötigte Softwareversion. Prüfen Sie daher vor der Umsetzung die aktuellen Zugangsbedingungen.

Das Blender-Handbuch zeigt für die Arbeit mit Python-Skripten Bereiche wie den Text Editor und die Python Console und verweist auf die Blender-Python-API-Dokumentation als Informationsquelle. In den geprüften Dokumenten finden sich jedoch weder ein fertiges Blender-Add-on für Gemini noch eine direkte Verbindungsmethode oder Angaben zur Kompatibilität mit einer bestimmten Blender-Version. Dieser Leitfaden beschreibt keine fertige Integration, sondern einen möglichen Entwurfsansatz für einen zu entwickelnden Prototyp.

Den Workflow Schritt für Schritt entwerfen

1. Legen Sie eine einzelne, kleine Aufgabe fest. Automatisieren Sie beim ersten Versuch nicht gleich eine umfangreiche Anweisung, sondern wählen Sie eine Aufgabe, deren Umfang sich leicht überprüfen lässt. Denkbar wäre etwa, die Namen ausgewählter Objekte in einer Innenraumszene auszugeben oder eine einfache Anfrage zum Erstellen eines Objekts in Parameter aufzuteilen. Das sind keine fertigen Gemini-Funktionen in Blender, sondern Beispielszenarien, die in der Anwendung entwickelt werden müssten.

2. Definieren Sie genau, was die Funktion tut. Eine Funktionsdefinition in der Gemini API enthält einen Namen, eine Beschreibung und ein Parameterschema. Die Parameter ermöglichen es dem Modell, eine Anfrage strukturiert zu übermitteln. In einem Szenario für Architekturszenen kann der Entwickler beispielsweise festlegen, ob Angaben zu Objekttyp, Abmessungen oder Position erforderlich sind. Diese Felder sind kein fertiges, in den Quellen für Blender bereitgestelltes Schema, sondern Beispiele für Eingaben, die je nach Projekt entworfen werden müssen.

3. Testen Sie die Umwandlung einer natürlichsprachlichen Anfrage in Parameter. Das folgende Beispiel zeigt, wie sich eine Nutzeranfrage eingrenzen lässt. Der Prompt allein löst keine Aktion in Blender aus; die Anwendung muss eine passende Funktionsdefinition und den Code zu ihrer Ausführung enthalten.

İç mekân sahnesinde bir sehpa oluşturma isteğini değerlendir. Yalnızca sehpanın türünü, genişliğini, derinliğini ve yüksekliğini belirten alanları yapılandırılmış parametreler olarak hazırla. Eksik ölçüleri tahmin etme; eksik bilgi varsa bunu belirt.

Ziel dieses Beispiels ist, zu verhindern, dass das Modell fehlende Maße erfindet, und die angeforderten Angaben klar einzugrenzen. In der Funktionsdefinition der Anwendung muss vorab festgelegt sein, welche Parameter akzeptiert werden.

1. Prüfen Sie den zurückgegebenen Aufruf in der Anwendung. In Googles Beispielen werden die Interaktionsschritte geprüft. Ist ein Schritt ein function_call, werden der Funktionsname und die Argumente ausgelesen. Auch in einem Prototyp für Architekturautomatisierung sollte die Anwendung prüfen, ob der eingehende Aufruf einer definierten Funktion entspricht und ob die Argumente das erwartete Format haben. Diese Prüfung ist ein Entwurfsvorschlag, um das Risiko zu verringern, dass falsche oder unvollständige Eingaben direkt auf die Szene angewendet werden.

2. Behandeln Sie das Blender-Skript als separate Komponente. Die von Gemini gelieferten Parameter können an ein Skript übergeben werden, das die Blender-Python-API nutzt. Diese Übergabe und die Ausführung des Skripts liegen jedoch in der Verantwortung der zu entwickelnden Anwendung. Laut Blender-Handbuch können eigene Skripte für einmalige Aufgaben im Text Editor verwendet werden. Für die API-Nutzung empfiehlt das Handbuch außerdem die offizielle Blender-Python-API-Dokumentation. Bei einem einfachen Prototyp ist es übersichtlicher, zunächst die Parameter zu prüfen und das Skript anschließend in einer Testszene auszuführen.

3. Prüfen Sie das Ergebnis und halten Sie den Umfang begrenzt. Protokollieren Sie den vom Modell ausgewählten Funktionsnamen und die Argumente und kontrollieren Sie zusätzlich das vom Skript erzeugte Ergebnis. Wählen Sie bei den ersten Versuchen rückgängig zu machende Aktionen mit einem klaren Einzelzweck statt weitreichender Vorgänge, die die gesamte Szene verändern. Das ist keine in den Quellen beschriebene zwingende Sicherheitsfunktion, sondern eine mögliche Maßnahme für den Workflow bei der Entwicklung von Automatisierungen.

Auswirkungen auf Workflows in Architektur und Visualisierung

Der Ansatz kann für Entwickler und Visualisierungsteams interessant sein, die wiederkehrende Schritte bei der Szenenvorbereitung automatisieren oder natürlichsprachliche Anforderungen in strukturierte Eingaben umwandeln möchten. Eine häufig wiederholte Szenenänderung im Team könnte beispielsweise in definierte Parameter überführt werden; ein Blender-Skript, das diese Parameter nutzt, würde separat entwickelt. Function Calling fungiert dabei als Schnittstelle zwischen natürlicher Sprache und Anwendungsfunktion – es ist für sich genommen kein Modellierungswerkzeug.

Die Quellen machen keine Angaben zu Hardwareanforderungen, Lizenzkosten oder zur Kompatibilität mit Blender-Versionen. Daher lässt sich daraus nicht ableiten, dass die vorhandenen Computer ausreichen, die Integration mit einer bestimmten Version funktioniert oder keine zusätzlichen Kosten entstehen. Für Büros ist es sinnvoller, zunächst einen Prototyp in einer kleinen Szene zu erstellen und API-Zugang, Parameterprüfung, Skriptverhalten und Lizenzbedingungen getrennt zu untersuchen.

Häufige Fehler

• Function Calling für ein fertiges Add-on halten: Das Modell kann einen Aufruf für eine definierte Funktion und Parameter erzeugen. Das bedeutet nicht, dass die Verbindung zu Blender automatisch eingerichtet ist.

• Die Funktionsdefinition unklar lassen: Beschreibung und Parameter sollten eindeutig festlegen, welche Eingaben die Anwendung akzeptiert. Fehlen Angaben zu Maßen oder Position, sollte diese Unsicherheit behandelt werden, statt Werte zu schätzen.

• Die Modellausgabe ungeprüft ausführen: Prüfen Sie den zurückgegebenen Funktionsnamen und die Argumente in der Anwendung. Testen Sie das Skript zunächst in einer Testszene.

• Versionen und Zugangsbedingungen voraussetzen: Die Quellen nennen weder eine bestimmte Blender-Version noch API-Preise oder Kontobedingungen. Prüfen Sie vor Projektbeginn die aktuellen Dokumentationen.

Nächste Schritte

Erstellen Sie zunächst ein eng umrissenes Python-Skript, das eigenständig in Blender läuft, und halten Sie schriftlich fest, welche Eingaben es erwartet. Legen Sie anschließend auf der Gemini-API-Seite eine Funktionsdefinition für diese Eingaben an und beobachten Sie die Aufruf- und Parameterausgabe des Modells. Testen Sie abschließend einen Prototyp, in dem die Anwendung den Aufruf prüft und an das Blender-Skript weitergibt. Nutzen Sie für die Programmierung die Blender-Python-API-Dokumentation und für die Funktionsdefinition und den Aufrufablauf auf Gemini-Seite den Gemini-API-Leitfaden zu Function Calling.

Quellen und Lizenz

Auf Grundlage des Gemini-API-Leitfadens zu Function Calling (Google, CC BY 4.0) und der Einführung in Blender-Python-Skripte (Blender, CC BY-SA 4.0) ins Türkische übertragen. Die Architekturszenarien und Prompt-Beispiele wurden eigens für diesen Leitfaden erstellt.