Raus aus der Wolke
Apples Foundation Models Framework arbeitet ausschließlich lokal. Besonderheiten, wie die Rückgabe strukturierter Daten, sind reizvoll und erleichtern die Arbeit. Worauf dabei zu achten ist und wie sich das Framework an die eigenen Bedürfnisse anpassen lässt.
Das neue Framework umfasst ein lokales LLM, das ein Prompt-Ergebnis in vom Entwickler vorgegebenen Typen zurückliefert. Es übergibt sein Ergebnis strukturiert in konkreten Typen und nicht einfach als unstrukturierten String, was sich im Kontext einer API als sehr hilfreich erweist. Der Entwickler spart sich dadurch das selbstständige und fehleranfällige Parsen von Strings. Die dahinterliegende Technik heißt Constrained Decoding und existiert erst seit wenigen Jahren.
Weil das neue Framework, das xOS 26 und mindestens ein Device mit A17 Pro oder M1-Prozessor voraussetzt, lokal auf dem Device ausgeführt wird, ergeben sich für die Entwickler neue Möglichkeiten. Bisherige LLM-Lösungen aus der Cloud setzten dagegen immer voraus, dass der Nutzer online ist. Auch das Thema Sicherheit der Nutzerdaten stellt sich mit diesem Ansatz nicht, da die an das LLM gesendeten Daten und Antworten auf dem Gerät verbleiben und nicht anderweitig (aus-)genutzt werden können.
