Kategorie: huschpfusch

Jüngstes LLM-Anwendungsbeispiel meinerseits: eine mittels ollama lokal laufende llama3.2:3b-Instanz führt für mich wiederkehrende Kommandos auf meinem „Lass-mich-Dinge-ausprobieren“-Rechner im lokalen Netzwerk aus. Im Video sieht man eine Sequenz, wo gerade Updates eingespielt werden:

Was man im Video sieht:

• Prompt -> Update the packages on the PC. It's a Fedora 43 Workstation.
• Im rechten Fenster läuft im Terminal das Update via dnf.
• Links sieht man die Spikes auf meiner GPU, die via Vulkan bei der Inferenz unterstützt.

Was man im Video nicht sieht:

• llama3.2 durfte sich aus einem Satz Werkzeuge selbst aussuchen, was am besten für den Prompt funktioniert. Die Entscheidung fiel aufs Terminal. In der Konfiguration hatte ich vorgegeben, dass die Verwendung des Terminals immer eine SSH-Verbindung zu meinem lokalen „Lass-mich-Dinge-ausprobieren“-Rechner einschließt (=fixe Vorgabe der Ziel-IP-Adresse, aber ohne Aushändigen der Credentials an llama3.2).
• Die Credentials habe ich SSH manuell übergeben. Deswegen sieht man auch mehrere Prompts, die davor abgeschickt wurden, das läuft noch nicht ganz stabil.
• Nach Abschluss des Updates hat llama3.2 die Terminal-Response ausgewertet und mir als Zusammenfassung präsentiert, was wie passiert ist.

Was ist das Ergebnis für mich:

• Ein Proof-of-Concept, den ich mal selbst durchspielen wollte.
• Lokale LLM(s) verwende ich schon länger für verschiedene Aufgaben, aber die Automatisierungsmöglichkeiten auf einem Rechner will ich noch mehr ausloten.

Lessons Learned:

• Trennung von lokaler Automatisierung und lokalem Berechtigungskonzept klappt gut, für mich wichtig, weil „meine“ Credentials auch einer lokalen LLM nicht anvertrauen möchte. Credentials, die der LLM zugeordnet sind, natürlich schon (z.B. eigener Benutzer mit eigener Berechtigungsstufe).
• Die LLM auf die GPU zu bekommen, war wenig Aufwand.
• Die LLM-Laufzeit für stupide Update-Tasks steht natürlich in keinem Verhältnis, aber das direkte Deployment eines gerade erst Vibe-gecodeten Web Services auf meinen „Lass-mich-Dinge-ausprobieren“-Rechner, etc. schon viel mehr. 😉