KI ist gerade der große Hype und auch wir schreiben immer wieder darüber. Meist geht es um KI-Dienste wie ChatGPT, Google Gemini, Bildgeneratoren wie Midjourney, etc. Aber man kann Large-Language-Modelle (LLMs) auch auf dem eigenen Rechner ausprobieren und damit herumspielen.
Drei Möglichkeiten möchte ich Dir dazu zeigen:
Alle drei Programme gibt es für MacOS, Linux und Windows zum Herunterladen. Für llamafile gibt es ein Programm, das auf allen Plattformen läuft. Bei LM Studio und ollama muss man dann noch Modell-Dateien herunterladen. In llamafile sind diese schon in die auszuführende Datei eingebaut und man lädt sich einfach die Datei herunter, deren LLM man ausprobieren möchte.
LM Studio hat ein User Interface, innerhalb dessen man Modell-Dateien herunterladen und einen Chat starten kann.
llamafile bietet ein Browser-Interface zur Interaktion und ollama wird im Terminal (genau genommen in zwei Terminals) ausgeführt und genutzt.
Beispiele für das Starten von ollama
Terminal 1:
ollama serve
Terminal 2:
ollama pull llama3
ollama run llama3
Worauf sollte man bei der Auswahl der Modelle achten?
Modelle können auf unterschiedliche Themen trainiert sein, z. B. welche Sprachen sie beherrschen oder ob sie auf Programmierung spezialisiert sind. Je mehr ein Modell kann und je umfangreicher es ist, desto größer wird es.
Ganz grob kann man das an der Dateigröße erkennen. Daher sollte man Modelle wählen, für die der Hauptspeicher und Festplattenplatz des eigenen Rechners noch ausreichend ist.
Gerade kleinere Modelle können auch offensichtliche Probleme haben. Beispielsweise ist die Grammatik in deutschen Antworten manchmal fehlerhaft oder es fehlt "Wissen" und man bekommt eine oberflächliche, ausweichende, lückenhafte oder gar falsche Antwort.
Mein Lieblingsprompt ist:
Nenne mir bitte alle hessischen Städte, die sowohl an der Deutschen Märchenstraße, als auch an der Deutschen Fachwerkstraße liegen.
Ja, sei bitte höflich zu Deiner KI. Was sonst passieren kann, ist in der Dokumentationsreihe "Terminator" ausreichend belegt! Es hat in unterschiedlichen Studien auch nachweisbar bessere Ergebnisse gegeben, wenn die Instruktionen freundlich(er) formuliert waren (wir berichteten).
Ich habe noch kein Modell getestet, das mir für meinen Lieblingsprompt eine zufriedenstellende Antwort geben konnte.
Zuletzt sei noch kurz darauf hingewiesen, dass ein LLM auch mit einer Lizenz kommt, die angibt, wofür man es verwenden darf und man sollte sich kurz überlegen, ob der Einsatzzweck damit kompatibel ist.
Als Fazit, um LLM lokal auszuprobieren, würde ich Dir zuerst llamafile vorschlagen. LM Studio erfordert schon ein wenig Einarbeitung in die Nutzung. Wer keine Angst vor einem Terminal hat, dem gibt auch ollama die Möglichkeit, ohne viel Umstände mal mit einer AI zu chatten.