3 Tipps: Sichere Sprachmodelle abseits von ChatGPT

Sebastian Meineck

Was auch immer man mit ChatGPT bespricht: Es ist nicht vertraulich. Die Lösung sind Sprachmodelle, die ohne Internet auf dem eigenen Gerät laufen. Sebastian Meineck stellt sie vor.

Berlin – Große Sprachmodelle wie ChatGPT können beim Schreiben helfen. Aber gerade bei sensiblen Recherchen gibt es ein Problem. Denn was auch immer man mit dem Chatbot bespricht: Es ist nicht vertraulich. Die Lösung sind Sprachmodelle, die ohne Internet auf dem eigenen Gerät laufen. Das ist inzwischen einfacher denn je. Sebastian Meineck stellt sie im aktuellen „medium magazin“ vor:

GPT4All: nomic.ai/gpt4all

GPT4All ist eine kostenlose Software mit simpler grafischer Oberfläche. Mit ihrer Hilfe kann man große Sprachmodelle lokal auf dem eigenen Rechner laufen lassen, braucht dafür also keine Internetverbindung. Es ist fast so, als würde man mit ChatGPT im Browser schreiben – nur dass keine Daten das eigene Gerät verlassen.

GPT4All gibt es zum Download für Windows, MacOS und Linux. Die Software will lokale Sprachmodelle für alle zugänglich machen, ohne dass man dafür besondere Programmierkenntnisse benötigt. Mit GPT4All laufen eine Reihe offener Sprachmodelle, etwa von Meta oder Mistral. Und das ist kostenlos: Geld verdient der US-Anbieter Nomic mit anderen KI-Diensten.

ChatGPT ist lokalen Sprachmodellen ohne Zweifel überlegen. Der limitierende Faktor ist die Rechenleistung des eigenen Geräts. Für meinen Test im Einsatz hatte ich Sprachmodelle mit einem Bedarf von 4 GB RAM auf einem Laptop mit 8 GB RAM. Pro Antwort musste ich ein paar Sekunden warten. Für manche Einsatzzwecke war das vorzeigbar.

Llama 3.2: für Deutsch–Englisch und Englisch–Deutsch

Qwen2: als Spürhund für Datenberge

Zu den Tipps