mindprio®

mindprio® in 90 Sekunden

KI-News ·

Ubuntu bringt KI-Modelle per Befehl auf den eigenen Rechner: Brauchen wir die Cloud noch?

Canonical hat den Inference Manager vorgestellt. Er installiert offene KI-Modelle auf Ubuntu-Rechnern. Was das für Firmen mit sensiblen Daten heißt.

Von Stephan Grosser2 Minuten Lesezeit
Ubuntu bringt KI-Modelle per Befehl auf den eigenen Rechner: Brauchen wir die Cloud noch?

Die Kurzantwort

Für manche Aufgaben nicht mehr. Canonicals kostenloser Inference Manager installiert offene Modelle wie Gemma 4 mit einem Befehl auf Ubuntu. Für Spitzenleistung bleibt die Cloud stärker, für vertrauliche Routinearbeit wird der eigene Server einfacher.

Was ist passiert?

Canonical, die Firma hinter dem Betriebssystem Ubuntu, hat auf dem Ubuntu Summit am 12. und 13. November ein neues Werkzeug vorgestellt: den Inference Manager. heise berichtete am 14. November darüber.

Das Werkzeug installiert KI-Modelle direkt auf dem eigenen Rechner. Ein Befehl genügt. Danach stehen alle installierten Modelle über eine gemeinsame Schnittstelle auf dem eigenen Rechner bereit. Laut Canonical ist sie mit der Schnittstelle von OpenAI kompatibel. Programme, die schon mit ChatGPT sprechen können, lassen sich damit oft auf das lokale Modell umlenken.

Laut der Projektseite gehören unter anderem Googles offene Modelle Gemma 3 und Gemma 4 zum Angebot. Die Modelle laufen je nach Variante auf normalen Prozessoren oder auf Grafikkarten von AMD, Intel und Nvidia.

Das Werkzeug ist frei unter der Lizenz GPL-3.0. Im Snap Store liegt Version 1.0.1, zuletzt aktualisiert am 13. November. Die KI-Funktionen sollen laut Canonical freiwillig bleiben und sich jederzeit wieder entfernen lassen.

Was heißt das für Ihre Firma?

Bisher hieß KI für die meisten Firmen: Daten raus in die Cloud eines großen Anbieters. Für viele Aufgaben ist das in Ordnung. Für manche nicht. Personalakten, Gesundheitsdaten, Verträge, Konstruktionszeichnungen.

Ein eigenes Modell auf einem eigenen Server war bisher Bastelarbeit für Spezialisten. Werkzeuge wie dieses machen es einfacher. Nicht kinderleicht, aber einfacher.

Wichtig ist eine ehrliche Erwartung. Die offenen Modelle, die auf einem normalen Server laufen, sind kleiner als die Spitzenmodelle in der Cloud. Für knifflige Analysen oder lange Texte sind die großen Modelle meist besser.

Aber viel Büroarbeit ist nicht knifflig. Eingangspost sortieren, Notizen zusammenfassen, Standardantworten vorbereiten. Dafür reicht oft ein kleineres Modell. Und die Daten verlassen das Haus nicht, wenn die Einrichtung stimmt.

Ganz ohne Arbeit geht es nicht. Jemand muss den Server einrichten, aktuell halten und absichern. Ein lokales Modell, das offen im Netz hängt, ist kein Gewinn an Sicherheit.

Die Frage ist also nicht Cloud oder eigener Server. Die Frage ist: Welche Aufgabe gehört wohin?

Was Sie jetzt tun können

  • Schreiben Sie drei Aufgaben auf, bei denen Sie heute keine Daten in eine fremde Cloud geben würden.
  • Fragen Sie Ihre IT, ob bei Ihnen ein Server mit Ubuntu läuft, der für einen Test mit einem lokalen Modell geeignet wäre.
  • Lassen Sie ein lokales Modell an echten, aber unkritischen Beispielen gegen Ihr bisheriges Werkzeug antreten, bevor Sie entscheiden.

Quellen

Häufige Fragen

Kostet der Inference Manager etwas?

Nein. Das Werkzeug steht unter der freien Lizenz GPL-3.0 und ist im Snap Store von Ubuntu erhältlich. Kosten entstehen für die Hardware, auf der die Modelle laufen, und für die Betreuung.

Sind lokale Modelle so gut wie ChatGPT oder Claude?

In der Regel nicht für die schwierigsten Aufgaben. Für klar umrissene Arbeit wie Zusammenfassen, Sortieren oder Entwürfe nach Vorlage reichen kleinere offene Modelle oft aus. Das sollte man mit eigenen Beispielen testen.

Bleiben die Daten dann wirklich im Haus?

Das Werkzeug stellt die Modelle über eine Adresse auf dem eigenen Rechner bereit. Ob wirklich nichts nach außen geht, hängt aber von der gesamten Einrichtung ab und sollte geprüft werden, bevor vertrauliche Daten verarbeitet werden.

Stephan Grosser ist Unternehmer und Gründer von mindprio®. Er führt sieben Firmen mit KI und sortiert hier jeden Morgen, was aus der KI-Welt für Chefs kleiner Firmen zählt.