mindprio®

mindprio® in 90 Sekunden

KI-News ·

Kann Mistral Large 4 aus Europa auf Ihrem eigenen Server laufen?

Mistral hat die Gewichte seines größten Modells freigegeben. Was das europäische Modell kann, was es kostet und welche Technik es wirklich braucht.

Von Stephan Grosser2 Minuten Lesezeit
Kann Mistral Large 4 aus Europa auf Ihrem eigenen Server laufen?

Die Kurzantwort

Ja, aber nicht auf einem gewöhnlichen Firmenserver. Mistral Large 4 ist seit dem 29. Oktober frei herunterladbar, braucht in den Beispielen von Hugging Face aber acht große Nvidia-Grafikkarten. Für die meisten Mittelständler ist die Nutzung über Mistrals Schnittstelle oder einen Hoster der realistische Weg.

Was ist passiert?

Das französische KI-Unternehmen Mistral hat sein größtes Modell freigegeben. Mistral Large 4 lässt sich seit dem 29. Oktober bei Hugging Face herunterladen. Bisher gab es das Modell nur als Vorschau über Mistrals eigene Schnittstelle.

Offen heißt: Jeder kann die sogenannten Gewichte, also das trainierte Modell selbst, auf eigener Technik betreiben. Die Daten müssen dann nicht zu einem fremden Anbieter.

Das Modell ist groß. Laut Mistrals Dokumentation hat es rund 1,05 Billionen Parameter, von denen bei jeder Anfrage 52 Milliarden arbeiten. Es versteht Text und Bilder und kann sehr lange Dokumente auf einmal lesen.

Mistral stellt das Modell vor allem für Programmierarbeit und für die Abwehr von Cyberangriffen heraus. Laut heise wurde es drei Wochen mit Kunden und Partnern aus der IT-Sicherheit getestet. Im Programmiertest Terminal-Bench 4.0 stieg die Erfolgsquote laut Mistral gegenüber der Vorschau von 28 auf 41 Prozent. In Tests von Artificial Analysis liegen die führenden Modelle anderer Anbieter bei 65 bis 67 Prozent.

Über die Schnittstelle kostet das Modell 0,70 US-Dollar pro Million Token Eingabe und 2,10 US-Dollar pro Million Token Ausgabe. Token sind Wortteile.

Was heißt das für Ihre Firma?

Die Freigabe ist ein gutes Zeichen. Europa hat jetzt ein großes, offenes Modell, das man selbst betreiben darf. Das ist eine echte Alternative zu den großen US-Anbietern.

Der Haken ist die Technik. Die Beispiele bei Hugging Face rechnen mit acht großen Nvidia-Grafikkarten, etwa vom Typ H200. Das ist Rechenzentrumstechnik, kein Server für den Abstellraum. Eine stark verkleinerte Fassung läuft laut Hugging Face auch auf einem einzelnen Apple-Rechner mit 512 Gigabyte Arbeitsspeicher. Auch das ist kein gewöhnlicher Bürorechner.

Für eine Firma mit 50 Mitarbeitern heißt das: Mistral Large 4 selbst in den Keller zu stellen, lohnt sich fast nie. Realistisch sind zwei Wege. Sie nutzen das Modell über Mistrals Schnittstelle. Oder ein Hoster betreibt es für Sie auf eigens gemieteter Technik.

Wichtiger als das größte Modell ist ohnehin die Frage, welche Aufgabe es lösen soll. Für Angebote, Mails und Zusammenfassungen reicht oft ein kleineres Modell. Das läuft auf deutlich günstigerer Technik.

Und: Ein Modell auf eigener Technik braucht klare Regeln, was es darf und wohin es sich verbinden kann. Offen heißt nicht automatisch sicher.

Was Sie jetzt tun können

  • Schreiben Sie die drei Aufgaben auf, bei denen Ihre Daten auf keinen Fall zu einem US-Anbieter dürfen.
  • Fragen Sie Ihren IT-Dienstleister, ob für diese Aufgaben ein europäisches Modell über Schnittstelle oder Hoster in Frage kommt.
  • Lassen Sie die Lizenz von Mistral prüfen, bevor Sie das Modell in eigenen Abläufen fest einplanen.

Quellen

Häufige Fragen

Was kostet Mistral Large 4 über die Schnittstelle?

Laut Mistral 0,70 US-Dollar pro Million Token Eingabe und 2,10 US-Dollar pro Million Token Ausgabe. Token sind Wortteile, also kleine Stücke von Wörtern.

Darf ich das Modell in meiner Firma frei nutzen?

Es steht unter der Mistral Ecosystem Open Weight License. Laut Hugging Face lehnt sie sich an die MIT-Lizenz an, setzt aber Grenzen, wenn man das Modell als Dienst für andere anbietet. Für den eigenen Betrieb sollte Ihr Dienstleister die Lizenz einmal prüfen.

Ist Mistral Large 4 das beste Modell auf dem Markt?

Nein. Beim Programmieren liegt es laut heise in Tests von Artificial Analysis deutlich hinter den Spitzenmodellen. Seine Stärke ist, dass es offen ist und aus Europa kommt.

Stephan Grosser ist Unternehmer und Gründer von mindprio®. Er führt sieben Firmen mit KI und sortiert hier jeden Morgen, was aus der KI-Welt für Chefs kleiner Firmen zählt.