Kann ich Mistral Small 3 lokal betreiben?

Ja – die Gewichte sind offen unter Apache 2.0, und Mistral AI sagt, das Modell passt nach Quantisierung auf eine einzelne RTX 4090 oder ein 32GB RAM MacBook. Die Gewichte finden Sie auf Hugging Face unter mistralai/Mistral-Small-24B-Instruct-2501.

Was kostet Mistral Small 3 über die API und wie groß ist das Kontextfenster?

Die Preise liegen bei 0,05 $ pro Million Eingabe-Tokens und 0,08 $ pro Million Ausgabe-Tokens, mit einem Kontextfenster von 32.768 Tokens.

Wie schneidet Mistral Small 3 im Vergleich zu Llama 3.3 70B ab?

Mistral Small 3 läuft etwa dreimal so schnell auf vergleichbarer Hardware und hält sich bei mehreren Benchmarks gut, obwohl Llama 3.3 70B bei einigen öffentlichen Reasoning- und Programmier-Bewertungen besser abschneidet, wenn rohe Leistungsfähigkeit wichtiger ist als Latenz.

Mistral Small 3

5064°

#llm #mistralai #lokal #schnell #agenten #mehrsprachig

Modell ausführen

Angebote / Werbung

OpenRouter Terminal / API

Bezahlung pro Token

Chatte mit diesem Modell im Browser oder rufe es mit einem API-Schlüssel aus deinem Code auf.

Mistral | 32.768 Token Kontext | $0,05/M Eingabe, $0,08/M Ausgabe. Mistral Small 3 ist ein 24 Milliarden Parameter Sprachmodell, optimiert für niedrige Latenz bei gängigen KI-Aufgaben. Veröffentlicht unter der Apache 2.0 Lizenz, gibt es sowohl vortrainierte als auch instruktionstuned Versionen, die für effiziente lokale Bereitstellung ausgelegt sind. Das Modell erreicht 81 % Genauigkeit auf dem MMLU-Benchmark und konkurriert mit größeren Modellen wie Llama 3.3 70B und Qwen 32B, während es auf vergleichbarer Hardware dreimal so schnell arbeitet. Lies den Blogbeitrag zum Modell hier.Opens in new tab

Anleitungen zu diesem Modell

Ollama vs LM Studio (2026): Welche lokale KI-App soll man nutzen und welche Top-Modelle laufen auf jeder?

Beste lokale LLM nach Anwendungsfall (Oktober 2026): Das richtige offene Modell für jede Aufgabe

Wie viel VRAM brauche ich eigentlich für lokale KI?

Was ist eine GGUF-Datei? Quantisierte Modelle erklärt (Q4, Q8, fp8, NF4)

Alle Anleitungen

Captain's Notizen

Geschrieben von Captain, dem Hausredakteur

Notizen vom 2026-10-13

Mistral Small 3 ist ein 24-Milliarden-Parameter-Modell mit offenen Gewichten von Mistral AI, das für Geschwindigkeit gebaut wurde, ohne die übliche Qualitätsminderung. Es läuft auf einer einzelnen RTX 4090 oder einem 32GB MacBook bei Quantisierung und benchmarkt konkurrenzfähig gegen Modelle, die fast dreimal so groß sind. Wenn Sie ein fähiges lokales Modell wollen, das auch per API günstig läuft, ist dies eines der ehrlichsten Angebote in der Sub-70B-Klasse.

Bekannt für

Läuft etwa dreimal so schnell wie 70B-Konkurrenten auf vergleichbarer Hardware.
Passt nach Quantisierung auf eine einzelne Consumer-GPU oder ein 32GB MacBook.
Native Funktionsaufrufe und JSON-Ausgabe für agentische Pipelines.
Mehrsprachig in über einem Dutzend Sprachen, darunter CJK und europäische Sprachen.
Apache-2.0-Lizenz: kommerzielle Nutzung, Feinjustierung und Weiterverbreitung erlaubt.

Achte auf

Kontextfenster ist 32k Tokens – ausreichend, aber kein Langzeit-Kontextmodell.
Llama 3.3 70B und Qwen 2.5 32B sind in einigen öffentlichen Benchmarks besser, wenn Geschwindigkeit keine Rolle spielt.
Quantisierung ist nötig, um die Single-GPU-Ziele zu erreichen; Vollpräzision benötigt mehr Ressourcen.

Am besten für

Lokal ausführbar

Schnell

Agenten und Werkzeugnutzung

Mehrsprachig

Budget

Prompts zum Ausprobieren

Agentenaufgabe mit Funktionsaufruf

Du hast zwei Tools: get_weather(city: str) und send_email(to: str, subject: str, body: str). Ein Nutzer sagt: 'Prüfe das Wetter in Tokio und sende mir eine kurze Zusammenfassung an user@example.com.' Schreibe die Abfolge der Tool-Aufrufe in JSON und entwerfe dann den E-Mail-Text, den du senden würdest.

Mehrsprachige Zusammenfassung

Fasse den folgenden Absatz zuerst auf Englisch, dann auf Französisch und schließlich auf Japanisch zusammen. Halte jede Zusammenfassung auf zwei Sätze. Absatz: 'Die weltweite Kapazität erneuerbarer Energien wuchs im letzten Jahr rekordverdächtig, vor allem durch Solaranlagen in Asien und Europa. Analysten sagen, das Tempo müsse sich bis 2030 verdoppeln, um Klimaziele zu erreichen, aber Investitionen in Netzinfrastruktur hinken hinterher.'

Reasoning unter Einschränkungen

Ein Bauer hat 17 Schafe. Alle bis auf 9 sterben. Wie viele sind noch da? Erkläre nun Schritt für Schritt, warum die offensichtliche falsche Antwort falsch ist und welcher sprachliche Trick dazu führt, dass viele das Problem falsch lesen. Schreibe dann eine schwierigere Version desselben Tricks für einen Kollegen zum Testen.

Vergleichen mit

Mistral Nemo
Modell mit offenen Gewichten
131,072 Token Kontext · $0.03/M Eingabe, $0.03/M Ausgabe
Mistral Small 3.2 24B Instruct 2506
Modell mit offenen Gewichten
128,000 Token Kontext · $0.07/M Eingabe, $0.20/M Ausgabe
Ministral 3 3B 2512
Modell mit offenen Gewichten
131,072 Token Kontext · $0.10/M Eingabe, $0.10/M Ausgabe
Voxtral Small 24B 2507
Modell mit offenen Gewichten
32,768 Token Kontext · $0.10/M Eingabe, $0.30/M Ausgabe

Mehr Textmodelle von mistralai

Häufig gestellte Fragen

Kann ich Mistral Small 3 lokal betreiben?: Ja – die Gewichte sind offen unter Apache 2.0, und Mistral AI sagt, das Modell passt nach Quantisierung auf eine einzelne RTX 4090 oder ein 32GB RAM MacBook. Die Gewichte finden Sie auf Hugging Face unter mistralai/Mistral-Small-24B-Instruct-2501.
Was kostet Mistral Small 3 über die API und wie groß ist das Kontextfenster?: Die Preise liegen bei 0,05 $ pro Million Eingabe-Tokens und 0,08 $ pro Million Ausgabe-Tokens, mit einem Kontextfenster von 32.768 Tokens.
Wie schneidet Mistral Small 3 im Vergleich zu Llama 3.3 70B ab?: Mistral Small 3 läuft etwa dreimal so schnell auf vergleichbarer Hardware und hält sich bei mehreren Benchmarks gut, obwohl Llama 3.3 70B bei einigen öffentlichen Reasoning- und Programmier-Bewertungen besser abschneidet, wenn rohe Leistungsfähigkeit wichtiger ist als Latenz.

Captain's Urteil
Ein wirklich nützliches kleines Modell: offen, günstig, schnell und ehrlich bezüglich seiner Grenzen, sodass Sie sich nicht getäuscht fühlen, wenn ein 70B-Modell es übertrifft.

Model Card auf Hugging Face

Der Captain schreibt diese Notizen basierend auf der Beschreibung und Model Card des Modells. Preise und Kontextgrößen sind vom Anbieter zum Zeitpunkt der Erstellung und können sich ändern.

Ranking badge

Updated Oct 22, 2026

Made this model? Show this badge on your page.

Paste it into your Hugging Face card or Civitai description.

Change colors / personalize / get code

Not this creator?

Get your own badge

Wie sich dieser Wert zusammensetzt

Dieses Modell hat noch keine Popularitätsdaten von irgendeiner Quelle, daher trägt es eine Platzhalterzahl unterhalb von 7,000°, damit die Listen vollständig bleiben. Es rangiert niemals über einem Modell mit Daten. Die Aufschlüsselung erscheint hier, sobald eine Quelle sie meldet.

Glossar: die hier verwendeten Begriffe

Heat-Score: Eine Zahl dafür, wie viel ein Modell gerade genutzt und gewollt wird, von 0° bis 9.999°. Jede Liste auf dieser Seite, die „heißeste“ sagt, ist danach sortiert und nach nichts anderem.
Grundwert: Die 7.000°, mit denen jedes Modell mit echten Daten startet. Die Skala reicht von 0° bis 9.999°; der Bereich unter dem Grundwert ist für Platzhalter reserviert (Modelle ohne Daten), damit ein Modell mit Daten immer über einem ohne steht. Der Grundwert ist für alle gleich und entscheidet nichts; die Grade darüber sind die Messung.
Download-Äquivalente: Alles, was der Score als Download zählt, zusammengefasst: Downloads selbst, jeder Torrent-Seeder als 1.000, jedes AI Horde-Bild und jeder Lauf auf einer Generierungsseite als eins.
Logarithmische Skala: Gezählt in Zehnerschritten, nicht einzeln: Der Sprung von 1.000 auf 10.000 Downloads bringt genauso viele Grade wie von 10.000 auf 100.000. So verdrängen Riesen nicht alles andere.
Likes: Daumen hoch und Likes von allen Quellen, jeweils halb so viel wert wie ein Download auf der Log-Skala.
Verbreitungsrate: Wie viele Downloads ein Modell gerade pro Tag bekommt, aus dem Unterschied zwischen zwei Messungen einer Quelle. Ein Viertel der Gewichtung des Download-Begriffs.
Gemessen und geschätzt: Gemessen bedeutet, dass es zwei Messwerte einer Quelle gibt und der Unterschied echt ist. Geschätzt heißt, es ist nur die heutige Gesamtsumme bekannt und die Vergangenheit wird über die Lebensdauer des Modells verteilt; die Seite sagt, welche Variante angezeigt wird.
Seeder: Jemand, der eine Kopie der Gewichte online hält, damit andere sie über einen Torrent herunterladen können, oder ein gehosteter Spiegel, der dasselbe macht. Jeder davon zählt als 1.000 Downloads.
AI Horde: Ein Freiwilligennetzwerk, das kostenlos Bilder auf gespendeten Computern generiert. Die Anzahl der Bilder, die es mit einem Modell erstellt hat, ist öffentlich und jedes zählt als ein Download.
Generierungsseiten: Seiten, die eigene Kopien eines Modells hosten und Leute damit generieren lassen, wie PixAI, SeaArt und Yodayo. Ihre Downloads zählen wie bei Civitai und jeder Generierungslauf als ein Download.
OpenRouter Tokens: Ein Textmodell, das über eine API bereitgestellt wird, wie Claude oder GPT, hat keine Gewichte zum Herunterladen, daher wird seine Nutzung in Tokens gemessen: die Textstücke, die es über OpenRouter gelesen und geschrieben hat, einem Gateway, das viele Apps nutzen, in den letzten 30 Tagen. Je 10,000,000 Tokens zählen als ein Download. Quelle: OpenRouter (openrouter.ai/rankings), CC BY 4.0.
Vollständiges Modell (Checkpoint): Die Gewichte selbst, die Datei, die eigenständig generiert. Sie bekommt einen Bonus, weil Add-ons davon abhängen.
LoRA und Embedding: Kleine Zusatzdateien, die die Gewichte von jemand anderem in Richtung eines Stils, Charakters oder Konzepts lenken. Sie können nicht alleine laufen.
Familie und Gewichte: Die Basis, auf der ein Modell aufgebaut ist, wie SD 1.5, SDXL, Flux oder Wan. Jedes Modell erbt das Veröffentlichungsdatum der Gewichte seiner Familie.
Alter: Abzüge je nachdem, wie lange die Gewichte der Familie schon draußen sind: 150° pro Jahr, bis zu 750°. Alte Downloads, die Jahre zum Ansammeln hatten, bleiben oben in der Liste eingefroren.
Familien-Boost: Ein kleiner, begrenzter Schub für LoRAs einer Familie, die diese Seite gerade vorantreibt, immer in der Aufschlüsselung aufgeführt.
Stand-in-Wert: Eine stabile Zahl unter der Mindestgrenze, die einem Modell gegeben wird, über das noch keine Quelle berichtet hat, damit die Listen vollständig bleiben. Sie rangiert nie über einem Modell mit Daten.
Neu! (Schonfrist): Ein Modell, das weniger als 7 Tage alt ist, zeigt Neu! statt einer Punktzahl und nimmt keinen Platz in den Rankings ein. Seine Punktzahl wird ab dem ersten Tag berechnet, aber ein Modell, das einen Tag alt ist, wächst schneller als alles andere, daher wäre ohne die Wartezeit das #1 Modell der Woche immer das, das gestern herauskam, statt das, das sich eine Woche gehalten hat.
Trend: Wie das Wachstum eines Modells über einen Zeitraum im Vergleich zum typischen Wachstum eines Modells im gleichen Zeitraum ist. Schneller als üblich bedeutet Anstieg, langsamer bedeutet Rückgang.
Typisches Modell: Die Mitte des Katalogs: Die Hälfte der Modelle mit einer Zahl wuchs schneller im Zeitraum, die andere Hälfte langsamer.

Ähnliche Modelle

L3.3 70B Euryale v2.3

KI-Modelle für Bild-, Video- und Texterzeugung

Mistral Small 3 ist ein Textmodell für die Familie Text / LLM und wird auf ModelTrends.ai gelistet, einem reinen Lesekatalog für Open-Source-KI-Modelle für Bild, Video und Text. Vergleiche es mit anderen Text / LLM-Modellen und prüfe den Hitzewert, um den Trend zu sehen.

Weitere Text / LLM-Modelle llm mistralai lokal schnell agenten mehrsprachig budget

Nach Modellfamilie stöbern