Übersicht
Gemini Diffusion ist das erste Diffusion LLM von Google. Als Diffusion-Modell generiert Gemini den Output nicht autoregressiv (also Wort für Wort), sondern iteriert über einen zufälligen Output und verfeinert diesen so lange, bis eine bestimmte Qualität erreicht wurde. Den Ansatz kennen wir bereits von Text-to-Image Modellen wie Stable Diffusion. Dieser Ansatz ermöglicht es Gemini Diffusion eine vergleichbare Qualität zu Gemini 2.0 Flash-Lite zu erreichen, bei fast 10-facher Geschwindigkeit (in Token pro Sekunde).
Websuche
NeinKann das Modell auf relevante Informationen aus dem Web zugreifen?
Multimodalität
NeinKann das Modell verschiedene Medienarten verarbeiten?
Finetuning
NeinKann das Modell finetuned werden?
Performance
Gemini Diffusion Benchmark Übersicht
Provider
Du kannst Gemini Diffusion über die API folgender Anbieter nutzen:
Fehler gefunden? Kontaktiere uns!
Wir legen großen Wert auf die Genauigkeit unserer Modelldaten. Falls dir Unstimmigkeiten oder veraltete Informationen auffallen, lass es uns bitte wissen. Dein Feedback hilft uns, die Qualität unserer Plattform stetig zu verbessern.
Technische Details
Architektur
Architektur-Typ | Unbekannt |
Input Kontextlänge | N/A Token |
Output Kontextlänge | N/A Token |
Inferenzoptimierung | Unbekannt |
Trainingsmethode | Unbekannt |
Tokenizer & Attention
Tokenizer Modell | Unbekannt |
BOS Token | |
EOS Token | |
Padding Token | |
Attention Heads | N/A |
KV Heads | N/A |
Quantisierung | Keine |
Vor- & Nachteile
Vorteile
Extrem hoher Throughput
Diffusion-Modelle arbeiten deutlich schneller, als klassische Transformer-LLMs. Bereits in der Beta-Version ist Gemini Diffusion fast 10x schneller als Gemini 2.0 Flash-Lite.
Überraschend gute Benchmark-Scores
Bereits die erste Version von Gemini Diffusion erreicht in internen Benchmarks von Google Scores, die sich mit Gemini 2.0 Flash-Lite vergleichen lassen.
Experimenteller Ansatz fördert Wettbewerb
Das Testen neuer Ansätze für neue Modelle erhöht den Wettbewerb unter den KI-Entwicklern und wirkt sich positiv auf die Benutzer aus.
Nachteile
Experimentelles Modell mit noch unbekannten Schwächen
Da Gemini Diffusion nach Mercury von Inception Labs erst das zweite veröffentlichte Diffusion Sprachmodell ist, wurde noch nicht erforscht, welche Schwächen Diffusion Textmodelle haben.
Modell kann nicht mit SOTA-Modellen mithalten
So beeindruckend, wie die Benchmark-Ergebnisse sind, klafft noch eine große Lücke zwischen Gemini Diffusino und den aktuellen State-of-the-Art LLMs.