LLMs lokal auf der Kommandozeile ausführen mit Docker Desktop 4.40

1 year ago 12

Mit dem Docker Model Runner lassen sich KI-Modelle direkt aus Docker Desktop heraus starten – mit GPU-Beschleunigung und verpackt als OCI-Artefakt.