Deutschland
The Morning Dev

Nur die Nachrichten, die man kennen sollte

‹
 

Video · Technik und IT von der c't

Lokale KI: Das ist der aktuelle Stand

Das Wichtigste

  • Überblick über den aktuellen Stand lokaler KI-Modelle auf eigener Hardware
  • Empfohlen wird das Modell Qwen 3.8-27B in der Quantisierung UD_Q4_K_M
  • Kapitel behandeln Speicherbedarf und Quantisierung, Testgeräte und Messwerte sowie Runtimes wie Strata
  • Außerdem geht es um Harness und Coding-Agenten (Pi, OpenCode) und Unterschiede zwischen Linux, Windows und macOS

Warum ansehen · Für Entwickler, die KI-Modelle lokal betreiben wollen, liefert das Video eine Orientierung zu Modellen, Hardwareanforderungen und Coding-Agenten.

  • Lokale KI
  • Qwen
  • Quantisierung
  • Coding-Agenten

Von Claude aus Titel und Beschreibung zusammengefasst – ein Transkript gab es nicht, für Details also ins Video schauen.

Kapitel

  1. 0:00Intro
  2. 0:42Werbung: Thomas Krenn
  3. 1:35Aktueller Stand
  4. 4:22Giraffen-Test
  5. 6:27Welchen Speicher und welche Quantisierung?
  6. 8:35Testgeräte und Messwerte
  7. 15:49Runtime-Installation
  8. 17:12Spezialisierte Runtimes (Strata etc.)
  9. 18:49Harness und Agenten
  10. 20:46Unterschiede durch Betriebssysteme (Linux, Windows, MacOS)
Ganze Videobeschreibung zeigen ›

► Links aus dem Video Strata gibts hier (für Qwen 3.8 Flash Next): https://github.com/niko1221/strata Das von uns ebenfalls empfohlene Qwen 3.8-27b gibts hier: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF (wir nehmen UD_Q4_K_M) Coding-Agent Pi: https://pi.dev/ Coding-Agent OpenCode: https://opencode.ai/de === Anzeige / Sponsorenhinweis === Schaut euch den OPNsense von Thomas-Krenn hier an https://www.thomas-krenn.com/de/produkte/einsatzzweck/opnsense-firewalls/opnsense-appliances und und erfahrt im kostenlosen E-Book, wie ihr hochverfügbare HA-Cluster mit OPNsense aufbaut https://www.thomas-krenn.com/de/unternehmen/kampagnen/download-anfordern/d.ha-cluster-mit-opnsense === Sponsorenhinweis Ende === ► Wie sich dieser Channel finanziert: https://www.youtube.com/watch?v=xWLRoMP3rLU&t ► DER 3003-HYPE-NEWSLETTER: https://ct.de/hype ► Kapitelmarker: 0:00 Intro 0:42 Werbung: Thomas Krenn 1:35 Aktueller Stand 4:22 Giraffen-Test 6:27 Welchen Speicher und welche Quantisierung? 8:35 Testgeräte und Messwerte 15:49 Runtime-Installation 17:12 Spezialisierte Runtimes (Strata etc.) 18:49 Harness und Agenten 20:46 Unterschiede durch Betriebssysteme (Linux, Windows, MacOS) ► Alle Newsletter von Heise: https://www.heise.de/newsletter/ ► Hier geht es zum c't-WhatsApp-Kanal: https://whatsapp.com/channel/0029VaCUFFEInlqYnQg2lb0h ► Keno auf Instagram: https://www.instagram.com/elektroelvis/ ► c't Magazin: http://ct.de ► und TOTAL CRAZY auf Papier! Überall wo es Zeitschriften gibt! ► Credits: Konzept & Redaktion: Jan-Keno Janssen Schnitt: Pascal Schewe Host: Jan-Keno Janssen