KaletoAI · Kai Köhler

Kai Köhler

Heimautomatisierung und KI aus Begeisterung. Zu Hause laufen eigene Sprachmodelle auf eigenem Blech: zwei DGX Sparks, ein Proxmox-Cluster aus vier Knoten, dazu ein Proxmox-Host in der Cloud. Die Werkzeuge dafür baue ich selbst, im Gespräch mit Sprachmodellen, was mitunter unterhaltsamer ist als ein Computerspiel oder ein Fernsehabend.

Vier dieser Projekte sind öffentlich, dazu Quantisierungen großer Modelle und Fehlerbehebungen in fremden Projekten.

AI-Hub

Python · FastAPI früher llm-gateway

Ein OpenAI-kompatibler Proxy, der einen Endpunkt auf viele Backends verteilt: lokale Server wie llama.cpp, llama-swap, vLLM und Ollama, Cloud-Anbieter, und ComfyUI für Bild, Video und Audio. Aufrufer sehen eine einzige URL. Auch Claude Code: Über den Anthropic-Endpunkt laufen Claude und offene Modelle nebeneinander.

Jede Anfrage landet in einer Warteschlange. Den Zuschlag bekommt das schnellste freie Backend, das nichts kostet; die Cloud springt nur ein, wenn lokal alles belegt ist. Ein Backend, das frei wird, nimmt bevorzugt die Art Anfrage, die es gerade bedient hat, damit kein Modell unnötig neu lädt. Ist alles belegt, wird der Aufruf geparkt, statt ihn mit einem Fehler abzuweisen.

  • Auto-Discovery je Backend
  • Scheduler + Failover
  • virtuelle Aliase
  • Call-Parking statt 503
  • Mehrbenutzer mit Kostenkontingenten
  • Anthropic- und Responses-API
  • Reasoning je Anfrage steuerbar
  • ComfyUI mit Live-Fortschritt
  • 3D-Meshes und Rigging
  • Quarantäne für defekte Backends
  • Konsole und Routing-Dashboard

Anima Verse

Python · React · Three.js · SQLite

Ein Charaktersimulator: eine lebende Welt aus KI-Figuren, die sich unterhalten, über eine Karte reisen, Tätigkeit und Kleidung wechseln. Jede Szene wird durch Bildgenerierung gerendert, und die Welt lässt sich inzwischen auch in 3D begehen, mit generierten Modellen für Figuren und Orte.

Text und Bild sind gleichrangig. Figuren ändern Ort, Aktivität und Aussehen über Tool-Aufrufe, die Stimmung steuert den Ausdruck. Gespräche folgen dem Raum: Wer anwesend ist, hört mit und kann sich einmischen. Der Versuch ist, herauszufinden, welche Welt entsteht, wenn man alle Modalitäten gleich hart belastet.

  • begehbare 3D-Welt
  • Weltkarte mit Reisewegen
  • Gespräche nach Raum statt Gruppenchat
  • Warteschlangen je Anbieter und GPU
  • Prompts als Jinja2-Vorlagen, live editierbar
  • Bild, Video, Sprachausgabe
  • Plugins und Content-Pakete

Alpha, ein Entwickler, ein Tester. Quelloffen einsehbar, nicht kommerziell nutzbar.

SportEvent Manager

Python · FastAPI · SQLite

Eine Gruppe mietet ein Feld für eine ganze Saison und zahlt einen Gesamtbetrag. Wer an welchem Termin dabei ist, schwankt. Diese Anwendung verteilt die Kosten auf die tatsächlich Anwesenden, führt für jedes Mitglied ein Guthabenkonto und lässt Gäste über einen Link mitbuchen, ganz ohne Konto.

Weil der Preis pro Person davon abhängt, wer kommt, zeigt die Oberfläche eine Preisstaffel statt einer einzelnen Zahl. Dazu Warteliste mit Nachrücken, Absagefristen, Abrechnung per E-Mail und ein Handbuch in der Anwendung.

  • Termine aus Wochenplan
  • Kostenteilung statt Festpreis
  • Magic-Link-Anmeldung
  • Gastbuchung ohne Konto
  • Warteliste mit Nachrücken
  • Absagefristen
  • Auto-Abrechnung

Beachhub

Python · FastAPI · PostgreSQL · Home Assistant

Buchung, Abrechnung und Steuerung einer Beachvolleyballhalle im Winterbetrieb. Drei Teilsysteme: ein Buchungsportal, ein Hauptsystem mit Tarifen, Sperren, Stornos und Saisonrechnungen, und ein Hallendienst vor Ort.

Der Hallendienst schaltet über Home Assistant Heizung, Licht und Tür: Die Halle heizt vor der ersten Buchung vor, das Licht eines Feldes geht kurz vor Beginn an, und der Türcode einer Buchung gilt nur in ihrem Zeitfenster. Den Plan der nächsten sieben Tage hält er lokal vor, damit die Halle auch dann läuft, wenn die Verbindung zum Hauptsystem abreißt.

  • Portal, Hauptsystem, Hallendienst
  • Tarife je Kundengruppe
  • Dauerbuchungen
  • Rechnungen als PDF
  • Türcode je Buchung
  • sieben Tage autonom
  • Zahlungsanbieter hinter Adapter

Hauptsystem fertig, Portal und Hallendienst folgen. Quelloffen einsehbar, nicht kommerziell nutzbar.

Modelle & Upstream

NVFP4 · vLLM · ROCm

Große Sprachmodelle, auf zwei DGX Sparks verteilt, ins 4-Bit-Format NVFP4 gebracht: Die Pipeline dafür ist öffentlich, die Ergebnisse liegen auf Hugging Face. Was dabei in fremden Projekten klemmte, ging als Korrektur zurück.

distrib-nvfp4 Verteilte NVFP4-Quantisierung für Modelle ab 100 Mrd. Parametern auf zwei DGX Sparks.
Kaleto auf Hugging Face Sieben NVFP4-Quantisierungen von 7 bis 123 Mrd. Parametern, darunter Llama 3.3 70B und DeepSeek-R1-Distill 70B.
Local LLM Benchmarks Lokale Modelle im Vergleich: Wissen, Mathe, Code und Deutsch, mit versionierter Testsuite.
vLLM #43495 Korrektur im Inferenz-Framework vLLM: ModelOpt-quantisierte Cohere-Modelle laden wieder. Übernommen im Juni 2026.
comfyui-rocm-docker #6 ROCm-Unterstützung für den Strix Halo (Ryzen AI Max+ 395) im ComfyUI-Container. Übernommen im Januar 2026.

Kontakt

kai.koehler@kaletoai.de

Über diese Seite

Eine einzige HTML-Datei, ohne Framework, Build-Schritt oder fremde Server: keine Webfonts, keine Bibliothek, kein Tracker. Die Punktwolke im Hintergrund ist handgeschriebenes WebGL, 36.000 Punkte, die je nach Bereich zwischen sieben Formen überblenden: Porträt, Fan-out-Graph, Weltkugel, Volleyball, Beachfeld unter der Hallenkuppel, Quantisierungsgitter und Sternenstaub.

Das Porträt ist kein Bild. Aus einem Foto wurde vorab eine Punktverteilung gerechnet, die Seite trägt nur deren Koordinaten, ein Byte je Achse. Dichte kommt aus Helligkeit und Kantenstärke, die Tiefe aus der Helligkeit.

Entstanden ist sie im Gespräch mit einem Sprachmodell, so wie die Projekte auch.

Datenschutz

Verantwortlich: Kai Köhler, datenschutz@kaletoai.de

Diese Seite setzt keine Cookies, speichert nichts im Browser, lädt keine Inhalte von fremden Servern und verwendet kein Tracking und keine Analyse.

Beim Abruf verarbeitet der Webserver technisch zwingend die IP-Adresse und die angefragte Adresse, um die Seite auszuliefern (Art. 6 Abs. 1 lit. f DSGVO). Zugriffsprotokolle werden nicht geschrieben; die Daten werden nach dem Abruf nicht gespeichert. Der Server steht in einem Rechenzentrum der Hetzner Online GmbH in Deutschland.

Schreibst du eine E-Mail, wird sie zur Bearbeitung deiner Anfrage verwendet und danach gelöscht, sofern keine Aufbewahrungspflicht besteht. Du hast das Recht auf Auskunft, Berichtigung, Löschung, Einschränkung der Verarbeitung, Widerspruch und Beschwerde bei einer Datenschutz-Aufsichtsbehörde.