KaletoAI

Kai Köhler

Heimautomatisierung und KI aus Begeisterung. Zu Hause laufen eigene Sprachmodelle auf eigenem Blech, dazu ein Proxmox-Cluster und reichlich Automatisierung. Die Werkzeuge dafür baue ich selbst, im Gespräch mit Sprachmodellen, was mitunter unterhaltsamer ist als ein Computerspiel oder ein Fernsehabend. Drei dieser Projekte sind öffentlich, diese Seite gehört dazu.

↓ weiter

Projekte

Alles öffentlich einsehbar, alles selbst betrieben, auf einem Cluster aus zwei DGX Sparks, drei Proxmox-Knoten und einer Cloud-VM.

llm-gateway

Python · FastAPI

Ein OpenAI-kompatibler Proxy, der einen Endpunkt auf viele Backends verteilt: lokale Server wie llama.cpp, llama-swap, vLLM und Ollama, Cloud-Anbieter, und ComfyUI für Bildgenerierung. Aufrufer sehen eine einzige URL.

Der Kern ist strikte Prioritätenfolge statt Routing-Zeremonie: Ein Alias zeigt zuerst auf die lokale Maschine, dann auf den Cloud-Anbieter. Genau so, jedes Mal. Sind alle passenden Backends belegt, wird der Aufruf geparkt, bis eines frei wird, statt einen Fehler zurückzugeben.

  • Auto-Discovery je Backend
  • Prioritätsrouting + Failover
  • virtuelle Aliase
  • Call-Parking statt 503
  • Mehrbenutzer mit Kontingenten
  • ComfyUI: Bild, Video, Audio
  • Konsole unter /ui

Anima Verse

Python · React · SQLite

Ein Charaktersimulator: eine lebende Welt aus KI-Figuren, die sich unterhalten, über eine Weltkarte bewegen, Tätigkeit und Kleidung wechseln, und jede Szene wird durch Bildgenerierung gerendert.

Der Unterschied zu chat-zentrierten Oberflächen liegt darin, dass Text und Bild gleichrangig behandelt werden. Figuren ändern Ort, Aktivität und Aussehen über Tool-Aufrufe, die Stimmung steuert den Ausdruck, die Karte zeigt, wer gerade was tut. Der Versuch ist, herauszufinden, welche Welt entsteht, wenn man beide Modalitäten gleich hart belastet.

  • Warteschlangen je Anbieter und GPU
  • Prompts als Jinja2-Vorlagen, live editierbar
  • Weltkarte
  • Gruppenchats
  • ComfyUI / A1111 / Cloud

Frühes Stadium, ein Entwickler, ein Tester. Quelloffen einsehbar, nicht kommerziell nutzbar.

SportEvent Manager

Python · FastAPI · SQLite

Eine Gruppe mietet ein Feld für eine ganze Saison und zahlt einen Gesamtbetrag. Wer an welchem Termin dabei ist, schwankt. Diese Anwendung verteilt die Kosten auf die tatsächlich Anwesenden, führt für jedes Mitglied ein Guthabenkonto und lässt Gäste über einen Link mitbuchen, ganz ohne Konto.

Weil der Preis pro Person davon abhängt, wer kommt, zeigt die Oberfläche eine Preisstaffel statt einer einzelnen Zahl. Dazu Warteliste mit Nachrücken, Absagefristen, Abrechnung per E-Mail und ein Handbuch in der Anwendung.

  • Termine aus Wochenplan
  • Kostenteilung statt Festpreis
  • Magic-Link-Anmeldung
  • Gastbuchung ohne Konto
  • Warteliste
  • Auto-Abrechnung

Außerdem öffentlich

distrib-nvfp4 Verteilte NVFP4-Quantisierung für Modelle jenseits 100 Mrd. Parameter auf zwei DGX Sparks
Kaleto auf Hugging Face Veröffentlichte Quantisierungen großer Sprachmodelle
vLLM Ein übernommener Beitrag im Inferenz-Framework

Zur Machart

Diese Seite ist eine einzige HTML-Datei. Kein Framework, kein Build-Schritt, keine Abhängigkeit von fremden Servern: keine Webfonts, keine Bibliothek, kein Tracker. Die Szene im Hintergrund ist handgeschriebenes WebGL: eine Punktwolke aus 36.000 Punkten, die zwischen fünf Formen überblendet, je nachdem, was gerade im Blick ist: das Porträt im Kopfbereich, ein Fan-out-Graph für das Gateway, eine Weltkugel für Anima Verse, ein Volleyball für den SportEvent Manager und ein Quantisierungsgitter für die Modellarbeit. In diesem Abschnitt laufen sie der Reihe nach durch.

Das Porträt ist kein Bild. Aus einem Foto wurde vorab eine Punktverteilung gerechnet, die Seite trägt nur noch deren Koordinaten, ein Byte je Achse. Dichte kommt aus Helligkeit und Kantenstärke, die Tiefe aus der Helligkeit, deshalb wirkt der Kopf beim Kippen plastisch.

Sie ist im Gespräch mit einem Sprachmodell entstanden, so wie die Projekte darüber auch. Das ist der Punkt: Nicht die Behauptung, dass es funktioniert, sondern etwas, das man anfassen, lesen und nachbauen kann.

Was so etwas kostet, lässt sich beziffern: Diese Seite entstand in rund 75 Minuten Dialog. Das Modell schrieb dabei etwa 320.000 Token und las rund 63 Millionen, denn bei jedem Schritt geht der gesamte bisherige Verlauf erneut durch. Die Zahlen stammen aus dem Sitzungsprotokoll, nicht aus dem Gefühl.

0Abhängigkeiten
1Datei
36kPunkte
5Formen
75Minuten Bauzeit
320kToken geschrieben