Memetisch

Dein Weltmodell ist deine Realität

Im Agile-Poker-Post habe ich erzählt, wie ich in zwei Wochen mit einem Agenten ein Produkt gebaut habe. Am Ende stand dort ein Nebensatz über STEM, das dabei als Open Source entstanden ist. Hier kommt die Langfassung.

Wenn mein Agent wieder losprogrammiert, bevor wir die Anforderungen geklärt haben, erinnere ich ihn an unsere Arbeitsweise. Erst verstehen, dann umsetzen. Kleine Schritte. Prüfen, was am Ende tatsächlich funktioniert.

Beim nächsten Projekt erkläre ich es wieder. Und dann wieder. Und … ähm, nein.

Meine Learnings wieder und wieder anzuwenden ist die Rolle von STEM. Die Vorlage bringt Regeln und Werkzeuge für die Zusammenarbeit mit Agenten mit. Dabei wende ich agile Prinzipien auf agentische Softwareentwicklung an: Erwartungen gemeinsam klären, früh überprüfbare Ergebnisse erzeugen und aus der tatsächlichen Arbeit lernen. Ich möchte meine Erfahrung beim nächsten Projekt benutzen können, ohne sie dem nächsten Assistenten erneut vorzutragen.

Achja: Der Name und das Header-Bild sind eine Anspielung auf den Film “Upgrade” von 2018 – der mit seinen Fragen über KI und “Human in the loop” seitdem deutlich an Relevanz gewonnen hat, wie ich finde.

Seit dem ersten Entwurf dieses Posts hat sich STEM von Version 1.6.0 auf 1.19.0 weiterentwickelt. Dieser Text erklärt nicht nur, was STEM tut, sondern auch, warum einzelne Teile existieren und was meine Annahmen sind.

Eine laufende Grundlage für neue Projekte

Bei einem früheren Arbeitgeber habe ich dafür schon einmal etwas gebaut: ein sogenanntes “ApplicationTemplate”. Unsere Entwickler kamen meist aus einer anderen Programmiersprache. Sie bekamen eine laufende Anwendung, in der die vorgesehenen Entwicklungskonzepte in einfacher Form zu sehen waren. Bibliotheken und APIs waren verbunden, das Jenkins-Projekt für CI, Unit-Tests und Installationspakete vorbereitet. Man konnte anfangen, und die gemeinsame Architektur half später auch demjenigen, der ein Projekt übernahm oder einen Fehler suchte.

Das sparte Zeit und Fehler. Was sich wiederholen würde, hatten wir einmal vorbereitet. Und wenn was neues dazu kam, konnte man es dort gleich für alle vorbereiten.

Heute arbeite ich mit Agenten, denen bestimmte Grundlagen klar sein müssten. Das Modell beschreibt mir ausführlich, warum saubere Anforderungen wichtig sind, und legt beim nächsten Auftrag trotzdem einfach los, ohne sie zu klären. Wissen ist nicht unbedingt Verhalten. Das kenne ich aus Teams, und ein bisschen auch von mir selbst. Also möchte ich wieder eine Grundlage mitgeben, die beim Arbeiten hilft. Diesmal für den Agenten – und mich als User.

Während die Fähigkeiten der Modelle wachsen, bleibt Alignment das größte Problem. Damit das Modell versteht, was du willst, müsst ihr kommunizieren. Der Alignment-Skill hilft dabei, die offenen Entscheidungen zu klären: eine Frage nach der anderen, mit Optionen und einer Empfehlung. Was bereits definiert ist, checkt der Agent vorher.

Das heißt dann Spec Driven Development, oder Intent-First: Wir beschreiben zuerst das gewünschte Verhalten und woran wir ein fertiges Ergebnis erkennen, dann planen und implementieren wir die überschaubare Aufgabe. Als Abhängigkeit verwendet STEM dafür Backlog.md. Aufgaben, Akzeptanzkriterien und Umsetzungsnotizen liegen als Markdown-Dateien im Projekt.

Das heißt für mich nicht, vor dem ersten Code die gesamte Anwendung zu spezifizieren. Wir klären genug für den nächsten sinnvollen Schritt, setzen ihn um und prüfen das Ergebnis. So würde ein Agile Coach es dir raten, und STEM macht dich damit zum Product Owner.

Generell machen wir alles als Markdown-Dateien und ohne Shi-Shi – keine Plugins, keine MCP Server, keine magische Sauce. Sowas bläht alles die Kosten auf und lässt sich nicht entfernen. What you see is what you get. Und what you don’t need kannst du einfach entfernen, bzw. STEM entfernt es von selbst.

Kontext kostet

Alles, was ein Agent ständig mitliest, kostet bei jedem Schritt. Je länger eine Sitzung wird, desto mehr Kontext trägt jede weitere Anfrage mit sich. Qualität sinkt mit wachsendem Kontext und Fehler kosten mehr Tokens. Verarbeitung längerer Kontexte dauert sogar länger. Deshalb behandelt STEM Kontext wie ein Budget und nicht wie einen Abstellraum.

Das zeigt sich an vier Stellen.

  1. Kleine Dauerlast. Von allen Regeldateien liest der Agent in jeder Sitzung nur die AGENTS.md. Die Detailregeln in der OPERATING_MODEL.md lädt er nach Kennung, wenn ihr Auslöser eintritt. Für die AGENTS.md gilt ein Budget von 7,5 KB, das die Selbstprüfung der Vorlage durchsetzt; davon ist 1 KB für Regeln der Projekte reserviert. So wuchs die nie komplett gelesene Regeldatei zwar bis Version 1.14.0 von 25 auf 50 kB, die AGENTS.md aber nur von 2,8 auf 5,5 kB (grob 1.500 Tokens).
  2. Ein Regelinventar, das auch streicht. In Retros schaut sich STEM auch an, was nicht benutzt wird, und versucht es durch deterministische Skripte zu ersetzen, es an anderer Stelle sinnvoll zu verknüpfen oder zu streichen. Ohne regelmäßiges ausmisten gibt es Wildwuchs, und das kostet.
  3. Ein Hinweis bei großen Dateien. Ein Hook warnt, wenn der Agent eine Textdatei über 8 KB komplett liest (oder per cat ausgibt). Warum? Eine in einem abgeleiteten Projekt einmal gelesene 27-KB-Datei wurde 146 Züge lang mitgeschleppt, ohne dass es jemand bemerkte. Never again.
  4. Der Start-Kontext. Vor jeder Eingabe stehen bereits Systemprompt, Werkzeuge, Skills und MCP-Server im Kontext. Das Skript start-context.py misst, was beim ersten Aufruf mitgeschickt wird, listet Skills und MCP-Server und kann ungenutzte nach Rückfrage abschalten. In meinem eigenen Test sparte das Abschalten von drei Connectors etwa 1,8k Tokens und das von acht ungenutzten Skills etwa 1,7k (headless von 41,2k auf 37,7k). Das ist wenig im Vergleich zu den rund 71k, die eine echte Sitzung bei mir am Anfang hat; die stammen aber größtenteils von Claude Code, wenigen globalen Einstellungen und Werkzeugen, nicht von STEM. Die Überprüfung wird in einer frühen Retro angestoßen, spät genug, dass der User weiß, was er will, und früh genug, um dauerhaft Kosten zu sparen.
  5. Kontext bedeutet nicht nur Token-Kosten. Wiederkehrender Kontext wird sowieso vom Modell gecached, und vermutlich (wenn überhaupt) nur mit sehr niedrigen Kosten in Euro und Dollar berechnet (meines Wissens nirgends dokumentiert). Die eigentlichen Kosten bestehen darin, dass das Modell mit mehr Kontext komplexere Annahmen für die weitere Ausgabe hat – und mehr Komplexität ermöglicht mehr falsches oder ausuferndes Verhalten. Daher achte ich darauf, dass dieser Bereich so eindeutig und widerspruchsfrei wie möglich ist.

Werkzeuge statt guter Vorsätze

Wenn ich eine Frage mit einem Skript zuverlässig beantworten kann, möchte ich dafür kein Sprachmodell bemühen. Das ist ein wichtiges Prinzip von STEM: deterministische Methoden bevorzugen, wo sie die Aufgabe abdecken. Ein Test führt eine festgelegte Prüfung aus. Ein Modell beurteilt die Frage bei jedem Aufruf neu und kann dabei zu einem anderen Ergebnis kommen. Eine Erinnerung im Prompt kann der Agent übergehen, einen Hook nicht.

Natürlich sagt mir ein grüner Test nur, dass seine geprüften Bedingungen erfüllt sind. Ob ich die richtigen Erwartungen formuliert habe, muss ich weiterhin selbst beurteilen. Dafür helfen unabhängige Reviews, zum Beispiel bei großen Änderungen.

Die Werkzeuge in STEM gehören zu vier unterschiedlichen Arten, und jede Art gibt es aus einem eigenen Grund:

  • Agenten-Hooks: Skripte, die der Agent vor oder nach einem Werkzeugaufruf ausführt. Dazu gehören die Warnung vor großen Lesezugriffen, die Kontextwarnung (meldet sich um 100k rum, Größe ist aber auch Teil eines laufenden Experiments) und die Erinnerung an eine Übergabe in eine neue Session mit frischem Kontext. Sie greifen genau dann, wenn der Agent etwas tut.
  • Git-Hooks: Sie laufen unabhängig vom Agenten. Der Pre-Commit-Hook sucht nach Geheimnissen, commit-msg erzwingt, dass die erste Zeile mit TASK-<n>: beginnt (wichtig, um schnell die Referenz finden zu können), und pre-push verweigert destruktive Aktionen.
  • Deny-Regeln und Guard: In Claude Code verbieten permissions.deny-Regeln weitere möglicherweise Schädliche Befehle und das Lesen von .env-Dateien oder SSH-Schlüsseln. Andere Agenten kennen diese Regeln möglicherweise nicht, deshalb liest dort ein Deny-Guard dieselbe Liste als Hook.
  • Tools: run.sh z. B. führt Tests und Builds aus, behält dabei das vollständige Log, zeigt dem Agenten aber nur eine kurze Zusammenfassung, so dass er nicht alles lesen muss. Das Skript war das Resultat einer der ersten Retros, seitdem komme ich nur noch selten an mein Wochen-Limit. Oder Usage-Probes, die einen kleinen Teil (<10%) der menschlichen Überprüfungen auch automatisiert nachtragen können, wenn etwas zum ersten Mal wirklich benutzt wird. So kann man sich manchmal händische Tests sparen – aus der Kategorie “dem Menschen die Arbeit erleichtern”.

Und es gibt noch viel mehr. Aber ich will dich nicht langweilen.

Die Retro-Schleife

Mit klareren Anforderungen allein ist es für mich nicht getan. Wenn uns dieselben Probleme wieder begegnen, möchte ich auch den Entwicklungsprozess ändern. Inspect and Adapt gilt schließlich nicht nur für den Code.

Viele gute Ideen von STEM sind aus Retros entstanden. Der Retro-Skill nimmt User-Eingaben mit Problemen, Ideen und Zielen, und diese kann man vor der Retro, mittendrin oder auch danach liefern. Außerdem betrachtet der Skill Messwerte. Das Skript retro-metrics.sh zählt zum Beispiel, wie viele Nachrichten ich pro akzeptierter Aufgabe selbst tippen musste, welchen Anteil Prozess-Commits an allen Commits haben und wie viele erledigte Aufgaben eine Nachweiszeile mit Korrekturen, Nacharbeit und Fehlern tragen. Nach acht erledigten Aufgaben meldet der Sitzungsstart, dass eine Retro fällig ist. Bei einer vollständigen Retro (z. B. nach Abschluss eines Meilensteins) lesen zusätzlich unabhängige Agenten mit; ein Reviewer fragt immer, was der Ablauf selbst übersieht.

Daraus entstehen konkrete Vorschläge, möglichst Werkzeuge oder Prüfungen. Für alles, was dauerhaft Kontext kostet, verlangt STEM vorher einen Eintrag mit Hypothese, Messgröße und Prüfdatum. Der Nachweis hat Stufen (G0 bis G3), und die Messung vergleicht immer mit einem Snapshot vom Ausgangszustand. Folge-Retros fragen, ob die Änderung der letzten überhaupt etwas bewirkt hat. Eine Regel darf auch vereinfacht werden oder verschwinden. Wir arbeiten hier definitiv nicht streng wissenschaftlich (ich ticke eher etwas pragmatischer), aber schon mit einem wissenschaftlichen Mindset. Und ja, manchmal baue ich Dinge auch einfach ein, weil ich glaube, es besser zu wissen. Bad luck STEM, die Menschen haben eben doch ihren Willen.

Außerdem denke ich gerne mal auf der Metaebene. Daher: Eine Erfahrung, die nur in meinem von STEM abgeleiteten Projekt steht, hilft den anderen nicht. Deshalb gibt es zwei Wege zurück zu STEM:

  • Field Reports: Mit User-Zustimmung meldet der Agent, was eine Retro an einer STEM-Regel geprüft hat, auch negative und unklare Ergebnisse, als Issue-Vorlage. Seit 1.18.2 gibt es eine Variante trial, in der das Ergebnis einer ersten Einrichtung vergleichbar zurückkommt. Aktuell entwickle ich hier noch ziemlich isoliert, also helft mir bitte mit Berichten aus eurer lokalen Entwicklungsumgebung.
  • promote-learning: Bewährte, übertragbare Verbesserungen werden zu einem Pull Request gegen STEM. Der Skill entfernt Projekt-, Firmen- und persönliche Angaben und zeigt dem User den Text, bevor etwas gepusht wird.

Die Übergabe am Sitzungsende (der Skill ‘/handoff’) gehört auch zu dieser Schleife. Der Agent geht sicher, dss der Arbeitsraum leer ist, committet und pusht, legt ggf. offene Fragen und den Stand in den Aufgaben ab und hinterlässt nur einen kurzen Zeiger. Die nächste Sitzung beginnt damit, ohne dass ich etwas wiederholen muss. In Claude Code öffnet der Agent auch gleich die nächste Session automatisch, ease of use ist ja auch nicht zu verachten.

Wofür STEM (noch) nicht da ist

STEM ist gebaut für Abstimmung bei unklaren Anforderungen, Kontinuität über viele Sitzungen und größere Projekte. Das sind die Herausforderungen, wenn du also eher kleine Aufgaben hast, dann lass STEM weg und mach einfach ein Prompt. Tests für mehrdeutige, größere Aufgaben sind in Vorbereitung. Auch Teams mit eigenem Prozess, eigener CI und eigenem Review sollten es ebenfalls lassen: Der STEM-Prozess würde ihren doppeln.

Alle anderen Zahlen, die ich habe, sind aus Dogfooding entstanden. Ich nutze STEM, um STEM weiterzuentwickeln, und nutze es in 13 anderen Projekten (über ca. 300 Sitzungen), mit einem Nutzer auf dem Mac, und ohne kontrollierte Vergleiche ohne STEM. Die Adapter für Codex und DeutschlandGPT sind eher geringfügig menschlich und automatisiert getestet, Windows als Plattform noch gar nicht – hier brauche ich definitiv noch andere Probanden. Auch die Docker Sandbox (falls du den Agenten noch nicht so richtig über den Weg traust) funktioniert zwar, wurde aber über den Test hinaus nicht eingesetzt.

Einstieg

Für deine nächste Projektidee: STEM als ZIP herunterladen, einschließlich der versteckten Dateien (ja, die mit dem Punkt, die ls dir verschweigt) in den neuen Projektordner entpacken und im Coding-Agenten öffnen. Dann den Start-Prompt aus der README mit deiner Idee einfügen:

Richte dieses Projekt ein: Folge SETUP.md. Installiere alles, was fehlt, selbst (ich genehmige die Schritte).

Was ich entwickeln will, ist folgendes:
<deine Idee: was, für wen, woran erkennt man "fertig" – ein paar Sätze>

Du musst dir meine Arbeitsweise nicht vollständig zu eigen machen. Fang mit deiner Idee an und schau, ob STEM dir hilft. Ich tippe auf JA.

Und nun, wo du es ernsthaft bis ans Ende dieses Posts geschafft hast, sag mir doch bitte, was du denkst, was du nützlich findest, und was anders sein sollte. Gerne da, wo du auf diesen Post gestoßen bist. Genau aus solchen Rückmeldungen werden weitere Verbesserungen entstehen.

[mit writingmachine 0.3.0 und Claude Sonnet 5.5 erarbeitet]

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Back to top