docs(M45): spec en plannen harness als derde runtime (LiteLLM) — increment 1, 2a, 2b en 2c #324

Merged
janpeter merged 36 commits from docs/harness-runtime-spec into main 2026-10-07 09:54:20 +02:00
Owner

M45: spec en plannen voor de harness als derde runtime (LiteLLM-configuraties per product)

Alleen documentatie: de spec, de vier plannen en hun bewijsbijlagen voor M45, plus de bijgewerkte docs/INDEX.md. Geen code, migraties of configuratie.

Inhoud

Document Stand
docs/superpowers/specs/2026-10-05-harness-runtime-design.md (+ -evidence.md) spec rev 9, reviewed (dubbel GO in ronde 5; JP-besluiten van rev 7 met delta-GO in deltaronde 3)
docs/plans/M45-harness-runtime-litellm.md (+ M45-bewijs.md) increment 1 (praktijkproef LiteLLM op max2) afgerond met GO: janpeter/agent-harness#34 en #35
docs/plans/M45-2a-harness-fundament.md (+ M45-2a-bewijs.md) uitgerold 2026-10-06: janpeter/scrum4me-shared#74, janpeter/Scrum4Me#314
docs/plans/M45-2b-harness-mcp.md (+ M45-2b-bewijs.md) uitgerold 2026-10-07: janpeter/scrum4me-mcp#196
docs/plans/M45-2c-harness-workers-web.md (+ M45-2c-bewijs.md) uitgerold 2026-10-07: janpeter/scrum4me-workers#140, janpeter/Scrum4Me#321

Elk plan eindigt met een Status-sectie (merges, uitrol, controles, afwijkingen). Spec en plannen staan ook in de productdocs (SPECS/PLANS); de bijlagen van 2b en 2c alleen hier, want ze zijn te groot voor de store.

Branch

  • origin/main (574300ce) is in de branch gemerged (b78f82d2, geen rebase). Het enige conflict was docs/INDEX.md: opnieuw gegenereerd, en ten opzichte van main komen er alleen de tien M45-regels bij.
  • npm run docs:check-links lokaal groen (314 bestanden).

Niet in deze PR

  • 2d (docker-weigering en harness-dienst onder ops-agent) en 2e (cutover op max2) krijgen elk een eigen plan.

Merge graag als merge-commit (JP). Geen auto-merge.

🤖 Generated with Claude Code

## M45: spec en plannen voor de harness als derde runtime (LiteLLM-configuraties per product) Alleen documentatie: de spec, de vier plannen en hun bewijsbijlagen voor M45, plus de bijgewerkte `docs/INDEX.md`. Geen code, migraties of configuratie. ### Inhoud | Document | Stand | |---|---| | `docs/superpowers/specs/2026-10-05-harness-runtime-design.md` (+ `-evidence.md`) | spec rev 9, reviewed (dubbel GO in ronde 5; JP-besluiten van rev 7 met delta-GO in deltaronde 3) | | `docs/plans/M45-harness-runtime-litellm.md` (+ `M45-bewijs.md`) | increment 1 (praktijkproef LiteLLM op max2) afgerond met GO: janpeter/agent-harness#34 en #35 | | `docs/plans/M45-2a-harness-fundament.md` (+ `M45-2a-bewijs.md`) | uitgerold 2026-10-06: janpeter/scrum4me-shared#74, janpeter/Scrum4Me#314 | | `docs/plans/M45-2b-harness-mcp.md` (+ `M45-2b-bewijs.md`) | uitgerold 2026-10-07: janpeter/scrum4me-mcp#196 | | `docs/plans/M45-2c-harness-workers-web.md` (+ `M45-2c-bewijs.md`) | uitgerold 2026-10-07: janpeter/scrum4me-workers#140, janpeter/Scrum4Me#321 | Elk plan eindigt met een Status-sectie (merges, uitrol, controles, afwijkingen). Spec en plannen staan ook in de productdocs (SPECS/PLANS); de bijlagen van 2b en 2c alleen hier, want ze zijn te groot voor de store. ### Branch - `origin/main` (574300ce) is in de branch gemerged (b78f82d2, geen rebase). Het enige conflict was `docs/INDEX.md`: opnieuw gegenereerd, en ten opzichte van main komen er alleen de tien M45-regels bij. - `npm run docs:check-links` lokaal groen (314 bestanden). ### Niet in deze PR - 2d (docker-weigering en harness-dienst onder ops-agent) en 2e (cutover op max2) krijgen elk een eigen plan. Merge graag als **merge-commit** (JP). Geen auto-merge. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
Brainstorm met JP op 2026-10-05: idee-chat en losse taken via runtime HARNESS,
keuze per product, eigen LiteLLM op max2, kostenplafonds per job en per sleutel.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Kostenplafond fail-closed, cutover met drain, identiteitscheck van de harness,
bindende lijst van de git-beveiliging, keuzetabel per product beschreven.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Harness als systemd-dienst onder ops-agent (JP), cutover stoppen-omzetten-starten,
herstartacties weigeren local_llm, costMode per configuratie.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Herstartweigering voor local_llm blijft permanent, oude dienst uitschakelen,
losgelaten producten naar Claude, costMode in de probe-hash, consumentenlijst.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
local_llm-tak van isHarnessJob blijft permanent, herstart weigert HARNESS en
local_llm, rechten van de nieuwe tabellen, M4-stopprocedure in de bijlage.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
MINOR's na GO verwerkt: legacy-erving van de vervolgjob tot increment 3,
attempt-kolom geschrapt, restzin over de local_llm-tak, markering van
niet zelfstandig bewezen inventarisclaims.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Kostenplafond per product en jobsoort aan te passen in /context
(max_cost_usd in product_harness_choices, via de payload, gelezen bij
de claim). Alleen LiteLLM blijft op digest; de harness volgt main en
gebruikt scrum4me-mcp-stable van de host, beschermd door de startcheck.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Startcheck bij elke MCP-generatie (stoppen bij verlies van het MCP-kind,
geen herstartlus); één bijwerk- en terugzetprocedure met het predicaat
van isHarnessJob in de M4-stopcontrole; acceptatie 7 en 11.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
scrum4me-mcp-stable op max2 pas activeren in cutover-stap 8.1, na het
stoppen van de oude harness en vóór de eerste HARNESS-rij; in stap 1-7
alleen voorbereiden. Acceptatie 9 toetst de volgorde.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Zelfde --out voor probe en run; venster.sh met LITELLM_ENV_FILE en
robuust opruimen; registrerende proxy voor kosten per antwoord en een
gedefinieerd bedrag; sleutelscans op exitcodes; beslisregel denkstand;
OpenAI/Anthropic-route in het venster geschrapt.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Kostencriterium alleen over 200-antwoorden; netwerknaam expliciet;
proxy gereedheid, afbreken en header-test; kanarie- en Mac-scan
robuust; velden denktekst; sleutelnaamcontrole via collectSecretEntries;
negatieve controle met beslisregel; spec-verwijzing gecorrigeerd.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Negatieve controle met drie varianten (kaal, uit-vorm, aan-vorm);
BF16-endpointlijst als referentie; uit-regel eist lege denktekst;
proxy-trap; scan bij afbreken; brug-inactiefcontrole; drie kanaries;
keystand na 5 min; scans versus kanarie in acceptatie; PR-route;
ssh-login i.p.v. tmux-vasthoudsessie.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Vasthouder met echt remote commando en sessiecontrole; BF16-
ambiguiteitsregel; systemctl is-active exit 3; modus manifesten met
test; test voor opzoeken; acceptatie bij overgeslagen run en geldige
proefmap; gsq-lokaal-modelinstellingen uit worker.json.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
MINOR's na GO verwerkt: vasthouder met pty en begrensde sleep plus
sessiecontrole (+1); probe-extra-gsq.json met effectieve denkvelden;
een gehoste probe met infrastructuurfout eenmaal herhalen; worker.json
als aanname met leescontrole.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
De proef op max2 haalde alle drie de go-criteria van spec §7.1; JP gaf
GO voor increment 2. Vastgelegd: de PR's (#34 code, #35 verslag), wat
de proef beslist voor increment 2 (kostenbron body-usage.cost,
providervoorkeuren via litellm_params.extra_body, denkstand
reasoning_effort none/medium), het nieuwe ontwerpinput (cooldown uit,
lokaal geen kostenvelden, gehoste latentie, afgebroken aanvraag wordt
geboekt), de afwijkingen tijdens de uitvoering en de stand op max2.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Deel 2a van increment 2 (JP 2026-10-06: vijf delen). Enum-waarde HARNESS,
product_harness_choices en job_cost_reports met additieve contracts,
resolvertak met plafond, standaardplafonds en een dichte
normalizeAgentRuntime in scrum4me-shared; migraties en uitrol via
update_scrum4me_web. Bijlage met fragmenten uit shared en de
consumentenlijst voor 2b-2e.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Shared #74 en Scrum4Me #314 gemerged door JP; uitrol via update_scrum4me_web met
approve_policy_hash (344088e7… → 4215cc4b…, alleen profiel + migratie 2 als gehashte inputs).
Alleen-lezen controles als ops_readonly: enum met HARNESS, tabellen met CHECKs en FK's,
migraties afgerond, rechten volgens de contracts, nul HARNESS-rijen, web en workers zonder fouten.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Plan voor deel 2b van increment 2 (spec §7.2 stap 3) met bewijsbijlage: fragmenten uit
scrum4me-mcp 654fb70 en scrum4me-shared 132656b, de hostmeting van de MCP-installaties en
de meting van de shared-bump in de MCP.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Teruggave bij RUNTIME_MISMATCH als één gefencete transactie; overlay met het CREATE-patroon
van de provisioner; voorcontroles per installatie; kosten naar boven afgerond; bijlage met
de 2a-bytes van W, de historische provisioner en de kindgrensfragmenten.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Codex GO 0/0/1, Claude GO 0/0/9. Na het GO verwerkt: submodule bij afbreken, lockstep-
controle van de Prisma-client per installatie, concurrentietest met aantoonbare lockwacht,
beide claimpaden en de catch-volgorde, kostenvalidatie vóór neveneffecten, ceremonie met
sprint en PBI. Bijlage met managed-dispatch-fragmenten en het tweede claimpad.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Legt de uitkomst van T-2026..T-2032 vast: de commits van PR scrum4me-mcp#196, de gates, de uitrol per
installatie met commits vóór en na, de controles (health.runtimes, lockstep, local_llm-weigering, nul
HARNESS-rijen) en de afwijkingen bij de uitrol. Corrigeert de aanname in Taak 2 dat de docker-runner
getFullJobContext zonder runtime aanroept, met de gevolgen voor 2d.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
# Conflicts:
#	docs/INDEX.md
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Merge origin/main in docs/harness-runtime-spec
All checks were successful
CI / DB Access Policy Gate (pull_request) Successful in 2m47s
CI / Lint, Typecheck, Test & Build (pull_request) Successful in 4m51s
CI / Queue Dispatch Guard Gate (pull_request) Successful in 3m1s
CI / Deploy Manual (workflow_dispatch) (pull_request) Has been skipped
CI / DB Access Production Sentinel (pull_request) Successful in 1m23s
CI / Detect deploy-relevant changes (pull_request) Has been skipped
CI / Deploy Preview (PR) (pull_request) Has been skipped
CI / Deploy Production (main) (pull_request) Has been skipped
b78f82d2d5
docs/INDEX.md opnieuw gegenereerd: beide kanten voegden docs toe. Ten opzichte van main komen er alleen de tien M45-documenten bij; docs:check-links groen.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
s4m-codex-reviewer approved these changes 2026-10-07 08:57:48 +02:00
Dismissed
s4m-codex-reviewer left a comment

APPROVED

Findings:

  • Geen blokkerende of overige concrete findings vastgesteld binnen deze documentatie-PR.

De diff bevat uitsluitend tien M45-documenten en de gegenereerde index. De contracten voor runtime-isolatie, productkeuze, kosten, permanente local_llm-bewaking en gefaseerde uitrol zijn onderling consistent; de plannen beschrijven gerichte unit-, integratie- en regressiecontroles. De statussecties benoemen afwijkingen expliciet. Deze PR documenteert increment 1 en 2a–2c; 2d, 2e en increment 3 hoeven hier niet geïmplementeerd of afgerond te zijn.

plan gekoppeld via pr_refs. References:

  • docs/superpowers/specs/2026-10-05-harness-runtime-design.md
  • docs/plans/M45-harness-runtime-litellm.md
  • docs/plans/M45-2a-harness-fundament.md
  • docs/plans/M45-2b-harness-mcp.md
  • docs/plans/M45-2c-harness-workers-web.md

Alle vijf aangeleverde planfragmenten waren truncated; de volledige documenten zijn uit de diff en de exacte PR-head gelezen. omitted is leeg. Geen gekoppelde stories uit een ander product.

Verificatie op b78f82d2d5: PR resolveerbaar en head gelijk aan payload; npm run docs:check-links groen (314 bestanden); aanvullende bestandslinkcheck inclusief gewijzigde plans groen; indexregeneratie byte-identiek (389 documenten); alle tien nieuwe bestanden gelijk aan de payload. De gemelde mergecommits voor shared #74, web #314/#321, MCP #196 en workers #140 zijn via Forgejo bevestigd. Agent-harness #34/#35 zijn zonder authenticatie niet toegankelijk (404); hostmetingen en historische testresultaten zijn niet opnieuw uitgevoerd. Runtime-tests/build niet uitgevoerd voor deze uitsluitend documentatie wijzigende diff.

# APPROVED Findings: - Geen blokkerende of overige concrete findings vastgesteld binnen deze documentatie-PR. De diff bevat uitsluitend tien M45-documenten en de gegenereerde index. De contracten voor runtime-isolatie, productkeuze, kosten, permanente local_llm-bewaking en gefaseerde uitrol zijn onderling consistent; de plannen beschrijven gerichte unit-, integratie- en regressiecontroles. De statussecties benoemen afwijkingen expliciet. Deze PR documenteert increment 1 en 2a–2c; 2d, 2e en increment 3 hoeven hier niet geïmplementeerd of afgerond te zijn. plan gekoppeld via pr_refs. References: - docs/superpowers/specs/2026-10-05-harness-runtime-design.md - docs/plans/M45-harness-runtime-litellm.md - docs/plans/M45-2a-harness-fundament.md - docs/plans/M45-2b-harness-mcp.md - docs/plans/M45-2c-harness-workers-web.md Alle vijf aangeleverde planfragmenten waren truncated; de volledige documenten zijn uit de diff en de exacte PR-head gelezen. omitted is leeg. Geen gekoppelde stories uit een ander product. Verificatie op b78f82d2d5cadff620c653cdc35e27802adb426f: PR resolveerbaar en head gelijk aan payload; npm run docs:check-links groen (314 bestanden); aanvullende bestandslinkcheck inclusief gewijzigde plans groen; indexregeneratie byte-identiek (389 documenten); alle tien nieuwe bestanden gelijk aan de payload. De gemelde mergecommits voor shared #74, web #314/#321, MCP #196 en workers #140 zijn via Forgejo bevestigd. Agent-harness #34/#35 zijn zonder authenticatie niet toegankelijk (404); hostmetingen en historische testresultaten zijn niet opnieuw uitgevoerd. Runtime-tests/build niet uitgevoerd voor deze uitsluitend documentatie wijzigende diff.
Merge origin/main in docs/harness-runtime-spec
All checks were successful
CI / DB Access Policy Gate (pull_request) Successful in 1m51s
CI / Queue Dispatch Guard Gate (pull_request) Successful in 1m39s
CI / DB Access Production Sentinel (pull_request) Successful in 1m13s
CI / Deploy Manual (workflow_dispatch) (pull_request) Has been skipped
CI / Lint, Typecheck, Test & Build (pull_request) Successful in 9m21s
CI / Detect deploy-relevant changes (pull_request) Has been skipped
CI / Deploy Preview (PR) (pull_request) Has been skipped
CI / Deploy Production (main) (pull_request) Has been skipped
c692f46b2e
Main stond op d9ef7f70 (M47, #323). docs/INDEX.md opnieuw gegenereerd: ten opzichte van main komen er alleen de tien M45-regels bij; docs:check-links groen.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
janpeter scheduled this pull request to auto merge when all checks succeed 2026-10-07 09:46:28 +02:00
s4m-codex-reviewer left a comment

APPROVED

Geen blokkerende bevindingen. Deze PR rondt de documentatie van de genoemde increments af; uitvoering van 2d/2e en de cutover wordt expliciet buiten scope gehouden.

Findings

  • Geen error- of blokkerende findings gevonden.

Plan-conformiteit

plan gekoppeld via pr_refs. Referenties:

  • docs/superpowers/specs/2026-10-05-harness-runtime-design.md
  • docs/plans/M45-harness-runtime-litellm.md
  • docs/plans/M45-2a-harness-fundament.md
  • docs/plans/M45-2b-harness-mcp.md
  • docs/plans/M45-2c-harness-workers-web.md

De gekoppelde planfragmenten waren afgekapt; de volledige bestanden zijn beoordeeld op PR-commit c692f46b2ebec4b49f572ca1320c3ed410b23b6d. omitted is leeg. De plannen documenteren migratie-/contractbeleid, runtime-afbakening, testvereisten, uitrolvolgorde en afwijkingen. Statussecties maken uitgevoerde en resterende delen zichtbaar.

Verificatie

Live PR en head-SHA gecontroleerd; alle 11 gewijzigde bestanden zijn documentatie. node scripts/check-doc-links.mjs slaagt (315 bestanden). Regeneratie van docs/INDEX.md levert identieke inhoud op. git diff --check meldt uitsluitend whitespace in bewijsfragmenten en extra eindregels; geen inhoudelijk probleem. Runtime-tests/build niet uitgevoerd voor deze documentatie-PR; genoemde uitrol- en testresultaten zijn documentatie, geen door deze review opnieuw uitgevoerde metingen.

# APPROVED Geen blokkerende bevindingen. Deze PR rondt de documentatie van de genoemde increments af; uitvoering van 2d/2e en de cutover wordt expliciet buiten scope gehouden. ## Findings - Geen error- of blokkerende findings gevonden. ## Plan-conformiteit plan gekoppeld via pr_refs. Referenties: - `docs/superpowers/specs/2026-10-05-harness-runtime-design.md` - `docs/plans/M45-harness-runtime-litellm.md` - `docs/plans/M45-2a-harness-fundament.md` - `docs/plans/M45-2b-harness-mcp.md` - `docs/plans/M45-2c-harness-workers-web.md` De gekoppelde planfragmenten waren afgekapt; de volledige bestanden zijn beoordeeld op PR-commit `c692f46b2ebec4b49f572ca1320c3ed410b23b6d`. `omitted` is leeg. De plannen documenteren migratie-/contractbeleid, runtime-afbakening, testvereisten, uitrolvolgorde en afwijkingen. Statussecties maken uitgevoerde en resterende delen zichtbaar. ## Verificatie Live PR en head-SHA gecontroleerd; alle 11 gewijzigde bestanden zijn documentatie. `node scripts/check-doc-links.mjs` slaagt (315 bestanden). Regeneratie van `docs/INDEX.md` levert identieke inhoud op. `git diff --check` meldt uitsluitend whitespace in bewijsfragmenten en extra eindregels; geen inhoudelijk probleem. Runtime-tests/build niet uitgevoerd voor deze documentatie-PR; genoemde uitrol- en testresultaten zijn documentatie, geen door deze review opnieuw uitgevoerde metingen.
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/Scrum4Me!324
No description provided.