feat(models): /settings/models in drie secties en driftcheck (IDEA-269 S3) #169

Merged
janpeter merged 4 commits from feat/idea-269-registry-sections into main 2026-10-20 16:59:04 +02:00
Owner

IDEA-269 S3 (ST-085, sprint S-2026-10-20-1). Volgt op shared#86 (schema en helpers) en Scrum4Me#406 (migratie agent_model_facts, additief contract, chat-label).

Wat

  • T-274: shared-submodule naar d07f8b6. De registry-lib leest agent_model_facts, en /settings/models toont drie secties (Abonnement / Remote / Lokaal) met modelfeiten. Elke sectie bewaart een eigen sortering. Een HARNESS-rij zonder facts toont "herkomst niet vastgelegd".
  • T-275: bij het toevoegen van een HARNESS-configuratie is de herkomst (Remote/Lokaal) verplicht, en validateModelFacts past de LOKAAL-regel ollama/<tag> toe. Een facts-rij wordt alleen aangemaakt, nooit overschreven; een bestaande herkomst wijzig je via Bewerken.
  • T-277: npm run db:check-harness-registry -- --harness-repo <pad> doet een read-only vergelijking van de HARNESS-registry met deploy/max2/harness.json en de LiteLLM-config, die merge-keys ondersteunt. Exitcodes: 0 zonder drift in (a)-(d), 1 bij drift (een herkomstverschil faalt), 2 bij een gebruiks-, lees- of DB-fout. De DSN komt nooit in de uitvoer.

Let op bij uitrol

Deploy workers pas nadat de S2-migratie (20261020140000_agent_model_facts) live staat. Anders faalt /settings/models met "relation does not exist". De uitrol gebeurt in T-279 met JP.

Verificatie

  • npm run verify: 2862 tests groen, inclusief 29 drifttests.
  • npm run build met een dummy-DATABASE_URL: groen.
  • Backfill-simulatie tegen de echte agent-harness-config: drift (a)-(d) 0, (e) 24 (info).

🤖 Generated with Claude Code

IDEA-269 S3 (ST-085, sprint S-2026-10-20-1). Volgt op shared#86 (schema en helpers) en Scrum4Me#406 (migratie `agent_model_facts`, additief contract, chat-label). ## Wat - **T-274**: shared-submodule naar d07f8b6. De registry-lib leest `agent_model_facts`, en /settings/models toont drie secties (Abonnement / Remote / Lokaal) met modelfeiten. Elke sectie bewaart een eigen sortering. Een HARNESS-rij zonder facts toont "herkomst niet vastgelegd". - **T-275**: bij het toevoegen van een HARNESS-configuratie is de herkomst (Remote/Lokaal) verplicht, en `validateModelFacts` past de LOKAAL-regel `ollama/<tag>` toe. Een facts-rij wordt alleen aangemaakt, nooit overschreven; een bestaande herkomst wijzig je via Bewerken. - **T-277**: `npm run db:check-harness-registry -- --harness-repo <pad>` doet een read-only vergelijking van de HARNESS-registry met `deploy/max2/harness.json` en de LiteLLM-config, die merge-keys ondersteunt. Exitcodes: 0 zonder drift in (a)-(d), 1 bij drift (een herkomstverschil faalt), 2 bij een gebruiks-, lees- of DB-fout. De DSN komt nooit in de uitvoer. ## Let op bij uitrol Deploy workers pas nadat de S2-migratie (`20261020140000_agent_model_facts`) live staat. Anders faalt /settings/models met "relation does not exist". De uitrol gebeurt in T-279 met JP. ## Verificatie - `npm run verify`: 2862 tests groen, inclusief 29 drifttests. - `npm run build` met een dummy-DATABASE_URL: groen. - Backfill-simulatie tegen de echte agent-harness-config: drift (a)-(d) 0, (e) 24 (info). 🤖 Generated with [Claude Code](https://claude.com/claude-code)
Shared-bump van f1e78df naar d07f8b62 (scrum4me-shared PR #86). Die neemt ook
c79f6e3 en cd01a69 mee, die al in de DB staan. listModelsWithPrices haalt de
facts-rij mee en geeft herkomst, sectie en feiten door. /settings/models toont
de registry in drie secties: Abonnement, Remote en Lokaal, elk met eigen
sortering. Remote en Lokaal tonen het onderliggende model, de context, quant
en capabilities. Een HARNESS-rij zonder facts staat onder Remote met
'herkomst niet vastgelegd'.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Model toevoegen vraagt bij HARNESS een keuze Remote of Lokaal, zonder voorkeuze,
en een onderliggend model. Dat model is verplicht bij Lokaal (ollama/<tag>,
getoetst met validateModelFacts vóór elke DB-aanroep). In dezelfde transactie
als de agent_models-upsert komt de facts-rij, maar alleen als die nog niet
bestaat. Een bestaande configuratie met een andere herkomst wordt vóór elke
schrijfactie geweigerd: herkomst wijzigen is I2 (Bewerken). CLAUDE en CODEX
krijgen geen facts-rij.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
feat(models): driftcheck db:check-harness-registry (IDEA-269 S3)
All checks were successful
CI / Verify (pull_request) Successful in 2m34s
ac3768ea34
Read-only vergelijking van de HARNESS-registry (agent_models + agent_model_facts)
met deploy/max2/harness.json en de LiteLLM-config van een agent-harness-checkout.
Exit 0 zonder drift in (a)-(d), 1 bij drift (een herkomstverschil faalt), 2 bij
een gebruiks-, lees- of DB-fout. LiteLLM-YAML met merge-keys via yaml { merge: true }.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
s4m-codex-reviewer requested changes 2026-10-20 16:45:08 +02:00
Dismissed
s4m-codex-reviewer left a comment

REQUEST_CHANGES

  • ERROR / P2 — lib/settings/harness-registry-drift.ts:156 — Controleer ontbrekende facts voor alle HARNESS-registryrijen. De huidige controle op !row.facts staat binnen de lus over configurations; de afsluitende lus over rows controleert alleen (b). Daardoor verdwijnt een rij zonder facts uit sectie (c) zodra haar configuratie niet meer in harness.json staat. Reproductie: configurations: {}, litellm: [], rows: [{ model_id: 'oude-config', active: false, facts: null }] levert een volledig leeg rapport en exitcode 0. Spec §4.6 en ST-085 vereisen hiervoor een ernstige (c)-melding en exitcode 1, onafhankelijk van actief/inactief. Controleer facts in de lus over alle registryrijen, voorkom dubbele meldingen en voeg regressiedekking toe voor actieve én inactieve rijen zonder configuratie.

Plan gekoppeld via pr_refs: T-274, T-275, T-277, T-279, ST-085. De scope van deze PR is S3 (ST-085); de productie-uitrol/praktijkproef van S4/T-279 is vervolgwerk en geen blokkade voor deze PR. Ook getoetst aan IDEA-269-spec revisie 4 van product Agent-harness en het workers-patroon voor hydration-veilige localStorage-sortering. Geen gekoppelde context weggelaten.

De sectie-indeling, create-only facts in dezelfde transactie, herkomstvalidatie en YAML-merge-ondersteuning sluiten verder aan op het plan.

Verificatie op ac3768ea34: npm ci, npm run verify (222 testbestanden geslaagd, 4 overgeslagen; 2862 tests geslaagd, 66 overgeslagen) en npm run build met een dummy-DATABASE_URL zijn geslaagd. Lint meldt één bestaande waarschuwing buiten deze diff. De bovenstaande reproductie is apart met tsx uitgevoerd en bevestigt de fout. Geen productie-DB benaderd.

# REQUEST_CHANGES - **ERROR / P2 — lib/settings/harness-registry-drift.ts:156** — Controleer ontbrekende facts voor **alle** HARNESS-registryrijen. De huidige controle op `!row.facts` staat binnen de lus over `configurations`; de afsluitende lus over `rows` controleert alleen (b). Daardoor verdwijnt een rij zonder facts uit sectie (c) zodra haar configuratie niet meer in harness.json staat. Reproductie: `configurations: {}, litellm: [], rows: [{ model_id: 'oude-config', active: false, facts: null }]` levert een volledig leeg rapport en exitcode **0**. Spec §4.6 en ST-085 vereisen hiervoor een ernstige (c)-melding en exitcode **1**, onafhankelijk van actief/inactief. Controleer facts in de lus over alle registryrijen, voorkom dubbele meldingen en voeg regressiedekking toe voor actieve én inactieve rijen zonder configuratie. Plan gekoppeld via pr_refs: T-274, T-275, T-277, T-279, ST-085. De scope van deze PR is S3 (ST-085); de productie-uitrol/praktijkproef van S4/T-279 is vervolgwerk en geen blokkade voor deze PR. Ook getoetst aan IDEA-269-spec revisie 4 van product Agent-harness en het workers-patroon voor hydration-veilige localStorage-sortering. Geen gekoppelde context weggelaten. De sectie-indeling, create-only facts in dezelfde transactie, herkomstvalidatie en YAML-merge-ondersteuning sluiten verder aan op het plan. Verificatie op ac3768ea34a8c90a28afce67a31a7bd671692429: `npm ci`, `npm run verify` (222 testbestanden geslaagd, 4 overgeslagen; 2862 tests geslaagd, 66 overgeslagen) en `npm run build` met een dummy-DATABASE_URL zijn geslaagd. Lint meldt één bestaande waarschuwing buiten deze diff. De bovenstaande reproductie is apart met tsx uitgevoerd en bevestigt de fout. Geen productie-DB benaderd.
fix(models): driftcheck meldt elke HARNESS-rij zonder facts in (c)
All checks were successful
CI / Verify (pull_request) Successful in 4m26s
aea3f375c0
De controle stond alleen in de lus over de configuraties, waardoor een rij
zonder facts en zonder configuratie in harness.json buiten (c) viel en de
check met exit 0 eindigde. Spec §4.6 telt elke HARNESS-rij zonder facts-rij,
actief of inactief. Review s4m-codex-reviewer op #169.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
s4m-codex-reviewer left a comment

APPROVED

Findings:

  • Geen blokkerende of overige concrete bevindingen gevonden.

Plan gekoppeld via pr_refs; references: T-274, T-275, T-277, T-279, ST-085. Geen omitted onderdelen. De diff rondt de geclaimde S3-scope af: drie secties met afzonderlijke sortering, verplichte HARNESS-herkomst, facts alleen aanmaken binnen dezelfde transactie, en driftcategorieën (a)–(e). T-279 (productie-uitrol en praktijkproef) hoort bij S4 en wordt door deze PR expliciet niet afgerond. De eigen Prisma-client in de CLI is een gemotiveerde afwijking van het plan voor correcte poolafsluiting.

De bestaande DataTable-, useLocalTableSort-, shared-validatie- en stylingpatronen blijven gevolgd. De uitrolvoorwaarde na de S2-migratie staat in de PR-beschrijving.

Verificatie op aea3f375c0:

  • npm run verify geslaagd: 222 testbestanden, 2863 tests geslaagd; 66 tests overgeslagen. Eén bestaande lintwaarschuwing buiten de diff.
  • npm run build geslaagd met dummy-DATABASE_URL; Forgejo CI / Verify is eveneens success voor deze commit.
  • Simulatie met agent-harness main en nagebootste backfill-rijen: (a)–(d) nul, (e) 24 informatiemeldingen. Geen productie-DB of handmatige browserproef uitgevoerd.
# APPROVED Findings: - Geen blokkerende of overige concrete bevindingen gevonden. Plan gekoppeld via pr_refs; references: T-274, T-275, T-277, T-279, ST-085. Geen omitted onderdelen. De diff rondt de geclaimde S3-scope af: drie secties met afzonderlijke sortering, verplichte HARNESS-herkomst, facts alleen aanmaken binnen dezelfde transactie, en driftcategorieën (a)–(e). T-279 (productie-uitrol en praktijkproef) hoort bij S4 en wordt door deze PR expliciet niet afgerond. De eigen Prisma-client in de CLI is een gemotiveerde afwijking van het plan voor correcte poolafsluiting. De bestaande DataTable-, useLocalTableSort-, shared-validatie- en stylingpatronen blijven gevolgd. De uitrolvoorwaarde na de S2-migratie staat in de PR-beschrijving. Verificatie op aea3f375c0e497b5912525facea505d60e8c441b: - npm run verify geslaagd: 222 testbestanden, 2863 tests geslaagd; 66 tests overgeslagen. Eén bestaande lintwaarschuwing buiten de diff. - npm run build geslaagd met dummy-DATABASE_URL; Forgejo CI / Verify is eveneens success voor deze commit. - Simulatie met agent-harness main en nagebootste backfill-rijen: (a)–(d) nul, (e) 24 informatiemeldingen. Geen productie-DB of handmatige browserproef uitgevoerd.
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/scrum4me-workers!169
No description provided.