[ISS-15] Dispatch-review: reviewer draait npm ci in afgesloten container, hangt >7 min en haalt max_duration_seconds bijna #204

Closed
opened 2026-10-09 08:57:08 +02:00 by janpeter · 0 comments
Owner

Beheerd door Scrum4Me — wijzigingen hier worden overschreven. Bron: https://thuis.jp-visser.nl/issues/cmv0m1t580001757ra2xoa2s4

Status: closed (fixed) · Severity: s3_major · Gemeld door: scrum4me-server:claude · Occurrences: 1 (laatst: 2026-10-09T06:54:58.508Z) · Aangemaakt: 2026-10-09T06:54:58.508Z

Registratie

Wat er gebeurde

De QUEUE_REVIEW-job 89d5f048-d344-4eaf-ba7f-5408d9a532ee (dispatch request f2b739f7-2674-4490-8208-0d2ed8b3aa8c, attempt 247a56ef-0ed1-4588-8e2a-53fffd6dc60a, slot review-claude-srv, image s4m-dispatch-model-claude:iss345 / sha256:dd5a7b31…) reviewde docs/runbooks/job-testdb.md@fc1ce310 van scrum4me-docker. Hij eindigde wel als SUCCEEDED met verdict COMMENT, maar deed er 29 min 39 s over (06:22:15Z tot 06:51:54Z). Het profiel staat op max_duration_seconds: 1800, dus het scheelde 21 s of de supervisor had hem hard gestopt.

Oorzaak (gemeten op scrum4me-srv, 2026-10-09 ~06:49Z)

  • De reviewer (claude -p, prompt src/prompts/queue/review.md) voerde in /tmp/w het volgende uit: timeout 240 npm ci --fetch-retries=0 | tail -12; … timeout 120 npx --no-install vitest run ….
  • De container heeft geen registry-toegang, dus npm kreeg een 403 van registry.npmjs.org. Toch draaide npm ci daarna 6 min 49 s of langer op ~101% CPU (state Rl).
  • timeout 240 stopte npm niet. npm (pid 360792) vangt SIGTERM niet af en negeert het ook niet (SigCgt 0x100000600, SigIgn 0x1000). Het timeout-proces sliep met een ALRM-handler en geen signaal in de wachtrij. Het lijkt er dus op dat het alarm nooit afging. De oorzaak heb ik niet vastgesteld; seccomp of timer-syscalls in het model-image zijn een mogelijkheid.
  • In het resultaat staat het eerlijk vermeld: check verification:npm-ci+vitest = failed ("403 … hung, killed; 0 tests run"). De review steunt dus alleen op het lezen van de code.
  • Slot, heartbeat en supervisor waren de hele tijd gezond.

Risico

Elke dispatch-review waarvan de objective of verification vraagt om tests te draaien, verbruikt zo het grootste deel van zijn tijdsbudget en kan de 1800 s overschrijden. Dan komt er geen resultaat.

Mogelijke fixes (nog niets uitgevoerd)

  1. In review.md en review.codex.md expliciet zeggen dat er geen package-installatie of registry is (geen npm ci/npx/pip install) en dat de review statisch is, tenzij er dependencies als bron zijn meegeleverd.
  2. Of node_modules of een offline-cache als source artifact meeleveren als testuitvoering gewenst is.
  3. Uitzoeken waarom timeout in het model-image niet afgaat (bijv. timeout -k 10 5 sleep 60 in het image), en of er een harde wall-clock-limiet per tool-aanroep moet komen.

Herkennen

Dispatch-container met een npm ci-kind dat langer dan 4 min loopt onder timeout 240: docker top s4m-dispatch-<id> -o pid,etime,pcpu,args.

Onderzoek


2026-10-09T07:02:32.275Z — scrum4me-server:claude

Root cause gereproduceerd (2026-10-09 ~07:05Z, scrum4me-srv)

Ik heb de dispatch-kindvlaggen exact nagebootst: image s4m-dispatch-model-claude:iss345, --init --read-only --network none --cap-drop ALL --security-opt no-new-privileges --user 10001:10001, tmpfs /tmp met exec en HTTPS_PROXY=http://127.0.0.1:18081. Daarop draaide een nep-proxy die elke CONNECT met 403 beantwoordt.

  • timeout 30 npm ci --fetch-retries=0 draaide na 3 min nog, met npm op 103% CPU. Dat is hetzelfde beeld als in de echte job.
  • timeout gaat wél af. Het timeout-proces heeft SIGTERM, SIGCONT, SIGTTIN en SIGTTOU in SigIgn (0x324000). GNU timeout zet die pas op het moment dat het het signaal naar de procesgroep stuurt. npm overleeft die SIGTERM en blijft daarna in een lus van 100% CPU hangen. Zonder -k stuurt timeout nooit SIGKILL en wacht het eindeloos op het kind.
  • Met timeout -k 5 30 npm ci … wordt npm na 35 s met SIGKILL gestopt (exit 137).
  • In een gewone container werkt timeout 3 sleep 30 normaal (exit 124 na 3 s). Het image en seccomp zijn dus in orde.

Extra bevinding: tegenstrijdigheid met ISS-5 (scrum4me-docker)

docs/dispatch-runtime-operator.md:49 (ISS-5, fc1ce31) zegt dat npm ci en vitest werken voor reviewers zodra /tmp exec toestaat ("Measured 2026-10-08 … exec, it succeeds"). In productie geeft de egress-proxy echter een 403 op registry.npmjs.org. Die meting is dus kennelijk niet gedaan achter de echte egress. Reviewers krijgen daardoor de verwachting dat tests kunnen draaien, terwijl dat niet kan.

Uitrolimpact

De prompt src/prompts/queue/review*.md (scrum4me-mcp) wordt bij de build gekopieerd naar /opt/dispatch/prompts/queue/ in het model-image (Dockerfile.dispatch:19-28). Een promptfix vraagt dus een nieuwe image-build, een nieuwe profielrevisie per slot en broker.json bijwerken: dezelfde procedure als bij de iss345-imagewissel.


2026-10-09T07:15:36.519Z — scrum4me-server:claude

Fix (door JP gekozen richting: statische review)

  • scrum4me-mcp PR #205 (bdb129c): queue/review.md en review.codex.md zeggen nu dat er geen registry is en dat installaties verboden zijn. De review is statisch, en een gevraagde test of build wordt als not_run gerapporteerd.
  • scrum4me-docker PR #125 (8165334): de ISS-5-doc is gecorrigeerd. Die meting is zonder egress gedaan; in productie geeft de registry een 403 en hangt npm daarna langer dan timeout.
  • Nog open: merge, daarna de model-image rebuild, een nieuwe profielrevisie per slot en broker.json. Daarna een verificatiereview zonder npm ci.
  • Bewust buiten scope: queue/task*.md heeft hetzelfde theoretische hangrisico.

2026-10-09T08:56:40.639Z — scrum4me-server:claude

Uitrol 2026-10-09 08:44–08:46Z (opdracht JP)

  • PR's gemerged: scrum4me-mcp #205 (27adf95) en scrum4me-docker #125 (bfa79a4). De worker-deploy van JP (07:38–07:43Z) vernieuwde de dispatch-model-images niet; die zaten nog op iss345.
  • Gebouwd uit scrum4me-docker master f62e4ef met MCP_GIT_REF=main (580fae5). De nieuwe images verschillen van de live images alleen in prompts/queue/review.md en review.codex.md; code, CLI-versies en node_modules zijn identiek (sha256-vergelijking). Alle vier de prompts zijn byte-gelijk aan scrum4me-mcp main.
    • claude: sha256:b778dbb567f0…, profiel review-claude-srv rev 6 f73c0ac6
    • codex: sha256:99e146f6b1cb…, profiel review-codex-srv rev 8 13e6f31c
  • Beide slots omgezet terwijl ze leeg waren. Egress is healthy, broker.json .image is bijgewerkt, de nieuwe incarnaties registreren alleen de nieuwe revisie (de oude zijn afgemeld) en beide slots zijn protocol_ready en live.
  • Oude revisies ingetrokken: claude rev 5 fec6cbf3 en codex rev 7 2c50b19a.
  • Nog open: bewijs uit een echte review op het nieuwe image (geen npm ci). Er staat een watcher op de eerstvolgende poging.

Oplossing


2026-10-09T09:21:34.096Z — scrum4me-server:claude

Bewezen met de eerste twee echte reviews na de imagewissel:

  • Codex-slot: request b15035e2, image 99e146f6…, incarnatie 9f5dc7a9 (rev 8). Draaide 09:16–09:19Z (~3 min), zonder npm/pip-proces in de container. De check npm run verify staat op not_run, en het verdict is gewoon gegeven (NO-GO).
  • Claude-slot: request e15aac01, image b778dbb5…, incarnatie 0192902f (rev 6). Draaide 4 min 56 s, zonder npm/pip-proces. De check npm run verify staat op not_run, verdict GO.

Ter vergelijking: job 89d5f048 deed er vóór de fix 29 min 39 s over.
Fix: scrum4me-mcp #205 (prompts) en scrum4me-docker #125 (doc), uitgerold als model-images :iss15.
Bewust niet meegenomen: queue/task*.md loopt hetzelfde theoretische hangrisico.

> Beheerd door Scrum4Me — wijzigingen hier worden overschreven. Bron: https://thuis.jp-visser.nl/issues/cmv0m1t580001757ra2xoa2s4 Status: closed (fixed) · Severity: s3_major · Gemeld door: scrum4me-server:claude · Occurrences: 1 (laatst: 2026-10-09T06:54:58.508Z) · Aangemaakt: 2026-10-09T06:54:58.508Z ## Registratie ## Wat er gebeurde De QUEUE_REVIEW-job `89d5f048-d344-4eaf-ba7f-5408d9a532ee` (dispatch request `f2b739f7-2674-4490-8208-0d2ed8b3aa8c`, attempt `247a56ef-0ed1-4588-8e2a-53fffd6dc60a`, slot review-claude-srv, image `s4m-dispatch-model-claude:iss345` / `sha256:dd5a7b31…`) reviewde `docs/runbooks/job-testdb.md`@`fc1ce310` van scrum4me-docker. Hij eindigde wel als SUCCEEDED met verdict COMMENT, maar deed er **29 min 39 s** over (06:22:15Z tot 06:51:54Z). Het profiel staat op `max_duration_seconds: 1800`, dus het scheelde 21 s of de supervisor had hem hard gestopt. ## Oorzaak (gemeten op scrum4me-srv, 2026-10-09 ~06:49Z) - De reviewer (`claude -p`, prompt `src/prompts/queue/review.md`) voerde in `/tmp/w` het volgende uit: `timeout 240 npm ci --fetch-retries=0 | tail -12; … timeout 120 npx --no-install vitest run …`. - De container heeft geen registry-toegang, dus npm kreeg een 403 van registry.npmjs.org. Toch draaide `npm ci` daarna **6 min 49 s of langer op ~101% CPU** (state Rl). - `timeout 240` stopte npm niet. npm (pid 360792) vangt SIGTERM niet af en negeert het ook niet (SigCgt 0x100000600, SigIgn 0x1000). Het `timeout`-proces sliep met een ALRM-handler en geen signaal in de wachtrij. Het lijkt er dus op dat het alarm nooit afging. De oorzaak heb ik niet vastgesteld; seccomp of timer-syscalls in het model-image zijn een mogelijkheid. - In het resultaat staat het eerlijk vermeld: check `verification:npm-ci+vitest` = failed ("403 … hung, killed; 0 tests run"). De review steunt dus alleen op het lezen van de code. - Slot, heartbeat en supervisor waren de hele tijd gezond. ## Risico Elke dispatch-review waarvan de objective of verification vraagt om tests te draaien, verbruikt zo het grootste deel van zijn tijdsbudget en kan de 1800 s overschrijden. Dan komt er geen resultaat. ## Mogelijke fixes (nog niets uitgevoerd) 1. In `review.md` en `review.codex.md` expliciet zeggen dat er geen package-installatie of registry is (geen `npm ci`/`npx`/`pip install`) en dat de review statisch is, tenzij er dependencies als bron zijn meegeleverd. 2. Of `node_modules` of een offline-cache als source artifact meeleveren als testuitvoering gewenst is. 3. Uitzoeken waarom `timeout` in het model-image niet afgaat (bijv. `timeout -k 10 5 sleep 60` in het image), en of er een harde wall-clock-limiet per tool-aanroep moet komen. ## Herkennen Dispatch-container met een `npm ci`-kind dat langer dan 4 min loopt onder `timeout 240`: `docker top s4m-dispatch-<id> -o pid,etime,pcpu,args`. ## Onderzoek --- *2026-10-09T07:02:32.275Z — scrum4me-server:claude* ## Root cause gereproduceerd (2026-10-09 ~07:05Z, scrum4me-srv) Ik heb de dispatch-kindvlaggen exact nagebootst: image `s4m-dispatch-model-claude:iss345`, `--init --read-only --network none --cap-drop ALL --security-opt no-new-privileges --user 10001:10001`, tmpfs `/tmp` met exec en `HTTPS_PROXY=http://127.0.0.1:18081`. Daarop draaide een nep-proxy die elke CONNECT met 403 beantwoordt. - `timeout 30 npm ci --fetch-retries=0` draaide na 3 min nog, met npm op 103% CPU. Dat is hetzelfde beeld als in de echte job. - **`timeout` gaat wél af.** Het timeout-proces heeft SIGTERM, SIGCONT, SIGTTIN en SIGTTOU in SigIgn (0x324000). GNU timeout zet die pas op het moment dat het het signaal naar de procesgroep stuurt. npm overleeft die SIGTERM en blijft daarna in een lus van 100% CPU hangen. Zonder `-k` stuurt timeout nooit SIGKILL en wacht het eindeloos op het kind. - Met `timeout -k 5 30 npm ci …` wordt npm na 35 s met SIGKILL gestopt (exit 137). - In een gewone container werkt `timeout 3 sleep 30` normaal (exit 124 na 3 s). Het image en seccomp zijn dus in orde. ## Extra bevinding: tegenstrijdigheid met ISS-5 (scrum4me-docker) `docs/dispatch-runtime-operator.md:49` (ISS-5, fc1ce31) zegt dat `npm ci` en vitest werken voor reviewers zodra `/tmp` exec toestaat ("Measured 2026-10-08 … exec, it succeeds"). In productie geeft de egress-proxy echter een 403 op registry.npmjs.org. Die meting is dus kennelijk niet gedaan achter de echte egress. Reviewers krijgen daardoor de verwachting dat tests kunnen draaien, terwijl dat niet kan. ## Uitrolimpact De prompt `src/prompts/queue/review*.md` (scrum4me-mcp) wordt bij de build gekopieerd naar `/opt/dispatch/prompts/queue/` in het model-image (`Dockerfile.dispatch:19-28`). Een promptfix vraagt dus een nieuwe image-build, een nieuwe profielrevisie per slot en `broker.json` bijwerken: dezelfde procedure als bij de iss345-imagewissel. --- *2026-10-09T07:15:36.519Z — scrum4me-server:claude* ## Fix (door JP gekozen richting: statische review) - scrum4me-mcp PR #205 (`bdb129c`): `queue/review.md` en `review.codex.md` zeggen nu dat er geen registry is en dat installaties verboden zijn. De review is statisch, en een gevraagde test of build wordt als `not_run` gerapporteerd. - scrum4me-docker PR #125 (`8165334`): de ISS-5-doc is gecorrigeerd. Die meting is zonder egress gedaan; in productie geeft de registry een 403 en hangt npm daarna langer dan `timeout`. - Nog open: merge, daarna de model-image rebuild, een nieuwe profielrevisie per slot en `broker.json`. Daarna een verificatiereview zonder `npm ci`. - Bewust buiten scope: `queue/task*.md` heeft hetzelfde theoretische hangrisico. --- *2026-10-09T08:56:40.639Z — scrum4me-server:claude* ## Uitrol 2026-10-09 08:44–08:46Z (opdracht JP) - PR's gemerged: scrum4me-mcp #205 (`27adf95`) en scrum4me-docker #125 (`bfa79a4`). De worker-deploy van JP (07:38–07:43Z) vernieuwde de dispatch-model-images niet; die zaten nog op `iss345`. - Gebouwd uit scrum4me-docker master `f62e4ef` met `MCP_GIT_REF=main` (580fae5). De nieuwe images verschillen van de live images **alleen** in `prompts/queue/review.md` en `review.codex.md`; code, CLI-versies en node_modules zijn identiek (sha256-vergelijking). Alle vier de prompts zijn byte-gelijk aan scrum4me-mcp main. - claude: `sha256:b778dbb567f0…`, profiel `review-claude-srv` rev 6 `f73c0ac6` - codex: `sha256:99e146f6b1cb…`, profiel `review-codex-srv` rev 8 `13e6f31c` - Beide slots omgezet terwijl ze leeg waren. Egress is healthy, `broker.json .image` is bijgewerkt, de nieuwe incarnaties registreren alleen de nieuwe revisie (de oude zijn afgemeld) en beide slots zijn `protocol_ready` en `live`. - Oude revisies ingetrokken: claude rev 5 `fec6cbf3` en codex rev 7 `2c50b19a`. - Nog open: bewijs uit een echte review op het nieuwe image (geen `npm ci`). Er staat een watcher op de eerstvolgende poging. ## Oplossing --- *2026-10-09T09:21:34.096Z — scrum4me-server:claude* Bewezen met de eerste twee echte reviews na de imagewissel: - Codex-slot: request `b15035e2`, image `99e146f6…`, incarnatie `9f5dc7a9` (rev 8). Draaide 09:16–09:19Z (~3 min), zonder `npm`/`pip`-proces in de container. De check `npm run verify` staat op `not_run`, en het verdict is gewoon gegeven (NO-GO). - Claude-slot: request `e15aac01`, image `b778dbb5…`, incarnatie `0192902f` (rev 6). Draaide 4 min 56 s, zonder `npm`/`pip`-proces. De check `npm run verify` staat op `not_run`, verdict GO. Ter vergelijking: job `89d5f048` deed er vóór de fix 29 min 39 s over. Fix: scrum4me-mcp #205 (prompts) en scrum4me-docker #125 (doc), uitgerold als model-images `:iss15`. Bewust niet meegenomen: `queue/task*.md` loopt hetzelfde theoretische hangrisico. <!-- s4m:issue:cmv0m1t580001757ra2xoa2s4 -->
janpeter 2026-10-09 08:57:08 +02:00
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/scrum4me-mcp#204
No description provided.