fix(dispatch): clean up prepared-sources staging in /run/sources (ISS-4) #118

Merged
janpeter merged 7 commits from fix/iss4-prepared-sources-cleanup into master 2026-10-08 21:30:13 +02:00
Owner

Fixes ISS-4 (#117): the dispatch supervisor never removed its prepared-sources staging (/run/sources/<attempt> and .pending/<attempt>). On 2026-10-08 that filled the /run tmpfs on scrum4me-server to 100%. Every docker exec/run then failed, and two review dispatches got stuck on UNCERTAIN.

Changes

  • Terminal discard (T-82): discardPreparedSources removes both directories. releaseScope calls it after the broker release, which covers every terminal path with a scope (accepted, late, closeUnstarted, recovery). closeClaimBound calls it too. It never runs while an answer is pending, while collection is pending (pending_artifacts) or while the attempt is uncertain, because code collection still reads the staged manifest. It is best-effort: on failure it only logs DISPATCH_PREPARED_SOURCES_DISCARD_FAILED.
  • Orphan sweep (T-83): runs at supervisor start and then hourly. It removes attempt directories older than 48 h when all directories of the attempt are that old and this supervisor has no journal for it. The root is shared between slots, so age is what protects the other slot's attempts.
  • ENOSPC (T-84): a full staging root during prepareSources (before the broker create) becomes DISPATCH_PREPARED_SOURCES_NO_SPACE, a pre-scope reason. The claim-bound close then frees the slot. The service already accepts any bounded DISPATCH_* reason on /attempts/claim-stop.
  • Operator doc: new section "Prepared-sources staging cleanup (ISS-4)".

Verification

  • npm run typecheck:dispatch: green.
  • npx vitest run: 1301 passed, 8 skipped, 2 failed. The 2 failures are in transcript-retention.test.ts and are macOS-only: the script uses GNU chmod --reference. They fail identically on master. I did not run them in the Linux container.
  • The new supervisor tests are red with the fix disabled.
  • A separate review agent found no bugs. The one risk it raised (a stale .pending next to a fresh publish) is fixed in c052317.

Out of scope

  • Monitoring of /run on scrum4me-server: ISS-57 on the scrum4me-server product.
  • The existing leak where a late answer on the received-replay path is never released.
  • The two hanging UNCERTAIN dispatches. Those are operator work.

After merge

Deploy to scrum4me-server. Then check that the number of directories in /run/sources stays close to the number of running attempts, and close ISS-4.

🤖 Generated with Claude Code

Fixes ISS-4 (#117): the dispatch supervisor never removed its prepared-sources staging (`/run/sources/<attempt>` and `.pending/<attempt>`). On 2026-10-08 that filled the `/run` tmpfs on scrum4me-server to 100%. Every `docker exec`/`run` then failed, and two review dispatches got stuck on `UNCERTAIN`. ## Changes - **Terminal discard (T-82):** `discardPreparedSources` removes both directories. `releaseScope` calls it after the broker release, which covers every terminal path with a scope (accepted, late, closeUnstarted, recovery). `closeClaimBound` calls it too. It never runs while an answer is pending, while collection is pending (`pending_artifacts`) or while the attempt is uncertain, because code collection still reads the staged manifest. It is best-effort: on failure it only logs `DISPATCH_PREPARED_SOURCES_DISCARD_FAILED`. - **Orphan sweep (T-83):** runs at supervisor start and then hourly. It removes attempt directories older than 48 h when *all* directories of the attempt are that old and this supervisor has no journal for it. The root is shared between slots, so age is what protects the other slot's attempts. - **ENOSPC (T-84):** a full staging root during `prepareSources` (before the broker create) becomes `DISPATCH_PREPARED_SOURCES_NO_SPACE`, a pre-scope reason. The claim-bound close then frees the slot. The service already accepts any bounded `DISPATCH_*` reason on `/attempts/claim-stop`. - Operator doc: new section "Prepared-sources staging cleanup (ISS-4)". ## Verification - `npm run typecheck:dispatch`: green. - `npx vitest run`: 1301 passed, 8 skipped, 2 failed. The 2 failures are in `transcript-retention.test.ts` and are macOS-only: the script uses GNU `chmod --reference`. They fail identically on `master`. I did not run them in the Linux container. - The new supervisor tests are red with the fix disabled. - A separate review agent found no bugs. The one risk it raised (a stale `.pending` next to a fresh publish) is fixed in c052317. ## Out of scope - Monitoring of `/run` on scrum4me-server: ISS-57 on the scrum4me-server product. - The existing leak where a late answer on the received-replay path is never released. - The two hanging `UNCERTAIN` dispatches. Those are operator work. ## After merge Deploy to scrum4me-server. Then check that the number of directories in `/run/sources` stays close to the number of running attempts, and close ISS-4. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
Nothing removed /run/sources/<attempt> or .pending/<attempt>: broker release
clears only its own attempt root and artifacts.cleanup only the supervisor
journal. The staging lives on the tmpfs Docker also uses, and on 2026-10-08
it filled /run on scrum4me-server and took Docker down.

releaseScope now discards the staging after the broker release, so every
terminal path with a scope (accepted, late, closeUnstarted, recovery) clears
it; closeClaimBound discards too, since prepare may have staged part of the
sources before it refused. Pending, uncertain and pending_artifacts keep it:
code collection still reads the staged manifest. Best-effort, logged by
bounded code only.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The terminal discard cannot cover a supervisor that died first, a discard
that failed, or the backlog from before it. The supervisor now sweeps the
staging root at start and hourly: attempt-named real directories (never a
link) older than 48 h, with their .pending runs, unless this supervisor
still holds a journal for the attempt. The root is shared between slots, so
for the other slot's attempts the age is the protection; 48 h is twice the
longest max_duration_seconds.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A full staging root fails in prepareSources, before the broker create, so
no scope can exist. It used to surface as an unbounded error, leaving the
attempt uncertain and the slot held until an operator acted. It is now
DISPATCH_PREPARED_SOURCES_NO_SPACE, a pre-scope reason, so the claim-bound
close (T-1863) frees the slot. The service already accepts any bounded
DISPATCH_* reason on claim-stop. ENOSPC inside Docker itself comes after
the create and stays uncertain.

The operator doc now describes the terminal discard and the orphan sweep.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
fix(dispatch): sweep an attempt only when all its staging directories are old (ISS-4 review)
All checks were successful
CI / Compose config (pull_request) Successful in 5s
CI / Build-arg coverage (pull_request) Successful in 9s
CI / Docker build (pull_request) Successful in 3m11s
c0523178d7
A stale .pending run next to a fresh publish is a retry that may still be
running in the other slot, whose journal this supervisor cannot see. Also
documents that a peer slot's attempt stuck for over 48 h loses its staging.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
s4m-codex-reviewer left a comment

REQUEST_CHANGES

Findings:

  • error — lib/dispatch-source-staging.ts:183 — Verse pending retry wordt als wees verwijderd. De sweep gebruikt alleen de mtime van .pending/. stagePreparedSources maakt een retry onder het bestaande /; dat ververst de bovenliggende attempt-map niet. Als die map ouder is dan 48 uur, kan de sweep van een ander slot (zonder het journal van deze attempt) de actief beschreven retry verwijderen vóór publicatie. Gereproduceerd met een oude attempt-map en een nieuw run-directory: removed=1, verse run verdwenen. Bescherm recente activiteit in de onderliggende manifest/run-mappen of vernieuw een gedeelde activiteitsmarkering bij elke retry; voeg hiervoor een regressietest toe.

  • error — lib/dispatch-supervisor.ts:209 — Terminale late received-replay mist staging-cleanup. De nieuwe discard loopt uitsluitend via releaseScope, maar de received-branch retourneert bij een late submitResult direct, vóór releaseScope. Daardoor blijven de staging en het journal achter; de eigen sweep bewaart deze staging vervolgens onbeperkt omdat het journal bestaat. Gereproduceerd met een received-journal en late response: outcome=late, release=0, discard=0. Roep ook op dit terminale pad de best-effort cleanup aan en test de received-replay expliciet (de nieuwe late-test raakt alleen het hoofdpad).

Plan gekoppeld via pr_refs; references: T-82, T-83, T-84 (story ST-023). Er zijn geen omitted onderdelen. De ENOSPC-afhandeling en port-wiring volgen het plan, maar de twee findings verhinderen respectievelijk veilige wezen-detectie en cleanup na elke terminale afloop. De operator-documentatie is bijgewerkt; de genoemde randgevallen ontbreken in de toegevoegde tests.

Verificatie op commit c0523178d7: diff en omliggende runtime-code beoordeeld tegen de beschikbare productstandaarden; dispatch-typecheck geslaagd na initialisatie van de gepinde submodule. Beide findings met directe runtime-reproducties bevestigd. De volledige Vitest-suite kon in deze reviewomgeving niet starten: /tmp is noexec en de native rolldown-module kan daardoor niet worden geladen; dit is een verificatiebeperking, geen bewezen PR-regressie.

# REQUEST_CHANGES Findings: - **error — lib/dispatch-source-staging.ts:183 — Verse pending retry wordt als wees verwijderd.** De sweep gebruikt alleen de mtime van .pending/<attemptId>. stagePreparedSources maakt een retry onder het bestaande <manifestSha256>/<runId>; dat ververst de bovenliggende attempt-map niet. Als die map ouder is dan 48 uur, kan de sweep van een ander slot (zonder het journal van deze attempt) de actief beschreven retry verwijderen vóór publicatie. Gereproduceerd met een oude attempt-map en een nieuw run-directory: removed=1, verse run verdwenen. Bescherm recente activiteit in de onderliggende manifest/run-mappen of vernieuw een gedeelde activiteitsmarkering bij elke retry; voeg hiervoor een regressietest toe. - **error — lib/dispatch-supervisor.ts:209 — Terminale late received-replay mist staging-cleanup.** De nieuwe discard loopt uitsluitend via releaseScope, maar de received-branch retourneert bij een late submitResult direct, vóór releaseScope. Daardoor blijven de staging en het journal achter; de eigen sweep bewaart deze staging vervolgens onbeperkt omdat het journal bestaat. Gereproduceerd met een received-journal en late response: outcome=late, release=0, discard=0. Roep ook op dit terminale pad de best-effort cleanup aan en test de received-replay expliciet (de nieuwe late-test raakt alleen het hoofdpad). Plan gekoppeld via pr_refs; references: T-82, T-83, T-84 (story ST-023). Er zijn geen omitted onderdelen. De ENOSPC-afhandeling en port-wiring volgen het plan, maar de twee findings verhinderen respectievelijk veilige wezen-detectie en cleanup na elke terminale afloop. De operator-documentatie is bijgewerkt; de genoemde randgevallen ontbreken in de toegevoegde tests. Verificatie op commit c0523178d7950d8ed28f3ad1eaa6cda765531346: diff en omliggende runtime-code beoordeeld tegen de beschikbare productstandaarden; dispatch-typecheck geslaagd na initialisatie van de gepinde submodule. Beide findings met directe runtime-reproducties bevestigd. De volledige Vitest-suite kon in deze reviewomgeving niet starten: /tmp is noexec en de native rolldown-module kan daardoor niet worden geladen; dit is een verificatiebeperking, geen bewezen PR-regressie.
fix(dispatch): sweep sees retry activity; late received replay releases (PR #118 review)
All checks were successful
CI / Build-arg coverage (pull_request) Successful in 4s
CI / Compose config (pull_request) Successful in 9s
CI / Docker build (pull_request) Successful in 1m0s
92f22e5f39
- The orphan sweep judged .pending/<id> by its own mtime, but a retry
  writes under .pending/<id>/<manifest>/<run> without touching it, so the
  other slot's sweep could remove a run being written. It now takes the
  newest mtime in the whole (three-level) staging tree of the attempt.
- The received-replay branch returned late without releaseScope, so the
  container, the broker attempt directory and the staging stayed behind
  while the journal kept the sweep away. It now releases like the other
  late paths.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Merge remote-tracking branch 'origin/master' into claude/open-issues-review-84c4cc
All checks were successful
CI / Build-arg coverage (pull_request) Successful in 4s
CI / Compose config (pull_request) Successful in 7s
CI / Docker build (pull_request) Successful in 1m13s
90751b5c7c
s4m-codex-reviewer left a comment

COMMENT

Geen blokkerende coderegressie gevonden. De terminale discard, behoud bij pending/uncertain en ENOSPC-afhandeling sluiten aan op het gekoppelde plan en de bestaande port- en bounded-logpatronen. Kleine opmerkingen en de verificatiebeperking hieronder verhinderen een onvoorwaardelijke goedkeuring.

Findings

  • LOW — bin/run-dispatch-attempt.ts:158: bij een reeds geaborteerd AbortSignal blijft de interval actief: de later geregistreerde listener ontvangt het eerdere abort-event niet. Controleer signal.aborted bij het wapenen en dek dit af met een timer-test. Een tijdelijke reproductietest bevestigt één resterende timer na armPreparedSourcesSweep(... AbortSignal.abort()).
  • INFO — lib/dispatch-supervisor.ts:209: de branch heeft een mergeconflict met huidig master na PR #119 rond de received-replay release. Forgejo meldt mergeable=false; git merge-tree bevestigt het conflict bij de toegevoegde comment. Werk de branch bij en behoud de release/discard-route en regressietests.

Plan en documentatie

plan gekoppeld via pr_refs; references: T-82, T-83, T-84, story ST-023. Er is niets omitted of afgekapte planinhoud. De diff dekt deze drie taken; de extra controle van recente activiteit in onderliggende staging-mappen voorkomt verwijdering van een actieve retry. De operator-documentatie beschrijft cleanup, ENOSPC en de beperking voor oude attempts van andere slots. Product-docs zijn geraadpleegd; voor de actuele dispatch-details is tevens docs/dispatch-runtime-operator.md gelezen.

Verificatie

Beoordeeld op commit 92f22e5f391f06d1cd7537833523bedf0e8144f9, met de gepinde shared-submodule. Typecheck groen; de vier gewijzigde testbestanden: 113 geslaagd. De tijdelijke timerreproductie slaagt en bevestigt de LOW-finding; er zijn geen bronwijzigingen achtergelaten.

Volledige suite in deze Linux-runner: 1254 geslaagd, 8 overgeslagen, 51 gefaald. De oorspronkelijke basiscommit ff00ae6 heeft exact dezelfde 51 falende tests (1238 geslaagd, 8 overgeslagen). De failures zitten in ongewijzigde bestanden; /tmp is noexec, wat onder meer uitvoerbare teststubs blokkeert. Vitest is gestart met een tijdelijke geheugenbestands-workaround voor zijn native dependencies. Geen nieuwe suite-failures gevonden, maar het acceptatiecriterium ‘volledige testsuite groen’ is hier niet bevestigd.

# COMMENT Geen blokkerende coderegressie gevonden. De terminale discard, behoud bij pending/uncertain en ENOSPC-afhandeling sluiten aan op het gekoppelde plan en de bestaande port- en bounded-logpatronen. Kleine opmerkingen en de verificatiebeperking hieronder verhinderen een onvoorwaardelijke goedkeuring. ## Findings - **LOW — bin/run-dispatch-attempt.ts:158:** bij een reeds geaborteerd `AbortSignal` blijft de interval actief: de later geregistreerde listener ontvangt het eerdere abort-event niet. Controleer `signal.aborted` bij het wapenen en dek dit af met een timer-test. Een tijdelijke reproductietest bevestigt één resterende timer na `armPreparedSourcesSweep(... AbortSignal.abort())`. - **INFO — lib/dispatch-supervisor.ts:209:** de branch heeft een mergeconflict met huidig `master` na PR #119 rond de received-replay release. Forgejo meldt `mergeable=false`; `git merge-tree` bevestigt het conflict bij de toegevoegde comment. Werk de branch bij en behoud de release/discard-route en regressietests. ## Plan en documentatie plan gekoppeld via pr_refs; references: **T-82, T-83, T-84**, story **ST-023**. Er is niets omitted of afgekapte planinhoud. De diff dekt deze drie taken; de extra controle van recente activiteit in onderliggende staging-mappen voorkomt verwijdering van een actieve retry. De operator-documentatie beschrijft cleanup, ENOSPC en de beperking voor oude attempts van andere slots. Product-docs zijn geraadpleegd; voor de actuele dispatch-details is tevens `docs/dispatch-runtime-operator.md` gelezen. ## Verificatie Beoordeeld op commit `92f22e5f391f06d1cd7537833523bedf0e8144f9`, met de gepinde shared-submodule. Typecheck groen; de vier gewijzigde testbestanden: **113 geslaagd**. De tijdelijke timerreproductie slaagt en bevestigt de LOW-finding; er zijn geen bronwijzigingen achtergelaten. Volledige suite in deze Linux-runner: **1254 geslaagd, 8 overgeslagen, 51 gefaald**. De oorspronkelijke basiscommit `ff00ae6` heeft exact dezelfde 51 falende tests (**1238 geslaagd, 8 overgeslagen**). De failures zitten in ongewijzigde bestanden; `/tmp` is `noexec`, wat onder meer uitvoerbare teststubs blokkeert. Vitest is gestart met een tijdelijke geheugenbestands-workaround voor zijn native dependencies. Geen nieuwe suite-failures gevonden, maar het acceptatiecriterium ‘volledige testsuite groen’ is hier niet bevestigd.
janpeter merged commit 158eb47b79 into master 2026-10-08 21:30:13 +02:00
s4m-codex-reviewer left a comment

COMMENT

  • warning — bin/run-dispatch-attempt.ts:158: Bij een reeds geaborteerd signaal blijft de sweep-timer lopen: de later geregistreerde abort-listener ontvangt geen event meer. Controleer signal.aborted voordat de periodieke timer wordt gestart. Gerichte reproductie met een vooraf geaborteerd signaal en een interval van 10 ms: vijf sweeps binnen 45 ms. De wiring-test gebruikt deze situatie maar controleert niet dat vervolg­sweeps uitblijven.

Plan gekoppeld via pr_refs: T-82, T-83, T-84 (ST-023). Geen omitted onderdelen. De terminale cleanup, bescherming van recente retrybestanden en ENOSPC-route sluiten inhoudelijk aan op het plan. De portstructuur en bounded best-effort logging volgen de bestaande patronen; de operator-documentatie beschrijft de wijziging en de beperking bij journals van andere slots.

Verificatie op 90751b5c7c361cbf4629904ad34d429bc3a4ca6c: dispatch-typecheck geslaagd na initialisatie van de gepinde shared-submodule. De volledige testsuite kon hier niet starten: de native Rolldown/Vitest-binding op /tmp faalt met failed to map segment from shared object. Dit is een verificatiebeperking, geen aangetoonde testregressie. Daarom geen APPROVED. Geen blokkerende codefinding vastgesteld.

De PR is inmiddels gemerged; de actuele head-SHA komt overeen met de aangeleverde SHA.

# COMMENT - **warning** — `bin/run-dispatch-attempt.ts:158`: Bij een reeds geaborteerd signaal blijft de sweep-timer lopen: de later geregistreerde abort-listener ontvangt geen event meer. Controleer `signal.aborted` voordat de periodieke timer wordt gestart. Gerichte reproductie met een vooraf geaborteerd signaal en een interval van 10 ms: vijf sweeps binnen 45 ms. De wiring-test gebruikt deze situatie maar controleert niet dat vervolg­sweeps uitblijven. Plan gekoppeld via pr_refs: T-82, T-83, T-84 (ST-023). Geen omitted onderdelen. De terminale cleanup, bescherming van recente retrybestanden en ENOSPC-route sluiten inhoudelijk aan op het plan. De portstructuur en bounded best-effort logging volgen de bestaande patronen; de operator-documentatie beschrijft de wijziging en de beperking bij journals van andere slots. Verificatie op `90751b5c7c361cbf4629904ad34d429bc3a4ca6c`: dispatch-typecheck geslaagd na initialisatie van de gepinde shared-submodule. De volledige testsuite kon hier niet starten: de native Rolldown/Vitest-binding op `/tmp` faalt met `failed to map segment from shared object`. Dit is een verificatiebeperking, geen aangetoonde testregressie. Daarom geen APPROVED. Geen blokkerende codefinding vastgesteld. De PR is inmiddels gemerged; de actuele head-SHA komt overeen met de aangeleverde SHA.
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/scrum4me-docker!118
No description provided.