fix(review-dispatch): deadline op de Forgejo-poll — WAN-flap hing de cron-run tot curl's 60s #157

Merged
janpeter merged 1 commit from fix/pr-detector-fetch-timeout into main 2026-08-14 10:44:49 +02:00
Owner

Waarom

scrum4me-dispatch-reviews.service faalde op 2026-08-14 drie keer tussen 02:36 en 03:01. Elke failure duurde exact 60 s — de curl -m 60 in /srv/scrum4me/scripts/dispatch-reviews-cron.sh. De route crashte dus niet, hij hing.

Beslissend bewijs: de PR-poll van die drie runs kwam nooit bij Forgejo aan (docker logs scrum4me-forgejo | grep api/v1/repos/janpeter/Scrum4Me/pulls — 02:30 ✓, 02:40 ✓, 02:45 ✓, 02:50 ✓, 03:05 ✓; 02:35/02:55/03:00 ontbreken). De request bleef steken vóór de eerste HTTP-byte, in DNS-resolutie. Corroboratie: NetworkManager stond CONNECTED_LOCAL (WAN weg) van 02:34:10–02:36:42 en 02:56:52–03:05:23, en tailscaled logde om 02:54:41 lookup … on 127.0.0.53:53: i/o timeout. De herstelrun om 03:05:24 viel samen met CONNECTED_GLOBAL.

Oorzaak in de code: detectPrCandidates fetcht de publieke hostname git.jp-visser.nl (→ WAN-IP, hairpin via de router) terwijl Forgejo op dezelfde host op 127.0.0.1:3010 draait — en die fetch() had geen deadline. De route pollt ~10 repo's sequentieel, dus één hangende lookup blokkeert de hele run.

Historisch: 18 ERROR-regels op 18.304 runs sinds 2026-06-11 (0,1 %), telkens bij een WAN-flap. Impact was steeds nul — de detectors zijn idempotent via anker-dedup — maar het levert wel een 🔴 in de health-check op.

Wat er verandert

  • AbortSignal.timeout(5_000) op de Forgejo-fetch, met timeoutMs als injecteerbare optie (zelfde patroon als het bestaande fetchImpl, en nodig om de timeout snel te testen).
  • Timeout én overige netwerkfouten (DNS weg, connection refused) worden één getypeerde PrDetectorError mét repo-context. De route ving PrDetectorError al per product af, dus het resultaat is voortaan HTTP 200 met een sprekende errors[]-regel in plaats van een unit-failure.

5 s is gekozen tegen het cron-budget: 10 repo's × 5 s = 50 s, binnen de curl -m 60. Lokaal meet de call ~30 ms, dus ~165× headroom.

Verificatie

Check Resultaat
vitest run __tests__/lib/review-dispatch/ 18 passed (was 16, +2 nieuw)
Nieuwe tests mét de fix teruggedraaid 3 failed — de hang-test loopt dan 5007 ms tot vitest's eigen timeout: de productiebug in het klein
eslint op beide bestanden schoon
tsc --noEmit 293 errors, identiek met en zonder de fix; nul in pr-detector.ts
Volledige suite dezelfde 15 rode files en 4 rode tests vóór én ná; enige verschil 1705 → 1707 passed

De 293 typecheck-errors en 15 rode testfiles zijn pre-existing in de dev-clone (verouderde gegenereerde Prisma-client — orchestration_key en PR_REVIEW bestaan wél in productie) en staan los van deze wijziging.

Nog open

De deadline is per repo, niet per run. Vandaag past dat, maar boven ~11 producten met auto_pr_review knalt een volledige WAN-storing alsnog door het 60 s-budget heen. De structurele variant is één run-brede deadline in app/api/cron/dispatch-reviews/route.ts die aan alle detectors wordt doorgegeven — bewust buiten scope gehouden.

🤖 Generated with Claude Code

## Waarom `scrum4me-dispatch-reviews.service` faalde op 2026-08-14 drie keer tussen 02:36 en 03:01. Elke failure duurde **exact 60 s** — de `curl -m 60` in `/srv/scrum4me/scripts/dispatch-reviews-cron.sh`. De route crashte dus niet, hij hing. Beslissend bewijs: de PR-poll van die drie runs kwam **nooit bij Forgejo aan** (`docker logs scrum4me-forgejo | grep api/v1/repos/janpeter/Scrum4Me/pulls` — 02:30 ✓, 02:40 ✓, 02:45 ✓, 02:50 ✓, 03:05 ✓; 02:35/02:55/03:00 ontbreken). De request bleef steken vóór de eerste HTTP-byte, in DNS-resolutie. Corroboratie: NetworkManager stond `CONNECTED_LOCAL` (WAN weg) van 02:34:10–02:36:42 en 02:56:52–03:05:23, en `tailscaled` logde om 02:54:41 `lookup … on 127.0.0.53:53: i/o timeout`. De herstelrun om 03:05:24 viel samen met `CONNECTED_GLOBAL`. Oorzaak in de code: `detectPrCandidates` fetcht de **publieke** hostname `git.jp-visser.nl` (→ WAN-IP, hairpin via de router) terwijl Forgejo op dezelfde host op `127.0.0.1:3010` draait — en die `fetch()` had geen deadline. De route pollt ~10 repo's sequentieel, dus één hangende lookup blokkeert de hele run. Historisch: 18 ERROR-regels op 18.304 runs sinds 2026-06-11 (0,1 %), telkens bij een WAN-flap. Impact was steeds nul — de detectors zijn idempotent via anker-dedup — maar het levert wel een 🔴 in de health-check op. ## Wat er verandert - `AbortSignal.timeout(5_000)` op de Forgejo-fetch, met `timeoutMs` als injecteerbare optie (zelfde patroon als het bestaande `fetchImpl`, en nodig om de timeout snel te testen). - Timeout én overige netwerkfouten (DNS weg, connection refused) worden één getypeerde `PrDetectorError` mét repo-context. De route ving `PrDetectorError` al per product af, dus het resultaat is voortaan **HTTP 200 met een sprekende `errors[]`-regel** in plaats van een unit-failure. 5 s is gekozen tegen het cron-budget: 10 repo's × 5 s = 50 s, binnen de `curl -m 60`. Lokaal meet de call ~30 ms, dus ~165× headroom. ## Verificatie | Check | Resultaat | |---|---| | `vitest run __tests__/lib/review-dispatch/` | 18 passed (was 16, +2 nieuw) | | Nieuwe tests mét de fix teruggedraaid | 3 failed — de hang-test loopt dan 5007 ms tot vitest's eigen timeout: de productiebug in het klein | | `eslint` op beide bestanden | schoon | | `tsc --noEmit` | 293 errors, **identiek met en zonder de fix**; nul in `pr-detector.ts` | | Volledige suite | dezelfde 15 rode files en 4 rode tests vóór én ná; enige verschil 1705 → 1707 passed | De 293 typecheck-errors en 15 rode testfiles zijn pre-existing in de dev-clone (verouderde gegenereerde Prisma-client — `orchestration_key` en `PR_REVIEW` bestaan wél in productie) en staan los van deze wijziging. ## Nog open De deadline is **per repo**, niet per run. Vandaag past dat, maar boven ~11 producten met `auto_pr_review` knalt een volledige WAN-storing alsnog door het 60 s-budget heen. De structurele variant is één run-brede deadline in `app/api/cron/dispatch-reviews/route.ts` die aan alle detectors wordt doorgegeven — bewust buiten scope gehouden. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
fix(review-dispatch): deadline op de Forgejo-poll — WAN-flap hing de cron-run tot curl's 60s
All checks were successful
CI / Lint, Typecheck, Test & Build (pull_request) Successful in 4m36s
CI / Deploy Manual (workflow_dispatch) (pull_request) Has been skipped
CI / Detect deploy-relevant changes (pull_request) Has been skipped
CI / Deploy Preview (PR) (pull_request) Has been skipped
CI / Deploy Production (main) (pull_request) Has been skipped
10ffadc8f8
De PR-detector fetcht de publieke hostname git.jp-visser.nl (WAN-hairpin, terwijl
Forgejo lokaal op 127.0.0.1:3010 draait) zonder timeout. Bij een DNS-/WAN-storing
bleef die fetch onbeperkt staan tot de cron-curl er na 60 s op afknapte, waarna
scrum4me-dispatch-reviews.service exit 1 gaf. Op 2026-08-14 gebeurde dat 3x tussen
02:36 en 03:01; de Forgejo-access-log laat zien dat die requests er nooit aankwamen.

Nu AbortSignal.timeout(5s) per repo — 10 repo's blijven daarmee binnen het curl-
budget, zodat de route afrondt en de storing als errors[] in de cron-log landt in
plaats van als unit-failure. Timeout en overige netwerkfouten worden één getypeerde
PrDetectorError met repo-context; de route ving die al per product af.

Nog open: de deadline is per repo, niet per run. Boven ~11 producten met
auto_pr_review knalt een volledige storing alsnog door de 60 s heen — dat vraagt
een run-brede deadline in de route.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
s4m-codex-reviewer left a comment

APPROVED

Geen gekoppeld plan gevonden — beoordeeld op codekwaliteit + product-standaarden.

Findings

  • Geen blokkerende of error-severity findings gevonden.

Review

De PR voegt een expliciete deadline toe aan de Forgejo PR-poll via AbortSignal.timeout(timeoutMs) en wikkelt timeout/DNS/connectivity-fouten om naar PrDetectorError met repo-context. Dat past bij de bestaande route-aanname dat detectorfouten per product worden afgevangen en de rest van de review-dispatch kan doorgaan.

De tests dekken zowel de nieuwe abortdeadline als generieke netwerkfouten, en de bestaande fetch-contracttest is bijgewerkt om de signal door te geven. Geen docs-wijziging vereist voor deze kleine runtime-fix.

# APPROVED Geen gekoppeld plan gevonden — beoordeeld op codekwaliteit + product-standaarden. ## Findings - Geen blokkerende of error-severity findings gevonden. ## Review De PR voegt een expliciete deadline toe aan de Forgejo PR-poll via `AbortSignal.timeout(timeoutMs)` en wikkelt timeout/DNS/connectivity-fouten om naar `PrDetectorError` met repo-context. Dat past bij de bestaande route-aanname dat detectorfouten per product worden afgevangen en de rest van de review-dispatch kan doorgaan. De tests dekken zowel de nieuwe abortdeadline als generieke netwerkfouten, en de bestaande fetch-contracttest is bijgewerkt om de `signal` door te geven. Geen docs-wijziging vereist voor deze kleine runtime-fix.
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/Scrum4Me!157
No description provided.