test(retry): backoff-test met fake timers in plaats van wandklok #221

Merged
janpeter merged 1 commit from claude/fix-flaky-backoff-test into main 2026-10-13 00:51:35 +02:00
Owner

Fixes a flaky test that turned CI run 336 (#219) red:

FAIL __tests__/create-transaction.test.ts > ... > waits before retrying so contending losers do not re-collide in lockstep
AssertionError: expected 4.792979999999943 to be greater than or equal to 5

The test measured a 5 ms retry wait with performance.now(). Node timers run on a millisecond clock, so a busy runner can measure slightly less. The test now uses fake timers. With random() mocked to 1, the first retry waits exactly BASE_BACKOFF_MS. At 4 ms no retry has happened yet, and at 5 ms it has.

Verification:

  • Mutation check: with the wait removed from sleep, the test fails, because the retry happens at 4 ms.
  • Full suite: npx vitest run gives 2692 passed and 84 skipped.
  • Typechecks: npm run typecheck and npm run typecheck:tests exit 0.

This branch is based on the current main, fc823ca. Its merge gives main a new deploy tag. The attestation of fc823ca (#220) failed because that PR was behind main when it was merged.

🤖 Generated with Claude Code

Fixes a flaky test that turned CI run 336 (#219) red: ``` FAIL __tests__/create-transaction.test.ts > ... > waits before retrying so contending losers do not re-collide in lockstep AssertionError: expected 4.792979999999943 to be greater than or equal to 5 ``` The test measured a 5 ms retry wait with `performance.now()`. Node timers run on a millisecond clock, so a busy runner can measure slightly less. The test now uses fake timers. With `random()` mocked to 1, the first retry waits exactly `BASE_BACKOFF_MS`. At 4 ms no retry has happened yet, and at 5 ms it has. Verification: - **Mutation check:** with the wait removed from `sleep`, the test fails, because the retry happens at 4 ms. - **Full suite:** `npx vitest run` gives 2692 passed and 84 skipped. - **Typechecks:** `npm run typecheck` and `npm run typecheck:tests` exit 0. This branch is based on the current main, fc823ca. Its merge gives main a new deploy tag. The attestation of fc823ca (#220) failed because that PR was behind main when it was merged. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
test(retry): backoff-test met fake timers in plaats van wandklok
All checks were successful
CI / Final merge attestation and immutable publication (pull_request) Has been skipped
CI / PR candidate (never published) (pull_request) Successful in 5m28s
936dc00393
CI-run 336 (#219) faalde: performance.now() mat 4,79 ms voor een timer
van 5 ms. De test controleert nu met fake timers dat er bij 4 ms nog
geen retry is en bij 5 ms wel; zonder wachttijd faalt hij.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
s4m-codex-reviewer left a comment

COMMENT

Findings:

  • WARNING — tests/wait-for-job-local-llm-repo-root.test.ts:314: De verificatie is beperkt: deze ongewijzigde test faalt lokaal met de threads-pool omdat de verwachte ~/Projects-root wordt vervangen door het clone-pad. De standaardrun met fork-workers maakte geen zichtbare voortgang en is gestopt; ook de volledige threads-run is gestopt. Dit is geen aangetoonde regressie door deze PR, maar de volledige groene suite uit de PR-beschrijving kon ik niet onafhankelijk bevestigen. Daarom het veilige verdict COMMENT.

De gewijzigde __tests__/create-transaction.test.ts:254 controleert correct dat de retry vóór BASE_BACKOFF_MS uitblijft en op de grens plaatsvindt. finally herstelt echte timers. Geen blokkerende findings in de diff; de wijziging past bij het gedocumenteerde jitter-patroon en vraagt geen aanvullende productdocumentatie.

Verificatie op commit 936dc00393d89ef68178273c1e44e5eea196a33e: gewijzigde testfile 17/17 geslaagd (vitest run __tests__/create-transaction.test.ts --pool=threads --maxWorkers=1); npm run typecheck en npm run typecheck:tests geslaagd. De laatstgenoemde draaide via npm test/pretest.

geen gekoppeld plan gevonden — beoordeeld op codekwaliteit + product-standaarden.

# COMMENT Findings: - **WARNING — __tests__/wait-for-job-local-llm-repo-root.test.ts:314:** De verificatie is beperkt: deze ongewijzigde test faalt lokaal met de threads-pool omdat de verwachte `~/Projects`-root wordt vervangen door het clone-pad. De standaardrun met fork-workers maakte geen zichtbare voortgang en is gestopt; ook de volledige threads-run is gestopt. Dit is geen aangetoonde regressie door deze PR, maar de volledige groene suite uit de PR-beschrijving kon ik niet onafhankelijk bevestigen. Daarom het veilige verdict COMMENT. De gewijzigde `__tests__/create-transaction.test.ts:254` controleert correct dat de retry vóór `BASE_BACKOFF_MS` uitblijft en op de grens plaatsvindt. `finally` herstelt echte timers. Geen blokkerende findings in de diff; de wijziging past bij het gedocumenteerde jitter-patroon en vraagt geen aanvullende productdocumentatie. Verificatie op commit `936dc00393d89ef68178273c1e44e5eea196a33e`: gewijzigde testfile 17/17 geslaagd (`vitest run __tests__/create-transaction.test.ts --pool=threads --maxWorkers=1`); `npm run typecheck` en `npm run typecheck:tests` geslaagd. De laatstgenoemde draaide via `npm test`/`pretest`. geen gekoppeld plan gevonden — beoordeeld op codekwaliteit + product-standaarden.
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/scrum4me-mcp!221
No description provided.