fix(run-agent): heartbeat tijdens een batch, begrensd #129

Merged
janpeter merged 2 commits from fix/batch-heartbeat into master 2026-10-09 16:40:01 +02:00
Owner

Waarom

Op max2 meldde crashloop-watch op 2026-10-09 16:21 scrum4me-agent-codex: health=unhealthy (RestartCount=0, status=running). Er was niets kapot: write_state zette heartbeatAt alleen aan het begin van een iteratie, en een codex-batch van 9m22s ging over de stale-drempel van health-server.js (360s) ⇒ 503 ⇒ unhealthy. Elke batch van meer dan ~7,5 min triggert dit.

Wat

  • run-agent.sh start rond run-one-job.ts een achtergrondklop die elke AGENT_BATCH_HEARTBEAT_INTERVAL (60s) alleen heartbeatAt ververst.
  • Begrensd door AGENT_BATCH_HEARTBEAT_MAX (3600s): daarna stopt de klop, zodat een vastgelopen job alsnog stale wordt (de zombie-detectie blijft dus werken).
  • De hoofdlus stopt (kill + wait) de klop vóór zijn eigen write_state ⇒ geen read-merge-write-race; EXIT-trap ruimt hem op bij afsluiten.

Verificatie

Gedraaid in een wegwerpcontainer van scrum4me-agent-codex:local (--network none), met deze run-agent.sh en stubs voor check-tokens.sh en run-one-job.ts (7s slapen, exit 0), interval 2s / max 5s:

  • heartbeatAt ververst op +2s en +4s, daarna niet meer (de max werkt)
  • status gaat na de batch netjes naar idle, currentBatchStartedAt blijft behouden (geen clobber)
  • na kill van run-agent blijven er geen heartbeat-processen achter

Niet gedaan: deploy/redeploy van de workers.

🤖 Generated with Claude Code

## Waarom Op max2 meldde crashloop-watch op 2026-10-09 16:21 `scrum4me-agent-codex: health=unhealthy (RestartCount=0, status=running)`. Er was niets kapot: `write_state` zette `heartbeatAt` alleen aan het begin van een iteratie, en een codex-batch van 9m22s ging over de stale-drempel van `health-server.js` (360s) ⇒ 503 ⇒ unhealthy. Elke batch van meer dan ~7,5 min triggert dit. ## Wat - `run-agent.sh` start rond `run-one-job.ts` een achtergrondklop die elke `AGENT_BATCH_HEARTBEAT_INTERVAL` (60s) alleen `heartbeatAt` ververst. - Begrensd door `AGENT_BATCH_HEARTBEAT_MAX` (3600s): daarna stopt de klop, zodat een vastgelopen job alsnog stale wordt (de zombie-detectie blijft dus werken). - De hoofdlus stopt (kill + wait) de klop vóór zijn eigen `write_state` ⇒ geen read-merge-write-race; EXIT-trap ruimt hem op bij afsluiten. ## Verificatie Gedraaid in een wegwerpcontainer van `scrum4me-agent-codex:local` (`--network none`), met deze `run-agent.sh` en stubs voor `check-tokens.sh` en `run-one-job.ts` (7s slapen, exit 0), interval 2s / max 5s: - heartbeatAt ververst op +2s en +4s, daarna niet meer (de max werkt) - `status` gaat na de batch netjes naar `idle`, `currentBatchStartedAt` blijft behouden (geen clobber) - na `kill` van run-agent blijven er geen heartbeat-processen achter Niet gedaan: deploy/redeploy van de workers. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
fix(run-agent): heartbeat tijdens een batch, begrensd
All checks were successful
CI / Compose config (pull_request) Successful in 4s
CI / Build-arg coverage (pull_request) Successful in 3s
CI / Scanner gelijk aan bron (pull_request) Successful in 3s
CI / Docker build (pull_request) Successful in 2m20s
6b98f9765e
write_state zette heartbeatAt alleen bij de start van een iteratie. Een
codex-job duurt vaak langer dan de stale-drempel van health-server (360s),
waardoor een gezonde worker op unhealthy ging en crashloop-watch alarmeerde
(max2, 2026-10-09: batch van 9m22s).

Een achtergrondklop schrijft nu elke AGENT_BATCH_HEARTBEAT_INTERVAL (60s)
heartbeatAt zolang de batch loopt, tot AGENT_BATCH_HEARTBEAT_MAX (3600s).
Daarna stopt de klop, zodat een vastgelopen job alsnog stale wordt en de
zombie-detectie blijft werken. De hoofdlus stopt de klop vóór zijn eigen
write_state, dus geen read-merge-write-race op state.json.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
s4m-codex-reviewer left a comment

COMMENT

Geen blokkerende bevindingen bij de standaardconfiguratie. De wijziging past bij de bestaande scheiding tussen daemon/health-state en job-runner en hergebruikt de atomische state-writer.

Findings

  • warning — bin/run-agent.sh:65: Valideer het interval als positief geheel getal. Bij AGENT_BATCH_HEARTBEAT_INTERVAL=0 blijft elapsed nul en schrijft de lus onbeperkt ondanks een positieve maximumduur. Gereproduceerd met interval=0/max=1; niet-blokkerend configuratierandgeval.
  • info — bin/run-agent.sh:61: Voeg blijvende regressietests toe voor verversing, maximumduur, statebehoud en stoppen vóór de volgende state-write. De beschreven handmatige proef en mijn gerichte checks slagen, maar de PR voegt geen geautomatiseerde dekking voor deze lifecycle toe.
  • info — bin/run-agent.sh:51: Documenteer beide nieuwe instellingen in .env.example of een runbook, inclusief defaults en de operationele consequentie: ook een gezonde job wordt bij de defaults na circa 66 minuten stale.

geen gekoppeld plan gevonden — beoordeeld op codekwaliteit + product-standaarden.

Verificatie

Review van PR #129 op commit 6b98f9765e27ffbe591e8d5adc2a241a1e6be1f6, inclusief PR-beschrijving en product-architectuurdocument. bash -n en gerichte shellchecks voor maximumduur, statebehoud en snelle stop slagen. Na initialisatie van de gepinde shared-submodule: npm test slaagt (88 bestanden, 1326 tests geslaagd, 8 overgeslagen); npm run typecheck:dispatch slaagt. Geen deploy uitgevoerd.

# COMMENT Geen blokkerende bevindingen bij de standaardconfiguratie. De wijziging past bij de bestaande scheiding tussen daemon/health-state en job-runner en hergebruikt de atomische state-writer. ## Findings - **warning — bin/run-agent.sh:65**: Valideer het interval als positief geheel getal. Bij `AGENT_BATCH_HEARTBEAT_INTERVAL=0` blijft `elapsed` nul en schrijft de lus onbeperkt ondanks een positieve maximumduur. Gereproduceerd met interval=0/max=1; niet-blokkerend configuratierandgeval. - **info — bin/run-agent.sh:61**: Voeg blijvende regressietests toe voor verversing, maximumduur, statebehoud en stoppen vóór de volgende state-write. De beschreven handmatige proef en mijn gerichte checks slagen, maar de PR voegt geen geautomatiseerde dekking voor deze lifecycle toe. - **info — bin/run-agent.sh:51**: Documenteer beide nieuwe instellingen in `.env.example` of een runbook, inclusief defaults en de operationele consequentie: ook een gezonde job wordt bij de defaults na circa 66 minuten stale. geen gekoppeld plan gevonden — beoordeeld op codekwaliteit + product-standaarden. ## Verificatie Review van PR #129 op commit `6b98f9765e27ffbe591e8d5adc2a241a1e6be1f6`, inclusief PR-beschrijving en product-architectuurdocument. `bash -n` en gerichte shellchecks voor maximumduur, statebehoud en snelle stop slagen. Na initialisatie van de gepinde shared-submodule: `npm test` slaagt (88 bestanden, 1326 tests geslaagd, 8 overgeslagen); `npm run typecheck:dispatch` slaagt. Geen deploy uitgevoerd.
fix(run-agent): weiger heartbeat-interval 0, documenteer de instellingen
All checks were successful
CI / Compose config (pull_request) Successful in 4s
CI / Build-arg coverage (pull_request) Successful in 9s
CI / Scanner gelijk aan bron (pull_request) Successful in 4s
CI / Docker build (pull_request) Successful in 56s
64cc2bd9bf
Review #129: interval 0 liet de klop onbegrensd draaien. Ongeldige waarden
vallen nu terug op 60s. Beide instellingen staan in .env.example, met het
gevolg van de max.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
janpeter merged commit f979cd57a8 into master 2026-10-09 16:40:01 +02:00
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/scrum4me-docker!129
No description provided.