fix(worker): throwaway test database per job; platform DB out of the agent child env (ISS-2) #121
No reviewers
Labels
No labels
severity/s2
severity/s3
No milestone
No project
No assignees
2 participants
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
janpeter/scrum4me-docker!121
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "fix/iss2-job-testdb"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Fixes ISS-2 (#78). A headless worker job could not run the Scrum4Us suite: the container had no PostgreSQL, and the agent child inherited the platform
DATABASE_URL. Scrum4Us suites TRUNCATE throughDATABASE_URL/MIGRATE_DATABASE_URL, and dotenv never overrides an existing variable, so a test run could have hit production data.Changes
0783ae9), platform DB out of the child:buildChildEnvpasses the platformDATABASE_URL/DIRECT_URLonly asSCRUM4ME_DATABASE_URL/SCRUM4ME_DIRECT_URL.bin/with-platform-db.shmaps the names back, but only for the platform-side processes the agent CLI starts:mcp-config.json(claude) andcodex/config.toml(codex);bin/set-hooks-platform-db.shrewrites the installed~/.claude/settings.jsonin the Dockerfile and inentrypoint.sh.99eb6a1), image: PGDGpostgresql-1717.11 andpostgresql-17-pgvector0.8.7, with no default cluster and no service.PG_BINpoints at the binaries. This adds about 350 MB;libllvm15(106 MB) is a hard dependency.a2d816f), test database per job: setAGENT_TESTDB_PRODUCTS=<product_id>:scrum4us. Before the agent CLI starts, the runner creates a throwaway Postgres in/home/agent/.scrum4me-testdb/<job>:timezone=UTC(withEurope/Amsterdam, 57 Scrum4Us tests fail);fsyncand JIT off;The child gets
DATABASE_URL/MIGRATE_DATABASE_URL. The outerfinallystops and removes the database, also after a failed start; that path rolls back the claim and releases the locks. Leftovers from crashed runs are swept at runner start, and a stale PID is only signalled when it is a running postgres. The database lives on the/home/agentdisk volume rather than in/tmp, because/tmpis a RAM tmpfs that counts against the memory limit.de57cdc):docs/runbooks/job-testdb.md, plus README and.env.example.c5961f1): the usage hook writesclaude_jobsthroughDATABASE_URL, so it now runs through the wrapper. Also adds the PID check and the lock release.Evidence (locally built worker image, arm64)
buildChildEnvplus the test DB env):DATABASE_URL/MIGRATE_DATABASE_URLpoint at the job database socket, and the platform database appears only asSCRUM4ME_*.npm run test(325 files, 3079 passed, 29 skipped, 289 s) andtest:rls-pool2all pass. Afterwards no postgres is running and no test DB directory is left.DATABASE_URL/DIRECT_URL.platform.invalidingetAuth), and the installed hook command sees the platform URL even when the child env holds the test database.Verification
job-testdb(real lifecycle) andworker-mcp-db-envtests pass, 12/12.npx vitest runlocally: 1315 passed, 10 skipped, 2 failed. The 2 failures are the known macOS-onlytranscript-retentiontests, identical on master.Deploy notes
AGENT_TESTDB_PRODUCTS=<scrum4us-product-id>:scrum4usin the worker env.🤖 Generated with Claude Code
REQUEST_CHANGES
testdb removed. Gerichte reproductie met een proces met commpostgresen falende stopaanroepen: helper retourneert succes, map weg, proces nog levend. Verifieer procesbeëindiging vóór verwijdering; behoud de map en propageer de fout als stoppen niet lukt. Voeg een regressietest voor dit foutpad toe. Dit blokkeert de cleanup-garantie van T-89.parseTestDbProducts('p:constructor')retourneert een geaccepteerd profiel, hoewel alleenscrum4usbestaat. Daardoor faalt deze ongeldige configuratie pas ná een claim bij database-start. Gebruik een own-property-check of Map en test dit geval.Plan gekoppeld via pr_refs: T-87, T-88, T-89 en T-90 (story ST-025). Geen omitted materiaal. De env-scheiding, gedeelde MCP-launcher, usage-hook, rollen, UTC en runbook sluiten aan op het plan en de productstandaard voor gescheiden runner-/kind-env. De database staat op
/home/agent/.scrum4me-testdb/<job-id>in plaats van het geplande/tmp/job-<id>/pg; de PR en runbook motiveren deze afwijking met de RAM-tmpfs en documenteren de werkelijke paden consequent. De aparte Scrum4Us-documentatie-PR en succesvolle MCP-call na deploy blijven expliciet buiten het hier bewezen werk; die zijn geen extra blokkerende finding.Verificatie: Forgejo-PR en head-SHA bevestigd; volledige diff en relevante productdocs gelezen. Gerichte reproducties bevestigen beide findings. De beschikbare dispatch-typecheck en een gerichte strict typecheck van
job-testdb.ts/skill-inventory.tsslagen. Vitest kon in deze reviewomgeving niet starten: native binding faalt metfailed to map segment from shared object, en esbuild met EACCES op /tmp. PostgreSQL-binaries ontbreken hier; de echte lifecycle en Docker-build zijn daarom niet onafhankelijk herhaald. De PR beschrijft wel image-/suitebewijs, maar de huidige tests dekken de falende stop niet.REQUEST_CHANGES
Plan gekoppeld via pr_refs: T-87, T-88, T-89 en T-90 (story ST-025). Geen omitted-items.
Findings:
postgresis. Het HOME-volume overleeft containerrestarts; een achtergeblevenpostmaster.pidkan daarom een hergebruikte PID van een andere PostgreSQL-cluster bevatten.stopTestDbroept danpg_ctl stopaan voor die PID, met eventueel een immediate-fallback. Dit kan een andere actieve database stoppen. Verifieer vóór het signaleren de identiteit van de cluster (data-directory en proces/starttijd), en voeg een regressietest voor deze PID-collisie toe. Een veilige reproductie met een proces genaamdpostgresen een onderschepteexecFilebevestigt dat een cluster-vreemd proces de stop-call bereikt. PostgreSQL 17 do_stop stuurt het signaal rechtstreeks naar de PID uit het bestand.De env-scheiding, MCP-launchers, profielrollen en documentatie sluiten verder aan op de geraadpleegde productstandaarden. De afwijking van het geplande
/tmp/job-<id>/pgnaar het HOME-diskvolume is expliciet gemotiveerd vanwege RAM-tmpfs en consequent gedocumenteerd. De aanvullende Scrum4Us-documentatie hoort volgens het plan bij een aparte PR. De succesvolle echte MCP-call blijft een expliciet genoemde acceptatie na deploy; lokaal is alleen de mapping onderbouwd.Verificatie op head
87df9aa3f71a4dabd4bda70e2ef870a01d76ea50: dispatch-typecheck, gerichte typecheck vanlib/job-testdb.ts, shell-syntax engit diff --checkslagen. De volledige Vitest-suite kon hier niet starten:/tmpisnoexec, waardoor executables en de native rolldown-binding niet laden. PostgreSQL/Docker zijn hier niet beschikbaar; de lifecycle- en imageproeven uit de PR-beschrijving zijn niet onafhankelijk herhaald.Verdict: COMMENT
Geen blokkerende codefout vastgesteld; volledige runtime-verificatie blijft onzeker.
Findings
Plan en productstandaarden
plan gekoppeld via pr_refs; references: T-87, T-88, T-89, T-90 (story ST-025). Geen omitted onderdelen aangeleverd.
De diff volgt de hoofdopzet: platform-URL's hernoemen in de child-env, dezelfde launcher voor Claude en Codex, usage-hookmapping, PostgreSQL 17 + pgvector, vaste rollen, private socket, UTC en cleanup. De afwijking van het geplande /tmp-pad naar /home/agent/.scrum4me-testdb is concreet onderbouwd door de RAM-tmpfs en past bij het diskvolume uit docker-compose.yml. De afzonderlijke Scrum4Us-documentatie-PR valt buiten deze diff en is geen blokkade. De geraadpleegde productdocs architecture/overview en runbooks/agent-guidance bevestigen de sequentiële runner en per-job child-flow.
Verificatie
Beoordeeld op exact head
47ea5d4745; Forgejo bevestigt dezelfde head en een open, resolvebare PR. Gerichte strict TypeScript-check van lib/job-testdb.ts en lib/skill-inventory.ts slaagt.De eigen Vitest-run kon niet starten: /tmp is hier noexec, waardoor CLI-binaries en de native rolldown-binding niet kunnen laden. De dispatch-typecheck kon niet volledig worden uitgevoerd door de ontbrekende vendor/scrum4me-shared-submodule. PostgreSQL en Docker ontbreken in deze reviewomgeving; de echte lifecycle/imageproef is dus niet zelfstandig herhaald. De image- en Scrum4Us-testresultaten in de PR-body zijn aangeleverd bewijs, geen door deze reviewer bevestigde testresultaten.