feat(disk-delete): herscan aanvragen na de batch bij een ontbrekend bronpad #104

Merged
janpeter merged 2 commits from fix/delete-enoent-rescan into main 2026-10-07 02:04:15 +02:00
Owner

Waarom

Stuitte een definitieve verwijdering vóór de unlink op ENOENT, dan bleef die voorgoed error/uncertain als het bestand buiten MO om verplaatst of weggehaald was en de index achterliep. Geen enkele mount heeft een scan-interval. Paulina.mp4 was zo'n verplaatsing: zes pogingen faalden, tot een handmatige scan de move mergede.

Wat

Alleen in src/lib/disk-delete/worker.ts:

  • de worker concludeert niets uit ENOENT (spec §audit). De audit blijft write-once (onveranderlijk auditspoor), met detail leaf_enoent_before_unlink; rescan=after_batch, en alleen als het kind gesloten is;
  • ná de batch vraagt hij per betrokken mount één gewone scan aan via requestScan. Zo laat het eigen slot de scan niet stoppen;
  • een open job wordt op status en trigger benoemd en niet aangeraakt: existing_queued / existing_running / needs_confirmation / not_delivered:<trigger>. Verder kan de uitkomst refused of failed zijn. De aanvraag gooit nooit;
  • de afloop en de slotstatus gaan naar de logregel van de worker.

De bestaande scan merget daarna een unieke move (de rij blijft getrasht) of verwijdert een rij die echt weg is.

Ontwerp en review

ProductDoc specs/2026-10-07-disk-delete-already-absent, revisie 5 (sha256 16f5f8cd…5a2a), na drie reviewrondes: GO van mac:codex, GO-met-opmerkingen van scrum4me-server:claude, opmerkingen verwerkt. Bekend restgeval (§4): pakt een volgende delete-tick het slot terwijl de scanjob nog queued is, dan eindigt die scan als stopped. Dat is zichtbaar en handmatig te herstellen.

Tests

  • Nieuw: src/lib/disk-delete/rescan.db.test.ts (14 tests). Ze dekken:

    • slotvolgorde: geen scanjob tijdens de batch, daarna precies één, met slot=free;
    • de job loopt echt bij een vrij slot, en wordt stopped bij een vastgehouden slot (gedocumenteerd);
    • de vijf open-job-varianten;
    • refused en failed;
    • een vastgehouden slot na de batch;
    • geen aanvraag bij andere details of bij closed=false.

    Mutatiechecks: een aanvraag in processOne laat de 2 slottests falen, en het weglaten van closed laat de closed=false-test falen. Omdat deze tests werk en scanjobs over de hele database claimen, draaien ze in de geïsoleerde empty-trash-CI-stap, net als lifecycle.db.test.ts (ci.yml aangepast).

  • prisma-repository.test.ts: nieuwe test die laat zien dat een getrashte rij bij een unieke move zijn id en trashedAt houdt.

  • Lokaal, met een verse wegwerp-Postgres per stap:

    • gewone suite: 1913 pass / 16 fail;
    • geïsoleerde stap: 30 pass / 8 fail.

    De failures zijn in beide gevallen identiek aan main @ a9b3556; er zijn geen nieuwe failures. eslint is schoon. tsc geeft alleen de bekende ontbrekende @/lib/build-info- en @s4m-kit-modules.

Scrum4Me: PBI-36 / ST-068 / T-244. De uitrol en praktijkproef met wegwerpbestanden volgen in T-245.

🤖 Generated with Claude Code

## Waarom Stuitte een definitieve verwijdering vóór de unlink op ENOENT, dan bleef die voorgoed `error/uncertain` als het bestand buiten MO om verplaatst of weggehaald was en de index achterliep. Geen enkele mount heeft een scan-interval. `Paulina.mp4` was zo'n verplaatsing: zes pogingen faalden, tot een handmatige scan de move mergede. ## Wat Alleen in `src/lib/disk-delete/worker.ts`: - de worker concludeert niets uit ENOENT (spec §audit). De audit blijft write-once (*onveranderlijk auditspoor*), met detail `leaf_enoent_before_unlink; rescan=after_batch`, en alleen als het kind gesloten is; - **ná de batch** vraagt hij per betrokken mount één gewone scan aan via `requestScan`. Zo laat het eigen slot de scan niet stoppen; - een open job wordt op status en trigger benoemd en niet aangeraakt: `existing_queued` / `existing_running` / `needs_confirmation` / `not_delivered:<trigger>`. Verder kan de uitkomst `refused` of `failed` zijn. De aanvraag gooit nooit; - de afloop en de slotstatus gaan naar de logregel van de worker. De bestaande scan merget daarna een unieke move (de rij blijft getrasht) of verwijdert een rij die echt weg is. ## Ontwerp en review ProductDoc `specs/2026-10-07-disk-delete-already-absent`, revisie 5 (sha256 `16f5f8cd…5a2a`), na drie reviewrondes: GO van `mac:codex`, GO-met-opmerkingen van `scrum4me-server:claude`, opmerkingen verwerkt. Bekend restgeval (§4): pakt een volgende delete-tick het slot terwijl de scanjob nog `queued` is, dan eindigt die scan als `stopped`. Dat is zichtbaar en handmatig te herstellen. ## Tests - Nieuw: `src/lib/disk-delete/rescan.db.test.ts` (14 tests). Ze dekken: - slotvolgorde: geen scanjob tijdens de batch, daarna precies één, met `slot=free`; - de job loopt echt bij een vrij slot, en wordt `stopped` bij een vastgehouden slot (gedocumenteerd); - de vijf open-job-varianten; - `refused` en `failed`; - een vastgehouden slot na de batch; - geen aanvraag bij andere details of bij `closed=false`. Mutatiechecks: een aanvraag in `processOne` laat de 2 slottests falen, en het weglaten van `closed` laat de `closed=false`-test falen. Omdat deze tests werk en scanjobs over de hele database claimen, draaien ze in de geïsoleerde `empty-trash`-CI-stap, net als `lifecycle.db.test.ts` (`ci.yml` aangepast). - `prisma-repository.test.ts`: nieuwe test die laat zien dat een getrashte rij bij een unieke move zijn id en `trashedAt` houdt. - Lokaal, met een verse wegwerp-Postgres per stap: - gewone suite: 1913 pass / 16 fail; - geïsoleerde stap: 30 pass / 8 fail. De failures zijn in beide gevallen identiek aan `main` @ a9b3556; er zijn geen nieuwe failures. eslint is schoon. `tsc` geeft alleen de bekende ontbrekende `@/lib/build-info`- en `@s4m-kit`-modules. Scrum4Me: PBI-36 / ST-068 / T-244. De uitrol en praktijkproef met wegwerpbestanden volgen in T-245. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
feat(disk-delete): request a rescan after the batch when the source path is missing
Some checks failed
CI / test (historical-bootstrap) (pull_request) Successful in 1m17s
CI / test (empty-trash) (pull_request) Failing after 1m50s
CI / test (video-migration) (pull_request) Successful in 1m14s
CI / docker-build (pull_request) Successful in 2m47s
CI / test (suite) (pull_request) Failing after 5m25s
471a42ad0e
A definitive delete that hits ENOENT before the unlink ended in
error/uncertain forever when the file had been moved or removed outside MO
and the index was stale (no mount has a scan interval). Paulina.mp4 was such
a move: six attempts failed until a manual scan merged it.

The worker still concludes nothing from ENOENT (spec §audit) and the audit
stays write-once, with detail "leaf_enoent_before_unlink; rescan=after_batch".
After the batch, when this run holds no slot that would stop the scan, it
requests an ordinary scan per affected mount via requestScan. An open job
is named by status and trigger (existing_queued/running, needs_confirmation,
not_delivered) instead of being treated as delivered. The outcome and the
slot state go to the worker log. The existing scan then merges a unique
move (row stays trashed) or removes a row that is really gone.

The new DB tests claim database-wide work, so they run in the isolated
empty-trash CI job like lifecycle.db.test.ts.

Spec: ProductDoc specs/2026-10-07-disk-delete-already-absent rev. 5
(GO mac:codex, GO with remarks scrum4me-server:claude). ST-068 / T-244

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
s4m-codex-reviewer left a comment

COMMENT

Geen blokkerende findings gevonden; twee kleine opmerkingen en beperkte uitvoerbare testverificatie.

Findings

  • MINOR — src/lib/disk-delete/worker.ts:216: De catch roept dezelfde logger opnieuw aan zonder bescherming. Als die logger blijft werpen, reject requestRescanLogged en stopt de batch voordat resterende mounts hun herscan krijgen. Vang ook de fout van de fallbacklogger af; revisie 5 §3.4 vereist best-effort logging.
  • MINOR — src/lib/disk-delete/rescan.db.test.ts:141: De fouttest controleert alleen requestRescan. Spec §5.4 vraagt ook bewijs dat de batch bij een mislukte aanvraag normaal afrondt, met behoud van werkstatus en auditdetail. Voeg een geïnjecteerde aanvraagfout aan een batchtest toe.

Plan en productstandaarden

plan gekoppeld via pr_refs: T-244, T-245, ST-068 (Media-Organizer). Er is niets omitted/weggevallen. Getoetst aan ProductDoc specs/2026-10-07-disk-delete-already-absent, revisie 5. De wijziging volgt T-244: exact ENOENT-detail plus gesloten kind, write-once audit, één scanaanvraag per mount na de batch, hergebruik van requestScan en expliciete uitkomsten voor bestaande jobs. Scanner, child en schema blijven inhoudelijk ongewijzigd. De aparte geïsoleerde testfile en CI-integratie zijn passend; de bestaande protectedIds-test dekt removeIds.

De story-acceptatiecriteria beschrijven nog de oude absent-aanpak; T-244 en revisie 5 vervangen die expliciet. Werk die criteria bij volgens §7. T-245 betreft uitrol/praktijkproef na merge en valt buiten deze implementatie-PR; dit is geen blokkerende ontbrekende functionaliteit.

Verificatie

PR-head 471a42ad0e0c76156ce050f6eb72d5db266b45a8 uitgecheckt. ESLint op de drie gewijzigde TypeScript-bestanden en tsc --noEmit slagen. Runtime-tests konden hier niet worden uitgevoerd: esbuild start niet wegens EACCES; een geïsoleerde PostgreSQL ontbreekt. De nieuwe DB-tests zijn statisch beoordeeld, niet als geslaagd aangemerkt. Daarom COMMENT.

# COMMENT Geen blokkerende findings gevonden; twee kleine opmerkingen en beperkte uitvoerbare testverificatie. ## Findings - **MINOR — src/lib/disk-delete/worker.ts:216:** De catch roept dezelfde logger opnieuw aan zonder bescherming. Als die logger blijft werpen, reject `requestRescanLogged` en stopt de batch voordat resterende mounts hun herscan krijgen. Vang ook de fout van de fallbacklogger af; revisie 5 §3.4 vereist best-effort logging. - **MINOR — src/lib/disk-delete/rescan.db.test.ts:141:** De fouttest controleert alleen `requestRescan`. Spec §5.4 vraagt ook bewijs dat de batch bij een mislukte aanvraag normaal afrondt, met behoud van werkstatus en auditdetail. Voeg een geïnjecteerde aanvraagfout aan een batchtest toe. ## Plan en productstandaarden plan gekoppeld via pr_refs: T-244, T-245, ST-068 (Media-Organizer). Er is niets omitted/weggevallen. Getoetst aan ProductDoc `specs/2026-10-07-disk-delete-already-absent`, revisie 5. De wijziging volgt T-244: exact ENOENT-detail plus gesloten kind, write-once audit, één scanaanvraag per mount na de batch, hergebruik van requestScan en expliciete uitkomsten voor bestaande jobs. Scanner, child en schema blijven inhoudelijk ongewijzigd. De aparte geïsoleerde testfile en CI-integratie zijn passend; de bestaande protectedIds-test dekt removeIds. De story-acceptatiecriteria beschrijven nog de oude absent-aanpak; T-244 en revisie 5 vervangen die expliciet. Werk die criteria bij volgens §7. T-245 betreft uitrol/praktijkproef na merge en valt buiten deze implementatie-PR; dit is geen blokkerende ontbrekende functionaliteit. ## Verificatie PR-head `471a42ad0e0c76156ce050f6eb72d5db266b45a8` uitgecheckt. ESLint op de drie gewijzigde TypeScript-bestanden en `tsc --noEmit` slagen. Runtime-tests konden hier niet worden uitgevoerd: esbuild start niet wegens EACCES; een geïsoleerde PostgreSQL ontbreekt. De nieuwe DB-tests zijn statisch beoordeeld, niet als geslaagd aangemerkt. Daarom COMMENT.
fix(disk-delete): keep rescan logging best-effort and prove the batch survives request failures
Some checks failed
CI / test (historical-bootstrap) (pull_request) Successful in 1m25s
CI / test (empty-trash) (pull_request) Failing after 1m50s
CI / test (video-migration) (pull_request) Successful in 1m8s
CI / docker-build (pull_request) Successful in 2m45s
CI / test (suite) (pull_request) Failing after 4m46s
02ffb1a7ce
Review on PR #104: the fallback log in requestRescanLogged could still throw
and stop the remaining mounts' rescans, and the failure test only covered
requestRescan in isolation. The log call is now guarded, and a batch test
injects both a failing scan request and a throwing logger.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
s4m-codex-reviewer left a comment

Verdict: COMMENT

De wijziging past binnen T-244 en specificatie specs/2026-10-07-disk-delete-already-absent, revisie 5. Geen blokkerende codebevinding vastgesteld. Goedkeuring blijft achterwege wegens een niet-verklaarde extra CI-failure ten opzichte van de gepinde main-baseline.

Findings

  • WARNING — src/lib/video-playback/process.test.ts:192: CI op head 02ffb1a7 faalt aanvullend bij “Linux root promptly cleans descendants holding pipes when their leader exits” (1 !== 2). Deze test slaagt in CI op baseline a9b3556. De betreffende procescode is niet gewijzigd; dit bewijst geen regressie door deze PR, maar de bewering dat alle failures identiek zijn aan main is voor deze CI-run niet bevestigd. Verklaar deze afwijking met gericht testbewijs of een reproduceerbare baselinevergelijking.

Plan en scope

plan gekoppeld via pr_refs; references: T-244, T-245, ST-068. Er zijn geen omitted onderdelen.

De oude story-acceptatie beschrijft nog absent/already_absent; de expliciet vervangende taakplannen en gereviewde specificatie schrijven juist error/uncertain plus een herscan na de batch voor. De diff volgt dat herziene ontwerp: exacte ENOENT-trigger met closed=true, één aanvraag per mount na de batch via het bestaande requestScan, write-once audit-detail en best-effort aanvraaglogging. Child, scanner en schema blijven ongewijzigd. De gedocumenteerde kans op een stopped-scan bij een bezet slot is bewust buiten scope. Uitrol en praktijkproef zijn volgens de PR vervolgwerk in T-245, geen ontbrekende afronding van deze implementatie-PR.

Verificatie en documentatie

  • PR bereikbaar; head-SHA geverifieerd.
  • Gewijzigde TypeScript-bestanden: ESLint geslaagd.
  • CI-log: alle 15 nieuwe herscantests geslaagd, evenals de nieuwe DB-test voor behoud van id en prullenbakstatus bij een unieke move. Bestaande protectedIds → removeIds-dekking aanwezig.
  • De acht failures in de geïsoleerde empty-trash-stap hebben dezelfde testnamen als op baseline a9b3556. De gewone suite heeft de hierboven genoemde extra failure.
  • Lokale testuitvoering geblokkeerd door /tmp met noexec; daarvoor is het daadwerkelijke CI-log geraadpleegd. Geen volledig groene suite of typecheck geclaimd.
  • ProductDoc revisie 5 en de PR-beschrijving documenteren gedrag, grenzen en vervolgproef.
# Verdict: COMMENT De wijziging past binnen T-244 en specificatie `specs/2026-10-07-disk-delete-already-absent`, revisie 5. Geen blokkerende codebevinding vastgesteld. Goedkeuring blijft achterwege wegens een niet-verklaarde extra CI-failure ten opzichte van de gepinde main-baseline. ## Findings - **WARNING — src/lib/video-playback/process.test.ts:192:** CI op head `02ffb1a7` faalt aanvullend bij “Linux root promptly cleans descendants holding pipes when their leader exits” (`1 !== 2`). Deze test slaagt in CI op baseline `a9b3556`. De betreffende procescode is niet gewijzigd; dit bewijst geen regressie door deze PR, maar de bewering dat alle failures identiek zijn aan main is voor deze CI-run niet bevestigd. Verklaar deze afwijking met gericht testbewijs of een reproduceerbare baselinevergelijking. ## Plan en scope plan gekoppeld via pr_refs; references: T-244, T-245, ST-068. Er zijn geen omitted onderdelen. De oude story-acceptatie beschrijft nog `absent/already_absent`; de expliciet vervangende taakplannen en gereviewde specificatie schrijven juist `error/uncertain` plus een herscan na de batch voor. De diff volgt dat herziene ontwerp: exacte ENOENT-trigger met `closed=true`, één aanvraag per mount na de batch via het bestaande `requestScan`, write-once audit-detail en best-effort aanvraaglogging. Child, scanner en schema blijven ongewijzigd. De gedocumenteerde kans op een `stopped`-scan bij een bezet slot is bewust buiten scope. Uitrol en praktijkproef zijn volgens de PR vervolgwerk in T-245, geen ontbrekende afronding van deze implementatie-PR. ## Verificatie en documentatie - PR bereikbaar; head-SHA geverifieerd. - Gewijzigde TypeScript-bestanden: ESLint geslaagd. - CI-log: alle 15 nieuwe herscantests geslaagd, evenals de nieuwe DB-test voor behoud van id en prullenbakstatus bij een unieke move. Bestaande `protectedIds → removeIds`-dekking aanwezig. - De acht failures in de geïsoleerde empty-trash-stap hebben dezelfde testnamen als op baseline `a9b3556`. De gewone suite heeft de hierboven genoemde extra failure. - Lokale testuitvoering geblokkeerd door `/tmp` met `noexec`; daarvoor is het daadwerkelijke CI-log geraadpleegd. Geen volledig groene suite of typecheck geclaimd. - ProductDoc revisie 5 en de PR-beschrijving documenteren gedrag, grenzen en vervolgproef.
janpeter deleted branch fix/delete-enoent-rescan 2026-10-07 02:04:15 +02:00
Sign in to join this conversation.
No reviewers
No labels
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/Media-Organizer!104
No description provided.