[ISS-12] Watch-handshake: achtergrond tijdens een probe verliest het antwoord (race in probeOnce), test faalt ~43% #388

Closed
opened 2026-10-18 19:20:05 +02:00 by janpeter · 0 comments
Owner

Beheerd door Scrum4Me — wijzigingen hier worden overschreven. Bron: https://thuis.jp-visser.nl/issues/cmve31v500010cw173jmg4h1w

Status: closed (fixed) · Severity: s3_major · Gemeld door: mac:claude · Occurrences: 1 (laatst: 2026-10-18T17:11:54.852Z) · Aangemaakt: 2026-10-18T17:11:54.852Z

Registratie

Symptoom

npm run ios:test is onbetrouwbaar rood op HubTransportTests.WatchHandshakeControllerTests.testBackgroundDuringAProbeKeepsProofButStartsNoBootstrap (ios/Hub/Tests/HubTransportTests/WatchHandshakeControllerTests.swift:190-200):

XCTAssertEqual failed: ("waiting") is not equal to ("compatible") - capabilitybewijs blijft bewaard

Gemeten op 2026-10-18 (branch feat/idea-264-i1, commit 27a36f3a; de test en WatchHandshakeController zijn daar ongewijzigd t.o.v. main):

  • geïsoleerd, npm run ios:test -- -only-testing:HubTransportTests/WatchHandshakeControllerTests/testBackgroundDuringAProbeKeepsProofButStartsNoBootstrap -test-iterations 40: 17 van 40 iteraties falen;
  • volledige ios:test: 3 van de laatste 4 runs rood op deze test (of een andere bekende flake).

Oorzaak (codelezing)

ios/Hub/Sources/HubTransport/WatchHandshakeController.swift:

  • de test laat onProbe tijdens de probe enterBackground() aanroepen → cancelEpisode() (:220) annuleert episodeTask;
  • probeOnce (:208-217) racet in een task group het send-kind tegen een sleep(probeTimeout)-kind. Door de annulering gooit Task.sleep in het timeout-kind direct, dat kind geeft meteen nil;
  • wint dat kind van het send-kind dat het antwoord teruggeeft, dan is reply == nil, wordt er in de tak episodeCounter != id (:176-185) geen bewijs bewaard en blijft de status waiting.

Dit is ook productiegedrag, niet alleen een testprobleem: de standaard-sleep is ook try? await Task.sleep. Een Watch die midden in een probe naar de achtergrond gaat, kan het (geldige) antwoord dus kwijtraken. Herstelbaar (de volgende foreground probet opnieuw), maar het doel van de test ("positief bewijs blijft bewaard") wordt niet gegarandeerd.

Gevolg

  • iOS-gates (npm run ios:test) zijn ~43% van de runs rood zonder dat de gewijzigde code iets fout doet; dat ondermijnt het bewijs van elke iOS-taak (IDEA-264 I1-sprint).
  • Klein productie-effect: verloren compatibiliteitsbewijs na achtergrond tijdens een probe.

Mogelijke richting (niet uitgevoerd)

Bij annulering het send-kind laten afwachten in plaats van de timeout direct te laten winnen (bv. bij Task.isCancelled na group.next() het andere kind nog afwachten, of het timeout-kind bij annulering niet laten terugkeren), en de test deterministisch maken. Herkomst: commits 0a510b79 / 2f986780 (ST-1580, Watch B2).

Gevonden tijdens de uitvoering van IDEA-264 I1 taak 4; daar bewust niet gerepareerd (buiten scope).

Onderzoek


2026-10-18T20:02:46.030Z — mac:claude

Onderzoek (mac:claude, branch fix/iss-12-handshake-probe-race vanaf origin/main f293666c)

Oorzaak bevestigd door codelezing van WatchHandshakeController.probeOnce (:208-217):

  • enterBackground() → cancelEpisode() annuleert episodeTask; die annulering propageert naar beide kinderen van de task group.
  • Task.sleep (productie: try? await Task.sleep; test-fake idem) keert in een geannuleerde task onmiddellijk terug, dus het timeout-kind geeft direct nil. Het send-kind moet eerst van de MainActor terug (de testhaak onProbe roept enterBackground aan) en verliest de race ~43% van de keren. first == nil → in de tak episodeCounter != id is er geen reply om als bewijs te bewaren → status blijft waiting.
  • Een geannuleerde slaap is geen verstreken venster; het controller-contract ("late bewijs wordt bewaard", header-doc punt 3) wordt daardoor niet gegarandeerd.

Latentie: withTaskGroup wacht sowieso op alle kinderen vóór hij terugkeert, en het send-kind berekent zijn antwoord dus al; het wordt nu alleen weggegooid. Het afwachten ervan na annulering kost niets extra (productie-probeProtocol heeft bovendien een eigen, niet-annuleerbare 5s-vangnet in WatchRelay).

Plan (klein): alleen probeOnce aanpassen — het timeout-kind meldt windowElapsed of windowCancelled (via Task.isCancelled na de slaap); bij windowCancelled blijft de groep op het send-antwoord wachten. Test deterministisch maken met een gate die het antwoord pas vrijgeeft nadat de geannuleerde slaap is teruggekeerd (forceert de verliezende volgorde, 100% rood op de oude code). WatchFeatureProbeController (IDEA-264, feat/idea-264-i1) heeft hetzelfde probeOnce-patroon en heeft dezelfde wijziging nodig; bewust hier niet aangeraakt."

Oplossing


2026-10-18T20:08:30.958Z — mac:claude

Fix klaar op branch fix/iss-12-handshake-probe-race (commit 1b3a0191, vanaf origin/main f293666c), nog niet gepusht; sluiten volgt na de merge door JP.

Wijziging: WatchHandshakeController.probeOnce onderscheidt nu een verstreken 5s-venster van een door annulering afgebroken slaap (Task.isCancelled na de slaap in het timeout-kind) en wacht in het laatste geval op het send-antwoord. Daardoor bewaart de tak episodeCounter != id het bewijs ook als de episode tijdens de probe is geannuleerd. Geen extra latentie (de task group wacht sowieso op beide kinderen).

Test: testBackgroundDuringAProbeKeepsProofButStartsNoBootstrap dwingt nu de verliezende volgorde af (gate .replyAfterWindowEnded) en doorloopt daarnaast de natuurlijke volgorde.

Bewijs: oude controller, 10 iteraties: afgedwongen volgorde 10/10 rood (natuurlijke 3/10). Nieuwe controller: 40/40 groen in de geïsoleerde run; npm run ios:test 4× achter elkaar groen (265 tests); npm run ios:build BUILD SUCCEEDED.

Follow-up: WatchFeatureProbeController.probeOnce (IDEA-264, feat/idea-264-i1) heeft hetzelfde patroon en heeft dezelfde wijziging nodig; hier bewust niet aangeraakt. Klein, bestaand aandachtspunt: een late reply van de vorige companion na companionChanged() wordt in dezelfde tak als bewijs bewaard (buiten scope).


2026-10-18T20:10:19.724Z — mac:claude

Aanvullend bewijs: WatchHandshakeControllerTests + WatchHandshakeChainTests (30 testcases, alle annuleerpaden) 40 iteraties achter elkaar op de fix: 0 errors, TEST SUCCEEDED.


2026-10-18T20:41:54.524Z — mac:claude

Gemerged: PR #391 (merge cc74ff7e, CI groen). Review (s4m-codex-reviewer, LOW): de gate-variant van de test garandeert de verliezende volgorde niet strikt. Opgevolgd in een kleine testversterking (commit 04b1d786 op fix/iss-12-probe-result-tests, de beslislogica als probeResult(next:) zodat een test de uitkomstvolgorde vastlegt; geen gedragswijziging): oude logica 40/40 rood, huidige logica 160/160 groen, ios:test 2× groen (265), ios:build geslaagd. Die follow-up wacht op push/PR-akkoord van JP.

> Beheerd door Scrum4Me — wijzigingen hier worden overschreven. Bron: https://thuis.jp-visser.nl/issues/cmve31v500010cw173jmg4h1w Status: closed (fixed) · Severity: s3_major · Gemeld door: mac:claude · Occurrences: 1 (laatst: 2026-10-18T17:11:54.852Z) · Aangemaakt: 2026-10-18T17:11:54.852Z ## Registratie ## Symptoom `npm run ios:test` is onbetrouwbaar rood op `HubTransportTests.WatchHandshakeControllerTests.testBackgroundDuringAProbeKeepsProofButStartsNoBootstrap` (`ios/Hub/Tests/HubTransportTests/WatchHandshakeControllerTests.swift:190-200`): ``` XCTAssertEqual failed: ("waiting") is not equal to ("compatible") - capabilitybewijs blijft bewaard ``` Gemeten op 2026-10-18 (branch `feat/idea-264-i1`, commit 27a36f3a; de test en `WatchHandshakeController` zijn daar ongewijzigd t.o.v. main): - geïsoleerd, `npm run ios:test -- -only-testing:HubTransportTests/WatchHandshakeControllerTests/testBackgroundDuringAProbeKeepsProofButStartsNoBootstrap -test-iterations 40`: **17 van 40 iteraties falen**; - volledige `ios:test`: 3 van de laatste 4 runs rood op deze test (of een andere bekende flake). ## Oorzaak (codelezing) `ios/Hub/Sources/HubTransport/WatchHandshakeController.swift`: - de test laat `onProbe` tijdens de probe `enterBackground()` aanroepen → `cancelEpisode()` (`:220`) annuleert `episodeTask`; - `probeOnce` (`:208-217`) racet in een task group het `send`-kind tegen een `sleep(probeTimeout)`-kind. Door de annulering gooit `Task.sleep` in het timeout-kind direct, dat kind geeft meteen `nil`; - wint dat kind van het `send`-kind dat het antwoord teruggeeft, dan is `reply == nil`, wordt er in de tak `episodeCounter != id` (`:176-185`) geen bewijs bewaard en blijft de status `waiting`. Dit is ook productiegedrag, niet alleen een testprobleem: de standaard-`sleep` is ook `try? await Task.sleep`. Een Watch die midden in een probe naar de achtergrond gaat, kan het (geldige) antwoord dus kwijtraken. Herstelbaar (de volgende foreground probet opnieuw), maar het doel van de test ("positief bewijs blijft bewaard") wordt niet gegarandeerd. ## Gevolg - iOS-gates (`npm run ios:test`) zijn ~43% van de runs rood zonder dat de gewijzigde code iets fout doet; dat ondermijnt het bewijs van elke iOS-taak (IDEA-264 I1-sprint). - Klein productie-effect: verloren compatibiliteitsbewijs na achtergrond tijdens een probe. ## Mogelijke richting (niet uitgevoerd) Bij annulering het `send`-kind laten afwachten in plaats van de timeout direct te laten winnen (bv. bij `Task.isCancelled` na `group.next()` het andere kind nog afwachten, of het timeout-kind bij annulering niet laten terugkeren), en de test deterministisch maken. Herkomst: commits 0a510b79 / 2f986780 (ST-1580, Watch B2). Gevonden tijdens de uitvoering van IDEA-264 I1 taak 4; daar bewust niet gerepareerd (buiten scope). ## Onderzoek --- *2026-10-18T20:02:46.030Z — mac:claude* ## Onderzoek (mac:claude, branch fix/iss-12-handshake-probe-race vanaf origin/main f293666c) Oorzaak bevestigd door codelezing van `WatchHandshakeController.probeOnce` (:208-217): - `enterBackground()` → `cancelEpisode()` annuleert `episodeTask`; die annulering propageert naar beide kinderen van de task group. - `Task.sleep` (productie: `try? await Task.sleep`; test-fake idem) keert in een geannuleerde task **onmiddellijk** terug, dus het timeout-kind geeft direct `nil`. Het `send`-kind moet eerst van de MainActor terug (de testhaak `onProbe` roept `enterBackground` aan) en verliest de race ~43% van de keren. `first == nil` → in de tak `episodeCounter != id` is er geen reply om als bewijs te bewaren → status blijft `waiting`. - Een geannuleerde slaap is geen verstreken venster; het controller-contract (\"late bewijs wordt bewaard\", header-doc punt 3) wordt daardoor niet gegarandeerd. Latentie: `withTaskGroup` wacht sowieso op alle kinderen vóór hij terugkeert, en het `send`-kind berekent zijn antwoord dus al; het wordt nu alleen weggegooid. Het afwachten ervan na annulering kost niets extra (productie-`probeProtocol` heeft bovendien een eigen, niet-annuleerbare 5s-vangnet in `WatchRelay`). Plan (klein): alleen `probeOnce` aanpassen — het timeout-kind meldt `windowElapsed` of `windowCancelled` (via `Task.isCancelled` na de slaap); bij `windowCancelled` blijft de groep op het `send`-antwoord wachten. Test deterministisch maken met een gate die het antwoord pas vrijgeeft nadat de geannuleerde slaap is teruggekeerd (forceert de verliezende volgorde, 100% rood op de oude code). `WatchFeatureProbeController` (IDEA-264, `feat/idea-264-i1`) heeft hetzelfde `probeOnce`-patroon en heeft dezelfde wijziging nodig; bewust hier niet aangeraakt." ## Oplossing --- *2026-10-18T20:08:30.958Z — mac:claude* Fix klaar op branch `fix/iss-12-handshake-probe-race` (commit 1b3a0191, vanaf origin/main f293666c), nog niet gepusht; sluiten volgt na de merge door JP. **Wijziging:** `WatchHandshakeController.probeOnce` onderscheidt nu een verstreken 5s-venster van een door annulering afgebroken slaap (`Task.isCancelled` na de slaap in het timeout-kind) en wacht in het laatste geval op het `send`-antwoord. Daardoor bewaart de tak `episodeCounter != id` het bewijs ook als de episode tijdens de probe is geannuleerd. Geen extra latentie (de task group wacht sowieso op beide kinderen). **Test:** `testBackgroundDuringAProbeKeepsProofButStartsNoBootstrap` dwingt nu de verliezende volgorde af (gate `.replyAfterWindowEnded`) en doorloopt daarnaast de natuurlijke volgorde. **Bewijs:** oude controller, 10 iteraties: afgedwongen volgorde 10/10 rood (natuurlijke 3/10). Nieuwe controller: 40/40 groen in de geïsoleerde run; `npm run ios:test` 4× achter elkaar groen (265 tests); `npm run ios:build` BUILD SUCCEEDED. **Follow-up:** `WatchFeatureProbeController.probeOnce` (IDEA-264, `feat/idea-264-i1`) heeft hetzelfde patroon en heeft dezelfde wijziging nodig; hier bewust niet aangeraakt. Klein, bestaand aandachtspunt: een late reply van de vorige companion na `companionChanged()` wordt in dezelfde tak als bewijs bewaard (buiten scope). --- *2026-10-18T20:10:19.724Z — mac:claude* Aanvullend bewijs: `WatchHandshakeControllerTests` + `WatchHandshakeChainTests` (30 testcases, alle annuleerpaden) 40 iteraties achter elkaar op de fix: 0 errors, TEST SUCCEEDED. --- *2026-10-18T20:41:54.524Z — mac:claude* Gemerged: PR #391 (merge cc74ff7e, CI groen). Review (s4m-codex-reviewer, LOW): de gate-variant van de test garandeert de verliezende volgorde niet strikt. Opgevolgd in een kleine testversterking (commit 04b1d786 op fix/iss-12-probe-result-tests, de beslislogica als `probeResult(next:)` zodat een test de uitkomstvolgorde vastlegt; geen gedragswijziging): oude logica 40/40 rood, huidige logica 160/160 groen, `ios:test` 2× groen (265), `ios:build` geslaagd. Die follow-up wacht op push/PR-akkoord van JP. <!-- s4m:issue:cmve31v500010cw173jmg4h1w -->
janpeter 2026-10-18 19:20:05 +02:00
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
janpeter/Scrum4Me#388
No description provided.