Skip to content

Feat/onboarding variant c - #491

Merged
ujiro99 merged 3 commits into
mainfrom
feat/onboarding-variant-c
Oct 12, 2026
Merged

ujiro99 merged 3 commits into
mainfrom
feat/onboarding-variant-c

Conversation

@ujiro99

@ujiro99 ujiro99 commented Oct 10, 2026

Copy link
Copy Markdown
Owner

No description provided.

ujiro99 and others added 3 commits October 10, 2026 17:03
Replace the welcome overlay copy with a thank-you heading and an
invitation to try the three popular features, localized to all 14
locales. Lighten the introduction text weight to match.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Bump the experiment id to onboarding_v3 and rename the treatment arm
from B to C so GA4 records the new welcome pattern separately from the
previous one. Attach experiment_id to every onboarding event instead of
only onboarding_start, so the control arm can also be told apart from
onboarding_v2's across the whole funnel.

Add onboarding_v3 to the hub experiments config, keeping onboarding_v2
for already-published builds.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Bloom a brand-blue radial gradient from just above the center of the
welcome overlay shortly after it appears, behind the logo and greeting.
Extend the overlay duration to 2.2s and make the test read the exported
duration instead of hard-coding it.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@claude

claude Bot commented Oct 10, 2026

Copy link
Copy Markdown

レビュー結果

onboarding の A/B テストを onboarding_v2(B) から onboarding_v3(C) に切り替える PR です。全体として一貫していて、大きな問題は見つかりませんでした。

良い点

  • treatment の文字を B から C に変えて、GA4 の variant が別の施策と混ざらないようにした設計(services/experiments/types.ts:1-6)。
  • experiment_id を sendOnboardingEvent に集約し、全 onboarding_* イベントへ自動付与(onboardingAnalytics.ts:44)。ONBOARDING_START だけに付いていた状態が解消され、漏れもなくなります。
  • OnboardingWelcome.test.tsx が WELCOME_DURATION_MS を import するようになり、タイミングを二重管理しなくて済みます。
  • experiments.json に onboarding_v2 を残しているので、旧バージョンの拡張機能が壊れません(packages/hub/public/data/experiments.json)。

指摘・提案

  1. useOnboardingState.test.tsx のテスト削減(軽微)
    reports the experiment id on the start event を削除しています。onboardingAnalytics.test.ts で付与自体はカバーされています。ただし useOnboardingState の側では sendOnboardingEvent をモックしているため、START イベントで experiment_id が欠けても検知できません。実害は小さいです。
  2. ExperimentVariant から "B" が消えたことによる、保存済みデータとの不整合(軽微)
    chrome.storage.local の EXPERIMENTS には、v2 で割り当て済みの variant: "B" が残ります。キーが experiment id なので v3 の判定には影響しません。ただし、保存データを Experiments 型として読み、variant を検証する箇所が将来できると型と実データがずれます。ここは認識しておくとよいです。
  3. フォールバック値の同期
    experimentConfig.ts:26 の DEFAULT_CONFIGS から onboarding_v2 を削除しています。旧 v2 の割り当て済みユーザーはキャッシュ済みなので問題ありません。hub 側の experiments.json と値が一致している点は確認できました(0.5)。
  4. グロー演出(OnboardingWelcome.tsx:92-100)
    • motion-reduce:animate-none を指定すると both の fill-mode も外れ、グローは静的に最終状態で表示されます。意図どおりなら問題ありません。
    • -z-10 は親が fixed + z-30 で stacking context を作るため、親の内側で正しく動作します。
    • scale(0.6) から始まる transform を、全画面の inset-0 要素へ 1.6 秒かけて適用します。低スペック端末では負荷になる可能性があります。will-change: transform, opacity を付けると安全です(任意)。
  5. font-semibold から font-normal への変更(OnboardingWelcome.tsx:108)
    デザイン意図の変更と思われますが、PR 説明が空なので意図が確認できません。PR 説明に変更の目的と、A/B の仮説・計測指標を記載してもらえると、レビューしやすくなります。
  6. WELCOME_DURATION_MS を 2000 から 2200 に変更
    これも施策内容の変更です。v3 で計測する以上、意図的な変更であることを PR 説明に明記してください。

確認観点

  • セキュリティ上の懸念はありません。?variant= 上書きは e2e / development ビルド限定のままです(useOnboardingVariant.ts:13)。
  • AGENTS.md の規約(コメントは英語、キャメルケース)に沿っています。
  • 実行時の確認は、静的な読み取りのみで、テストやビルドは走らせていません。CI の結果を確認してください。

軽微な点のみで、マージ可能だと考えます。

@codecov

codecov Bot commented Oct 10, 2026

Copy link
Copy Markdown

Codecov Report

❌ Patch coverage is 75.00000% with 10 lines in your changes missing coverage. Please review.
✅ Project coverage is 55.16%. Comparing base (d9b4214) to head (7cebb8e).

Files with missing lines Patch % Lines
packages/extension/tailwind.config.js 0.00% 9 Missing ⚠️
.../src/components/onboarding/useOnboardingVariant.ts 0.00% 1 Missing ⚠️
Additional details and impacted files
@@            Coverage Diff             @@
##             main     #491      +/-   ##
==========================================
+ Coverage   55.15%   55.16%   +0.01%     
==========================================
  Files         294      294              
  Lines       29883    29904      +21     
  Branches     3044     3048       +4     
==========================================
+ Hits        16481    16498      +17     
- Misses      13402    13406       +4     

☔ View full report in Codecov by Harness.
📢 Have feedback on the report? Share it here.

🚀 New features to boost your workflow:
  • ❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.
  • 📦 JS Bundle Analysis: Save yourself from yourself by tracking and limiting bundle sizes in JS merges.

@ujiro99
ujiro99 merged commit fbf049b into main Oct 12, 2026
6 checks passed
@ujiro99
ujiro99 deleted the feat/onboarding-variant-c branch October 12, 2026 09:01
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant