Чи підвищує перехід одразу до інтерактивного уроку конверсію в преміум-підписку? Аналіз навчального експерименту за 01–20 серпня 2025 року: перевірка даних, PostgreSQL, статистичний тест, сегменти та Tableau.
Вебзвіти: 1. Очищення даних · 2. SQL: таблиці та view · 3. A/B-аналіз · Tableau Public
Ноутбуки: Очищення даних · A/B-аналіз
Інструменти: Python · Pandas · Matplotlib · Statsmodels · PostgreSQL · Tableau
Задача · Очищення даних · SQL · Результат A/B · Методика · Сегменти · Тижневі тренди · Рекомендації · Обмеження · Матеріали
SkillForge — навчальна платформа. Перевіряється новий онбординг «Миттєве занурення»:
- A, контроль: після реєстрації користувач бачить перелік тем.
- B, тест: користувач одразу переходить до першого інтерактивного уроку.
Бізнес-питання — чи варто впроваджувати новий сценарій за результатом конверсії в преміум-підписку. Додатково досліджено конверсію за країнами й пристроями та схожість тижневих коливань використання продукту в A/B.
Це навчальні змодельовані дані, варіант 42, а не показники реального бізнесу. Проєкт охоплює весь шлях від сирого Excel до висновків і дашбордів.
B має вищу конверсію: 64,73% проти 43,13% у A. Різниця становить +21,60 процентного пункта, або +50,08% відносно A.
| Показник | A — контроль | B — тест |
|---|---|---|
| Учасники з визначеною групою | 5 006 | 4 940 |
| Відомий підсумковий статус конверсії | 4 862 | 4 854 |
| Підтверджена конверсія | 2 097 | 3 142 |
| Невідомий підсумковий статус | 144 | 86 |
| Конверсія серед відомих статусів | 43,13% | 64,73% |
| Перевірка | Результат |
|---|---|
| Абсолютний приріст B − A | +21,60 п.п. |
| Відносний приріст до A | +50,08% |
| Односторонній z-тест, α = 0,05 | p ≈ 1,69 × 10⁻¹⁰¹ |
| 95% довірчий інтервал різниці, метод Newcombe | [+19,65; +23,52] п.п. |
| Крайні сценарії для невідомих статусів | від +18,84 до +23,45 п.п. |
Основна конверсія розрахована для 9 716 користувачів із визначеною групою та відомим статусом. У крайніх сценаріях використано всіх 9 946 учасників із визначеною групою; це інший знаменник. Навіть за найгіршого для B розподілу невідомих статусів його перевага зберігається.
Досліджено п’ять таблиць Excel: device, country, group, user, daily. Перевірено розміри, типи даних, пропуски, дублікати, допустимі значення та зв’язки між таблицями.
| Етап | Що зроблено та отримано |
|---|---|
| Початкові дані | 10 000 користувачів і 61 002 щоденні записи |
Повні дублікати daily |
Видалено 1 196 повторів; залишилося 59 806 записів |
| Період експерименту | Після видалення дублікатів прибрано 60 записів поза 01–20.08.2025; залишилося 59 746 |
Некоректний days_on_product |
20 негативних значень замінено на пропуски; користувачів не видаляли |
Невідомий converted |
501 щоденний статус після очищення збережено як невідомий, без заміни на нуль |
| Фінальна перевірка | Перевірено відсутність дублікатів, межі дат, типи та відповідність ID довідникам; експортовано п’ять очищених CSV |
Правила роботи з пропусками. Невідомі пристрої, країни та дні користування не заповнювали довільними значеннями. Відсутню конверсію не прирівнювали до 0, оскільки 0 означає підтверджену відсутність конверсії. Усі 10 000 користувачів збережені після очищення. 54 користувачі без визначеної групи залишені в очищених даних, але не входять до подальшого A/B-порівняння.
Довідники не містили пропусків і дублікатів, а заповнені зовнішні ID відповідали довідникам. ID-поля та converted приведено до цілочисельних типів із підтримкою пропусків, date — до формату дати.
Код і результати очищення у вебзвіті → · Ноутбук очищення
Очищені таблиці підготовлено для PostgreSQL. У схемі визначено первинні та зовнішні ключі, унікальність значень довідників і перевірки допустимих значень. Поле daily.converted має тип INTEGER з CHECK IN (0, 1) та дозволеним NULL; days_on_product не може бути негативним.
| View | Рівень деталізації та призначення |
|---|---|
v_user_conversion |
Один рядок на користувача з визначеною групою — 9 946 рядків. Підсумковий статус конверсії за весь тест для A/B-аналізу та сегментів |
v_daily_agg |
Один рядок на дату та групу — 40 рядків. Кількість користувачів із записами, позитивних і невідомих статусів та щоденна частка позитивних статусів |
Повний авторський SQL, включно зі створенням таблиць та обох view, розміщено після очищення даних, перед A/B-аналізом.
Переглянути SQL у вебзвіті → · Авторський SQL-файл
Одиниця основного аналізу — користувач, а не щоденний запис. Підсумковий статус за період:
1— є хоча б один записconverted = 1.NULL— немає підтвердженої конверсії, але є невідомий щоденний статус або немає жодного щоденного запису.0— наявні щоденні статуси відомі та дорівнюють нулю.
Конверсія = користувачі зі статусом 1 / користувачі з відомим статусом 0 або 1. У A/B-порівняння не входять 54 користувачі без визначеної групи.
v_user_conversion містить один рядок на користувача. v_daily_agg — один рядок на дату та групу. Частка щоденних позитивних статусів має інший зміст і знаменник, ніж конверсія користувачів за весь експеримент; її не усереднювали для отримання головного KPI.
Перевірено односторонню гіпотезу H₁: CR(B) > CR(A) при α = 0,05. Окремо побудовано двосторонній 95% довірчий інтервал різниці та крайні сценарії для пропусків.
Перевірки та очищення даних → · SQL у вебзвіті →
У всіх основних досліджених сегментах спостережувана конверсія B вища за A.
| Основні пристрої | Приріст B − A |
|---|---|
| Планшет | +25,33 п.п. |
| Мобільний пристрій | +21,66 п.п. |
| Комп’ютер | +21,32 п.п. |
Серед п’яти основних країн найбільший приріст зафіксовано у Бразилії — +24,81 п.п., найменший — у Франції — +15,64 п.п.
Це описові порівняння. Відмінності приросту між країнами та пристроями окремо статистично не перевірялися. Для Smartwatch, TV та коду країни XX вибірки малі: ці категорії не дозволяють упевнено стверджувати ні наявність, ні відсутність ефекту. Зв’язок сегмента з конверсією не доводить його причинного впливу.
Сегментний аналіз → · Інтерактивні зрізи в Tableau →
У перших двох періодах середня щоденна кількість користувачів із записами відносно стабільна; у третьому — нижча в обох групах. A і B мають схожий характер щоденних коливань: найнижчі значення припадають на неділі, найвищі — на четверги.
Періоди містять 7, 7 і 6 днів. У третьому періоді немає четверга, тому склад днів тижня може частково пояснювати нижче середнє. Статистичну рівність трендів не перевіряли. Показник характеризує користувачів із записами daily, а не незалежно виміряну залученість чи конверсію.
Щоденні коливання та пояснення →
Розглядати B як пріоритетний варіант для поетапного впровадження. Перевага статистично значуща, практично суттєва та зберігається в крайніх сценаріях невідомих статусів.
Перед повним запуском:
- Перевірити трекінг підписок і причини нерівномірних пропусків у A/B.
- Контролювати конверсію, утримання та скасування підписок під час поетапного впровадження.
- Продовжити моніторинг основних країн і пристроїв, уникаючи рішень на основі малих вибірок.
Утримання, скасування та дохід у цьому проєкті не розраховані — це показники для контролю наступного запуску. Дані не дають підстав перетворювати приріст конверсії на прогноз доходу.
Повні висновки та рекомендації →
- Навчальний датасет і 20-денне вікно обмежують узагальнення на реальний бізнес та довгостроковий ефект.
- Невідомі підсумкові статуси: A — 144, B — 86. Їхній вплив перевірено сценаріями, але самі причини пропусків не встановлені.
- Відсутні групи у 54 користувачів; вони виключені з A/B-порівняння.
- Сегментні відмінності та схожість трендів є описовими; окремих тестів взаємодії чи рівності трендів не проводили.
- Поведінкові механізми, вплив на дохід та довгострокове утримання не доведені цими даними.
Ноутбуки, SQL-код та зображення зібрані в папці materials.
| Матеріал | Що можна переглянути |
|---|---|
| Очищення даних — вебверсія | HTML-версія першого ноутбука: перевірки якості, очищення, код та збережені результати. Окремий розділ SQL після очищення, зміст і перехід до A/B-аналізу |
| A/B-аналіз — вебверсія | HTML-версія другого ноутбука: розрахунки, таблиці, графіки та висновки. Зміст і перехід до очищення даних |
| Ноутбук очищення | Авторський Python-код та збережені узагальнені результати підготовки даних |
| Ноутбук A/B-аналізу | Авторські розрахунки, графіки й узагальнені результати |
| SQL — вебверсія | Повний код створення таблиць і view з навігацією. Авторський SQL-файл |
| Tableau Public | Два інтерактивні дашборди |
Вихідні користувацькі записи не включені до репозиторію. Для перегляду доступні код, графіки та збережені узагальнені результати; повний повторний запуск потребує вихідного навчального набору.
Дмитро Купріянов · Junior Data Analyst · GitHub · Tableau Public