Report 1 / 4Patriots Facebook Ads

Калибровка данных: Как увидеть реальную картину

Три фактора, которые систематически искажают метрики креативов в 4Patriots. Без их учёта любое сравнение креативов -- это попытка читать звёзды через мутный телескоп.

0
$ млн. расходов
0
Creative IDs
0
Уникальных концептов
0
Продуктовых страниц

Аналогия: Адаптивная оптика

Астрономы перед наблюдением за звёздами направляют лазер в атмосферу, чтобы измерить, как турбулентность воздуха искажает свет. Затем зеркало телескопа деформируется сотнями актуаторов, компенсируя искажения. Без этого даже лучший телескоп видит размытые пятна вместо чётких звёзд.

В маркетинге три "слоя атмосферы" искажают данные о креативах: промо-акции, дупликация креативов и смешивание продуктовых страниц. Этот отчёт -- наш лазер.

Промо-акции: невидимый фильтр метрик

Креативы с промо-офферами (sale, BOGO, free shipping, limited time) ведут себя принципиально иначе. Когда их доля в сплите меняется от 10% до 94% -- сравнивать месяцы без нормализации невозможно.

10%–94%
Диапазон промо-доли
+0.15
Ср. разница ROAS (промо vs обычные)
$56.7M
Потрачено на промо-креативы
$34.7M
Потрачено на не-промо

Расходы: промо vs не-промо по месяцам

Стековая диаграмма показывает, как сильно колеблется доля промо-расходов от месяца к месяцу

ROAS: промо vs не-промо

Промо-креативы часто показывают другой ROAS. Если доля промо в месяце высокая -- блендованный ROAS искажён.

CPC: промо vs не-промо

Промо-креативы часто имеют более высокий CPC из-за конкурентного аукциона в промо-периоды

Экстремальные колебания промо-доли
Эти примеры показывают, почему месячное сравнение без учёта промо -- бессмысленно
Сентябрь 2022 -- 79% промо $1,493K промо / $392K обычные
79%
21%
Март 2023 -- 50/50 $1,202K промо / $1,198K обычные
50%
50%
Январь 2026 -- 94% промо $2,930K промо / $195K обычные
94%
6%
Ноябрь 2024 -- 42% промо $235K промо / $322K обычные
42%
58%
Коэффициент искажения = Доля промо x Разница ROAS

Когда 94% бюджета уходит на промо-креативы (как в январе 2026), а разница ROAS между промо и не-промо составляет +0.47, блендованный ROAS завышен примерно на 0.44 пункта. Это значит, что креатив, запущенный в январе, выглядит на 34% лучше, чем он есть на самом деле. Вывод: любой креатив, активно крутившийся в промо-периоды, будет казаться эффективнее реального.

Дупликация: один креатив, тысячи ID

22,220 уникальных Creative ID на самом деле представляют лишь 2,209 уникальных концептов. В среднем каждый концепт дублируется 10 раз, а рекордсмен -- 12,326 раз.

1.18M
Строк данных
22,220
Creative IDs
2,209
Уникальных концептов
10:1
Коэффициент дупликации
Воронка дедупликации
1,175,497 строк данных
22,220 Creative IDs
2,209 концептов
30 PDP

Топ-15 концептов по количеству дупликатов

Один и тот же текст объявления может иметь тысячи разных Creative ID

# Текст концепта (первые 50 символов) Дупликатов Коэффициент
1"The supply chain is weak..."12,326x55.8
2"My gas generator cost $50..."10,304x46.6
3"Oh no! We're embarrassed..."10,255x46.4
4"When disaster strikes..."8,952x40.5
5"Our #1 Food Kit is BACK..."8,314x37.6
6"It's true...this NEW & Improved..."6,911x31.3
7"The Patriot Power Generator 1200..."6,453x29.2
8"Did you know that if the supply..."5,342x24.2
9"Stay powered up..."4,895x22.2
10"FEMA's budget is being gutted..."4,672x21.1
11"Our #1 Food Kit is back..."4,536x20.5
12"Get (3) Month's..."4,474x20.2
13"Just because the grocery..."3,861x17.5
14"Staying in?..."3,313x15.0
15"4Patriots Sale Alert!..."3,224x14.6
Почему дупликация опасна для анализа

Креатив с 12,326 дупликатами получает в 12K раз больше "наблюдений" в данных, чем уникальный креатив. Это создаёт три проблемы: (1) статистическая значимость артефактов раздувается, (2) средние по дупликатам маскируют различия в перфомансе (разные картинки, аудитории), (3) при ранжировании по объёму дупликаты вытесняют действительно уникальные креативы. Без дедупликации по тексту объявления любой рейтинг креативов -- иллюзия.

Смешивание PDP: один креатив, разные результаты

Один и тот же текст объявления может показывать ROAS 4.68 на одной продуктовой странице и 0.53 на другой. Без PDP-нормализации хорошие креативы убивают, а плохие выживают.

30+
Уникальных PDP
3–5
URL-вариантов на продукт
±1.0+
Ср. абс. разница ROAS по PDP
4.68
Макс. PDP-ROAS (скрытый)

Ландшафт продуктовых страниц: расходы по категориям

Один продукт часто имеет 3-5 вариантов URL с разными UTM-метками (SR-10, SR-22, SR-32)

Расхождение ROAS: PDP-специфичный vs общий

Положительные значения = креатив работает ЛУЧШЕ на конкретном PDP, чем его средний ROAS

Креатив Общий ROAS PDP PDP ROAS Разница
"When disaster strikes..." 2.67 SR-33 4.68 +2.01
"This unit is pretty awesome!..." 3.05 SR-22 1.10 -1.95
"SPECIAL 'Mind-Blowing'..." 2.12 perfect-pair 0.90 -1.22
"Picture this..." 2.01 PPG2K SR-10 3.20 +1.19
"There's still time!" 1.65 72hour-b1g2 2.61 +0.96
"There's still time!" 1.65 72hour-kit 0.53 -1.13
"Clear Water Doesn't Mean Clean Water..." 3.03 water-filtration 4.10 +1.07
"We packed a wholloping 3-Month..." 1.31 3month plain 2.28 +0.96
Маркетолог без PDP-нормализации = астроном с грязным телескопом

Пример: креатив "There's still time!" показывает ROAS 1.65 в общем зачёте -- посредственный результат. Но на PDP "72hour-b1g2" его ROAS = 2.61, а на "72hour-kit" всего 0.53. Разброс в 5 раз! Без PDP-сегментации маркетолог может отключить креатив, который отлично работает на конкретной странице, или продолжать тратить на связку, которая убыточна.

Количественная оценка: насколько данные "врут"

Каждый фактор искажения по отдельности значителен. Вместе они делают наивное сравнение креативов практически бессмысленным.

🌞
Промо-искажение
~15-34%
Средняя разница ROAS (+0.15) x средняя промо-доля (62%) = метрики могут быть завышены на 15-34% в зависимости от периода. В экстремальные месяцы (94% промо) искажение ещё выше.
🔎
Деdup-искажение
10:1
Соотношение 10 Creative ID на 1 концепт означает, что статистическая значимость завышена в 10 раз. Шум выглядит как сигнал. Артефакты -- как паттерны.
🎯
PDP-искажение
±1.0+
Средняя абсолютная разница ROAS между PDP-специфичным и общим результатом превышает 1.0. Это значит, что метрики могут быть неточны на 50%+ в любом направлении.
Шкала совокупного искажения
Каждый фактор вносит свой вклад в общую "мутность" данных
Промо-искажение Высокое
Дупликация Критическое
PDP-смешивание Критическое
Итог: сырое сравнение креативов без калибровки по сути бессмысленно

Когда промо-доля колеблется от 10 до 94%, каждый концепт дублирован в среднем 10 раз, а ROAS одного и того же текста отличается в 5 раз в зависимости от PDP -- любые выводы на основе "блендованных" данных неизбежно будут ошибочными. Необходима калибровка по всем трём осям перед любым аналитическим выводом.

Как настроить телескоп

Пять шагов для получения достоверной картины эффективности креативов.

  1. Сегментировать промо vs не-промо перед сравнением Всегда разделяйте креативы с промо-офферами (sale, BOGO, free shipping, limited time, save, special offer, buy one get) от обычных. Сравнивайте только внутри сегмента.
  2. Дедуплицировать по тексту объявления Группируйте Creative ID по первым 80 символам body text. Это сокращает 22,220 ID до 2,209 реальных концептов и убирает искусственное раздувание статистики.
  3. Сравнивать креативы в рамках одного PDP Никогда не сравнивайте ROAS креативов, которые ведут на разные продуктовые страницы. Генератор и набор еды -- это разные "вселенные" с разной конверсией.
  4. Использовать PDP-нормализованный ROAS Для каждого PDP вычислите средний ROAS, затем показывайте отклонение креатива от среднего по его PDP. Это убирает "эффект продукта" и показывает чистый вклад креатива.
  5. Помечать промо-зависимые креативы Креативы, у которых более 50% показов пришлись на промо-периоды, помечайте как "промо-зависимые". Их ROAS может быть существенно завышен.

Hidden Gems: креативы, заслуживающие второго шанса

Эти креативы выглядят посредственно в общем зачёте, но блестят на конкретных продуктовых страницах. Без калибровки они могли бы быть отключены.

"When disaster strikes..."
Общий ROAS 2.67
PDP: SR-33 4.68
Дупликатов 8,952
+2.01
Delta ROAS
"Clear Water Doesn't Mean Clean Water..."
Общий ROAS 3.03
PDP: Water Filtration 4.10
+1.07
Delta ROAS
"Picture this..."
Общий ROAS 2.01
PDP: PPG2K SR-10 3.20
+1.19
Delta ROAS
"This unit is pretty awesome!..."
Общий ROAS 3.05
PDP: SR-33 4.07
PDP: SR-22 1.10
Depends
on PDP
"There's still time!"
Общий ROAS 1.65
PDP: 72hr B1G2 SR-22 2.61
PDP: 72hour-kit 0.53
+0.96
Best PDP delta
"We packed a wholloping 3-Month..."
Общий ROAS 1.31
PDP: 3month plain 2.28
+0.96
Delta ROAS
Вывод: калибровка раскрывает скрытую ценность

После нормализации по PDP обнаруживаются креативы, которые могли бы быть отключены на основе блендованных метрик. Например, "When disaster strikes..." выглядит средне (ROAS 2.67), но на SR-33 показывает ROAS 4.68 -- одну из лучших результатов в аккаунте. Калибровка данных не просто улучшает аналитику -- она спасает деньги.