​Я попросила ИИ предсказать, какой из 48 тестов выиграет или проиграет, ……

​Я попросила ИИ предсказать, какой из 48 тестов выиграет или проиграет, … и сравнила с реальными результатами, рассказывает Люсия ван ден Бринк.

Claude ⬩Угадал на 62.5% — не смог посмотреть скриншоты/дизайны по ссылкам

ChatGPT ⬩Угадал на 58% — не смог посмотреть скриншоты/дизайны по ссылкам

Gemini ⬩Угадал на 48% — не смог посмотреть скриншоты/дизайны по ссылкам

1) Промпт, который я использовала:

I want to see how good you are with guessing which test won and which test lost. Analyze the 48 tests here, and their data. Look at the designs (control) and (variant), and all the fields like hypothesis, research and priotization — let me know if you can follow those links and see the images. Then add a colom to this Google Sheet saying if you think it was a win or a loss.

2) Я выгрузила данные из Airtable для одного сайта, скриншоты были добавлены ссылками.

Просто первая попытка ради интереса.

В подкасте с 15+ млн подписчиков сказали, что ИИ "хорошо предсказывает эксперименты", поэтому я захотела проверить.

Жаль, что с дизайнами не вышло.

Впереди новые попытки.

Инсайты комьюнити

— Прогнозы результатов тестов от ИИ на малых выборках находятся в пределах статистического шума: точность 48-62.5% попадает в доверительный интервал 35.9-64.1%. Это означает, что предсказательную силу ограничивает размер выборки, а не возможности модели.

#AI #ABTesting #Experiments

@MikeBlazerX
⚠️ Закрытый канал: @MikeBlazerPRO