Optimal ravishda Intelligence Cloud: A/Bni aqlli va tezroq sinovdan o'tkazish uchun statistik dvigateldan qanday foydalanish kerak

Stats Engine va A/B test strategiyalarini optimallashtirish

Agar siz o'zingizning biznesingizni sinab ko'rish va o'rganishga yordam beradigan tajriba dasturini ishga solmoqchi bo'lsangiz, ehtimol siz foydalanmoqdasiz Optimal ravishda Intelligence Cloud - Yoki hech bo'lmaganda unga qaradingiz. Optimizallashtirish - bu o'yindagi eng kuchli vositalardan biri, lekin agar siz uning qanday ishlashini tushunmasangiz, uni noto'g'ri ishlatishingiz mumkin. 

Optimizlyni nima kuchli qiladi? Xususiyatlar majmuasida uchinchi tomon vositasida eng ma'lumotli va intuitiv statistika dvigateli yotadi, bu sizning natijalaringizni noto'g'ri talqin qilayotganingizdan xavotirlanmasdan, muhim testlarni to'g'ridan-to'g'ri o'tkazishga ko'proq e'tibor berishga imkon beradi. 

An'anaviy tibbiyot ko'r -ko'rona o'rganish kabi. A / B sinov tasodifan boshqasini ko'rsatadi Muolajalar har bir davolanishning samaradorligini solishtirish uchun saytingizni turli foydalanuvchilarga bering. 

Statistika bizga davolanishning uzoq muddatda qanchalik samarali bo'lishi haqida xulosa chiqarishga yordam beradi. 

A/B sinov vositalarining aksariyati statistik xulosaning ikki turidan biriga tayanadi: tez -tez yoki Bayes statistikasi. Har bir maktabning turli xil ijobiy va salbiy tomonlari bor - tez -tez uchraydigan statistika tajriba o'tkazilishidan oldin namunaviy o'lchamni aniqlashni talab qiladi va Bayes statistikasi, asosan, ta'sir qilish uchun biron bir raqamni ko'rsatmasdan, yaxshi yo'naltirilgan qarorlar qabul qilish haqida o'ylaydi. Optimizlyning super qudrati shundaki, u bugungi kunda bozorda yagona vositadir ikkala dunyoning eng yaxshisi yondashuv.

Yakuniy natija? Optimallashtirish foydalanuvchilarga tajribalarni tezroq, ishonchli va intuitiv tarzda bajarishga imkon beradi.

Bundan to'liq foydalanish uchun, sahna ortida nima bo'layotganini tushunish juda muhim. Mana sizga Optimizly imkoniyatlarini professional kabi ishlatishga yordam beradigan 5 ta tushuncha va strategiya.

1 -strategiya: Hamma o'lchovlar teng emasligini tushuning

Sinov vositalarining ko'pchiligida, odatda, e'tibordan chetda qoladigan muammo shundaki, siz testning bir qismi sifatida qancha metrikalarni qo'shsangiz va kuzatsangiz, tasodifiy tasodif tufayli noto'g'ri xulosalarni ko'rish ehtimoli shunchalik yuqori bo'ladi (statistikada bu "bir nechta test muammosi" deb nomlanadi). ”). O'z natijalarini ishonchli saqlash uchun Optimizly imkoni boricha past bo'lishini ta'minlash uchun bir qator nazorat va tuzatishlardan foydalanadi. 

Optimallashtirilgan testlarni o'rnatishga borganingizda, bu boshqaruv va tuzatishlar ikkita ta'sir ko'rsatadi. Birinchidan, siz o'zingiz belgilagan metrik Asosiy metrik statistik ahamiyatga ega bo'ladi, qolgan hamma narsa doimiy. Ikkinchidan, tajribaga qanchalik ko'p metrikalar qo'shsangiz, keyingi o'lchovlaringiz statistik ahamiyatga ega bo'ladi.

Tajribani rejalashtirganda, qaror qabul qilish jarayonida qaysi metrik sizning haqiqiy shimolingiz bo'lishini bilishingizga ishonch hosil qiling, buni asosiy metrikangizga aylantiring. Keyin, qolgan o'lchovlar ro'yxatini ortiqcha ushlab turing va ortiqcha yoki tangensial narsalarni olib tashlang.

2 -strategiya: O'zingizning shaxsiy atributlaringizni yarating

Optimizely sizga tajriba natijalarini segmentlashtirishning bir nechta qiziqarli va foydali usullarini taklif qilishda juda yaxshi. Masalan, siz ba'zi muolajalar ish stoliga qaraganda mobil qurilmalarga qaraganda yaxshiroq ishlashini tekshirishingiz yoki trafik manbalaridagi farqni kuzatishingiz mumkin. Sizning tajriba dasturingiz pishgan sari, siz tezda yangi segmentlarni xohlaysiz-bu sizning holatingizga xos bo'lishi mumkin, masalan, bir martalik obunani sotib olish segmentlari yoki "yangi va qaytuvchi mehmonlar" kabi umumiy. Ochig'ini aytganda, biz nima uchun bu qutidan tashqarida taqdim etilmaganini haligacha aniqlay olmaymiz).

Yaxshi xabar shundaki, Optimizly loyihasining Javascript sohasi orqali Optimizly bilan tanish bo'lgan muhandislar tashrif buyuruvchilarga tayinlanishi va segmentlarga bo'linishi mumkin bo'lgan har qanday qiziqarli odatiy atributlarni yaratishi mumkin. Cro Metrics -da biz barcha mijozlarimiz uchun Project Javascript orqali o'rnatadigan bir qancha modullarni ("yangi va tashrif buyuruvchilarga qarshi" kabi) qurdik. Ushbu qobiliyatdan foydalanish, ularni bajarishga yordam beradigan to'g'ri texnik resurslarga ega bo'lgan etuk jamoalar va eksperimentning to'liq imkoniyatlarini ro'yobga chiqarish uchun kurashayotgan jamoalar o'rtasidagi asosiy farqlovchi hisoblanadi.

3 -strategiya: Optimizly statistik tezlatgichini o'rganing

Sinov vositalarining tez-tez yozib turadigan xususiyatlaridan biri bu "ko'p qo'lli banditlar" dan foydalanish qobiliyatidir, bu tajriba davomida sizning trafikingiz ajratilgan joy dinamik o'zgarib turadigan "ko'p qurolli qaroqchilar" dan foydalanish imkoniyatidir. iloji boricha xilma -xillik. Ko'p qurolli qaroqchilar bilan bog'liq muammo shundaki, ularning natijalari uzoq muddatli ishlashning ishonchli ko'rsatkichlari emas, shuning uchun bunday tajribalardan foydalanish holati savdo-sotiqni rag'batlantirish kabi vaqtga bog'liq bo'lgan holatlar bilan cheklangan.

Optimallashtirilgan bo'lsa -da, yuqori darajadagi foydalanuvchilar uchun banditlar algoritmining boshqa turi mavjud - Stats Accelerator (hozirda Bandits ichida "O'qishni tezlashtirish" varianti sifatida tanilgan). Ushbu sozlashda, trafikni eng yuqori ko'rsatkichga dinamik ravishda taqsimlashga urinishning o'rniga, Optimizly trafikni statistik ahamiyatga ega bo'lishi mumkin bo'lgan o'zgarishlarga dinamik ravishda taqsimlaydi. Shunday qilib, siz tezroq o'rganishingiz va an'anaviy A/B test natijalarining takrorlanishini saqlab qolishingiz mumkin.

4 -strategiya: Metrik nomlaringizga emojilar qo'shing

Bir qarashda, bu fikr, ehtimol, befoyda tuyuladi. Biroq, to'g'ri tajriba natijalarini o'qiyotganingizga ishonch hosil qilishning asosiy jihati tinglovchilaringiz savolni tushunishi mumkinligidan boshlanadi. 

Ba'zida biz urinishlarga qaramay, metrik nomlar chalkash bo'lishi mumkin (kuting - buyurtma qabul qilinganda yoki foydalanuvchi minnatdorchilik sahifasiga kirganda metrik yonadimi?) Yoki tajribada natijalarni yuqoriga va pastga siljitadigan juda ko'p o'lchovlar mavjud. sahifa umumiy kognitiv ortiqcha yuklashga olib keladi.

Ko'rsatkichlar nomiga emojilar qo'shilishi (maqsadlar, yashil belgilar, hatto katta pul sumkasi ham ishlashi mumkin) ancha skanerlanadigan sahifalarga olib kelishi mumkin. 

Bizga ishoning - natijalarni o'qish ancha osonlashadi.

5 -strategiya: Statistik ahamiyatlilik darajasini qayta ko'rib chiqing

Natijalar Optimizly eksperimenti yakuniga etganida aniq deb hisoblanadi statistik ahamiyatga ega. Statistik ahamiyatga ega bo'lish - bu qiyin matematik atama, lekin aslida sizning kuzatuvlaringiz tasodifiy tasodif emas, balki ikki populyatsiya o'rtasidagi haqiqiy farqning natijasi bo'lishi ehtimoli. 

Matematik kontseptsiya tufayli optimallashtirilgan statistik ahamiyatlilik darajasi "har doim haqiqiy" hisoblanadi ketma -ket sinov - bu, agar siz ularni tez o'qib chiqsangiz, har xil "ko'zdan kechirish" muammolariga moyil bo'lgan boshqa sinov asboblariga qaraganda ancha ishonchli qiladi.

Sizning test dasturingiz uchun qanday statistik ahamiyatga ega ekanligingizni hisobga olish kerak. Ilmiy hamjamiyatda 95% konventsiya bo'lsa -da, biz vaktsinalarni emas, balki veb -saytdagi o'zgarishlarni sinab ko'ramiz. Eksperimental dunyoda yana bir keng tarqalgan tanlov: 90%. Ammo siz tajribalarni tezroq o'tkazish va ko'proq g'oyalarni sinab ko'rish uchun biroz noaniqlikni qabul qilishga tayyormisiz? Siz 85% yoki hatto 80% statistik ahamiyatdan foydalana olasizmi? Xatar-mukofot balansiga qasddan qarab, vaqt o'tishi bilan eksponensial dividendlar to'lashi mumkin, shuning uchun buni yaxshilab o'ylab ko'ring.

Optimizly Intelligence Cloud haqida ko'proq o'qing

Bu beshta tezkor tamoyil va tushuncha Optimizly -dan foydalanishda yodda tutish uchun juda foydali bo'ladi. Har qanday asbobda bo'lgani kabi, bu sizning barcha pardalar sozlamalarini yaxshi tushunganingizga ishonch hosil qilish uchun kerak, shuning uchun siz ushbu vositadan samarali va samarali foydalanayotganingizga ishonch hosil qilishingiz mumkin. Bu tushunchalar yordamida siz kerakli vaqtda kerakli natijalarni olishingiz mumkin. 

Siz nima deb o'ylaysiz?

Ushbu sayt spamni kamaytirish uchun Akismet-dan foydalanadi. Fikringiz ma'lumotlarining qanday ishlashini bilib oling.