3.11. Statistinis reikšmingumas (Evanas Milleris)

Norint ką nors kontroliuoti, reikia gerų informacijos kanalų. Jūs taip pat turite suprasti, kiek informacijos jums reikia gauti, kad priimtumėte teisingą sprendimą. Versle negalite daryti spontaniškų pasirinkimų ar apsispręsti remdamiesi savo vidiniais jausmais. Verslas reikalauja analitinio ir duomenimis pagrįsto mąstymo, ryžtingo ir planuoto organizavimo bei rizikos ir tolesnių žingsnių numatymo.

Kas tas Evanas Milleris?

Tarkime, kad nusprendėme įgyvendinti pakeitimą, kad padidintume konkrečią metriką, ir jau sugalvojome kaip tai padaryti ir pavertėme planą hipoteze. Nepaisant to, prieš atlikdami bet kokius bandymus ar eksperimentus, turime nustatyti mėginio, su kuriuo turėsime atlikti testą, dydį. Ar turėtume apklausti 10 vartotojų, 100 vartotojų ar 1 000 000 vartotojų, kad suprastume pasekmes?

Evanas Milleris yra tas vaikinas, kuris mums padės. Jo sukurta imties dydžio skaičiuoklė yra ypač efektyvi dirbant su „Split“ testais. Pirmasis skaičiuoklės privalumas yra tas, kad dar prieš pradedant tikrinimo metodą jau turite informaciją apie imties dydį, kurį turite turėti, t. y. kiek žmonių turite apklausti ar testuoti, taip pat patikrinimo metodo trukmę, kad gautumėte statistiškai reikšmingą rezultatą.

Kartais skaičiuoklė gali būti laikoma įspėjimu apie tolesnio darbo netikslingumą. Pavyzdžiui, kad jūsų sprendimas būtų matematiškai pagrįstas, kad galėtumėte priimti sprendimą, jūsų imties dydis turėtų būti milijonai milijonų arba eksperimentas turėtų trukti 20 ar daugiau metų. Tiesą sakant, testų trukmė turėtų būti kuo trumpesnė, nes jei konkrečios hipotezės patikrinimas trunka 6 ir daugiau mėnesių, turite įtraukti visus komandos narius ir įdėti visas pastangas, praleidžiate daug laiko ir galų gale hipotezė nepasitvirtina, tada jūs tiesiog išleidote savo brangų laiką ir išteklius niekam. Visi sprendimai turi būti priimti laiku ir per trumpiausią įmanomą laiką.

Ką testuoti?

Galite testuoti bet ką. Viską, kas gali turėti įtakos klientų elgesiui: mygtukų spalvos, paveikslėlių dydžiai, šriftai, fonas, žinutės tekstas, įvairių elementų padėtis, lygiavimas ir t. t. Tik nepamirškite, kad skirdami laiką ir pastangas ne tokiems jau svarbiems dalykams, kurie nesuteiks jokios vertės (arba, jei ir suteiks, tada ta vertė neturės didelės įtakos), prarandate galimybę gauti naudos ir naudingų žinių. Patartina tikrinti tik tas hipotezes, kuriomis tvirtai pasitikite.

Tarkime, kad turime svetainę ir norime atlikti testą su jos pavadinimu, nes dažniausiai tituliniame puslapyje yra pakankamai srauto, o puslapio pavadinimas tikrai turi įtakos registracijai. Sukuriame hipotezę: jei pakeisime pavadinimą į „Nemokamas svetainių konstruktorius“, padvigubinsime C0. Turėtume jį pakeisti, nes konkurentai dažniausiai naudoja šį pavadinimą. Šiuo metu mūsų C0 yra 10%, C1 yra 5%, lankytojų yra 20 000, iš jų 2 000 registracijų ir 100 pirkimų. Atminkite, kad mes stengiamės padidinti C0 ir ši metrika mums yra svarbi.

Informaciją pildome skaičiuoklėje. Pradinis konversijos koeficientas yra 10%, o kadangi norėtume padvigubinti C0, minimalus santykinis aptinkamas efektas yra 100%. Kad suprastume, ar nepatenkame į diapazoną, kiekvienam variantui reikia 157 žmonių, kad galėtume atlikti eksperimentą. Svetainėje apsilankė 2000 lankytojų. Eksperimentas parodė, kad registracijų skaičius šiek tiek išaugo. Tai reiškia, kad žmonės, pamatę pavadinimą „Nemokamas svetainių konstruktorius“, yra labiau linkę registruotis. Kita vertus, sumažėjo C1 ir pirkimai (atitinkamai 2,5 ir 6). Mūsų planas buvo toks, kad C0 pasieks 20%, bet pasiekėme tik 12%. Ar padidinome registracijų skaičių? Atsakymas yra „Ne“. Registracijų skaičius neužaugo. Eksperimentas parodė neigiamą rezultatą.

Atėjo laikas patikrinti kitą hipotezę. Mūsų komandos nariai pasakė, kad mums reikia greitesnės svetainės. Greitesnė svetainė suteiks mums daugiau vartotojų, kurie turi daugiau pinigų. Nepaisant to, labai sudėtinga padaryti svetainę greitesnę. Ką turėtume daryti? Testuojame, kas atsitiks, jei svetainę padarysime lėtesnę. Sukuriama hipotezė: Jei sumažinsime įkėlimo greitį nuo 1 sekundės iki 3 sekundžių, tai C0 nepasikeis, nes šiame regione visos svetainės yra lėtos.

Sumažinome pakrovimo greitį. Kokią bus įtaką? Palyginkime. Turėjome greitą svetainę ir lėtą svetainę. Beje, kai kalbame apie rezultatus, kurie nesikeis arba turės nežymų pokytį, reikia pagalvoti ir apie tikslumą. Jei minimalus aptinkamas poveikis yra 1%, tada imties dydis turėtų būti beveik 1.5M, o bandymo trukmė būtų 5 metai. Akivaizdu, kad niekas taip ilgai netestuos. Gal tada galime dirbti su mažėsniu tikslumu? Jei imtume 10% tikslumo, mums reikėtų 14 000 vartotojų. Skirtumas yra akivaizdus, tiesa?

Kokius rezultatus gavome? Sulaukėme pakankamai srauto, sulaukėme registracijų, sumažinus greitį buvo mažiau registracijų lėtesnėje svetainėje. C0 buvo 10%, o vėliau tapo 9,33%. Nežymiai pasikeitė ir pirkimų skaičius. Mūsų hipotezė buvo ta, kad jei sumažinsime pakrovimo greitį, niekas nepasikeis. Tapo akivaizdu, kad C0 sumažėjo nuo 10% iki 9,33% ir galime pradėti galvoti, kad turime mažesnę konversiją. Tiesą sakant – ne.

Kitas skaičiuoklės privalumas yra tai, kad ji taip pat rodo, kad konversijų rodikliai pilkojoje srityje nebus atskirti nuo pradinio lygio (mūsų atveju tai yra 9,9–10,1%). Būtume gavę reikšmingų rezultatų, jei būtume už 9-11 ribos. Gautas rezultatas – 9,33% – įrodo, kad niekas nepasikeis, t. y. gavome statistinį įrodymą, kad sumažinus krovimo greitį, nuo 1 iki 3 sekundžių, C0 nepasikeis. 10% tikslumu. Žinoma, visada galite turėti didesnį tikslumą, bet tada turėtumėte testuoti 5 metus. Taigi, mūsų hipotezė pasitvirtino.

Apibendrinant

Kiekvieną dieną priimame sprendimus, šimtus kartų per dieną. Arbata ar kava? Automobilis ar autobusas? Eiti ar pasilikti? Daryti ar praleisti? Žmonės dažniausiai sprendžia apie tokias paprastas kasdienes veiklas pagal savo nuotaiką, pageidavimus ar orą, tačiau kalbant apie verslumo pasaulį, pasikliauti intuicija ar savo nuotaika tikrai nėra išeitis. Jūsų mintys ar nuomonė yra niekas, duomenys ir informacija yra viskas. Todėl norint priimti sprendimus, kurie atneš teigiamų rezultatų ir verslas augtų bei klestėtų, būtina turėti statistiškai reikšmingų rezultatų ir įrodymų.