Site.pro
  • Svetainių konstruktorius
    • Svetainių konstruktorius
    • Kainos
    • Svetainių importas
    • Online parduotuvės
    • Įskiepiai
    • Kolaboravimas
    • Šablonai
    • Kalbos
    • Partnerių programa
    • Pavyzdžiai
    • AI svetainių konstruktorius
    • Dizaino studijoms
    • Mes kuriame jums
  • Domenai
  • El. paštas
  • Mokymasis
    • Pamokos
    • Tinklaraštis
    • DUK
    • Augimo įsilaužimas
    • Hostingams
    • Domeniškumas
    • Švietimui
  • Perpardavėjams
    • Kainos
    • „White Label“
    • Dalintis pajamomis
    • Skydeliai
    • Kaip tai veikia
    • Masinis importas
    • Partneriai
    • Perpardavimo pavyzdžiai
    • Rinkodaros medžiagos
    • Dokumentacija
    • Nemokamos svetainės
  • Svetainių konstruktorius
    • Svetainių konstruktoriusKiekvienas lengvai gali susikurti svetainę, nukreipimo puslapį ar el. parduotuvę.
    • KainosSite.pro Kainos: Šablonai 200+, Svetainės, Pagrindinės funkcijos, Online parduotuvės
    • Svetainių importasPerkelkite savo esamą svetainę iš bet kurios vietos į Site.pro svetainių konstruktorių
    • Online parduotuvėsPrekiaukite savo prekėmis bei paslaugomis bet kurioje jūsų svetainės vietoje
    • ĮskiepiaiFunkcijos ir įskiepiai pagal jūsų geografinį regioną
    • KolaboravimasKonstruktorius komandiniam darbui, Kurkite svetainę su komandos draugais vienu metu vienoje erdvėje
    • Šablonai
    • Kalbos
    • Partnerių programa
    • Pavyzdžiai
    • AI svetainių konstruktorius
    • Dizaino studijoms
    • Mes kuriame jums
  • Domenai
  • El. paštas
  • Mokymasis
    • PamokosVideo medžiaga pradedantiesiems
    • TinklaraštisWebsite Builder Lifehacks:Svetainių talpinimo (hostingo) patarimai. Web Design, Marketing
    • DUKPagalbos centras. Mokėjimo problemos. Pagrindinė instrukcija. Quick search.
    • Augimo įsilaužimasPadidinkite savo pardavimus. Strategy
    • HostingamsŠvietimas. Padidinkite svetainių kūrimo pardavimus
    • DomeniškumasDomeniškumas: Domenų skaičius, tenkantis 1000 gyventojų
    • ŠvietimuiNemokamas svetainių konstruktorius tiek fizinėms klasėms, tiek klasėms nuotoliu
  • Perpardavėjams„White Label“
    • KainosPradėkite perparduoti. Mokėkite tik už aktyvias svetaines. Nemokamos svetainės
    • „White Label“Populiariausias „White Label“ įrankis, idealiai tinkantis perpardavimui
    • Dalintis pajamomisSvetainių konstruktorius: Siūlykite nemokamą svetainių kūrimo priemonę ir uždirbkite 50% komisinių
    • SkydeliaiVienas produktas visoms platformoms. Parsisiųskite įskiepį savo hostingo panelei
    • Kaip tai veikiaDebesyje arba Jūsų vietiniame serveryje. Rekomendacinio pobūdžio reikalavimai serveriui
    • Rinkodaros medžiagosVideo. Maketai. Svetainės blokai. Rinkodaros medžiagos.
    • Masinis importas
    • Partneriai
    • Perpardavimo pavyzdžiai
    • Dokumentacija
    • Nemokamos svetainės
  • inputRegistruotis

    Registruotis

    (Pirkti domeną, Sukurti el. paštą)
    (Hostingo kompanijoms)
    Registruodamiesi sutinkate su mūsų Paslaugų teikimo sąlygomis
    Klientų skaičius: 1-100
    Klientų skaičius: 1-100
  • Prisijungti

    Prisijungti

    Naujas vartotojas? Kurti paskyrą
    Pamiršote slaptažodį?
  • $
  • Lietuvių

Statistinis reikšmingumas (Evanas Milleris)

„Statistical Significance (Evan Miller)“ anglų kalba

Nemokamas Growth Hacking kursas
Tinklaraštis: Growth Hacking
jo

00:24 Experiments, A/B testing and statistical proof
00:50 Sample size calculator. Baseline conversion rate and the minimum detectable effect
01:12 Example 1: generating a hypothesis about changing the title. Experiment
02:48 Statistics from the last period (20 000 visitors, 2 000 registration, C0 — 10%, C1 — 5%, 100 purchases)
03:16 How to use the calculator: relative vs absolute detectable effect
04:26 After the experiment: comparing data (more registrations, C1 and purchases decreased)
07:38 Example 2: generating a hypothesis about changing the title. Split testing
09:30 After split testing: comparing data (less registrations, C0 decreased, C1 and purchases increased)
10:05 The results of split testing: split testing is positive. Writing down the knowledge
12:30 Example 3: generating a hypothesis about decreasing the loading speed. Deterioration test
13:30 The importance of accuracy
14:25 After deterioration test: comparing data (registrations and purchases decreased, C0 decreased)
15:00 All attention on the metric that you measure. All other metrics only provide additional information
15:30 What is significant result
16:55 The results of deterioration test: deterioration test is positive
17:00 How many hypotheses on average prove to be positive?

Norint ką nors kontroliuoti, reikia gerų informacijos kanalų. Jūs taip pat turite suprasti, kiek informacijos jums reikia gauti, kad priimtumėte teisingą sprendimą. Versle negalite daryti spontaniškų pasirinkimų ar apsispręsti remdamiesi savo vidiniais jausmais. Verslas reikalauja analitinio ir duomenimis pagrįsto mąstymo, ryžtingo ir planuoto organizavimo bei rizikos ir tolesnių žingsnių numatymo.

Kas tas Evanas Milleris?

Tarkime, kad nusprendėme įgyvendinti pakeitimą, kad padidintume konkrečią metriką, ir jau sugalvojome kaip tai padaryti ir pavertėme planą hipoteze. Nepaisant to, prieš atlikdami bet kokius bandymus ar eksperimentus, turime nustatyti mėginio, su kuriuo turėsime atlikti testą, dydį. Ar turėtume apklausti 10 vartotojų, 100 vartotojų ar 1 000 000 vartotojų, kad suprastume pasekmes?
Evanas Milleris yra tas vaikinas, kuris mums padės. Jo sukurta imties dydžio skaičiuoklė yra ypač efektyvi dirbant su „Split“ testais. Pirmasis skaičiuoklės privalumas yra tas, kad dar prieš pradedant tikrinimo metodą jau turite informaciją apie imties dydį, kurį turite turėti, t. y. kiek žmonių turite apklausti ar testuoti, taip pat patikrinimo metodo trukmę, kad gautumėte statistiškai reikšmingą rezultatą.
Kartais skaičiuoklė gali būti laikoma įspėjimu apie tolesnio darbo netikslingumą. Pavyzdžiui, kad jūsų sprendimas būtų matematiškai pagrįstas, kad galėtumėte priimti sprendimą, jūsų imties dydis turėtų būti milijonai milijonų arba eksperimentas turėtų trukti 20 ar daugiau metų. Tiesą sakant, testų trukmė turėtų būti kuo trumpesnė, nes jei konkrečios hipotezės patikrinimas trunka 6 ir daugiau mėnesių, turite įtraukti visus komandos narius ir įdėti visas pastangas, praleidžiate daug laiko ir galų gale hipotezė nepasitvirtina, tada jūs tiesiog išleidote savo brangų laiką ir išteklius niekam. Visi sprendimai turi būti priimti laiku ir per trumpiausią įmanomą laiką.

11:38 Statistical Significance. Significance, Statistical power.
14:28 Statistical Significance — why it’s important

Ką testuoti?

Galite testuoti bet ką. Viską, kas gali turėti įtakos klientų elgesiui: mygtukų spalvos, paveikslėlių dydžiai, šriftai, fonas, žinutės tekstas, įvairių elementų padėtis, lygiavimas ir t. t. Tik nepamirškite, kad skirdami laiką ir pastangas ne tokiems jau svarbiems dalykams, kurie nesuteiks jokios vertės (arba, jei ir suteiks, tada ta vertė neturės didelės įtakos), prarandate galimybę gauti naudos ir naudingų žinių. Patartina tikrinti tik tas hipotezes, kuriomis tvirtai pasitikite.
Tarkime, kad turime svetainę ir norime atlikti testą su jos pavadinimu, nes dažniausiai tituliniame puslapyje yra pakankamai srauto, o puslapio pavadinimas tikrai turi įtakos registracijai. Sukuriame hipotezę: jei pakeisime pavadinimą į „Nemokamas svetainių konstruktorius“, padvigubinsime C0. Turėtume jį pakeisti, nes konkurentai dažniausiai naudoja šį pavadinimą. Šiuo metu mūsų C0 yra 10%, C1 yra 5%, lankytojų yra 20 000, iš jų 2 000 registracijų ir 100 pirkimų. Atminkite, kad mes stengiamės padidinti C0 ir ši metrika mums yra svarbi.
Informaciją pildome skaičiuoklėje. Pradinis konversijos koeficientas yra 10%, o kadangi norėtume padvigubinti C0, minimalus santykinis aptinkamas efektas yra 100%. Kad suprastume, ar nepatenkame į diapazoną, kiekvienam variantui reikia 157 žmonių, kad galėtume atlikti eksperimentą. Svetainėje apsilankė 2000 lankytojų. Eksperimentas parodė, kad registracijų skaičius šiek tiek išaugo. Tai reiškia, kad žmonės, pamatę pavadinimą „Nemokamas svetainių konstruktorius“, yra labiau linkę registruotis. Kita vertus, sumažėjo C1 ir pirkimai (atitinkamai 2,5 ir 6). Mūsų planas buvo toks, kad C0 pasieks 20%, bet pasiekėme tik 12%. Ar padidinome registracijų skaičių? Atsakymas yra „Ne“. Registracijų skaičius neužaugo. Eksperimentas parodė neigiamą rezultatą.
Atėjo laikas patikrinti kitą hipotezę. Mūsų komandos nariai pasakė, kad mums reikia greitesnės svetainės. Greitesnė svetainė suteiks mums daugiau vartotojų, kurie turi daugiau pinigų. Nepaisant to, labai sudėtinga padaryti svetainę greitesnę. Ką turėtume daryti? Testuojame, kas atsitiks, jei svetainę padarysime lėtesnę. Sukuriama hipotezė: Jei sumažinsime įkėlimo greitį nuo 1 sekundės iki 3 sekundžių, tai C0 nepasikeis, nes šiame regione visos svetainės yra lėtos.
Sumažinome pakrovimo greitį. Kokią bus įtaką? Palyginkime. Turėjome greitą svetainę ir lėtą svetainę. Beje, kai kalbame apie rezultatus, kurie nesikeis arba turės nežymų pokytį, reikia pagalvoti ir apie tikslumą. Jei minimalus aptinkamas poveikis yra 1%, tada imties dydis turėtų būti beveik 1.5M, o bandymo trukmė būtų 5 metai. Akivaizdu, kad niekas taip ilgai netestuos. Gal tada galime dirbti su mažėsniu tikslumu? Jei imtume 10% tikslumo, mums reikėtų 14 000 vartotojų. Skirtumas yra akivaizdus, tiesa?

Kokius rezultatus gavome? Sulaukėme pakankamai srauto, sulaukėme registracijų, sumažinus greitį buvo mažiau registracijų lėtesnėje svetainėje. C0 buvo 10%, o vėliau tapo 9,33%. Nežymiai pasikeitė ir pirkimų skaičius. Mūsų hipotezė buvo ta, kad jei sumažinsime pakrovimo greitį, niekas nepasikeis. Tapo akivaizdu, kad C0 sumažėjo nuo 10% iki 9,33% ir galime pradėti galvoti, kad turime mažesnę konversiją. Tiesą sakant – ne.
Kitas skaičiuoklės privalumas yra tai, kad ji taip pat rodo, kad konversijų rodikliai pilkojoje srityje nebus atskirti nuo pradinio lygio (mūsų atveju tai yra 9,9–10,1%). Būtume gavę reikšmingų rezultatų, jei būtume už 9-11 ribos. Gautas rezultatas – 9,33% – įrodo, kad niekas nepasikeis, t. y. gavome statistinį įrodymą, kad sumažinus krovimo greitį, nuo 1 iki 3 sekundžių, C0 nepasikeis. 10% tikslumu. Žinoma, visada galite turėti didesnį tikslumą, bet tada turėtumėte testuoti 5 metus. Taigi, mūsų hipotezė pasitvirtino.

Apibendrinant

Kiekvieną dieną priimame sprendimus, šimtus kartų per dieną. Arbata ar kava? Automobilis ar autobusas? Eiti ar pasilikti? Daryti ar praleisti? Žmonės dažniausiai sprendžia apie tokias paprastas kasdienes veiklas pagal savo nuotaiką, pageidavimus ar orą, tačiau kalbant apie verslumo pasaulį, pasikliauti intuicija ar savo nuotaika tikrai nėra išeitis. Jūsų mintys ar nuomonė yra niekas, duomenys ir informacija yra viskas. Todėl norint priimti sprendimus, kurie atneš teigiamų rezultatų ir verslas augtų bei klestėtų, būtina turėti statistiškai reikšmingų rezultatų ir įrodymų.

Ankstesnis
Growth Process
Growth Process
Sekantis
Unit-Economics
Unit-Economics
© Site.pro 2011. Svetainių konstruktorius. Jungtinės Valstijos.
Susisiekite su pardavimų skyriumiPaslaugų teikimo sąlygos