Web Analytics Wednesday (WAW) je neformální setkání lidí kolem webové analytiky a optimalizace. V USA a západní Evropě se koná pravidelně již několik roků.
-
Jak přesný je Ecommerce v Google Analytics?
Posted on Květen 28th, 2009 6 commentsObčas lze zaslechnout nářky, že tzv. Goals nebo Ecommerce reporty v Google Analytics nedávají přesná data. Uváděná odchylka od interních systémů, jak jsem zaznamenal v různých rozhovorech, se v jedné firmě pohybuje kolem 30%, ale v jiné firmě třeba také 1000%!
Obojí se mi zdá příliš, udělal jsem si proto malé srovnání čísel o počtu prodaných pojistek v Direct Pojišťovně za náhodně vybrané období 30 dnů z těchto zdrojů:
- interní provozní systém
- Google Analytics
- Omniture SiteCatalyst
Výsledkem je graf denních odchylek čísel z web analytics od provozního systému. Průměrná měsíční odchylka u Omniture je +2,2%, u Google Analytics je to +7,9%.
Z grafu je patrné, že odchylky spolu korelují. Omniture je ale “někdy nad, někdy pod”, pokud bych tedy tyto odchylky bral jako absolutní hodnoty, jsou oba nástroje na srovnatelné úrovni co se týče průměrné měsíční odchylky.
Odchylku do 10-20% jsem nikdy nepovažoval u web analytics reportů za žádný problém. Absolutní přesnost totiž není cílem web analytics, důležitá je konzistence naměřených a reportovaných dat (zvídavé analytiky odkazuji na diskuzi “accuracy vs. precision“). Problém ovšem nastává, když tato odchylka odradí firmy úplně od měření ecommerce v rámci web analytics s tím argumentem, že ty čísla (a přesná čísla) “máme v našem systému”.
Reportování vs. optimalizace
Uvedený problém spočívá v tom, že daná firma zmenšuje možnosti web analytics a uchyluje se pouze k reportování kvantitativních čísel o provozu na webu: kolik lidí tam bylo, kolik si toho objednali a za kolik. Tato čísla ovšem neposkytují vůbec žádné informace, jak tato čísla zlepšit, tj. ideálně přivést na web víc lidí, kteří si toho víc objednají a za víc peněz.
Jednoduše řečeno, reportování nevytváří žádnou příležitost pro optimalizaci. Propojení čísel o prodejích, byť s mírnou odchylkou od těch “správných” reportů, na média/kampaně a chování návštěvníků na webu v rámci web analytics naopak dává prostor pro hloubkové analýzy, které umožnují formulovat kvalifikované hypotézy a na základě těchto hypotéz postupně optimalizovat zejména výkonové metriky, tj. prodej v závislosti na výdajích do médií.
Je to samozřejmě celé proces “test & learn”, jenže pouze s reporty v zádech by se tento proces stal zdlouhavým a bolestným střílením naslepo doprovázeným zvyšující se netrpělivostí managementu firmy.
Potenciální problémy v implementaci web analytics
Ecommerce v Google Analytics tedy určitě ano, a povinně všichni - ne kvůli reportování, ale kvůli optimalizaci! Ale co dělat v momentě, kdy odchylka čísel o prodeji se pohybuje v řádu 30% a více. Tady je nutné začíst si klást otázky, zda jsou čísla z web analytics ještě konzistentní:
- Je možné, že některá kampaň/landing page nemá měřící kód?
- Je možné, že určitý chybový stav prodejní aplikace vyřadí z provozu měřící bod web analytics?
- Je možné, že určitá kombinace produktů v nákupním košíku vede k nestandardnímu (např. vícenásobnému) volání měřícího bodu?
V takovém případě nezbývá než provést audit implementace web analytics v závislosti na prostředí konkrétní aplikace (CMS, e-shop). Pokud máte problémy s odchylkami v denních reportech, nezapomeňte zkontrolovat nastavení časového pásma pro reporting interního systému a web analytics. Rozdílné pásmo bude příčinou přesunu transakcí na přelomu dne.
Anketa: Jak přesný je váš Ecommerce report v Google Analytics?
Loading ...Jaké jsou vaše zkušenosti s Ecommerce v Google Analytics? Zápasíte s přesností reportovaných čísel? Nebo se bojíte svěřit Googlu data o prodejích?
Jiří Brázda
twitter.com/jiribrazda6 responses to “Jak přesný je Ecommerce v Google Analytics?”
-
Článek popisuje přesně to, s čím bojujeme a vzhledem k těm % tuším, že jde konkrétně o náš případ… Jen doplním, že GA máme nastaveno i nasazeno správně, máme provedený audit od odborníka (jednoho z dnešních přednášejících), takže zde problém nebude. Rozdíly v měření GA a našeho systému jsou opravdu různorodé - někdy systém výrazně nadměřuje, jindy podměřuje, jednou se lišíme o jednotky %, jindy zase o desítky %, či stovky %… Konzultujeme to sice ještě s Dublinem, nicméně vždy jsme došli k tomu, že rozdíly způsobuje rozdílná metodika měření. Náš systém měří pomocí cookies, kam zaznamenává ID kampaně.
-
Jiří Brázda Květen 29th, 2009 v 10:42
Hana Hutlová: Děkuji za komentář. Právě včera vyšel článek na téma přesnosti Google Analytics na jejich oficiálním blogu (http://analytics.blogspot.com/2009/05/top-ten-myths-about-google-analytics.html). Cituji:
Google Analytics uses JavaScript tags to collect data. This industry-standard method yields reliable trends and a high degree of precision, but it’s not perfect. Most of the time, if you are noticing data discrepancies greater than 10%, it’s due to an installation issue. Common problems include JavaScript errors, redirects, untagged pages and slow client-side load times.
Včera na konferenci byla řeč o tom, že je dobré se shodnout na definici metriky a ověřit hodnoty, které reportuje web analytics z dalších zdrojů. Google Analytics měří pomocí JavaScriptu, tzn. že nezměří uživatele s vypnutým JavaScriptem. Sofistikovanější web analytics nástroje dokáží sbírat data více způsoby a dosahují tím vyšší přesnosti (např. JavaScript v kombinaci s obrázkem).
V případě nižších čísel web analytics může být další problém v umístění měřících skriptů. Většinou se umísťují na konec stránky. Na potvrzovací stránce s dokončenou objednávkou bych ale doporučil umístění měřících skriptů hned za otvíracím <body>. V momentě načtení potvrzovací stránky v browseru klienta má server (interní systém) již údaje o objednávce v záznamech a pokud by se z nějakého důvodu potvrzovací stránka nenačetla celá (pomalé načítání, klient ztrácí trpělivost a odchází), začíná docházet k diskrepanci.
Dá se určitě najít celá řada dalších možných příčin, ale to bude velmi individuální.
-
Ahoj Jirko,
to, že spolu odchylky v obou dvou nástrojích korelují, mě poměrně překvapuje. Ukazuje to, že principiální důvod odchylek je pro oba dva systémy společný. Neboli jinými slovy řečeno, tento důvod by měl být vystopovatelný a pojmenovatelný. A následně možná i částečně eliminovatelný - ať už ošetřením samotné příčiny, či statistickým přepočítáním výstupních čísel.
Čím si to Ty vysvětluješ? Co je podle Tebe ten společný principiální důvod odchylek?
Podle mne by v tomto směru mohlo daleko více napovědět, pokud bys graf ještě doplnil i o vývoj absolutní návštěvnosti a absolutního počtu konverzí. Možná by se totiž třeba ukázalo, že pro některé jejich úrovně či kombinace jsou odchylky malé, zatímco pro jiné velké. Nebo že takový předpoklad platí jen pro určité návštěvnické segmenty, které tyto odchylky způsobují. A tak podobně…
-
Jiří Brázda Červen 1st, 2009 v 14:29
Honzo, dobrý postřeh, souhlasím, že příčina odchylek je společná, nicméně definitivní závěry k dispozici nemám. Jak jsem zdůrazňoval v článku, ani my nepoužíváme GA Ecommerce k primárnímu reportingu (nějaká odchylka tam bude vždycky!), ale především k optimalizaci výdajů do médií a konverzní schopnosti webu. Apriori pak předpokládáme, že daná odchylka je konzistentní (tj. postihuje rovnoměrně nebo náhodně všechny segmenty návštěvníků a scénáře jejich chování). K tomu jen dodám, že chystám nový článek na téma optimalizace výdajů do médií z pohledu výkonového marketingu, který ukáže, jak to lze dělat ještě lépe než v GA
Co se týče dalšího pátrání po příčině odchylek, naznačuješ určitě správný směr, nicméně absolutní čísla bohužel zveřejnit nemůžu. Můžu jen potvrdit to, co je už zřejmé, a totiž že odchylka 4 z 10 a odchylka 80 ze 200 jsou dvě diametrálně odlišné situace, přestože z grafu relativních odchylek v článku to vyčíst nelze.
Na WAWu snad budu méně tajemný
-
Jan Penkala Červen 6th, 2009 v 12:58
Zdravím,
no já bojuji s dvěma problémy - první, že se mi do GA nepřenesou všechny transakce, ale jen cca 95-98% z celkového počtu.
A pak druhý ten, který zmiňuje Hana Hutlová. Ty rozdíly ve výsledkách oproti vnitřnímu měřícímu systému jsou občas obrovské. Nepřišel jsem na nic lepšího, než je průměrovat ale zároveň si je jednotlivě hlídat, jak moc se liší. GA obvykle ukazuje více. Vysvětluji si to tím, že původní zdroj návštěvníka sleduje GA delší dobu než vnitřní měřící systém (40 dní) a přirazuje je spíše reklamním zdrojům, odkud lidi prvotně přišli a ne přímým vstupům na stránky nebo jiné formě, přes které uskuteční druhý a další nákup.
To se mi ale stává jen u shopů, kde GA Ecommerce nebyl nasazen od začátku a které fungují dlouho. Tam kde byl nasazen na začátku a zároveň stáří toho shopu jsou měsíce, tak tam odchylka je “jen” tak do 10-20%.
“Nebo se bojíte svěřit Googlu data o prodejích?” - s tímto jsem se zatím setkal u jediného klienta, který to odmítnul. Většina to klientů to neřeší. Už jsou nějaké případy nebo náznaky, že by Google mohl data zneužít???
Díky, JP
-
Honzo (Tichý), z vlastní zkušenosti můžu říct, že i korelující odchylky či podobné problémy nemusí být způsobené stejným problémem. Klidně jen mohou vytvářet tu iluzi a je vždycky důležité to zhodnotit individuálně.
Omniture nemusí změřit objednávku z jiného důvodu než Google Analytics. Kolikrát ten problém s rozdílem objednávek změřených webem může být způsobený i tím, že se objednávka odešle, ale “thank-you-page” se nenačte ;-).
Dokonce může být i problém v nějakém znaku, který způsobí rozpad ecommerce kódu Google Analytics.
A nezapomeňte, že JavaScriptové měřicí nástroje se navzájem ovlivňují. Minimálně v tom, že pokud první způsobí chybu JavaScriptu, tak ten druhý se nespustí vůbec. I proto mohou odchylky korelovat :-/.
Prostě těch příčin jde najít hodně :-).
Sponzor webu
Fotky z minulých akcí
Hana Hutlová Květen 29th, 2009 v 01:04