Co je indexace stránek
Indexace webových stránek je proces, při kterém dochází k tomu, že vás navštíví (ro)bot vyhledávačů, snaží se projít veškerý obsah a ten si k sobě uložit do databáze (zaindexovat). Pokud vyhledáváte “něco” pomocí vyhledávače, nevrací vám odpověď tím stylem, že začne hledat na celém internetu. Vyhledávač se podívá k sobě do databáze a z ní vám nabídne relevantní výsledky na váš dotaz – tudíž stránky z výsledku vyhledávání musí mít u sebe zaindexované. Pokud je vyhledávač nemá uložené v databázi, tak je jasné, že je nezobrazí. Databázi tedy můžete brát za jakousi knihovnu webových stránek, ze které si najde vyhledávač nejlepší odpověď na hledaný dotaz. Proto je důležité se u každého projektu zaměřit na indexaci webu ve vyhledávačích.
Špatná indexace webových stránek
Jak už to bývá, u webových stránek je možné, že vyhledávače neví o všech stránkách, které si přejete zobrazovat ve výsledcích vyhledávání. Pak můžete přicházet o návštěvníky a nemusíte pokrývat segment, který je pro vás businessově přínosný. Představte si například, že nemusíte mít v indexu vyhledávačů vaší hlavní stránku, kategorii v e-shopu, články z blogu apod. A pokud je vyhledávač nemá uložené v databázi, pak je nemůže zobrazit ve výsledcích vyhledávání.
U mnoha webových stránek se běžně používá neindexace stránek – stránky nechcete zobrazovat ve výsledcích vyhledávání. Může se například jednat o děkovné stránky, košík u e-shopu, uživatelské sekce a mnoho dalšího.
Někdy si však přejete stránku indexovat, URL stránky posíláte vyhledávačům, aby vám jej crawlovací robot ohodnotil. Můžete ji mít např. v sitemapě či ji dokonce ručně posíláte k indexaci – “Přidej stránku” na Seznamu a “Submit URL” na Google. Stává se však, že vyhledávač se může rozhodnout, že ji i přesto nebude indexovat. Pak je důležité zjistit, jaký by mohl být důvod, proč ji vyhledávač nechce zobrazovat a co mu brání v indexování.
Analýza indexace webových stránek
Způsobů jak si zkontrolovat stav indexovaných stránek je hodně. Podívejte se na základní kroky, podle kterých postupuji.
Kontrola indexace stránek pomocí operátoru site
Snažil jsem se obecně sepsat návod, jak si můžete i vy zkontrolovat stav indexace vašich webových stránek. Jelikož tento dotaz mi byl pokládán docela často, vytvořil jsem na něj odpověď v SEO poradně, kde můžete nalézt i další tipy z oblasti SEO. Jde především o to, že si porovnáte počet URL adres, které chcete zobrazovat ve výsledcích vyhledávání, s počtem vrácených stránek pomocí operátoru site.
Kontrola indexace stránek pomocí sitemapy a Marketing Mineru
Jestliže máte vytvořenou sitemapu s URL adresami, které si přejete zobrazovat ve výsledcích vyhledávání, pak můžeme konkrétně zjistit, jaké stránky se indexují a případně i ty, které se nezobrazují ve vyhledávání. Nejdříve, než se pustíme do kontroly zobrazení stránek, podívejte se, zda vaše sitemapa opravdu obsahuje pouze URL adresy, které chcete posílat do výsledků vyhledávání.
Pro samotnou analýzu posílaných stránek skrze sitemapu používám Marketing Miner, který obsahuje užitečnou funkci Fulltext Index Checker.
- Přejděte na stránky Marketing Miner a přihlašte se
- Zvolte, že chcete vytvořit “Nový report”
- Na otázku, jaký dotaz chcete vložit, zvolte “URL”
- Zvolte “Sitemap / RSS” a zadejte URL adresu sitemapy, report si můžete přejmenovat a zvolte “Přejít na minery”
- V rámci minerů si vyberte Fulltext Index Checker
TIP: Můžete také vybrat URL Indexability – zjistíte tak, jaké URL jsou indexovatelné, případně které se kanonizují nebo jsou zakázané v robots.txt
Marketing Miner vám na výstupu zobrazí, jaké URL adresy jsou indexované a jaké nikoliv. Podle mě jde o nejrychlejší a nejjednodušší možnou cestu, jak si můžete vytvořit kvalitní analýzu na indexaci stránek.
Kontrola indexace stránek například pomocí Google Analytics nebo Google Data Studio
Indexování stránek lze obecně, ale ne přesně určit i skrze vstupní stránky – z organického vyhledávání. Můžete si vyfiltrovat vstupní stránky přímo v analytickém nástroji Google Analytics nebo si můžete vytvořit vlastni přehled pomocí Google Data Studio. Stačí si stáhnout přehledy za určité období a porovnat je s posílanými URL adresami v sitemapě.
Pokud na vstupních stránkách z vyhledávačů proběhla návštěvnost, pak se logicky zobrazují ve výsledcích vyhledávání. A pokud je návštěvnost nulová, pak stoji za to prověřit, proč tomu tak je.
Proč se stránky nemusí zobrazovat ve vyhledávání?
Důvodů, proč se webové stránky nezobrazují ve výsledcích vyhledávání, může být více. Někdy může být příčina hned na první pohled viditelná, někdy se však musíte na problematiku špatně se indexujících stránek více a do hloubky zaměřit.
- Zkontrolujte, zda se na stránce nevyskytuje meta tag s parametrem “noindex” – slouží k zákazu indexace stránky.
- Zkontrolujte, zda stránka není blokovaná skrze robots.txt (i přes robots.txt lze zakázat indexaci stránek, nicméně tento soubor by neměl sloužit k tomuto účelu).
- Zkontrolujte, zda má stránka jednoduchou a pro vyhledávače nijak bránící v indexaci URL adresu (hashtagy v URL, parametrické URL adresy)
- Je stránka interně prolinkována a vede na ní fungující odkaz?
- Nevyskytují se na cílové URL adrese přesměrování? Případně není jich mnoho?
- Je stránka uvedena v sitemapě?
- Není stránka duplicitní k již vytvořené stránce na vašem webu? Má vyhledávač důvod k tomu, aby ji také zobrazoval ve výsledcích vyhledávání?
- Kvalita stránky nebo penalizace (viz. níže)
TIP: Podpořte stránku tím, že ji prolinkujete pomocí zpětných odkazů.
Důvodů může být daleko více, nicméně toto jsou nejčastější příčiny, se kterými se setkávám.
Užitečnost stránky – je stránka pro uživatele přínosná?
Pokud se stránka neindexuje, i když má všechny předpoklady proto, aby se indexovala, pak je další možností zkontrolovat obsah stránky. Kromě toho, aby nebyl duplicitní s jinou stránkou, se podívejte, zda je obsah stránky užitečný pro uživatele. Pokud ano, pak zkontrolujte, zda odkazujete na relevantní webové stránky (odchozí odkazy), zda nemáte na stránce mnoho generovaných textů, nezobrazujete vyhledávačům jiný obsah než uživatelům a další možné nedostatky, které by mohly vadit vyhledávačům.
Jednou jsem se i setkal s tím, že webové stránky používaly hodnocení článků, avšak toto hodnocení bylo generované – tudíž nebylo přidáno samotným uživatelem. Na Google pak web dostal penalizaci na tyto stránky a přestal je tak zobrazovat.
Penalizace
Nejhorší případ, který se může stát, je penalizace. O případné manuální penalizaci se můžete dozvědět přímo v Google Search Console, přímo pak v sekci “Ruční zásahy”.
Může se také stát, že máte na svých stránkách obsažen malware. Ten pak podobně můžete dohledat v GSC v sekci “Bezpečnostní problémy”.
Jak rychle zaindexovat nově vytvořené stránky
Pokud chcete rychle indexovat obsah vašich webových stránek, pak existují postupy, jak indexaci urychlit. Pokud vytvoříte stránku, kterou chcete zobrazovat ve výsledcích vyhledávání, pak:
- pošlete stránku ručně k indexaci
- mějte stránku v sitemapě, kterou posíláte skrze služby
V Google Webmaster Tools (Google Search Console) navíc můžete použít další funkci – Fetch as Google (Načíst jako Google). Skrze nástroj požádáte o vykreslení webové stránky a pokud není nalezen problém, pak můžete rovnou požádat o indexování stránky. Můžete tak například zjistit, jaké zdroje nemohl Googlebot stáhnout.
Závěrem
Důvodů, proč se stránka nemusí správně indexovat, může být několik. Dělejte však stránky především pro uživatele a nikoliv pro vyhledávače. Pak si teprve dejte pozor na další technické předpoklady, které vyhledávače očekávají a nebudete jim tak dělat problémy. Pokud se rozhodnete někde využít parametr noindex, pak provedené změny raději zkontrolujte. Není nic horšího než si deindexovat stránky a pak přicházet o návštěvnost.
