Hogyan működik és miért fontos a Google indexelés és feltérképezés?
Miért éppen a Google indexelés számít?
Felhasználóként élvezzük annak előnyeit, hogy a Google kényelmes válaszokat ad. Más keresőket is használhatunk, de a Google “lefedettségével” egyelőre egyik sem veszi fel a versenyt, éppen ezért a webhelyek beállításait, mint folyamatot elsősorban a Google keresőre optimalizáljuk. Miközben vizsgáljuk a kereső működését - mit, hogyan és miért csinál -, a folyamatainak megértésével manipulálni tudjuk azt, hogy mit mutatunk meg neki.
Ha a Google nem térképezi fel és indexeli webhelyet, akkor webhely soha nem fog megjelenni a keresési találatok között. Nem, hogy az első, de a huszadik oldalon sem. Kulcsfontosságú tehát, hogy a webhely feltérképezése, indexelése és megjelenítése megtörténjen. A Google indexelés kiemelkedően fontos összetevője a keresőoptimalizálásnak a weboldal rangsorolása szempontjából, ám az indexálást megelőzi az úgynevezett feltérképezés.
Mennyi ideig tart, amíg a Google indexeli a tartalmat?
Vélemény
Pelle Szabolcs
SEO Szakértő - Shoprenter
Nagyon változó, néhány naptól, akár több hétig is tarthat. Azt tapasztaljuk, hogy nagyobb forgalmú webáruházak esetében gyorsabb az indexelés, de egy átlagos vagy kisebb webshopnál is maximum 1-2 hét alatt azért meg szokta találni a Google az új oldalakat.
Martincsek Zsolt
SEO Szakértő - Martincsek Zsolt
2021-től az indexelés valami ok miatt lelassult a Google részéről. Nem minden oldalt érint, viszont globális, több helyről lehet hallani erről. Olyan oldalakon is, amelyek régebb óta működnek, jól rangsorolnak, mégis az újabb tartalmakat nagyon lassan indexeli be a Google és jelennek meg a találati oldalakon. Több hét vagy hónap is lehet, mire indexbe kerülnek.
A Search Console-ban az indexelés kérelem sem segít. Saját tapasztalatom nekem is van erről, több hétig nem akartak megjelenni olyan blog cikkek különböző oldalakon, amelyek egyedi tartalmúak, jók felépítettek voltak, ezt bizonyította az is, hogy indexelés után, rövid időn belül elől rangsoroltak már. Nekem mindkét oldal esetén és pár ügyfélnél az API alapú indexelés beállítás segített. WordPress oldalaknál az Instant Indexing for Google WordPress bővítményt állítottam be, ezután a Google API beállítást is el kell végezni, majd utána a pluginban be lehet küldeni indexelésre az oldalt. A több hétig nem indexelt cikkeket és más oldalakat néhány órán belül a Google indexelte is.
Nem tudom azt mondani, hogy ez minden esetben segíthet, saját tapasztalataim viszont pozitívak. Valamint nem minden oldalt/domain érint ez a lassú indexelés. Vannak oldalak, ahol nincs gond ezzel, pár órán belül, pár nap után indexeli a Google... Viszont teljesen új oldalaknál már webfejlesztőktől is hallottam azt, hogy az ügyfél türelmetlenül kérdezi, hogy a több hete/hónapja kész weboldalt a Google miért nem jeleníti/indexeli. És ez valószínűleg nem a webfejlesztő hibája miatt van.
Mi az a feltérképezés?
A keresőalgoritmusok, vagy amit a SEO világában keresőbotoknak hívnak, automatizált programok, amelyek az oldalak tartalmát és szerkezetét vizsgálják speciális szempontok alapján..
Hogy a feltérképezést a botok a leghatékonyabban és legeredményesebben tudjanak elvégezni, kódokat alkalmazunk. A kódok illesztéséhez szerencsére már nem kell a forráskódot értelmezni és a programnyelven “beszélni”. A motorok előregyártott – kódolt – sablonokkal, modulokkal segítik a webhelyek megjelenítését.
Ettől függetlenül az egyes beállításokat magunknak kell elvégezni:
- Webhelytérkép készítése: a webhely oldalainak teljes listáját tartalmazza, és elsősorban a robotokat tájékoztatja arról, hogy mit kell feltérképezni.
- Séma hozzáadása: egy „útvonalterv” a robotok számára az oldal hatékony feltérképezéséhez.
- Le is tilthatjuk a kereséshez nem szükséges tartalmat a robots.txt fájlban.
- Webhely sebessége: ha egy oldal túl lassan töltődik be, a robot elhagyja, mielőtt a teljes oldalt feltérképezné. Ezt például a vizuális tartalmak optimalizálásával – méret, felbontás, fájlkiterjesztés beállítása – akadályozhatjuk meg. Szintén gyorsíthatjuk a feltérképezést azzal, ha a vizuális tartalmakat a sortörés után illesztjük, nem pedig fölé, valamint egynél több videófájlt nem ágyazunk az oldalba, maximum külső linkkel hivatkozunk rá. (A robotok csak a legelső beágyazott videót indexelik, a többivel teljesen feleslegesen dolgoztunk, csak lassítják az feltérképezés és az indexálás folyamatát.) A webhely sebességének optimalizálása főként a tavalyi Core Web Vitals frissítéssel vált kardinális szemponttá.
- Meta modul: nemcsak a feltérképezés, de a Google indexelés szempontjából is kihagyhatatlan a technikai keresőoptimalizálás, valamint minden feltérképezhető tartalom meta moduljának engedélyezése a sablonban – egyedi fejlesztésű oldalaknál rendszeresen kimarad, sajnos - és kitöltése. A meta modul és a meta szövegek hiányában még az értékes tartalmak és oldalak sem kapják meg a jó rangsorolást.
- Tartalmi optimalizálás: minden oldalon beállítjuk a tartalmi SEO elemeket. Ezek hiányában szintén hátrébb csúszik a keresőben az indexelt oldal.
- A html kódolt szöveges tartalmak segítenek a botoknak abban, hogy a Google digitális kontinuumában el tudják helyezni az oldalunkat és annak minden hozzáférhető szegmensét, tartalmát.
- A html kódolással itt sem kell bajlódni, a legtöbb motor szerkesztő felülete sablonok formájában lehetőséget ad a kódok megadására, melyek a forráskódban módosítják az adott oldal, szöveg megjelenését, és tájékoztatják a botokat az adott panel vagy szövegrész funkciójáról, legyen az kép, címsor, videó vagy egyéb beágyazott tartalom – például hírlevél-feliratkozás modul, beépülő modul, például legördülő lista, stb...
- Például, nem kell forráskód nézetben beírni a címsorok elé a kódot, elég, ha vizuális nézetben kijelöljük a címsort és hozzáadjuk a headline szövegen belül betöltött rangsorának megfelelő attribútumot, ami a szerkesztőfelület paneljéről elérhető egyetlen kattintással.
- Technikai optimalizálás: az SEO audit során felmerülő egyedi és rendszerszintű technikai hibák manuális felszámolása.
Mikor és hogyan kell alkalmazni canonical tag-et?
Vélemény
Pelle Szabolcs
SEO Szakértő - Shoprenter
A Google nem szereti a duplikációkat, így érdemes canonical taget használni minden olyan esetben, amikor két aloldalunk tartalmában csak minimálisan tér el egymástól. Webáruházak esetében ez jellemzően a termékváltozatoknál jelenik meg, amikor például egy adott cipőből több szín is elérhető. Ilyenkor érdemes egy fő terméket kiválasztanunk és a termékvariációknál canonical taggel jelölni, hogy melyik terméket szeretnénk indexeltetni.
Verdes János
Online marketing és SEO szakértő - SEO Zseni
Mindenki más és más stratégiát választ. Arra találták ki, amikor egy oldalnak több verziója is létezik, jelölük meg az elsődlegeset. Például egy termék adatlapja, amikor több szín és méret közül választhat a felhasználó - ami az URL-ben paramétereződik. A leggyakrabban a termék paraméterek szűkítésénél használjuk a kanonikus címkét.
Google indexelés
A Google keresőindex olyan adatbázis, amely több milliárd feltérképezett és rendszerezett tartalmat tárol. Egyfajta virtuális könyvtárba rendezi a tartalmakat. Amikor a felhasználó beír egy lekérdezést, a Google ebben a könyvtárban keres, hogy megtalálja a felhasználó számára legrelevánsabb és legmegfelelőbb oldalakat. Amikor a robotok megtalálnak egy weboldalt, megjelenítik a tartalmát.
Hogyan érhetjük el, hogy a Google indexálja az oldalunkat?
Amikor létrehozunk egy új felületet, el kell érnünk, hogy a könyvtárba bekerüljön, azaz a Google az adatbázisában indexálja az adott webhelyet.
Ezt többféle módon is elérhetjük:
- Elküldjük a webhelytérképet – sitemap – a Google Search Console-ba.
- Az oldalakat küldjük el indexelésre a Google Search Console-ba: ezzel tájékoztatjuk a keresőt arról, hogy az adott oldal tartalma frissült.
- Blogot hozunk létre a webhelyünkön, amit rendszeres időközönként új tartalmakkal gazdagítunk. Azok a webhelyek, melyek blogfelülettel is rendelkeznek, jobban indexelhetők.
- A Google nagyon szereti a friss tartalmakat, ha jóban szeretnénk lenni vele, érdemes “őt” elkényeztetni… de túletetni nem érdemes.
Az indexelés célja végsősoron, hogy a felhasználó szándékaihoz viszonyított keresés és a találatok megjelenítése összhangban legyenek egymással.
Mi az a feltérképezési költségkeret?
Vélemény
Sipos Csaba
SEO szakértő - O.V.GO
A feltérképezési keret, azaz a crawl budget határozza meg, hogy egy adott weboldalon meddig „mászik” például egy Google feltérképező robot, mennyi aloldalt térképez fel egy adott látogatás alatt.
Nagy Béla
SEO szakértő - SEO101
Ez a kérdés nem teljesen érthető, mivel egy adott site feltérképezéséért effektív a Google-nak nem kell fizetni, az a munkamennyiség, amit bele kell tenni, az az, hogy segítjük a folyamatot:
- helyes sitemap elkészítése, ha kell akkor egyedileg, kézzel készített sitemap-ban kell gondolkodni, ennek az árazása változó lehet.
- linképítés, ami szintén hozzájárul a weboldal indexeléséhez.
A mi tevékenységi körünkben leginkább utóbbi a hangsúlyos.
Hogyan küldhető a webhely indexelésre?
Beküldhetjük a frissített webhelytérképet a Google Search Console-ban, vagy a webhelytérkép URL-jét a Google „ping” szolgáltatásával. Mindkét lehetőség teljesen ingyenes, és csak egy másodpercet vesz igénybe. Mindkettő igényli a webhelytérkép URL-címét, ennek megtalálása vagy létrehozása a webhely platformjától függ, a hivatkozást automatikusan generálja a motor. Ha nem használunk platformot, magunknak kell létrehozni egy webhelytérképet.
A Google indexelés nélkül
Mind találkoztunk már azzal a jelenséggel, amikor egy adott webhelyen nem működött a szabadszavas kereső. Nem vagy nem csak arra adott találatokat, amit kerestünk, hanem minden mást is megjelenített, még akkor is, ha annak még nagyon távoli asszociációval sem volt semmi köze az eredeti szándékunkhoz.
Indexelés nélkül a Google is pont így működne.
Indexelési hibák – miért nem indexeli a Google az oldalt?
A Google nem indexeli az összes talált oldalt. Ahogy egy jó könyvtáros, úgy a kereső is igyekszik egy értékes könyvtárat összeállítani, elkerülni az értéktelen és/vagy nem releváns tartalmakat. (Ebben azzal segíthetünk neki, hogy visszavonjuk egy-egy oldal, aloldal láthatóságát.)
Az indexálásra vitathatatlanul a legjobb módszer a webhelytérkép Google Search Console-ba történő beküldése, mert:
- A Google Search Console folyamatosan figyelmeztet a webhelytérkép hibáira,
- Betekintést nyújt a aktuális webhely állapotába, beleértve azt is, hogy bizonyos oldalak miért nem indexelhetők.
A Google Search Console hasznos információkat nyújt azokról a konkrét problémákról is, amely megakadályozzák egy adott oldal indexelését, például:
- Nincs, vagy nem érvényes a robots.txt
- Nem lehet feltérképezni: az oldalak ki vannak zárva az indexelésből a lefedettség jelentésben szereplő feltérképezési blokkok miatt.
- Letiltottuk a feltérképezést: a robots.txt egy szöveges fájl, amely közli a Google-lal, hogy mely URL-eket térképezheti fel és melyeket nem. A Google néha akkor is indexeli az URL-eket, ha nem tudja feltérképezni, de ez ritkán fordul elő. A feltérképezés letiltása azt is megakadályozza, hogy a Google információhoz jusson a kérdéses oldalról, így valószínűleg akkor sem lesz rangsorolva, ha indexelve van.
- Feltérképezhető, de nem indexelhető: nem egyedi, túl rövid, nem értékes vagy félrevezető a tartalom, az adott tartalom duplikátum – az oldalon vagy egy másik oldalon teljesen azonos tartalmat azonosítanak a botok. (Ha kizártuk az indexelést akadályozó technikai problémákat, érdemes feltenni a kérdést, hogy valóban értékes-e az oldal.)
- Átirányítási hibák: mivel nagyon gyakori hibák, külön fejezetet szentelünk nekik.
- A webhely mélységében meghaladja a navigációt és az átláthatóságot (Túl sok az aloldal aloldalának az aloldala.)
- Orphan page: elhagyott oldalak, a webhelytérképhez nem illeszkedő oldalak.
- Noindexre helyeztünk fontos és értékes oldalakat.
Egy javaslat:
Ha a Google még nem térképezte fel webhelyet, vagy a jövőben szeretnénk kiemelt figyelmet fordítani a hamis „noindex” címkékre, regisztráljunk az Ahrefs Webmaster Tools (AWT) szolgáltatásra, és futtassun egy ingyenes webhely-feltérképezést a Site Audit segítségével. Ez több mint 100 gyakori SEO-problémát keres a szkennelt webhelyen, beleértve a noindexelt oldalakat is.
Hogyan kössük vissza az orphan page státuszban lévő oldalakat a webhelytérképre?
Vélemény
Nagy Béla
SEO szakértő - SEO101
Ezek elméletiben nem kellene létezzenek, érdemes noindexet alkalmazni.
Mi az, hogy noindexre helyeztünk egy oldalt, és miért szükséges alkalmazni ezt az attribútumot, mi az a hamis noindex címke?
A tartalmakból kizárjuk a robotokat, ha nonindexre helyezünk egy oldalt, azaz többé nem kerül indexelésre, a robotokat kizártuk, egy idő után a meglévő indexből is eltűnik. Ezt elegánsabb megoldásként parancssorral tesszük meg, amit a httacces-be írunk, de léteznek erre bővítmények, amelyek jól kezelik a noindex címkét, ilyen a WordPress alatt a Yoast például.
Webáruházak esetében a dinamikus URL-eket érdemes noindexre helyezni, vagyis azokat a generált URL-eket, amelyeknek a tartalma oldalon belüli lekérdezés függvényében változik. A hamis noindex címke azt – úgyis fogalmazhatnánk, hogy – böngésző hiba, vannak böngészők, amelyek nem kezelik jól a Google robotjainak írt címkéket.
Tevékenységünk alatt megtörtént már, hogy egy fejlesztés alatt lévő oldalról élesítés után elfelejtették eltávolítani a noindex címkét, így az oldal feltérképezetlen maradt.
Verdes János
Online marketing és SEO szakértő - SEO Zseni
Egy tipp: nincs árva oldal, ha mondjuk készítünk egy oldaltérkép linket, ami az összes cikk linkjét tartalmazza. Mivel ez az oldal akár több ezer linket is tartalmazhat, érdemes 1000 elemenként gyűjtő oldalra tenni, majd az oldaltérkép oldalon a gyűjtő oldalak linkjeit listázni. Így kétszintűvé válik az oldaltérkép, ami jó: a kezdőlapról indulva maximum 2 kattintással minden cikk fix linken keresztül elérhető.
A Google indexelés kerékkötői: az átirányítási hibák
Az átirányítási hiba egy technikai keresőoptimalizálási probléma, amely elsősorban a 3xx és a 4xx átirányításokhoz kapcsolódik.
Általánosságban elmondható, hogy az átirányítási hiba nem magától jelenik meg.
Előfordulhat, hogy egy beépülő modul frissítésekor keletkezik, de a leggyakoribb megjelenési formája, hogy a https protokollra történő átálláskor történik meg, vagy amikor ideiglenes átirányítást alkalmazunk… és úgy felejtjük.
A Google fejlesztői oldala négy példát sorol fel a Google Search Console által jelentett átirányítási hibákra:
- Az átirányítási lánc túl hosszú: amikor az első átirányítást követően újabb és újabb átirányítások egész sora követi egymást. Ez gyakran előfordul olyan régebbi webhelyekkel, amelyek a régebbi közzétételi technológiát saját URL-ekkel frissítik szabványosabb URL-ekkel rendelkező újabb és újabb webes közzétételi technológiákra.
Hogyan szüntethetők meg az átirányítási hibák?
Vélemény
Pelle Szabolcs
SEO Szakértő - Shoprenter
Ha találunk olyan oldalt, ahol rossz helyre mutat egy átirányítás, akkor a 301 átirányításainknál kell azt kezelnünk. Egyszerűen csak szerkesszük az adott átirányítást és az új URL mezőben adjuk meg azt amire szeretnénk, hogy mostantól mutasson a régi oldal. Ez Wordpressben és Shoprenterben is egyszerűen megoldott.
Verdes János
Online marketing és SEO szakértő - SEO Zseni
Gyakori probléma, főleg webáruház motor csere esetén. A megoldás mindig a pontos adattárolás. Szükség van egy táblára, ami két egyszerű oszlopot tartalmaz: régi_url és új_url. Amikor érkezik a szerverre egy lekérdezés, előbb vagy utóbb át kell futni ezt a táblát. Ha egyezést talált a régi_url bejegyzések között, meg kell szakítani a program futását és 301-es átirányítással át kell küldeni a forgalmat az új_url bejegyzésben tároltakra.
Ez egyszerű, ha megvan a webcím lista. Ha nincs, akkor nagyobb a gond. Google Search Console-ból is ki lehet szedni bizonyos mértékben a hibásan indexelt, például 404-re futott oldalakat. Ennél biztosabb és profibb, ha például PHP nyelven írt CMS-be (bizonyos esetben bekapcsoljuk az Output Buffering-et és) adatbázisba naplózzuk az adott oldalhoz tartozó webcímet és a HTTP státuszkódot (headers_sent függvény). A bejegyzések alapján pedig létre lehet hozni egy régi->új táblát, kézzel.
- Átirányítási hurok: az átirányítás visszaküld az eredeti linkre, lényegében végtelen hurkot képez.
- Átirányítás meghaladja az URL maximális hosszát: ez a hiba a Google saját Chrome böngészőjéből származik, ami 2MB-ban maximalizálja a hivatkozások hosszát. Az ajánlás biztonsági és teljesítménybeli okokból történik.
- Hibás vagy üres URL az átirányítási láncban.
Mi az, hogy noindexre helyeztünk egy oldalt, és miért szükséges alkalmazni ezt az attribútumot, mi az a hamis noindex címke?
Vélemény
Sipos Csaba
SEO szakértő - O.V.GO
A noindex – és ha ez jól van használva –, akkor azt a Google értelmezi, megérti, hogy ezt az adott tartalmat, amit noindexre helyeztünk, azt neki nem kell letárolnia a Google indexben. A noindex attribútumot akkor szoktuk használni egy adott tartalmon, ha azt szeretnénk, hogy ezt a tartalmat a Google ne tárolja le.
Általában ezek a gyenge minőségű, tartalom nélküli, kevés tartalommal rendelkező belső oldalaink. A Google az indexben letárolt tartalmak alapján (is) határozza meg, hogy a weboldalunk milyen minőségű. Ezért célszerű, ha ezeket a gyengébb minőségű, nem a keresőbe való tartalmakat nem engedjük letárolásra.
Hamis jelzést akkor szoktunk kapni, ha valamilyen technikai beállítások „összeakadnak”, például egy noindex-el megjelölt tartalmat indexelésre küldünk.
Martincsek Zsolt
SEO Szakértő - Martincsek Zsolt
A noindex címke beállítása esetén a keresőmotoroknak egy határozott jelzést adunk arra, hogy az adott oldalt nem szeretnék, ha a keresők oldalain megjelenne. Ha egy indexelt oldalra beállítunk egy noindex címkét, akkor az nem fog eltűnni rögtön a Google találati oldalain, elsőnek a Googlebotoknak ismét fel kell térképezniük az adott oldalt és érzékelve a noindex címkét, kiszedi az oldalt. Noindex címkét lehet alkalmazni nyugodtan több aloldal esetén is, ha például duplikáltak vagy nem tartalmaznak egyedi, releváns tartalmat vagy nem szeretnénk, hogy a Google-ben megjelenjen az adott oldal.
Azzal nincs gond, sőt érdemes arra törekedni, hogy olyan oldalak legyenek indexelve, amelyek egyediek, értékesek, tehát nem kell arra mindenképp törekedni, hogy minden létező URL címet indexeljen a Google.
Gyakori eset az, hogy WordPress oldalaknál ha a bejegyzéseknél címkéket hozunk létre, akkor minden új címkével egy új indexelhető URL cím is létrejön, vagy webshopoknál kategóriacímkék stb... ezek legtöbb esetben olyan oldalak lesznek, amelyek duplikáltak, nem fognak semmire sem rangsorolni és sokszor van olyan is, hogy egy weboldal indexelt URL címei közül a legtöbb ilyen címke, más értéktelen oldal... Természetesen elsőnek nézzük meg Search Console-ban vagy Analyticsben, hogy nincs-e véletlenül látható direkt organikus forgalom az oldalra, amit noindexre állítanánk, nehogy véletlenül mégis olyan oldalt vegyünk ki a találati oldalakról, amely rangsorolt valamire. De ha nem találunk semmilyen direkt organikus forgalmat, akkor ezeket az oldalakat nyugodtan noindexre állíthatjuk. De én például egy weboldal ÁSZF, adatkezelési tájékoztató, cookie szabályzat aloldalait is noindexre szoktam állítani.
Összegzés
A Google négy fő lépésben találja meg és indexeli a tartalmat.
- Felfedezés: A Google tudomást szerez az oldal létezéséről. Erre a webhelytérkép beküldése mellett az egyik legjobb marketing és egyúttal bevételt is termelő metódus a SEO linképítés. A kiajánlott cikkekben elhelyezett és a saját weboldalunkra mutató, úgynevezett backlinkek révén egyrészt tudatjuk a keresővel, hogy létezünk, másrészt releváns forgalmat – érdeklődőket és potenciális vásárlókat - irányítunk a saját termék- és szolgáltatás oldalainkra.
- Feltérképezés: A feltérképezés során egy Googlebot nevű számítógépes program felkeresi és letölti a webhelyünk oldalait (már, amelyiket látni engedjük neki).
- Folyamat: A feldolgozás során a kulcsfontosságú információkat kinyerjük a feltérképezett oldalakról, és előkészítjük az indexelésre.
- Indexelés: A Google indexelés során a feltérképezett oldalak feldolgozott információi hozzáadódnak egy nagy adatbázishoz, az úgynevezett keresési indexhez. Ez lényegében több billió weboldal digitális katalógusa és egyben könyvtára, amelyről a Google keresési eredményeket gyűjt, és azokat a felhasználói oldal számára - az általa alkalmazott keresőkifejezéseket kulcsszóként azonosítva - találatként biztosít.
Mint az a fentiekből következik, bár maga a feltérképezés és indexelés automatikus, a feladatunk nem áll meg ott, hogy létrehozzuk az oldalt és beküldjük a webhelytérképet a Google Seach Console-nak. A tartalmi és technikai keresőoptimalizálás segítségével, az értékes, célzottan a kiemelt kulcsszavakra írt egyedi tartalmak előállításával, és azzal, hogy folyamatosan figyeljük, követjük az új SEO trendeket és az algoritmus frissítéseket – egyre jobb és jobb helyet, rangsort tudunk biztosítani a webhelyünknek.
