Egy weboldal fejlesztése, tesztelése vagy belső használata során fontos lehet bizonyos tartalmak elrejtése a Google és más keresők elől. Bár a webhelytulajdonosok többsége a láthatóság növelésére törekszik, a fejlesztői környezetek (staging oldalak), a bizalmas belső dokumentumok vagy a duplikált tartalmak kezelése megköveteli a keresőmotorok hozzáférésének korlátozását. A nem megfelelően konfigurált láthatóság komoly SEO-problémákhoz, például duplikált tartalmak miatti indexelési és rangsorolási problémákhoz vagy a félkész verziók indexeléséhez vezethet. A keresőmotor-letiltás folyamata több technikai szinten is megvalósítható, a tartalomkezelő rendszerek beépített funkcióitól kezdve a szerveroldali korlátozásokig. A megfelelő módszer kiválasztása és pontos alkalmazása biztosítja, hogy a publikus felületek zavartalanul működjenek, miközben a tesztkörnyezetek rejtve maradnak.
A térképezés és az indexelés közötti különbség
A Google és más keresők alapvetően két egymásra épülő, mégis teljesen eltérő folyamaton keresztül dolgozzák fel a weboldalakat. A sikeres letiltáshoz tudni kell a különbséget a feltérképezés (crawling) és az indexelés (indexing) között, mivel a technikai eszközök más-más fázisra hatnak.
A két folyamat közötti főbb eltérések a következők:
- Feltérképezés (Crawling): Ez az a technikai folyamat, amely során a keresőrobotok (például a Googlebot) szisztematikusan bejárják a weboldalakat, követik a linkeket, és letöltik az oldalak forráskódját. Ezt a folyamatot a weboldal gyökérkönyvtárában elhelyezett robots.txt fájl segítségével lehet szabályozni vagy korlátozni.
- Indexelés (Indexing): A feltérképezést követő fázis, amely során a keresőmotor elemzi a letöltött tartalom kódját, szövegét, majd elmenti azt a saját óriási adatbázisába (az indexbe). Az indexelt oldalak jelenhetnek meg a felhasználók keresési találatai között. Ezt a folyamatot a HTML-kódban elhelyezett noindex direktívával lehet megakadályozni.
Ha a robotok nem tudnak feltérképezni egy oldalt, az még nem garantálja, hogy az nem kerül be az indexbe, ha külső hivatkozások mutatnak rá. Ezért a két folyamat külön szabályozása kulcsfontosságú a pontos technikai beállításokhoz.
A keresőmotor letiltás beállítása WordPress rendszerben
A WordPress tartalomkezelő rendszer használata esetén a teljes weboldal elrejtése rendkívül egyszerűen, közvetlenül az adminisztrációs felületéről is megoldható. Ez a beépített funkció különösen hasznos a fejlesztési fázisban lévő, még nem publikus webhelyek esetében, amikor a teljes tartalom elrejtése a cél.
A beállítás a következő módon hajtható végre:
- Belépés a WordPress adminisztrációs felületére (általában a
/wp-adminelérési úton). - Navigálás a bal oldali menüsávban a Beállítások, majd azon belül az Olvasás menüpontra.
- Gördülés az oldal aljára a Keresőmotor láthatóság opcióhoz.
- A „Keresőmotorok indexelésének a letiltása ezen a honlapon” lehetőség bejelölése.
- Kattintás a Módosítások mentése gombra a beállítások véglegesítéséhez.
Ez a funkció egy globális noindex címkét helyez el a weboldal minden egyes aloldalának forráskódjában. Az élesítés pillanatában azonban ezt a jelölőnégyzetet feltétlenül ki kell venni. Ha ez a lépés elmarad, a keresőmotorok továbbra is figyelmen kívül hagyják az oldalt, ami a keresési forgalom teljes visszaesését eredményezi.
A noindex meta címke alkalmazása az aloldalak elrejtésére
Amikor nem a teljes weboldalt, hanem csak bizonyos specifikus aloldalakat – például köszönőoldalakat, belső bejelentkező felületeket vagy egyedi kampányok landoló oldalait – szükséges elrejteni, a HTML-kód fejlécében elhelyezett noindex meta címke jelenti a legmegbízhatóbb megoldást. Ez a direktíva közvetlenül az adott oldal forráskódjában közli a keresőmotorokkal, hogy az oldalt nem szabad az indexbe felvenni.
A letiltáshoz az alábbi kódot kell elhelyezni az érintett aloldal HTML-szerkezetének <head> és </head> szekciója közé:
<meta name="robots" content="noindex, nofollow">Ebben a kódban a noindex érték megtiltja az indexelést, miután a nofollow megakadályozza, hogy a keresőrobotok kövessék az oldalon található linkeket. Amennyiben a cél kifejezetten csak a Google robotjának a korlátozása, a robots név helyett a specifikus googlebot azonosító is használható:
<meta name="googlebot" content="noindex">Ezzel a módszerrel precízen, oldalanként szabályozható a láthatóság, miközben a webhely többi része továbbra is teljesen elérhető és indexelhető marad a keresők számára.
A robots.txt és a leggyakoribb hibák elkerülése
A robots.txt egy egyszerű szöveges fájl, amelyet a weboldal gyökérkönyvtárában kell elhelyezni (például domainnev.hu/robots.txt). Ez a fájl szolgál elsődleges kommunikációs csatornaként a keresőmotorok robotjai számára, jelezve nekik, hogy a weboldal mely részeit látogathatják meg, és melyeket kell elkerülniük. A robots.txt ugyanakkor nem tiltja le az indexelést, csupán a feltérképezési kapacitást (crawling) szabályozza.
A fájl felépítése egyszerű szabályokon alapul. Ha a teljes weboldalt le kell tiltani az összes keresőrobot elől, az alábbi szintaxist kell alkalmazni:
User-agent: *
Disallow: /Ha csak bizonyos mappákat vagy fájlokat kell kizárni a feltérképezésből – például az adminisztrációs felületeket vagy ideiglenes könyvtárakat –, a következő beállítások javasoltak:
User-agent: *
Disallow: /wp-admin/
Disallow: /temp/
Disallow: /private-file.pdfA robots.txt használata során elkövetett leggyakoribb és egyben legkritikusabb hiba a robots.txt-ben megadott kizárás és a HTML-kódban elhelyezett noindex címke egyidejű alkalmazása. Sokan úgy gondolják, hogy a kettős tiltás nagyobb biztonságot nyújt, ám a valóságban ez éppen az ellenkező hatást váltja ki.
Ha egy aloldal elérése a robots.txt fájlban a Disallow szabállyal le van tiltva, a Googlebot vagy más keresőrobot be sem léphet az adott oldalra. Mivel a robot nem tudja letölteni és átvizsgálni az oldal forráskódját, soha nem fogja észlelni a HTML-ben elhelyezett noindex címkét. Ha erre a letiltott oldalra külső webhelyekről linkek mutatnak, a Google a robots.txt tiltása ellenére is indexelheti az URL-t, és megjelenítheti azt a találati listán, igaz, tartalom és leírás nélkül.
A helyes eljárás az, hogy ha egy oldalt véglegesen el kell távolítani az indexből, engedélyezni kell a feltérképezését a robots.txt-ben, és kizárólag a HTML-kódba ágyazott noindex meta tagre kell bízni az indexelés megakadályozását.
A jelszavas védelem mint a legbiztosabb megoldás
Bár a robots.txt és a noindex meta címke rendkívül hasznos SEO-eszközök, ezek csupán kérések a keresőmotorok felé. A jóindulatú robotok (mint a Googlebot vagy a Bingbot) tiszteletben tartják ezeket a direktívákat, azonban a rosszindulatú botok, spammerek és automatizált szkennerek figyelmen kívül hagyhatják őket. Valóban bizalmas adatok, belső céges rendszerek vagy fejlesztői (staging) környezetek esetében ezek a módszerek nem nyújtanak valódi biztonságot.
A legbiztosabb és egyben megkerülhetetlen megoldás a szerveroldali jelszavas védelem, például a HTTP-hitelesítés (Basic Authentication) alkalmazása. Ezt leggyakrabban a .htaccess és .htpasswd fájlok konfigurálásával vagy a tárhelyszolgáltató adminisztrációs felületén keresztül lehet beállítani.
Amikor egy könyvtár vagy teljes webhely jelszavas védelem alatt áll, a szerver még a tartalom betöltése előtt egy felhasználónevet és jelszót kér a látogatótól. Mivel a keresőrobotok nem rendelkeznek ezekkel a hitelesítési adatokkal, a szerver azonnal megtagadja a hozzáférést (401 Unauthorized hibakóddal). Így a robotok garantáltan nem tudnak bejárni és indexelni a védett tartalmakat, miközben a fejlesztők és a jogosult felhasználók zavartalanul dolgozhatnak a felületen.
A megfelelő letiltási módszer kiválasztása a gyakorlatban
A különböző fejlesztési és üzemeltetési helyzetek eltérő technikai megközelítést igényelnek. A nem megfelelő eszköz használata vagy a módszerek helytelen kombinálása adatvédelmi incidensekhez vagy súlyos SEO-hibákhoz vezethet. Az alábbi strukturált összefoglaló segít gyorsan és pontosan meghatározni, hogy az adott cél eléréséhez melyik letiltási módszert érdemes alkalmazni.
| Felhasználási cél | Javasolt technikai módszer | Elsődleges előnye |
|---|---|---|
| Teljes WordPress weboldal elrejtése a fejlesztési fázis alatt | Beépített keresőmotor-láthatóság letiltása az admin felületen | Egyszerű, globális noindex beállítás néhány kattintással |
| Konkrét aloldalak kizárása (pl. köszönőoldalak, egyedi landolók) | noindex meta címke elhelyezése a HTML <head> szekciójában | A legmegbízhatóbb módja az indexelés megakadályozásának |
| Adminisztrációs mappák elkerülése | robots.txt fájl konfigurálása a megfelelő Disallow szabályokkal | Megtakarítja a feltérképezési keretet (crawl budget) |
| Médiafájlok, PDF-ek indexelésének biztos megakadályozása | Az HTTP-válaszfejlécben küldött X-Robots-Tag: noindex direktíva | Megbízhatóan megakadályozza a nem-HTML fájlok indexelését |
| Szigorúan bizalmas adatok, staging környezetek védelme | Szerveroldali jelszavas védelem (HTTP Basic Authentication) | 100%-os biztonság, teljesen elzárja a tartalmat a robotok elől |
