Példák fájl létrehozása
robots.txt fájl - ez egy teljesen átlagos kiterjesztésű fájl .txt, amely lehet létrehozni egy hagyományos notebook Windows-t. Ez a fájl tartalmazza utasításokat indexelés a keresőmotorok. Helyezzük ezt a fájlt a gyökérkönyvtárban a tárhely.
Amikor közeledik a helyszínen robot először fordulnak a robots.txt fájlt annak érdekében, hogy utasításokat a további intézkedés, és megtudja, milyen fájlokat és könyvtárakat tilos indexelés. A robots.txt fájl egy ajánlást a keresőmotorok. Nem lehet azt mondani, hogy teljesen az összes fájl amelyek ki vannak téve a tiltás indexálás nem lesznek indexelve a végén.
Tekintsük az egyszerű példája a robots.txt fájlt. Ez a fájl tartalmazza az alábbi sorokat:
Az első sor azt jelzi, hogy milyen keresési robotok járnak utasításokat. Ebben a példában egy csillag - ez azt jelenti, hogy az utasítások minden webes robotok. Ha szükséges, a bejelentés utasításokat adott web crawler, szükséges regisztrálni a nevét. A második és harmadik sor tiltják könyvtár indexelő «wp-admin» és a «kép».
Lánctalpas Yandex is előírják helyi fogadó könyvtár határozza meg az elsődleges tükör site:
Példák az írás robots.txt fájlt az adott feladatok
1. Ne ments robotokkal keresők index webhely:
2. betiltani az egész site az indexelés minden keresők:
3. Megtiltják az egész oldalt, hogy indexelt keresés robot (pl googlebot):
4. Ne ments indexálás csak egy robot (pl googlebot) és blokkolja az összes többi indexelő robotjai:
5. Megtiltják az indexelést minden keresők összes fájlt a könyvtárakban:
7. Megtiltják az indexelést minden keresők fájlok:
Az alapvető szabályok az írás robots.txt
Írásakor robots.txt fájl gyakran hibáznak. Elkerülni őket, nézzük meg az alapvető szabályok:
Ui Ready robots.txt fájl WordPress lehet letölteni. kattintson a linkre.