Hogyan hozzunk létre szabályokat kezdők konfigurálható és vizsgálat, seo saját kezűleg
Miért van szükség egy robots.txt, és hol kell a fájlt - ugyanaz a fontos kérdéseket, mint a helyesírást. Kezdjük azzal, hogy mi az.
A robots.txt fájl tartalmaz egy listát utasítások kereső robotok, amelyek lehetővé teszik, de gyakrabban - nem tilthatják pók kilátás egyéni dokumentumok a helyszínen vagy a teljes szakaszok. Például, ne nézze a lapokat az archívumban, vagy print a dokumentumokat.
Helyes robots.txt tinktúra lehetővé teszi:
- A közelben indexelése bizalmas dokumentumokat a helyszínen;
- Megoldani a problémát a másolatok, amely őket a spidering keresőmotorok.
Ha a robots.txt hiányzik, a keresőmotor pókok fogja tekinteni minden oldalon a dokumentumot.
Hogyan robots.txt fájl lehet az oldalon?
A fájl neve legyen kisbetűvel (robots.txt nem Robots.txt vagy robots.txt)
Szabályok robots.txt fájl beállításainak
A fájl áll a különleges csapatok keresők - irányelvek tartják őket részletesebben:
User-agent: Yandex (fő robot Yandex)
User-agent: Googlebot (fő robot Google)
User-agent: (név bármely más robot PS)
User-agent: * (értsd: az összes többi robotok)
Szükséges, hogy szigorúan tartsa be a szabályokat írásban irányelveket. Nevezetesen, mielőtt minden irányelv User-agent legyen egy üres karakterlánc, és az összes többi kapcsolatos irányelvek a készüléket - menj utána (az adott irányelvben kell előírni nagybetűvel egy új sor, a legfeljebb egy szabály). Tartalmi irányelvek (mi megy keresztül egy hely után „:” írják kisbetűvel, kivéve a nevét a robotok).
Tiltása irányelv megelőzésére használják robotokat indexelni a fájlokat.
Disallow: / cgi-bin / (nem teszik lehetővé, hogy index minden, ami a cgi-bin mappa)
Tiltása: * .php (tiltja index, amely az összes .php fájlok)
Disallow: / (tiltja index minden fájl)
Hagyjuk irányelv lehetővé teszi, hogy index fájlokat. Meg kell tenni, mielőtt az irányelv tiltása.
Host irányelv használják Yandex robot, jelezve az elsődleges tükör oldalon. Nagyon fontos tudni, hogy a fogadó irányelv előírja az url Nem fogsz elősegítése. Azaz, ha van előmozdítása a webhely nélkül www, akkor a fogadó irányelv szükséges előírni nélkül www.
User-agent: Yandex
Host: adblogger.ru
Crawl-delay irányelv van szükség annak érdekében, hogy állítsa be a robot a minimális szünet az injekciót a két dokumentum az oldalról. Erre azért van szükség, ha a helyén van, hogy lassú szerver, amely képes „esik” miatt gyakori kezelése a kereső robot. Az idő kijelzése másodpercben.
A robot fog tenni egy 2 másodperc szünet közötti feltöltést két dokumentumot. Yandex robot támogatja frakcionált paraméter értéke (0,5 2,5 stb) Azonban nem minden keresők kövesse ezt az utasítást. Crawl-delay irányelvet úgy kell elhelyezni, miután az irányelvek engedélyezése és tiltása
Speciális karakterek használata * és $ robots.txt fájlban
Amikor megadja a tartalmát az irányelvek engedélyezése és tiltása akkor speciális karakterek * és $. Speciális karakter * helyettesít bármilyen karaktersor, és speciális szimbólum $ végét jelzi az url (vagyis ez semmi kell érteni).
Mégis, tudomásul vesszük, hogy a honlapok felírható a különböző motorok (CMS). Ezért írásakor robots.txt kellene több figyelmet kell fordítani, és olvassa el a funkciók a CMS az, hogy megfelelően zárja az oldalt, hogy indexelt dokumentumokra.
Záró veszi és a „szemét” a robots.txt fájl
A legtöbb webhely, akkor van értelme, hogy lezárja: