Hogyan lehet a robotok
Üdvözlet minden olvasó seversantana.ru blog. Hogyan hozzunk létre egy robots.txt, mi ez, és mi az? Próbáljuk, hogy tisztázza a helyzetet.
robots.txt - lefordított szöveges fájlt a kereső robotokat. Úgy is beállíthatja a paramétereket oldalon indexelés. Ezek a paraméterek előírt összes robot egyszerre, és mindegyik kereső egyénileg.
Kereső robotjai ( „pókháló”) egy speciális program része egy kereső tervezett szkennelés weboldalakat, és az információk megadásával ezeken az oldalakon a kereső adatbázisban. Szerint továbbá a kereső senki sem tudja, az algoritmus meghatározza a jelentősége a kapott információkat, és tárolja azt (vagy sem), az index meghatározására rangsorban.
Amellett, hogy a különböző „web pókok” az interneten, és még séta roboty- „harkályok” rendszeresen „megcsapolt” indexelt oldalak ellenőrzi azok rendelkezésre állnak. De mindez „fenevad”, és ez egy szöveges fájl robots.txt.
Cél robots.txt meg a keresőmotor pókok, hogy mely oldalakat index és az adatok, és melyek nem. Ezt úgy tehetjük meg azt elkészítésének irányelvek (utasítások). Álláskereső robot érkezik a helyszínre kezd letölteni a robots.txt.
A viselkedés keresőrobotok nem robots.txt? Ennek hiányában, vagy nem a megfelelő helyen, amikor a robot egyszerűen nem találják meg, beolvassa az egész oldalon korlátozás nélkül.
Amellett, hogy a robots.txt tilalmat indexelés végezhetjük segítségével jelszavas védelme fájlokat a kiszolgálón, vagy használja a meta tag-ek irányelveivel indexelés.
Jó vagy rossz? Nos, hadd feltérképezni és indexelni mindent. Mi a különbség a robots.txt-e vagy sem? Kezdjük azzal, hogy pótolja a robots.txt irányelvek és hozzon létre még az első alkalom az életében, nem olyan időigényes dolog. Miért adnánk az indexelő szolgáltatás fájlokat vagy önként létrehozni a belső ismétlődések?
Összeállítás a robots.txt fájlban keresők egy teljes útmutató a cselekvésre. Ez csak egy ajánlás. Minden attól függ, hogy mi a robot ment a helyszínre, és hogyan kell beállítani a keresési algoritmusok. Egyes robotok középpontjában nem látja a gátlások. És még „olvasni” szóló irányelv teljes tilalma indexelési helyén nem ül a seggén, mint egy robot a képen csatlakoztatva a cikket. És csak hogy és az index az a tény, hogy szükségük van.
De mivel mi érdekli elsősorban a kiadását a Google és Yandex számára ezek a keresők az első helyen a mi robots.txt.Kak azt már említettük, akkor létrehozhat egy robots.txt univerzális minden a keresők, és hozzá lehet rendelni az egyes irányelvek (utasítások) kifejezetten különleges robotokat.
Létrehozása és összeállítása robots.txt
A következő ablak jelenik meg, amelyben meg kell választani egy helyet a számítógépen, ahová akarjuk menteni a fájlt. Például az asztalon. És regiszterek a sorban „Fájlnév» - robots.txt. És kattintson a „Mentés” gombra. Minden, robots.txt fájl jön létre. Eddig azonban a tartalom nélküli. Most az elkészítéséhez iránymutatások keresőmotorok.
Előállításához használt robots.txt irányelvek
Példaként alkotunk a legegyszerűbb robots.txt a világ két módon. A teljes tilalom az indexelés az egész oldal, és a felbontás irányelv indexelése az egész sort.
A teljes tilalom indexelése az egész oldalon