Zárolására vagy törlésére webhely egy fájlt
A robots.txt fájl csak akkor van szükség, ha a webhely olyan tartalmat, hogy a keresőmotorok ne index. Ha a keresők kell index az egész oldal, egy txt fájl felesleges (akár üres).
Annak érdekében, hogy a robots.txt fájl, akkor szükség van, hogy a gyökér könyvtárába a domain. Ennek hiányában a hozzáférést a gyökér könyvtárat a domain, akkor korlátozza a hozzáférést egy meta robotok.
Ahhoz, hogy teljesen ki hozzáadásával oldalak tartalma az index internetes Google, akkor is, ha kapcsolódik más oldalakon, használja a noindex meta tag vagy a fejléc x-robots-tag. Ha betölt egy oldalt noindex meta címke megakadályozza hozzátéve, hogy a Google index. HTTP fejléc x-robots-tag különösen hasznos, hogy ellenőrizzék a indexelése fájlok formátuma más, mint a HTML, mint a grafika vagy egyéb dokumentumokat.
Robots.txt fájl létrehozása
A legegyszerűbb robots.txt fájlban két szabály:
- User-agent. robot, amelyre a szabály vonatkozik
- Tiltása. URL, amelyet blokkolni kell
Ez a két vonal egy fájl rekordot. A fájl tartalmazhat bármilyen rekordok száma. Egy üzenet megadhatja több Disallow és több vonal User-agent.
Minden rész a robots.txt fájlban független, és nem a folytatása az előző részekben. Például:
Ebben a példában az URL Googlebot blokkok csak kritériumokkal összhangban / mappa2 /.
Alkalmazások és felhasználói ügynök robotok
Alkalmazás felhasználói ügynök - egy olyan kifejezés, amely utal a kereső robot. Base szkennerek adatbázis tartalmazza a nevek sok népszerű robotokat. Alkalmazni rekord egy adott robot adja a nevét. Annak érdekében, hogy használja azt a robotok, hanem a nevét, írja csillaggal. Rögzítse az összes robot a következő:
A Google több botok (alkalmazás felhasználói ügynök).
Blokkoló user-agent alkalmazás
Tiltása sorban oldalak listáját, hogy blokkolni kell. Akkor pontos URL-címet vagy egy mintát. A bejegyzést kell kezdeni egy perjel (/).
Tesztelje a robots.txt fájl
Változások Az ebben az eszköz nem menti. A módosítások mentéséhez be kell másolni a szöveget, és illessze a robots.txt fájlban.