Kísérlet hozzáadásával oldalakat a SAPE - blog, miért, max
Kísérlet hozzáadásával oldalak SAPE
Olvastam néhány fórumon, beleértve magát fórum Sapa, megtanulják, milyen szintű fészkelő, és hány linkek megeszi a rendszer, és írt egy egyszerű script többoldalas oldaltérkép.
Ezután a segítségével egy másik forgatókönyvet hozott kapcsolatot az összes főbb kártyát, és add a helyszín Sapa.
Az egész folyamat tartott kb 40 óra, indexelése eltűnt 21 órán át.
És így: a főegység 450 linkeket a térképen, a többit a helyszínen lesz index, hogy csak a „kártya” még néhány oldalt, 2 szint fészkel.
Vannak egyszerűbb módon, például az indexelés beállításokat a DLE fel 30-50 a híroldal.
Add helyszínen Sapa szokás játszótér kap staus „elvárja indexelés.”
Az indexelés kezdődött 0 óra, 0 perc, a robot van betöltve szinte azonnal mintegy 1000 oldalra (valamennyi részletes térképek + további linkek néhány fő).
Ezután a sebesség lassul, és a robot már befejezte indexelés csak 09:00.
Menetrend sávszélesség protokoll ezen az oldalon így nézett ki:
Ez a tevékenység SAPE robotok miatt Online nem vehet részt.
Az indexelés tartott pontosan 21 óra, ennek eredményeként a takonykór is hozzá közel 22 972 oldalak:
Összesen 628 megabájt.
Várandós egy másik eredmény, hogy az oldalak lesz 3-szor több.
Bár ez lehet magyarázni - Sapa robotok gyakran tele a szerver, ennek eredményeképpen ők kap tiltott pár percre a apache vagy nginx webszerver. A robot nem kapott választ a szerver és esetleg hiányzik egy csomó oldalt.
Az eredmény jó, annál több helyet, mint egy link az oldalak számát fogják értékesíteni ki sokáig.
Ez lesz szabad ideje -, hogy tanulmányozza a szerver naplók, szükség lehet kijavítani konfigurációk, majd próbálja felvenni ugyanazt a maximális oldalszámra indexelés
Voltak valaha ilyen?
Mi több ország tudna vezetni a Sapa 1 indexelés?