Googlebot flood?
Moderator: Moderatori
Googlebot flood?
A mai patit careva asa ceva: de vreo 3 zile botul google navigheaza prin site la modul serios, adica face cel putin vreo cateva mii de cereri pe ora. Mai mult, e foarte ciudat ca se identifica ca Mozilla... sper ca nu v-am bagat in ceata. Eu sunt deja...
In mai putin de 2 ore spider-ul google bot a trecut in statistici de la 17.000 de vizite la 20.000 !!! incepe sa ma cam enerveze situatia
In mai putin de 2 ore spider-ul google bot a trecut in statistici de la 17.000 de vizite la 20.000 !!! incepe sa ma cam enerveze situatia
si eu
Salut!
Am patit acelasi lucru.
In 3 zile cativa G trafic.
E google sau e altceva?
AdyS.
Am patit acelasi lucru.
In 3 zile cativa G trafic.
E google sau e altceva?
AdyS.
Evităm moartea câte puţin, amintindu-ne întotdeauna că "a fi viu" cere un efort mult mai mare decât simplul fapt de a respira.
-
- Senior Member
- Mesaje: 904
- Membru din: Sâm Iul 31, 2004 12:22 pm
- Localitate: Bucuresti
- Contact:
Pentru modalitati de a limita traficul facut de bot vezi:
http://www.google.com/bot.html
de asemenea ar fi bine sa verifici ip-ul bot-ului, este relativ usor de a crea un spider web, care sa se identifice ca google bot sau ceva similar....
http://www.google.com/bot.html
de asemenea ar fi bine sa verifici ip-ul bot-ului, este relativ usor de a crea un spider web, care sa se identifice ca google bot sau ceva similar....
este in mod sigur googlebot, IP-ul nu minte de fapt sunt mai multe IP-uri din clasa googlebot care crawl-eaza simultan.
Cred ca a fost un bug de la ei, o fi intrat in vreo bucla infinita?
Singura explicatie cat de cat plauzibila, desi trasa rau de par, e ca eu folosesc Google Sitemaps si ieri mi-a dat o eroare ca una din datele ultimei modificari era invalida. Atat.
Vad ca acum s-a mai oprit...
Cred ca a fost un bug de la ei, o fi intrat in vreo bucla infinita?
Singura explicatie cat de cat plauzibila, desi trasa rau de par, e ca eu folosesc Google Sitemaps si ieri mi-a dat o eroare ca una din datele ultimei modificari era invalida. Atat.
Vad ca acum s-a mai oprit...
- Birkoff
- Senior Member
- Mesaje: 6380
- Membru din: Joi Mar 18, 2004 2:34 pm
- Localitate: Bucuresti
- Contact:
Am patit si eu asta dar cu spiderul de la msn ( msnbot.msn.com - 65.55.246.65) si am dat un ban pe ip pe ziua respectiva si a incetat, dar in fiecare luna patesc la fel, cu google inca nu am avut asa probleme...)
1) CMS, ERP, CRM, etc... (doar pentru clienti))
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.
Giga trafic?! Damn it... treaba e serioasa.
Oare existenta unui sitemap Google pe site-ul tau mai 'potoleste setea' botilor? N-ar trebui...
Chiar ca e o problema...
Intrebari pt. patiti:
- site-urile respective au mai mult de 1000 pag? 5000? 10.000? Banui ca-s generate dinamic...
- aveti multe variabile in URL? index.php?var1=..&var2&... . cate? medie? maxim?
- cu sessionID-ul cum stati? e prezent in URL?
Oare existenta unui sitemap Google pe site-ul tau mai 'potoleste setea' botilor? N-ar trebui...
Chiar ca e o problema...
Intrebari pt. patiti:
- site-urile respective au mai mult de 1000 pag? 5000? 10.000? Banui ca-s generate dinamic...
- aveti multe variabile in URL? index.php?var1=..&var2&... . cate? medie? maxim?
- cu sessionID-ul cum stati? e prezent in URL?
- Birkoff
- Senior Member
- Mesaje: 6380
- Membru din: Joi Mar 18, 2004 2:34 pm
- Localitate: Bucuresti
- Contact:
la mine e vb de www.far-php.ro sunt cred maxim 20 de pagini x 3 limbi
si am observat asta cand ma uitam in loguri ca sa vad cine a mai facut dwld si am observat ca msn vine in fiecare zi si imi face dwld la ce am eu acolo...
am scos ip-ul lui de la monitorizare dar tot face trafic pe site cand indexeaza paginile. acum nu stiu sigur cat trafic face ca nu m-a interesat asta dar o sa fac un script de monitorizare sa vad lunile astea ce se intampla pe acolo...
In schimb google vine cam odata la 2 saptamani si cu el nu am probleme...
Cand o sa am timp o sa ma apuc de optimizare poate dupa aia o sa mai scada traficul inutil...
si am observat asta cand ma uitam in loguri ca sa vad cine a mai facut dwld si am observat ca msn vine in fiecare zi si imi face dwld la ce am eu acolo...
am scos ip-ul lui de la monitorizare dar tot face trafic pe site cand indexeaza paginile. acum nu stiu sigur cat trafic face ca nu m-a interesat asta dar o sa fac un script de monitorizare sa vad lunile astea ce se intampla pe acolo...
In schimb google vine cam odata la 2 saptamani si cu el nu am probleme...
Cand o sa am timp o sa ma apuc de optimizare poate dupa aia o sa mai scada traficul inutil...
1) CMS, ERP, CRM, etc... (doar pentru clienti))
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.
Inca doua intrebari:
- cu ce anume monitorizati traficul? daca e cPanel care anume?
- hosting-ul e inhouse ori ba?
e prima oara cand aud de trafic facut de 1 singur bot de ordinul Giga... am auzit 1 data de trafic foarte mare facut de jdemii de boti, dar s-a rezolvat cu robots.txt
Iar la Google Bot n-am vazut pana acum decat trafic normal, ca si cum cineva ar fi accesat site-ul complet de cateva ori. Atat.
- cu ce anume monitorizati traficul? daca e cPanel care anume?
- hosting-ul e inhouse ori ba?
e prima oara cand aud de trafic facut de 1 singur bot de ordinul Giga... am auzit 1 data de trafic foarte mare facut de jdemii de boti, dar s-a rezolvat cu robots.txt
Iar la Google Bot n-am vazut pana acum decat trafic normal, ca si cum cineva ar fi accesat site-ul complet de cateva ori. Atat.
- Birkoff
- Senior Member
- Mesaje: 6380
- Membru din: Joi Mar 18, 2004 2:34 pm
- Localitate: Bucuresti
- Contact:
la mine am un script care preia ip-ul si il baga in bd impreuna cu numele paginii sau numele fisierului la care se face dwld... si msn vine zilnic cu acelasi ip si descarca fisierele (vad acelasi ip in bd dar la fisiere diferite, eu am dat sa nu se salveze in bd acelasi ip la acelasi fisier decat la diferenta de 24 ore...)
hostingul e la neogen, mai am si alti clienti de care ma ocup tot cu hosting la neogen dar inca nu am studiat logurile sa vad la ceilalti cum e...
Oricum, e ciudat ca msn vine zilnic si face trafic... nu umbla decat unde scrie in fisierul pentru roboti dar nu respecta
<META content="1 weeks" name="revisit-after">
ci vine zilnic...
hostingul e la neogen, mai am si alti clienti de care ma ocup tot cu hosting la neogen dar inca nu am studiat logurile sa vad la ceilalti cum e...
Oricum, e ciudat ca msn vine zilnic si face trafic... nu umbla decat unde scrie in fisierul pentru roboti dar nu respecta
<META content="1 weeks" name="revisit-after">
ci vine zilnic...
1) CMS, ERP, CRM, etc... (doar pentru clienti))
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.
Înapoi la “Motoare de cautare si directoare”
Cine este conectat
Utilizatori ce ce navighează pe acest forum: Niciun utilizator înregistrat și 1 vizitator