Googlebot flood?

Yahoo, Bing, Baidu, Yandex, Ask, AOL, DMOZ etc.

Moderator: Moderatori

NDC
Average Member
Mesaje: 127
Membru din: Sâm Feb 19, 2005 11:07 pm
Contact:

Googlebot flood?

Mesajde NDC » Mar Aug 09, 2005 11:36 pm

A mai patit careva asa ceva: de vreo 3 zile botul google navigheaza prin site la modul serios, adica face cel putin vreo cateva mii de cereri pe ora. Mai mult, e foarte ciudat ca se identifica ca Mozilla... sper ca nu v-am bagat in ceata. Eu sunt deja...

In mai putin de 2 ore spider-ul google bot a trecut in statistici de la 17.000 de vizite la 20.000 !!! incepe sa ma cam enerveze situatia
Imagine



adys
New Member
Mesaje: 4
Membru din: Vin Mar 12, 2004 4:38 pm
Localitate: Timisoara
Contact:

si eu

Mesajde adys » Mie Aug 10, 2005 8:52 am

Salut!

Am patit acelasi lucru.
In 3 zile cativa G trafic.

E google sau e altceva?

AdyS.
Evităm moartea câte puţin, amintindu-ne întotdeauna că "a fi viu" cere un efort mult mai mare decât simplul fapt de a respira.

johnny
Senior Member
Mesaje: 904
Membru din: Sâm Iul 31, 2004 12:22 pm
Localitate: Bucuresti
Contact:

Mesajde johnny » Mie Aug 10, 2005 11:28 am

Pentru modalitati de a limita traficul facut de bot vezi:

http://www.google.com/bot.html

de asemenea ar fi bine sa verifici ip-ul bot-ului, este relativ usor de a crea un spider web, care sa se identifice ca google bot sau ceva similar....

NDC
Average Member
Mesaje: 127
Membru din: Sâm Feb 19, 2005 11:07 pm
Contact:

Mesajde NDC » Mie Aug 10, 2005 2:58 pm

este in mod sigur googlebot, IP-ul nu minte :lol: de fapt sunt mai multe IP-uri din clasa googlebot care crawl-eaza simultan.

Cred ca a fost un bug de la ei, o fi intrat in vreo bucla infinita?

Singura explicatie cat de cat plauzibila, desi trasa rau de par, e ca eu folosesc Google Sitemaps si ieri mi-a dat o eroare ca una din datele ultimei modificari era invalida. Atat.

Vad ca acum s-a mai oprit...

Pirahna
Senior Member
Mesaje: 5985
Membru din: Dum Aug 22, 2004 2:04 am
Localitate: la birou
Contact:

Mesajde Pirahna » Mie Aug 10, 2005 3:03 pm

Nimic nu e perfect ...

desi ar trebui sa fie :D

Avatar utilizator
vitea
Average Member
Mesaje: 65
Membru din: Mar Ian 10, 2006 5:03 pm
Localitate: Bucuresti
Contact:

Mesajde vitea » Mie Ian 11, 2006 10:44 pm

Nea Google este imprevizibil cateodata. Zile intregi abia de se atinge de site-ul tau, ca intr-o buna zi sa-ti faca trafic de cateva Gb. Ceva de genul acesta mi s-a intamplat cu site-ul Editurii Sigma. In 3 zile mi-a generat un trafic suplimentar de vreo 5 Gb!!!

Avatar utilizator
Birkoff
Senior Member
Mesaje: 6378
Membru din: Joi Mar 18, 2004 2:34 pm
Localitate: Bucuresti
Contact:

Mesajde Birkoff » Mar Feb 14, 2006 9:48 am

Am patit si eu asta dar cu spiderul de la msn ( msnbot.msn.com - 65.55.246.65) si am dat un ban pe ip pe ziua respectiva si a incetat, dar in fiecare luna patesc la fel, cu google inca nu am avut asa probleme...)
1) CMS, ERP, CRM, etc... (doar pentru clienti))
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.

kul
Senior Member
Mesaje: 332
Membru din: Vin Dec 09, 2005 3:13 pm
Localitate: cta
Contact:

Mesajde kul » Mar Feb 14, 2006 12:25 pm

Giga trafic?! Damn it... treaba e serioasa.
Oare existenta unui sitemap Google pe site-ul tau mai 'potoleste setea' botilor? N-ar trebui...

Chiar ca e o problema...

Intrebari pt. patiti:
- site-urile respective au mai mult de 1000 pag? 5000? 10.000? Banui ca-s generate dinamic...
- aveti multe variabile in URL? index.php?var1=..&var2&... . cate? medie? maxim?
- cu sessionID-ul cum stati? e prezent in URL?

Avatar utilizator
Birkoff
Senior Member
Mesaje: 6378
Membru din: Joi Mar 18, 2004 2:34 pm
Localitate: Bucuresti
Contact:

Mesajde Birkoff » Mar Feb 14, 2006 12:38 pm

la mine e vb de www.far-php.ro sunt cred maxim 20 de pagini x 3 limbi
si am observat asta cand ma uitam in loguri ca sa vad cine a mai facut dwld si am observat ca msn vine in fiecare zi si imi face dwld la ce am eu acolo...
am scos ip-ul lui de la monitorizare dar tot face trafic pe site cand indexeaza paginile. acum nu stiu sigur cat trafic face ca nu m-a interesat asta dar o sa fac un script de monitorizare sa vad lunile astea ce se intampla pe acolo...

In schimb google vine cam odata la 2 saptamani si cu el nu am probleme...
Cand o sa am timp o sa ma apuc de optimizare poate dupa aia o sa mai scada traficul inutil...
1) CMS, ERP, CRM, etc... (doar pentru clienti))
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.

kul
Senior Member
Mesaje: 332
Membru din: Vin Dec 09, 2005 3:13 pm
Localitate: cta
Contact:

Mesajde kul » Mar Feb 14, 2006 1:00 pm

Inca doua intrebari:
- cu ce anume monitorizati traficul? daca e cPanel care anume?
- hosting-ul e inhouse ori ba?

e prima oara cand aud de trafic facut de 1 singur bot de ordinul Giga... am auzit 1 data de trafic foarte mare facut de jdemii de boti, dar s-a rezolvat cu robots.txt
Iar la Google Bot n-am vazut pana acum decat trafic normal, ca si cum cineva ar fi accesat site-ul complet de cateva ori. Atat.

Avatar utilizator
Birkoff
Senior Member
Mesaje: 6378
Membru din: Joi Mar 18, 2004 2:34 pm
Localitate: Bucuresti
Contact:

Mesajde Birkoff » Mar Feb 14, 2006 1:28 pm

la mine am un script care preia ip-ul si il baga in bd impreuna cu numele paginii sau numele fisierului la care se face dwld... si msn vine zilnic cu acelasi ip si descarca fisierele (vad acelasi ip in bd dar la fisiere diferite, eu am dat sa nu se salveze in bd acelasi ip la acelasi fisier decat la diferenta de 24 ore...)
hostingul e la neogen, mai am si alti clienti de care ma ocup tot cu hosting la neogen dar inca nu am studiat logurile sa vad la ceilalti cum e...

Oricum, e ciudat ca msn vine zilnic si face trafic... nu umbla decat unde scrie in fisierul pentru roboti dar nu respecta
<META content="1 weeks" name="revisit-after">
ci vine zilnic...
1) CMS, ERP, CRM, etc... (doar pentru clienti))
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.

kul
Senior Member
Mesaje: 332
Membru din: Vin Dec 09, 2005 3:13 pm
Localitate: cta
Contact:

Mesajde kul » Mar Feb 14, 2006 2:02 pm

msn vine zilnic cu acelasi ip si descarca fisierele


f. ciudat...

CND
PHPRomania Supporter
Mesaje: 11
Membru din: Mie Apr 16, 2008 11:03 am

Raspuns

Mesajde CND » Mie Apr 16, 2008 11:19 am

De ce nu le "potoliti" cu robots.txt ?

Avatar utilizator
Quber
Senior Member
Mesaje: 874
Membru din: Mar Iun 27, 2006 8:33 pm
Localitate: localhost
Contact:

Mesajde Quber » Mie Apr 16, 2008 12:19 pm

@CND, uite cind ultima data a fost postat..!!!
A man who dares to waste one hour of time has not discovered the value of life.


Înapoi la “Motoare de cautare si directoare”

Cine este conectat

Utilizatori ce ce navighează pe acest forum: Niciun utilizator înregistrat și 1 vizitator