| Subiectul anterior :: Subiectul următor |
| Autor |
Mesaj |
NDC
Data înscrierii: 19/Feb/2005
Mesaje: 127
|
| Trimis: Mar Aug 09, 2005 10:36 pm Titlul subiectului: Googlebot flood? |
|
|
A mai patit careva asa ceva: de vreo 3 zile botul google navigheaza prin site la modul serios, adica face cel putin vreo cateva mii de cereri pe ora. Mai mult, e foarte ciudat ca se identifica ca Mozilla... sper ca nu v-am bagat in ceata. Eu sunt deja...
In mai putin de 2 ore spider-ul google bot a trecut in statistici de la 17.000 de vizite la 20.000 !!! incepe sa ma cam enerveze situatia
|
|
| Sus |
|
adys
Data înscrierii: 12/Mar/2004
Mesaje: 4
Locație: Timisoara
|
| Trimis: Mie Aug 10, 2005 7:52 am Titlul subiectului: si eu |
|
|
Salut!
Am patit acelasi lucru.
In 3 zile cativa G trafic.
E google sau e altceva?
AdyS. |
|
| Sus |
|
johnny
Data înscrierii: 31/Iul/2004
Mesaje: 904
Locație: Bucuresti
|
| Trimis: Mie Aug 10, 2005 10:28 am Titlul subiectului: |
|
|
Pentru modalitati de a limita traficul facut de bot vezi:
http://www.google.com/bot.html
de asemenea ar fi bine sa verifici ip-ul bot-ului, este relativ usor de a crea un spider web, care sa se identifice ca google bot sau ceva similar.... |
|
| Sus |
|
NDC
Data înscrierii: 19/Feb/2005
Mesaje: 127
|
| Trimis: Mie Aug 10, 2005 1:58 pm Titlul subiectului: |
|
|
este in mod sigur googlebot, IP-ul nu minte :lol: de fapt sunt mai multe IP-uri din clasa googlebot care crawl-eaza simultan.
Cred ca a fost un bug de la ei, o fi intrat in vreo bucla infinita?
Singura explicatie cat de cat plauzibila, desi trasa rau de par, e ca eu folosesc Google Sitemaps si ieri mi-a dat o eroare ca una din datele ultimei modificari era invalida. Atat.
Vad ca acum s-a mai oprit... |
|
| Sus |
|
Pirahna
Data înscrierii: 22/Aug/2004
Mesaje: 4355
Locație: la birou
|
| Trimis: Mie Aug 10, 2005 2:03 pm Titlul subiectului: |
|
|
Nimic nu e perfect ...
desi ar trebui sa fie :D |
|
| Sus |
|
vitea
Data înscrierii: 10/Ian/2006
Mesaje: 65
Locație: Bucuresti
|
| Trimis: Mie Ian 11, 2006 10:44 pm Titlul subiectului: |
|
|
| Nea Google este imprevizibil cateodata. Zile intregi abia de se atinge de site-ul tau, ca intr-o buna zi sa-ti faca trafic de cateva Gb. Ceva de genul acesta mi s-a intamplat cu site-ul Editurii Sigma. In 3 zile mi-a generat un trafic suplimentar de vreo 5 Gb!!! |
|
| Sus |
|
Birkoff
Data înscrierii: 18/Mar/2004
Mesaje: 2309
Locație: Bucuresti
|
| Trimis: Mar Feb 14, 2006 9:48 am Titlul subiectului: |
|
|
| Am patit si eu asta dar cu spiderul de la msn ( msnbot.msn.com - 65.55.246.65) si am dat un ban pe ip pe ziua respectiva si a incetat, dar in fiecare luna patesc la fel, cu google inca nu am avut asa probleme...) |
|
| Sus |
|
kul
Data înscrierii: 09/Dec/2005
Mesaje: 306
Locație: cta
|
| Trimis: Mar Feb 14, 2006 12:25 pm Titlul subiectului: |
|
|
Giga trafic?! Damn it... treaba e serioasa.
Oare existenta unui sitemap Google pe site-ul tau mai 'potoleste setea' botilor? N-ar trebui...
Chiar ca e o problema...
Intrebari pt. patiti:
- site-urile respective au mai mult de 1000 pag? 5000? 10.000? Banui ca-s generate dinamic...
- aveti multe variabile in URL? index.php?var1=..&var2&... . cate? medie? maxim?
- cu sessionID-ul cum stati? e prezent in URL? |
|
| Sus |
|
Birkoff
Data înscrierii: 18/Mar/2004
Mesaje: 2309
Locație: Bucuresti
|
| Trimis: Mar Feb 14, 2006 12:38 pm Titlul subiectului: |
|
|
la mine e vb de www.far-php.ro sunt cred maxim 20 de pagini x 3 limbi
si am observat asta cand ma uitam in loguri ca sa vad cine a mai facut dwld si am observat ca msn vine in fiecare zi si imi face dwld la ce am eu acolo...
am scos ip-ul lui de la monitorizare dar tot face trafic pe site cand indexeaza paginile. acum nu stiu sigur cat trafic face ca nu m-a interesat asta dar o sa fac un script de monitorizare sa vad lunile astea ce se intampla pe acolo...
In schimb google vine cam odata la 2 saptamani si cu el nu am probleme...
Cand o sa am timp o sa ma apuc de optimizare poate dupa aia o sa mai scada traficul inutil... |
|
| Sus |
|
kul
Data înscrierii: 09/Dec/2005
Mesaje: 306
Locație: cta
|
| Trimis: Mar Feb 14, 2006 1:00 pm Titlul subiectului: |
|
|
Inca doua intrebari:
- cu ce anume monitorizati traficul? daca e cPanel care anume?
- hosting-ul e inhouse ori ba?
e prima oara cand aud de trafic facut de 1 singur bot de ordinul Giga... am auzit 1 data de trafic foarte mare facut de jdemii de boti, dar s-a rezolvat cu robots.txt
Iar la Google Bot n-am vazut pana acum decat trafic normal, ca si cum cineva ar fi accesat site-ul complet de cateva ori. Atat. |
|
| Sus |
|
Birkoff
Data înscrierii: 18/Mar/2004
Mesaje: 2309
Locație: Bucuresti
|
| Trimis: Mar Feb 14, 2006 1:28 pm Titlul subiectului: |
|
|
la mine am un script care preia ip-ul si il baga in bd impreuna cu numele paginii sau numele fisierului la care se face dwld... si msn vine zilnic cu acelasi ip si descarca fisierele (vad acelasi ip in bd dar la fisiere diferite, eu am dat sa nu se salveze in bd acelasi ip la acelasi fisier decat la diferenta de 24 ore...)
hostingul e la neogen, mai am si alti clienti de care ma ocup tot cu hosting la neogen dar inca nu am studiat logurile sa vad la ceilalti cum e...
Oricum, e ciudat ca msn vine zilnic si face trafic... nu umbla decat unde scrie in fisierul pentru roboti dar nu respecta
<META content="1 weeks" name="revisit-after">
ci vine zilnic... |
|
| Sus |
|
kul
Data înscrierii: 09/Dec/2005
Mesaje: 306
Locație: cta
|
| Trimis: Mar Feb 14, 2006 2:02 pm Titlul subiectului: |
|
|
Citat: msn vine zilnic cu acelasi ip si descarca fisierele
f. ciudat... |
|
| Sus |
|
CND
Data înscrierii: 16/Apr/2008
Mesaje: 11
|
| Trimis: Mie Apr 16, 2008 10:19 am Titlul subiectului: Raspuns |
|
|
| De ce nu le "potoliti" cu robots.txt ? |
|
| Sus |
|
Quber
Data înscrierii: 27/Iun/2006
Mesaje: 791
Locație: localhost
|
| Trimis: Mie Apr 16, 2008 11:19 am Titlul subiectului: |
|
|
| @CND, uite cind ultima data a fost postat..!!! |
|
| Sus |
|
PHPRomania Bot
Bot Member
Data înscrierii: 27/Dec/2007
Mesaje: 1
Locaţie: Server Google |
| Trimis: Mie Dec 26, 2007 7:01 pm Titlul subiectului: Ad |
|
|
|
|
|
| Sus |
|
| |
