Consum excesiv de resurse(CPU+RAM)

[vladpre92]

Salutare,

M-am lovit de o problema care momentan ma depaseste,legata de consumul excesiv de resurse (CPU+RAM) al unui site hostat pe un host shared.
Datele problemei sunt urmatoarele:
Site-ul se rezuma la un script cumparat , bazat pe Smarty .Paginile sunt generate dinamic si folosesc URL Rewrite . Baza de date este destul de cuprinzatoare cu 2 tabele de aprox 15000 inregistrari +1 tabela cu 69000 de inregistrari care sunt folosite si extrase din db pentru aproximativ 85% dintre pagini . Pana in prezent google a indexat 30000 URL-uri.
Numarul vizitatorilor unici este de aproximativ 2500/zi si aprox 4500/zi in week-end avand o medie de aproximativ 50 vizitatori online care solicita serverul in timpul zilei.Media vizitatorilor online este relativ mica,si avand in vedere ca site-ul este cu desene animate,omul isi pune desenul,se uita la el timp de aprox 30 min si nu mai deranjeaza serverul in nici un fel(desenele nu sunt hostate pe server).

Zilele trecute am primit atentionare de la host-ul meu ca am un consum excesiv de resurse la site si ca folosesc 38% din procesor doar eu . Am privit in CPanel la statisticile cu resursele folosite in ultimele zile si atentionarea primita este pe buna dreptate si 100% adevarata.

Intrebarile care se ridica:
Cum pot verifica daca am scripturi ineficiente care consuma multe resurse?
Scriptul foloseste Gzip Compression.Poate sa fie asta o cauza a suprasolicitarii server-ului?
Este posibil la Googlebot-ul sa suprasolicite serverul cu crawlarea?In WebmasterTools i-am lasat pe cei de la Google sa hotarasca rata de crawlare(recommended).

S-a mai lovit cineva de aceasta problema?Care ar mai fi alte cauze ale suprasolicitarii server-ului?
Mersi!
P.S:Cred ca nu am postat in forumul gresit.Daca da,imi cer scuze si rog moderatorii sa il mute in forumul corect.

[ViezuREX]

Pot fi multe motive care stau la baza problemei tale, incepand cu hosting-ul si configurarea serverului si terminand cu Smarty.

Primele chestii la care ma gandesc sunt insa legate de baza de date, lipsa indecsilor ar putea fi cauza multor probleme. Incearca sa te uiti un pic pe structura bazei de date si sa vezi daca asta e situatia. Presupun ca nu ai privilegii de a rula serverul de MySQL cu --log-slow-queries, dar daca o poti face este cea mai buna solutie pentru a identifica problema.

P.S. Ar fi util si link-ul site-ului ca sa imi pot face o idee mai clara

[vladpre92]

Site-ul este www.desenele-copilariei.ro .Baza de date pare bine optimizata.Din pacate nu am privilegii pentru log-slow-queryes.

[ViezuREX]

Din cate vad ... site-ul se misca bine si nu pare a avea probleme la optimizarea bazei de date, sau cel putin, nu evidente.
Ramane atunci partea de PHP care poate pune probleme insa acolo trebuie vazut codul si analizate logurile pentru a vedea unde si cand anume se consuma resursele, deasemenea ar fi util sa poti vedea si un "top" sau "free" din shell.

[vladpre92]

Spiderii pot fi de vina pentru consumul excesiv de resurse?Am observat prin AWstats din CPanel ca in afara de Googlebot care imi frecventeaza site-ul si are 86000 hits pe luna decembrie mai este un spider neidentificat "Unknown robot (identified by 'bot*')" care are 46000 hits pe luna decembrie.Mai sunt si altii neidentificati dar vin foarte rar la mine pe site.

Mersi

[vladpre92]

Am facut niste verificari in Raw Access Log si am descoperit ca spider-ul apartine unui motor de cautare rusesc(cred) numit Yandex . Acest spider mi-a facut aproximativ 350 request-uri in decursul a 2 ore.Acum i-am interzis sa mai vina , prin robots.txt.Acum ramane de vazut daca tine cont de ce e in robots.txt si daca de aici venea problema.