Cum se face un spider de indexat site-uri ?

Yahoo, Bing, Baidu, Yandex, Ask, AOL, DMOZ etc.

Moderator: Moderatori

Avatar utilizator
Adry.ro
Average Member
Mesaje: 76
Membru din: Lun Sep 22, 2008 11:46 pm
Localitate: Bucuresti RO
Contact:

Cum se face un spider de indexat site-uri ?

Mesajde Adry.ro » Mie Mar 31, 2010 6:31 pm

Cum se face un spider de indexat site-uri ?
Nu ca cel de la google, ceva mai simplu. Ma intereseaza pentru inceput.

Unde cauta site-urile care le indexeaza ?



Avatar utilizator
Niku02
Senior Member
Mesaje: 837
Membru din: Joi Noi 13, 2008 1:16 pm
Localitate: Constanta
Contact:

Mesajde Niku02 » Mie Mar 31, 2010 8:55 pm

E mult de lucru :)

Unde cauta? Peste tot. Plecand de la dmoz sa zicem, iei toate siteurile de acolo, de pe fiecare site in parte salvezi toate paginile + linkurile spre alte siteurile. Si cu fiecare site indexat ulterior faci acelasi lucru.
Lucrez la o firma de web design si am un magazin de airsoft .

Pirahna
Senior Member
Mesaje: 5985
Membru din: Dum Aug 22, 2004 2:04 am
Localitate: la birou
Contact:

Mesajde Pirahna » Mie Mar 31, 2010 9:33 pm

Si daca faci un spider trebuie sa oferi optiunea de a inlatura continut (permanent).

Daca eu nu vreau sa-mi indexezi domeniul, nu ai voie sa-l indexezi. :lol:

Avatar utilizator
Niku02
Senior Member
Mesaje: 837
Membru din: Joi Noi 13, 2008 1:16 pm
Localitate: Constanta
Contact:

Mesajde Niku02 » Joi Apr 01, 2010 6:57 am

Si dupa care alte mii de chestii. Cat de des indexezi un site? Pe ce pozitii si la ce cautari apare fiecare pagina, etc ...
Lucrez la o firma de web design si am un magazin de airsoft .

marian2oo7
Average Member
Mesaje: 59
Membru din: Mie Dec 16, 2009 12:02 pm

Mesajde marian2oo7 » Joi Iul 08, 2010 7:27 pm

deorece sunt sigur ca nu vrei sa il intreci pe google e bun si asta http://www.sphider.eu/demo.php

Avatar utilizator
Birkoff
Senior Member
Mesaje: 6380
Membru din: Joi Mar 18, 2004 2:34 pm
Localitate: Bucuresti
Contact:

Mesajde Birkoff » Joi Iul 08, 2010 8:21 pm

poti incepe studiind tutorialele astea
1) Cum sa scrii un crawler
2) Cum extrag adrese de email de pe o pagina web?

ce vrei tu e pe aceeasi idee ca in aceste tutoriale doar ca mai trebuie dezvoltat putin (si desigur ca trebuie sa ai set_time_out = 0)
1) CMS, ERP, CRM, etc... (doar pentru clienti))
2) Portofoliu, servicii, contact, blog
3) Folositi aceasta clasa sql in proiectele voastre (open source)
4) Vrei un magazin virtual la cheie, usor de folosit, cu api-uri incluse pentru maximizarea vanzarilor si multe alte facilitati? Da un semn si discutam.


Înapoi la “Motoare de cautare si directoare”

Cine este conectat

Utilizatori ce ce navighează pe acest forum: Niciun utilizator înregistrat și 4 vizitatori