Idei

Proiect care işi propune realizarea unui motor de căutare pentru site-urile .ro.

Moderator: Moderatori

micael
Senior Member
Mesaje: 292
Membru din: Dum Apr 25, 2004 11:28 pm
Localitate: Constanta(deocamdata)
Contact:

offtopic

Mesajde micael » Mie Aug 04, 2004 11:25 pm

fiindca vbiti de motoare de cautare... unde gasesc un motor de cautare intern gratuit, sa il introduc in siteul meu? inca nu stiu asa de mult php sa imi pot construi singur un search engine.
merci pt orice sfat.
ps: am incercat cu motorul oferit de yahoo, dar nu imi gasea mai nimic.
eu as vrea ceva care sa gaseasca nu doar pagini ci si termeni in site.


nu trageti in pianist...face si el ce poate!
(To avoid the criticism: say nothing, do nothing, be nothing!)

Troto
PHPRomania Coder Professional
Mesaje: 249
Membru din: Mar Iun 29, 2004 2:11 am
Localitate: Brasov

Mesajde Troto » Joi Aug 05, 2004 1:01 pm


Avatar utilizator
danovidiu
PHPRomania Moderator
Mesaje: 35
Membru din: Dum Mai 26, 2002 1:44 am
Localitate: Tg-Mures, Romania
Contact:

Mesajde danovidiu » Dum Aug 22, 2004 3:52 pm

htdig
mnogosearch
If you can't find a way, make one !

Dan Ovidiu, Manager de proiecte,
Asociatia non-profit STG
https://www.sparetimegroup.net/
jabber://smarty@sparetimegroup.net

Vizitator

Mesajde Vizitator » Lun Apr 18, 2005 6:16 pm

pt indexare este lucene. este Java dar e free si are cam tot ce trebuie:
http://lucene.apache.org/java/docs/
are alternativa si in C++ & oth.

carco
Senior Member
Mesaje: 2799
Membru din: Joi Mai 27, 2004 4:36 pm
Localitate: Bucuresti
Contact:

Mesajde carco » Lun Apr 18, 2005 6:28 pm

daca citeai cu atentie discutia din prima pagina ai fi vazut o trimitere la PhpDig
Programator cu experienta in Magento/ZF, Typo3/Flow3, Symfony, B2B, CRM, ERP, SMB... vand betoniera

ion5

Mesajde ion5 » Joi Mai 12, 2005 5:44 pm

Eu unul am reusit sa pun mana pe un motor de cautare in genul lui google, dar cautarea nu e exacta. Adica cauta numai dupa titlul site-ului inscris si nu ma prea pricep sa il modific in asa fel incat sa caute dupa descriere si url.

Demo: http://ion5.3x.ro

Daca stiti cum as putea rezolva aceasta problema va rog sa imi spuneti pls.

ion5

Mesajde ion5 » Joi Mai 12, 2005 5:53 pm

Este relativ simplu format din 3 pagini, dar sunt n00b in php si chiar vreau sa stiu acest lucru. Foloseste o baza de date.

mihaib
New Member
Mesaje: 1
Membru din: Lun Ian 30, 2006 9:29 am

Mesajde mihaib » Lun Ian 30, 2006 9:49 am

Salut!

Am o impresie vaga ca va complicati. Danovidiu, iti sugerez sa mergi la cei de la google daca motorul tau este in stare sa indexeze zeci de mii de pagini pe secunda. Sincer, e mult peste ce exista in acest moment.

http://www-db.stanford.edu/~backrub/google.html

Va sugerez celor care intentionati sa realizati un motor de cautare sa cititi materialul de mai sus, scris de Sergey Brin si Lawrence Page.

danovidiu, am avut un motor de cautare capabil sa indexeze 100 pagini pe secunda (de la preluatul linkurilor de pe fiecare pagina pana la introducerea textului in baza de date). Cel mai dificil a fost preluarea linkurilor si formatarea lor in asa fel incat la urmatoarea trecere prin baza de date, motorul sa se duca exact unde trebuie.

Pentru partea de cautare pe care o vede utilizatorul, desi va merge oarecum lent , sugerez sa se foloseasca MATCH AGAINST cu varianta IN BOOLEAN MODE. Acest lucru ajuta prin nefolosirea unui tabel separat de indexare, iar ordonarea rezultatelor se va face dupa relevanta lor.

Am testat motorul intr-o retea cu acces la internet de 2 Mbps, 4 calculatoare care simultan rulau scriptul, cu un total de 400 pagini/secunda. Depinde foarte mult de memoria interna a calculatorul, deoarece procesorul va merge constant la 100% din capacitate, iar memoria va fi umpluta.

Am renuntat la a-l implementa deoarece costurile sunt infernale, iar venituri nu exista. Va pot da codul ramas dupa ce am facut curatenie, insa va trebui sa il mai modificati pentru a functiona foarte bine.

Ciao!

Zamolxe
Average Member
Mesaje: 130
Membru din: Mar Ian 14, 2003 4:50 pm
Localitate: Bucharest

re

Mesajde Zamolxe » Mar Mar 14, 2006 7:00 pm

e problematic cu MATCH AGAINST pt ca rankingul nu se face numai dupa 1 factor, sunt multe probleme care apar pentru ca pt fiecare cuvant din pagina respectiva iti trebuie cat mai multe informatii ca sa stii cum ii calculezi rankingul. (nu stiu cat de productiv este sa cauti intr-un text, ci mai degraba dupa indecsi, cel putin asta ne-am dat seama noi)

pe 2k.ro am reusit acest lucru, si gruparea rezultatelor (gen google).

1. gruparea rezultatelor cu ajutorul php consuma multa memorie pe moment (cu aproape toate optimizarile), insa da rezultate ft bune

2. gruparea rezultatelor dintr-un sg query mysql, ft ft lent (tot asa, incercat mai multe optimizari pt SELECT).

se poate adopta o solutie de mijloc, dar, dupa rezultatele trebuie pastrate intr-un CACHE, pentru a face fata cererilor multiple altfel ai pus-o cu php+mysql. pe 2k am reusit sa simulam un google mic pt 400 site-uri totalizand 1.5 gb de date mysql. fiecare cuvant din pagina avand informatii despre ranking, se putea cauta dupa oricate cuvinte, noi ne-am oprit la problema timpilor de raspuns. acum am luat 2xsun si dell, vedem rezultate mai incolo.

acum m-am orientat pe stocarea fisierelor in xml si a statisticilor, si apoi preluarea lor.

eu sunt curios pt ca ft multa lume vad ca are asemenea proiecte. voi cum procedati? (ma refer numai la proiectele custom, nu alea de folosesc alte scripturi).

XDYNX
Senior Member
Mesaje: 518
Membru din: Joi Iun 08, 2006 6:01 pm
Localitate: Pitesti
Contact:

Mesajde XDYNX » Lun Iun 19, 2006 12:22 pm

http://www.wrensoft.com/zoom
Un program care poti sa faci un motor de cautare .... resurse propri

deiucanta
PHPRomania Supporter
Mesaje: 5
Membru din: Dum Aug 27, 2006 3:34 pm
Localitate: Sighet
Contact:

Mesajde deiucanta » Dum Aug 27, 2006 10:45 pm

Mihaib ai putea sa-mi trimiti motorul care l-ai implementat?
Mi se pare foarte interesant 100 pg/s.[/b]

Avatar utilizator
Mascka
Senior Member
Mesaje: 1376
Membru din: Sâm Oct 01, 2005 8:00 am
Localitate: Braila
Contact:

Mesajde Mascka » Dum Aug 27, 2006 11:12 pm

deiucanta dute si spalate pe ochi.. tu nu vezi cand a inceput discutia??

Avatar utilizator
Dodo
Senior Member
Mesaje: 958
Membru din: Mar Aug 22, 2006 2:40 pm
Localitate: Constanta
Contact:

Mesajde Dodo » Dum Aug 27, 2006 11:15 pm

Unii oameni sunt facuti sa nu lase mortzii sa se odihneasca.
Discutia era moarta de mult... v-ati trezit si voi :)

Valabil pentru: Deiucanta si MihaiB

Inga
New Member
Mesaje: 4
Membru din: Dum Noi 19, 2006 11:20 pm

despre "motor de cautare"

Mesajde Inga » Dum Noi 19, 2006 11:26 pm

Cum de facut un motor de cautare in cadrul unui site folosind JavaScript? Cine stie , va rog frumos ajutati-ma. :(


Înapoi la “Motor de cautare”

Cine este conectat

Utilizatori ce ce navighează pe acest forum: Niciun utilizator înregistrat și 2 vizitatori