Idei
Moderator: Moderatori
-
- Senior Member
- Mesaje: 292
- Membru din: Dum Apr 25, 2004 11:28 pm
- Localitate: Constanta(deocamdata)
- Contact:
offtopic
fiindca vbiti de motoare de cautare... unde gasesc un motor de cautare intern gratuit, sa il introduc in siteul meu? inca nu stiu asa de mult php sa imi pot construi singur un search engine.
merci pt orice sfat.
ps: am incercat cu motorul oferit de yahoo, dar nu imi gasea mai nimic.
eu as vrea ceva care sa gaseasca nu doar pagini ci si termeni in site.
merci pt orice sfat.
ps: am incercat cu motorul oferit de yahoo, dar nu imi gasea mai nimic.
eu as vrea ceva care sa gaseasca nu doar pagini ci si termeni in site.
nu trageti in pianist...face si el ce poate!
(To avoid the criticism: say nothing, do nothing, be nothing!)
(To avoid the criticism: say nothing, do nothing, be nothing!)
- danovidiu
- PHPRomania Moderator
- Mesaje: 35
- Membru din: Dum Mai 26, 2002 1:44 am
- Localitate: Tg-Mures, Romania
- Contact:
htdig
mnogosearch
mnogosearch
If you can't find a way, make one !
Dan Ovidiu, Manager de proiecte,
Asociatia non-profit STG
https://www.sparetimegroup.net/
jabber://smarty@sparetimegroup.net
Dan Ovidiu, Manager de proiecte,
Asociatia non-profit STG
https://www.sparetimegroup.net/
jabber://smarty@sparetimegroup.net
pt indexare este lucene. este Java dar e free si are cam tot ce trebuie:
http://lucene.apache.org/java/docs/
are alternativa si in C++ & oth.
http://lucene.apache.org/java/docs/
are alternativa si in C++ & oth.
Eu unul am reusit sa pun mana pe un motor de cautare in genul lui google, dar cautarea nu e exacta. Adica cauta numai dupa titlul site-ului inscris si nu ma prea pricep sa il modific in asa fel incat sa caute dupa descriere si url.
Demo: http://ion5.3x.ro
Daca stiti cum as putea rezolva aceasta problema va rog sa imi spuneti pls.
Demo: http://ion5.3x.ro
Daca stiti cum as putea rezolva aceasta problema va rog sa imi spuneti pls.
Salut!
Am o impresie vaga ca va complicati. Danovidiu, iti sugerez sa mergi la cei de la google daca motorul tau este in stare sa indexeze zeci de mii de pagini pe secunda. Sincer, e mult peste ce exista in acest moment.
http://www-db.stanford.edu/~backrub/google.html
Va sugerez celor care intentionati sa realizati un motor de cautare sa cititi materialul de mai sus, scris de Sergey Brin si Lawrence Page.
danovidiu, am avut un motor de cautare capabil sa indexeze 100 pagini pe secunda (de la preluatul linkurilor de pe fiecare pagina pana la introducerea textului in baza de date). Cel mai dificil a fost preluarea linkurilor si formatarea lor in asa fel incat la urmatoarea trecere prin baza de date, motorul sa se duca exact unde trebuie.
Pentru partea de cautare pe care o vede utilizatorul, desi va merge oarecum lent , sugerez sa se foloseasca MATCH AGAINST cu varianta IN BOOLEAN MODE. Acest lucru ajuta prin nefolosirea unui tabel separat de indexare, iar ordonarea rezultatelor se va face dupa relevanta lor.
Am testat motorul intr-o retea cu acces la internet de 2 Mbps, 4 calculatoare care simultan rulau scriptul, cu un total de 400 pagini/secunda. Depinde foarte mult de memoria interna a calculatorul, deoarece procesorul va merge constant la 100% din capacitate, iar memoria va fi umpluta.
Am renuntat la a-l implementa deoarece costurile sunt infernale, iar venituri nu exista. Va pot da codul ramas dupa ce am facut curatenie, insa va trebui sa il mai modificati pentru a functiona foarte bine.
Ciao!
Am o impresie vaga ca va complicati. Danovidiu, iti sugerez sa mergi la cei de la google daca motorul tau este in stare sa indexeze zeci de mii de pagini pe secunda. Sincer, e mult peste ce exista in acest moment.
http://www-db.stanford.edu/~backrub/google.html
Va sugerez celor care intentionati sa realizati un motor de cautare sa cititi materialul de mai sus, scris de Sergey Brin si Lawrence Page.
danovidiu, am avut un motor de cautare capabil sa indexeze 100 pagini pe secunda (de la preluatul linkurilor de pe fiecare pagina pana la introducerea textului in baza de date). Cel mai dificil a fost preluarea linkurilor si formatarea lor in asa fel incat la urmatoarea trecere prin baza de date, motorul sa se duca exact unde trebuie.
Pentru partea de cautare pe care o vede utilizatorul, desi va merge oarecum lent , sugerez sa se foloseasca MATCH AGAINST cu varianta IN BOOLEAN MODE. Acest lucru ajuta prin nefolosirea unui tabel separat de indexare, iar ordonarea rezultatelor se va face dupa relevanta lor.
Am testat motorul intr-o retea cu acces la internet de 2 Mbps, 4 calculatoare care simultan rulau scriptul, cu un total de 400 pagini/secunda. Depinde foarte mult de memoria interna a calculatorul, deoarece procesorul va merge constant la 100% din capacitate, iar memoria va fi umpluta.
Am renuntat la a-l implementa deoarece costurile sunt infernale, iar venituri nu exista. Va pot da codul ramas dupa ce am facut curatenie, insa va trebui sa il mai modificati pentru a functiona foarte bine.
Ciao!
re
e problematic cu MATCH AGAINST pt ca rankingul nu se face numai dupa 1 factor, sunt multe probleme care apar pentru ca pt fiecare cuvant din pagina respectiva iti trebuie cat mai multe informatii ca sa stii cum ii calculezi rankingul. (nu stiu cat de productiv este sa cauti intr-un text, ci mai degraba dupa indecsi, cel putin asta ne-am dat seama noi)
pe 2k.ro am reusit acest lucru, si gruparea rezultatelor (gen google).
1. gruparea rezultatelor cu ajutorul php consuma multa memorie pe moment (cu aproape toate optimizarile), insa da rezultate ft bune
2. gruparea rezultatelor dintr-un sg query mysql, ft ft lent (tot asa, incercat mai multe optimizari pt SELECT).
se poate adopta o solutie de mijloc, dar, dupa rezultatele trebuie pastrate intr-un CACHE, pentru a face fata cererilor multiple altfel ai pus-o cu php+mysql. pe 2k am reusit sa simulam un google mic pt 400 site-uri totalizand 1.5 gb de date mysql. fiecare cuvant din pagina avand informatii despre ranking, se putea cauta dupa oricate cuvinte, noi ne-am oprit la problema timpilor de raspuns. acum am luat 2xsun si dell, vedem rezultate mai incolo.
acum m-am orientat pe stocarea fisierelor in xml si a statisticilor, si apoi preluarea lor.
eu sunt curios pt ca ft multa lume vad ca are asemenea proiecte. voi cum procedati? (ma refer numai la proiectele custom, nu alea de folosesc alte scripturi).
pe 2k.ro am reusit acest lucru, si gruparea rezultatelor (gen google).
1. gruparea rezultatelor cu ajutorul php consuma multa memorie pe moment (cu aproape toate optimizarile), insa da rezultate ft bune
2. gruparea rezultatelor dintr-un sg query mysql, ft ft lent (tot asa, incercat mai multe optimizari pt SELECT).
se poate adopta o solutie de mijloc, dar, dupa rezultatele trebuie pastrate intr-un CACHE, pentru a face fata cererilor multiple altfel ai pus-o cu php+mysql. pe 2k am reusit sa simulam un google mic pt 400 site-uri totalizand 1.5 gb de date mysql. fiecare cuvant din pagina avand informatii despre ranking, se putea cauta dupa oricate cuvinte, noi ne-am oprit la problema timpilor de raspuns. acum am luat 2xsun si dell, vedem rezultate mai incolo.
acum m-am orientat pe stocarea fisierelor in xml si a statisticilor, si apoi preluarea lor.
eu sunt curios pt ca ft multa lume vad ca are asemenea proiecte. voi cum procedati? (ma refer numai la proiectele custom, nu alea de folosesc alte scripturi).
http://www.wrensoft.com/zoom
Un program care poti sa faci un motor de cautare .... resurse propri
Un program care poti sa faci un motor de cautare .... resurse propri
despre "motor de cautare"
Cum de facut un motor de cautare in cadrul unui site folosind JavaScript? Cine stie , va rog frumos ajutati-ma.
Cine este conectat
Utilizatori ce ce navighează pe acest forum: Niciun utilizator înregistrat și 10 vizitatori