Forum PHP Romania - Discutii despre PHP, MySQL, Javascript, AJAX, etc

[cristi]

Aici puteti completa cu idei pentru proiectul "Motor de Cautare".

[cristi]

Idei:

- server de baze de date: MySQL cu posibiliatea de extindere la alte baze de date (SQL Server, Oracle)
- suport pentru HTTP, HTTPS, FTP
- facilitati de cautare avansata
- modul de instalare
- cautare "booleana": php+romania, php OR romania
- statistici cautare - Top cuvinte cautate

Recomand folosirea Smarty pentru template-uri.

Trimite-ti aici propuneri de alte facilitati pe care sa le ofere si de asemenea un nume pentru proiect.

[Vizitator]

voi ce vreti sa faceti? un motor de cautare gen google sau un motor de cautare intern, pentru anumite siteuri?

si o alta intrbare. de ce vreti sa faceti asta?

[Radu]

mai sus am scris eu, am uitat sa ma loghez

[cristi]

Vrem sa fie un motor de cautare ... gen google in principal pentru site-urile romanesti.

[Radu]

ok. cautarea cum se va face? intr-o baza de date in care sunt inscrise siteuri in prealabil? adica indexarea se va face ca la google, prin submit? keywords etc?

daca se va face asa, parere mea este ca e simplu (la prima vedere)
daca nu, :) ma mai gandesc. :P

[cristi]

Cautarea se va face intr-o baza de date. Site-urile sunt inscrise fie prin submit, fie prin indexare pe baza de keywords, robots.txt, ....

[heinrich]

ideea asta o urmaresc si eu de ceva timp doar k merge destul de greu (mdeh...clasa a 12-a)...dar dispuneti de puterea de calcul necesara? adik pt colectarea informatiilor cred k o sa fol. arbori la memorarea linkurilor prin care trece....iar arborii astia o sa creasca intr-una....in fine....go on...nice ideea

[grcodal]

Exista deja, daca nu stiati, un motor de cautare free si open source in php + mysql: http://www.phpdig.net. L-am folosit pentru creare unui motor de cautare ptr paginile romanesti si la cam 15.000 site-uri indexate query-ul merge sub 1 sec. Problema este ca la cautare nu sorteaza rezultatele prea bine, l-am modificat impreuna cu un coleg de munca si merge putin mai bine, dar se poate si mai mult.
Parerea mea este ca cine ar dori ar putea folosi acest motor si l-ar putea modifica dupa cum doreste.

[cristi]

Ok... inseamna ca putem porni de la acesta si optimiza. Stii cumva ce tip de licenta are phpdig?

[Zamolxe]

Radu a scris: ok. cautarea cum se va face? intr-o baza de date in care sunt inscrise siteuri in prealabil? adica indexarea se va face ca la google, prin submit? keywords etc?

daca se va face asa, parere mea este ca e simplu (la prima vedere)
daca nu, :) ma mai gandesc. :P

salut

nu stiu daca este o idee buna sa faci un motor de cautare pe baza de keywords, meta description, si robots.txt pentru ca exista multi developeri web care nici macar nu au auzit de acestea si oricum aceste campuri/fisiere contin informatii prea putine despre un site.

trebuie cautat in profunzime, in fisierul in sine (codul sursa).

phpdig este un punct de start ft bun.

[Vizitator]

cristi a scris: Recomand folosirea Smarty pentru template-uri.

Nu ar fi mai bine Fast Template?

Aici găsiţi o versiune modificată a Fast Template : http://www.grafxsoftware.com/product.php/Fast_Template/26/

[lvalics]

FAST Template e recomandat acelor proiecte cele care au nevoie a fi editate ulterior de utilizatori care nu stiu altceva decat HTML.
Din punctul asta de vedere Smarty e mult mai greoi.
Daca insa cel care modifica pagina e programator, e mai bine Smarty, mult mai avansat ...
Speram sa reluam putin proiectul Fast Template si in 6 luni sa il facem competitiv.

[danovidiu]

Personal de ceva timp (~2 ani) studiez motoare de cautare. Am citit despre cum functioneaza Google in detaliu, si am implementat un prototip in PHP.

Un motor de cautare in pagini de Internet .ro ar trebui sa indexeze fiecare pagina, nu numai informatii cum ar fi titlul, description etc.

Din pacate asa ceva NU ar merge in PHP+MySQL. Nu zic ca e imposibil, dar sunt alternative mult mai rapide.

Motorul de cautare care l-am scris (PHP) putea sa caute in cateva zeci de mii de pagini in maxim 2 secunde(ma mai gandesc daca il lansez sub licenta GPL). Dar asta e doar o parte infima a Internetului romanesc. God, numai site-ul meu are 10000 de pagini :)

Motorul de cautare propus de cristi ar trebui sa ruleze pe un hardware "decent", putin spus.

Am inceput dupa aceea sa caut alternative open-source scrise in C. Am dat de mnogosearch. Am implementat 2 motoare de cautare pentru testare :

http://www.playfuls.com - cauta in site-uri de gaming internationale
http://drdoc.sparetimegroup.net - cauta in documentatie PHP, MySQL, Python, Howto etc

Sper ca le puteti accesa, s-ar putea sa fie mici pb cu rutarea IP-ului.

[arond]

Subscriu la ce a zis danovidiu. Parerile mele:

Problemele se impart in 2 mari categorii:

1. Indexarea
Pentru a realiza o indexare decenta trebuie mai mult decat un DBMS relational (cu atat mai mult MySQL care e lent la insert-uri), si cu siguranta bot-ul de indexare n-ar trebui sa fie scris intr-un un limbaj de scripting.

Mai mult decat atat, apar o gramada de probleme mai mari sau marunte:

a. Vizitele trebuie programate... pentru ca multi webmasteri vad vizite succesive si rapide de la aceeasi adresa IP ca pe ceva nedorit.
b. Meta tag-urile au iesit din trend, asa ca pentru a fi cat de cat performant trebuie un deep search in pagina... cu problemele de rigoare legate de calculele de relevanta pentru cuvinte cheie, etc, etc
c. ... am uitat, dar parea important :D

2. Cautarea
Pentru a realiza o cautare decenta trebuie mai mult decat un DBMS relational si cu siguranta nu PHP :D.

Ar trebui o tehnologie de procesare distribuita, blah-blah... sa poata sa scaleze corespunzator cand ii vine vremea. Altfel te trezesti ca peste x pagini indexate totul se rupe in doua.

Iar un motiv killer pentru inutilitatea proiectului este chiar Google. E localizat, poate sa caute dupa chestii cu diacritice, poate sa caute numai chestii scrise intr-o anume limba... etc, etc + o tehnologie super-performanta.

Cu alte cuvinte, una peste alta nu cred sa fie un proiect util si fezabil (evident, e foarte posibil sa ma insel...).

Poate ar fi mai interesant un gateway pentru Google... cautare pe Google cu optiuni romanesti by default (evident, trebuie vazut si ce politica are Google in privinta asta... ca altfel ne leaga si ne duc departe :D).

[PHPRomania Bot]