Php İle Arama Motoru Hazirlamak

Bir cok kisinin kendi sitesi icin bir arama motoru olusturmak istedigini gordugum icin PHP ile bu isin nasil yapilacagina baktim.Bir kac kutuphane gezdikten sonra en sonunda aradigim ornege bir kitapta rastladim.

Yanliz kucuk bir talihsizlik ilekitaptaki ornegin bir cok hata icerdigini gordum.Bir tarafi duzeltiyorsunuz baska bir yerde hata veriyor ve anlamsiz sonuclar ortaya cikiyordu.Bende en az 10-15 noktaya “echo ()” ile degisken sonuclarini belirli noktalarda isleyerek ve “gettype ()” fonksiyonu ile degiskenin yapisina bakarak sorunun nerede oldugunu anlamaya calisiyordum.

Zaten bir onceki yazimda ozellikle degisken veri tipi ve ozelliklerini anlamamiza yarayan fonksiyonlari makale yapmistim :)

Once degiskenleri,yapilarini,davranislarini ogrenip sonra ava cikmak daha mantikli gelmisti…

Simdi kitaptaki ornegin yapisini inceleyelim.ben bu ornekle ilgili yaklasik 1 haftadir calisiyorum.Hatalari bulup cikarirken eglendigimi soyleyemem ama cok sey ogrendim.

Ilk olarak belirtmeliyim ki yazar gercekten usta bir programci ve neden bu kadar cok hata yaptigini halen cozebilmis degilim.Ben ozellikle betik’teki degisken isimleri ve aciklamalara dokunmadim ki duzelltigim ve oldukca gelistirdigim bu ornegi ona da gonderirken ikinci bir isle ugramayayim istedim.

Yazar bir web sitesini indekslemek ve bu indekse dayali bir arama motoru kurabilmek icin etiketlerinden yararlanmis.Zaten tum arama motorlarida siteleri o etiketlerine gore indeksliyor.

etiketleri ve etiketleri arasina yaziliyor ve asagidaki gibi bir yapisi bulunuyor :

Yani her web sayfanizin,kendisi ile ilgili bir anahtar kelime ve aciklama alanina sahip olmasi gerekiyor.HTML ile bu saglandiginda siteyi indeksleyecek program bu etiketlerinin icinde yer alan, “keywords” yani anahtar kelimeler ve “description” denilen aciklama alani ile sayfayi indeksliyor ve veritabaninda o sayfa ile ilgili bir satir aciyor.

Bundan ayri olarak veritabanina o sayfanin isminide yaziyor ve arama yapilirken sayfanin ismi alaninda da aranan kelime icin bir eslesme olup olmadigina bakiliyor.

Boylece “keywords”,”description” ve “filename” yani sirasi ile “anahtar kelimeler”,”aciklama” ve “dosyaadi” olarak uc alan veritabaninda yer aliyor.Birisi bir seyler aradiginda sayfalarla ilgili sonuclar veritabaninda karsilastiriliyor ve uyan sonuclar ekrana geliyor.

Hazirladigimiz program veritabanindan bagimsiz calisiyor.yani siz isterseniz MySQL isterseniz ORACLE isterseniz PostgreSQL veritabanini kullanabilirsiniz.Program icinde DB.php isimli bir sinif tarafindan veritabanina baglanti gerceklestiriliyor.Bu dosya PHP ile berber geliyor ve veritabani bagimsiz uygulama yazmak icin kullaniliyor.Programin yapisina bakinca nasil boyle bir islemin saglandigini gorebilirisiniz.

Programin ayarlar dosyasindan istediginiz veritabani ismini yazmaniz programin o veritabani ile ilgili fonksiyonlari kullanarak veritabani ile etkilesime gecemesini sagliyor…

Hemen hemen butun ayarlar bir tek ayar dosyasindan yapiliyor ama yinede bazi ayarlar hakkinda konusmak istiyorum.

Ilk olarak sitenizdeki butun dosyalar sizin belirlediginiz bir klasor baz alinarak ice dogru gidecek sekilde taraniyor.Bu tarama sirasinda sizin belirlediginiz dosya uzantisina sahip dosyalar indeksleniyor.Ornegin yanlizca sonu .html ile biten dosyalarin indekslenmesini yada sadece sonu .php ile biten dosyalarin indekslenmesini saglamak mumkun oluyor.

Asagiya ayar dosyasinin bir ornegini yaziyorum :

dbtype:mysql ; SQL Sunucu ne tip bir veritabani?
Host:localhost ; SQL Sunucu Nerede?
User:turkphp_user ; SQL Kullanici Adi
Password:****** ; SQL Sifresi
database_name:turkphp_veritabani ; Veritabani ismi?
filters:html,htm,php,php3,php4 ; Indekslenecek dosya uzantilari?
saveresults:yes ; Sonuclari kaydet?
basedir:/home/turkphp/public_html ; Indeksleme icin temel alinacak klasor?

Tum ayarlarin yanina turkce olarak ne anlama geldigini yazdim.

Simdi de veritabani icin tablo yapisini inceleyelim :

Tum kayitlari tutmak icin bir tek tablodan yararlanmak yetiyor.Asagidaki SQL yapisini kendi veritabani sunucunuz uzerinde calistirin,

CREATE TABLE sites_table (
id INT(4) PRIMARY KEY AUTO_INCREMENT,
filename VARCHAR (70),
keywords TEXT,
description TEXT
);

Guzel simdi “sites_table” isminde bir tabloya ve o tablonun icinde yer alan tablo alanlarini yaratmis oldunuz.Sitemizdeki tum dosyalar indekslendikten sonra bu alanlara ilgili veriler yazilacak.

Kurulum :

1.Bir paket halinde sikistirilmis dosyayi bilgisayariniza indirin.
2.Web sunucunuza upload yapmadan once ‘config.txt’ dosyasini acarak istediginiz ayarlari girin.
3.Yukaridaki SQL sorgusunu uygulayip tabloyu yarattiysaniz,artik dosyalari sunucuya yukleyebilirsiniz.(Dosyalari herhangi bir klasore koyabilirisiniz ama size tavsiyem ornegin “arama_motoru” gibi bir klasor acip o dizine “777” erisim haklari vermenizdir.Cunku indeksleme sirasinda bazi kayit dosyalari yaratilmaktadir.Eger dosyalara ve dizine “777” erisim hakki vermez iseniz klasorde gerekli izinlere sahip olmadigi icin program gecici kayit dosyalarini yaratamayacaktir.)
4.”arama_motoru” isminde bir dizine dosyalari koydugunuzu kabul edersek,simdi web tarayicinizdan asagidaki gibi adrese gidebilirisiniz :

http://www.sizinalanadiniz.com/arama_motoru/octopus.php

Sayfa acilir acilmaz sizin ayarlar bolumunde verdiginiz verilere dayanarak siteyi bastan asagi (sizin belirlediginiz klasorden baslayarak) indekslemeye ve sayfalarda “keywords” ve “description” meta etiketlerine bakamya baslayacaktir.Eger bu kayitlara rastlanmaz ise bu alanlar veritabanina bos olarak kayit edilir ve yanlizca dosyalarinizin ismi veritabaninda bir kayit olarak yer alir.

5.Sitenizin indekslenmesi bittiginde sayfanin en altinda bu verileri veritabanina yazip yazmak istemediginiz sorulur.Bu islemden sonra artik siteniz indekslenmis ve aranmaya hazir hale gelmistir.

6.Simdi ornek bir arama yapmak icin,

http://www.sizinalanadiniz.com/arama_motoru/voyager.php

adresine gidebilirsiniz.Ilk olarak sayfa acildiginda indeks sonuclari ve en altta bir arama kutusu gorunur.Oraya arama kriteri girerek arama islemine baslayabilirsiniz.Eger basit bir web formu hazirlayarak,her defasinda veritabanindaki butun sonuclarin ekrana gelmesini engelleyerek yanlizca arama kutusunun yer aldigi bir sayfa hazirlamak istiyorsaniz ornegin asagidaki gibi bir html sayfasi hazirlayarak da arama yapabilirsiniz :

Anahtar kelimeleri yaziniz :

Kurulumu boylece tamamlamis oldunuz.Eger bir sebepten oturu hata mesaji aliyorsaniz once klasore gerekli izni vermeyi deneyin.Eger klasor izinleri tamamsa bu sefer veritabani kullanici adi ve sifrenizi gozden gecirin.Bu progrm bazi PEAR siniflarini kullanmaktadir.Bu sinifilar PHP ile otomatik gelir ve bu konuda bir sikinti yazamaniz mumkun degildir.

Ornek Dosyalar

http://www.turk-php.com/search_engine/octopus.php

http://www.turk-php.com/search_engine/voyager.php

Programi bilgisayariniza indirin :

http://www.turk-php.com/ornekler/search_engine.zip

Kaynak : ISBN 0-672-31924-1

Not : Kaynak kitapta yer alan yapi,duzen kaynak kodlar ile yukarida indirdiginiz sikistirilmis dosyadaki kaynak kodlar cok farklidir.

EK – 1 Kaynak Kodlar

octopus.php

search ($regex,$config[‘basedir’], ‘perl’);

while ($file = array_pop ($files)) {
$meta_tags = get_meta_tags ($file);
$indexed .= “$file | ” . $meta_tags[keywords] . ‘ | ‘;
$indexed .= str_replace (” “, ”, $meta_tags[description]) . ” “;
}

if (strtolower ($config[‘saveresults’]) == ‘yes’ or
$config[‘saveresults’] == ‘1’) {
touch (‘savefile’); #Create if doesn’t exist
$n = (int)join(”, file(‘savefile’));

$fp = @fopen (‘savefile’,’w’) or die(“Cannot Open savefile”);
fputs ($fp, ++$n);
fclose($fp) or die(“Cannot Close savefile”);

$filename = ‘octopus_index’ . $n . ‘.txt’;
$fp = @fopen ($filename, ‘w’) or die (“Cannot Open $filename”);
fwrite ($fp,$indexed);
@fclose ($fp) or die(“Cannot Close $filename”);
confirm ($indexed);
} else {
$filename = ‘octopus_index.txt’;
$fp = @fopen ($filename,’w’) or die(“Cannot Open $filename”);
fwrite ($fp,$indexed);
@fclose($fp) or die(“Cannot Close $filename”);
confirm($indexed);
}

function confirm () {
global $filename,$indexed;
?>





Dosyalar Indeksleniyor…Lutfen Bekleyiniz:

‘, $file);
print “$file

“;
}
?>

Dosyalari Indekslemeyi Bitirdim.
Dosyalari Tekrar Indekslemek Istiyorum.
$config[dbtype],
‘username’ => $config[User],
‘password’ => $config[Password],
‘database’ => $config[database_name],
‘hostspec’ => $config[Host]);

$dbh = DB::connect($dbconn);

if (DB::isError ($dbh)) {
die (sprintf (‘Hata1 [%d]: %s’,$dbh->getCode(), $dbh->getMessage()));
}

$fcontents = file ($filename);

while(list($key,$line) = each($fcontents)) {
list ($fname,$keywords,$desc) = explode(‘|’, $line);

$fname = ereg_replace($config[‘basedir’],” “,$fname);
$fname = trim($fname);
$keywords = trim($keywords);
$desc = trim($desc);

$stmt = ‘INSERT INTO sites_table (filename, keywords, description)’;
$stmt .= ” VALUES (‘$fname’,’$keywords’,’$desc’)”;
$dbh->query ($stmt);
if (DB::isError ($dbh)) {
die (sprintf (‘Hata 2 [%d]: %s’,$dbh->getCode(), $dbh->getMessage()));
}
}
//$dbh->close();
print “Sitenizin Indekslenmesi Tamamlandi…”;
} elseif ($finalize == ‘no’) {
unlink ($filename)
or die (“Cannot delete $filename”);
if ($saveresults == ‘yes’ or $saveresults == ‘1’) {
$n = (int)join (”,file (‘savefile’));
$fp = @fopen (‘savefile’,’w’) or die (“Connot Open savefile”);
fputs ($fp, –$n);
@fclose ($fp) or die (“Cannot Close savefile”);
}
print “Yapilan tum islemler geri alindi ve indeks dosyalari silindi…”;
} else {
die (“Gecersiz bir secenek girildi…”);
}
?>

voyager.php

$config[dbtype],
‘username’ => $config[User],
‘password’ => $config[Password],
‘database’ => $config[database_name],
‘hostspec’ => $config[Host]);
$dbh = DB::connect($dbconn);

if (DB::isError ($dbh)) {
die (sprintf (‘Error [%d]: %s’,$dbh->getCode(),$dbh->getMessage()));
}

$stmt = ‘SELECT * FROM sites_table ‘;
$stmt .= ” WHERE keywords LIKE ‘%$query%’ OR description LIKE ‘%$query%'”;
$stmt .= ” OR filename LIKE ‘%$query%'”;

$sth = $dbh->query ($stmt);

if (DB::isError ($dbh)) {
die (sprintf (‘Hata [%d]: %s’,$dbh->getCode(),$dbh->getMessage()));
}

$count = $sth->numRows ();

$header = ($count > 0) ? “Sorgunuza uyan $count tane sonuc bulundu.” :
‘Uzgunum sorgunuza uyan herhangi bir kaynak sitemizde yer almiyor.’;

function result_set () {
global $sth;
while ($row = $sth->fetchRow()) {
?>
‘ method=’GET’>
Sitede bulmak istediginiz anahtar kelimeleri yaziniz :

config.txt

dbtype:mysql ; SQL Server Type
Host:localhost ; SQL server location
User:turkphp_user ; SQL username
Password:****** ; SQL Password
database_name:turkphp_veritabani ; Name of the Database
filters:html,htm,php,php3,php4 ; Allowed File endings.
saveresults:yes ; Save the results of each succesful indexing
basedir:/home/turkphp/public_html ; Base directory where files are held

LoadConfig.php