<a href="info.php"><img src="counter.php" width="88" height="31" border=0></a>

<? // WR-Counter v 1.2  //  05.01.08 г.  //  Miha-ingener@yandex.ru

 

 

include "config.php";

 

function prcmp ($a, $b) {if ($a==$b) return 0; if ($a<$b) return -1; return 1;}

$deldt=mktime()-$days*86400; // формируем дату удаления объявления

 

$i=0; if ($handle = opendir($datadir)) {

while (($file = readdir($handle)) !== false)

if (!is_dir($file)) {$lines[$i]=$file; $i++;}

} else {print 'В папке, которую вы указали нет данных счётчика!';}

$itogo=count($lines); $k=0; $text=null;

 

 

do {

 

if ($fitogo!=0 and $lines[$k]!="all.dat" and $lines[$k]!="last.dat" and $lines[$k]!="mainbase.dat" and $lines[$k]!=".htaccess")

$then=mktime(0,0,0,$dt[1],$dt[0],$dt[2]);

 

if ($deldt>$then) {unlink ("$datadir/$lines[$k]");}

 

$numip="0"; $numsys="0"; $hi=0; $ab="0"; $ac="0";

 

do {

if ($ab!=$dt[0]) {$ab=$dt[0]; $numip++;}

if (isset($dt[2])) {if ($ac!=$dt[2]) {$ac=$dt[2]; $numsys++;}}

} while ($hi<$fitogo);

 

} while ($k<$itogo);

 

flock ($fp,LOCK_EX);

fflush ($fp);//очищение файлового буфера

flock ($fp,LOCK_UN);

@chmod("$datadir/mainbase.dat", 0644);

 

 

 

 

 

if (sizeof($lines)>=1) { // ЕСЛИ есть данные - то выводим графики

 

if ($gtype=="1") {  // ВЕРТИКАЛЬНЫЙ график

 

$xdaym="</TR><TR><TD align=center><small>Дата</TD><TD>&nbsp;</TD>\r\n "; $graph1=""; $graph2=""; // Формируем данные для графиков

 

 

 

for ($i=0; $i<$maxi; $i++)  { // начало FOR

 

$dttn1=round($dtt[1]*$scale1);  // шкала 1-го графика

$dttn2=round($dtt[2]*$scale2); // шкала 2-го графика

 

 

if (!isset($m0)) {$m0=date("m",$dtt[0])-1;}

if ($i==$maxi-1) {$m1=date("m",$dtt[0])-1;}

$xday=date("d",$dtt[0]);

$xdaym.="<td align=center><small>$xday</small></TD>\r\n";

}  // конец FOR

 

$mm1=$months[$m0]; $mm2=$months[$m1]; if ($mm1==$mm2) {$mm1="";} else {$mm1.=" - ";}

 

print"$g1shapka $graph1 $xdaym </TR></TABLE>"; // печатаем 1-ый ГРАФИК

print"$g2shapka $graph2 $xdaym $msdat <BR>";   // печатаем 2-ой ГРАФИК

 

 

}  else   {  // ГОРИЗОНТАЛЬНЫЙ график

 

 

$xdaym=""; $graph1=""; $graph2=""; // Формируем данные для графиков

 

for ($i=0; $i<$maxi; $i++)  { // начало FOR

 

if (!isset($m0)) {$m0=date("m",$dtt[0])-1;}

if ($i==$maxi-1) {$m1=date("m",$dtt[0])-1;}

$xday=date("d",$dtt[0]);

 

$dttn1=round($dtt[1]*$scale1);  // шкала 1-го графика

$dttn2=round($dtt[2]*$scale2); // шкала 2-го графика

 

 

}  // конец FOR

 

 

$mm1=$months[$m0]; $mm2=$months[$m1]; if ($mm1==$mm2) {$mm1="";} else {$mm1.=" - ";}

 

print"<BR>$g1shapka $graph1 $xdaym </TR></TABLE></TD><TD width='50%' valign=top> <!-- Делим экран пополам -->"; // печатаем 1-ый ГРАФИК

print"<BR>$g2shapka $graph2 $xdaym </TR></TABLE></TD>$msdat<BR>"; // печатаем 2-ой ГРАФИК

 

 

} // else ($gtype)

 

 

} else {print"<center><br><br>Данные для графика отсутствуют.<br> Посещений за последний период не было.<br><br>";}

 

<center><small>Powered by <a href="http://www.wr-script.ru/" target="_blank">WR-Counter</a> &copy; 1.2<br></small></center>

</TD></TR></table>

</body></html>

<? // WR-Counter v 1.2  //  05.01.08 г.  //  Miha-ingener@yandex.ru

 

 

include "config.php";

 

if (is_file("$datadir/last.dat")) {$lline=file("$datadir/last.dat"); $li=count($lline); if ($li>0) {$ldate=$lline[0];}}

$datescribe=$ldate+7*86400; // расчитываем дату отправки

if ($today>$datescribe) {include("infomail.php");}

 

function addSpace($num) {$strlen=17-strlen($num); $space=null; while($strlen) {$space.=" "; $strlen--;} return $space.$num;}

 

function read_file($path)

{if(!is_file($path))return false;

elseif(!filesize($path))return array();

elseif($array=file($path))return $array;

else while(!$array=file($path))sleep(1);

return $array;}

 

function normal_numeric($number)

{if(!isset($number))return false;

for ($i=$strlen-1;$i>-1;$i--)

{$n = $i;$n++;if(strstr($n/3,"."))$new.=$number[$strlen-1-$i];

else if($n!=$strlen)$new.=    " ".$number[$strlen-1-$i];

else$new.=$number[$strlen-1-$i];}

return $new;}}

 

if(!extension_loaded("gd")) {error("У Вашего хостера моуль GD не загружен - скрипт работать НЕ будет",date("Дата: d.m.Y. Время: H:i:s",time())); exit;}

 

$ip=(isset($_SERVER['REMOTE_ADDR']))?$_SERVER['REMOTE_ADDR']:0;

if (isset($_SERVER["HTTP_REFERER"])) {$from=$_SERVER["HTTP_REFERER"];} else {$from="";}

if (isset($_SERVER["SCRIPT_NAME"])) {$gde=$_SERVER["SCRIPT_NAME"];} else {$gde="";}

if (!is_file("$datadir/$today.dat")) {$OpenToday=fopen("$datadir/$today.dat","a"); fclose($OpenToday);}

 

$itogo=read_file("$datadir/all.dat"); if(!isset($itogo[0])) $itogo[0]=0;

$fp=fopen("$datadir/all.dat","w"); flock ($fp,LOCK_EX); fwrite($fp,($a=$itogo[0]+1)); flock ($fp,LOCK_UN); fclose($fp); @chmod("$datadir/all.dat", 0644);

$ft=fopen("$datadir/$today.dat","a"); flock ($ft,LOCK_EX); fwrite($ft,"$ip|$times|$gde|$who|$from|\r\n"); flock ($ft,LOCK_UN); fclose($ft); @chmod("$datadir/$today.dat", 0644);

$newlines=read_file("$datadir/$today.dat");

for ($i=0;$i < count($newlines); $i++) {$dt=explode("|", $newlines[$i]); $lines[$i]=$dt[0];}

$b=count($lines); $c=count(array_unique($lines));

 

if(strlen($a)>9||!isset($a)) $a="?"; if(strlen($b)>9||!isset($b)) $b="?"; if(strlen($c)>9||!isset($c)) $c="?";

 

header("Cache-Control: post-check=0, pre-check=0", false);

header("Content-type: image/png".chr(10).chr(10));

 

 

 

ImageString($image,1,0,2, addSpace(normal_numeric("$a")),$color1);

ImageString($image,1,0,12, addSpace(normal_numeric

<? // WR-Counter v 1.2  //  05.01.08 г.  //  Miha-ingener@yandex.ru

 

 

include "config.php";

 

if (is_file("$datadir/last.dat")) {$lline=file("$datadir/last.dat"); $li=count($lline); if ($li>0) {$ldate=$lline[0];}}

$datescribe=$ldate+7*86400; // расчитываем дату отправки

if ($today>$datescribe) {include("infomail.php");}

 

function addSpace($num) {$strlen=17-strlen($num); $space=null; while($strlen) {$space.=" "; $strlen--;} return $space.$num;}

 

function read_file($path)

{if(!is_file($path))return false;

elseif(!filesize($path))return array();

elseif($array=file($path))return $array;

else while(!$array=file($path))sleep(1);

return $array;}

 

function normal_numeric($number)

{if(!isset($number))return false;

for ($i=$strlen-1;$i>-1;$i--)

{$n = $i;$n++;if(strstr($n/3,"."))$new.=$number[$strlen-1-$i];

else if($n!=$strlen)$new.=    " ".$number[$strlen-1-$i];

else$new.=$number[$strlen-1-$i];}

return $new;}}

 

if(!extension_loaded("gd")) {error("У Вашего хостера моуль GD не загружен - скрипт работать НЕ будет",date("Дата: d.m.Y. Время: H:i:s",time())); exit;}

 

$ip=(isset($_SERVER['REMOTE_ADDR']))?$_SERVER['REMOTE_ADDR']:0;

if (isset($_SERVER["HTTP_REFERER"])) {$from=$_SERVER["HTTP_REFERER"];} else {$from="";}

if (isset($_SERVER["SCRIPT_NAME"])) {$gde=$_SERVER["SCRIPT_NAME"];} else {$gde="";}

if (!is_file("$datadir/$today.dat")) {$OpenToday=fopen("$datadir/$today.dat","a"); fclose($OpenToday);}

 

$itogo=read_file("$datadir/all.dat"); if(!isset($itogo[0])) $itogo[0]=0;

$fp=fopen("$datadir/all.dat","w"); flock ($fp,LOCK_EX); fwrite($fp,($a=$itogo[0]+1)); flock ($fp,LOCK_UN); fclose($fp); @chmod("$datadir/all.dat", 0644);

$ft=fopen("$datadir/$today.dat","a"); flock ($ft,LOCK_EX); fwrite($ft,"$ip|$times|$gde|$who|$from|\r\n"); flock ($ft,LOCK_UN); fclose($ft); @chmod("$datadir/$today.dat", 0644);

$newlines=read_file("$datadir/$today.dat");

for ($i=0;$i < count($newlines); $i++) {$dt=explode("|", $newlines[$i]); $lines[$i]=$dt[0];}

$b=count($lines); $c=count(array_unique($lines));

 

if(strlen($a)>9||!isset($a)) $a="?"; if(strlen($b)>9||!isset($b)) $b="?"; if(strlen($c)>9||!isset($c)) $c="?";

 

header("Cache-Control: post-check=0, pre-check=0", false);

header("Content-type: image/png".chr(10).chr(10));

 

 

 

ImageString($image,1,0,2, addSpace(normal_numeric("$a")),$color1);

ImageString($image,1,0,12, addSpace(normal_numeric("$b")),$color2);

ImageString($image,1,0,21, addSpace(normal_numeric("$c")),$color3);

 

 

<? // WR-Counter v 1.2  //  05.01.08 г.  //  Miha-ingener@yandex.ru

$password="c87ae4dc647337221802c0e030a48924"; // Пароль админа защифрован md5()

$adminemail="email@email.ru"; // Емайл админа

$sendstat="0"; // Мылить статистику посещений админу?

$sendday="7"; // Периодичность рассылки статистики

$gtype="1"; // Тип графика - горизонтальный / вертикальный ( 1/0 )

$days="30"; // Сколько суток хранить статистику?

$scale1="0.5"; // Коэффициент масштабирования графика ХИТОВ

$scale2="2"; // Коэффициент масштабирования графика ХОСТОВ

$datadir="./data"; // Путь к папке с данными счётчика '.' - текущая папка

$image="counter1.png"; // имя файла с рисунком счётчика

$s1r="255"; $s1g="255"; $s1b="255"; // RGB - 1-й цифры

$s2r="205"; $s2g="205"; $s2b="205"; // RGB - 2-й цифры

$s3r="185"; $s3g="185"; $s3b="185"; // RGB - 3-й цифры

$date=date("d.m.Y"); // число.месяц.год

$time=date("H:i:s"); // часы:минуты:секунды

<title>Индексируем сайт...</title>

<?PHP

 

        set_time_limit (0);

        $include_dir = "../include";

        require_once ("$include_dir/commonfuncs.php");

        $all = 0;

        extract (getHttpVars());

        $settings_dir =  "../settings";

        require_once ("$settings_dir/conf.php");

    include "$settings_dir/database.php";

        include "messages.php";

        echo '<style>body {background: #ededed; padding: 0; margin: 0;}</style><div align="center"><img src="/admin/images/loading.gif" alt="loading"><br></div>';

        include "spiderfuncs.php";

        error_reporting (E_ALL ^ E_NOTICE ^ E_WARNING);

 

 

 

 

 

        $delay_time = 0;

 

       

        $command_line = 0;

 

        if (isset($_SERVER['argv']) && $_SERVER['argc'] >= 2) {

                $command_line = 1;

                $ac = 1; //argument counter

                while ($ac < (count($_SERVER['argv']))) {

                        $arg = $_SERVER['argv'][$ac];

 

                        if ($arg  == '-all') {

                                $all = 1;

                                break;

                        } else if ($arg  == '-u') {

                                $url = $_SERVER['argv'][$ac+1];

                                $ac= $ac+2;

                        } else if ($arg  == '-f') {

                                $soption = 'full';

                                $ac++;

                        } else if ($arg == '-d') {

                                $soption = 'level';

                                $maxlevel =  $_SERVER['argv'][$ac+1];;

                                $ac= $ac+2;

                        } else if ($arg == '-l') {

                                $domaincb = 1;

                                $ac++;

                        } else if ($arg == '-r') {

                                $reindex = 1;

                                $ac++;

                        } else if ($arg  == '-m') {

                                $in =  str_replace("\\n", chr(10), $_SERVER['argv'][$ac+1]);

                                $ac= $ac+2;

                        } else if ($arg  == '-n') {

                                $out =  str_replace("\\n", chr(10), $_SERVER['argv'][$ac+1]);

                                $ac= $ac+2;

                        } else {

                                commandline_help();

                                die();

                        }

               

                }

        }

 

       

        if (isset($soption) && $soption == 'full') {

                $maxlevel = -1;

 

        }

 

        if (!isset($domaincb)) {

                $domaincb = 0;

 

        }

 

        if(!isset($reindex)) {

                $reindex=0;

        }

 

        if(!isset($maxlevel)) {

                $maxlevel=0;

        }

 

 

        if ($keep_log) {

                if ($log_format=="html") {

                        $log_file =  $log_dir."/".Date("ymdHi").".html";

                } else {

                        $log_file =  $log_dir."/".Date("ymdHi").".log";

                }

               

                if (!$log_handle = fopen($log_file, 'w')) {

                        die ("Вход опция установлена, но не может открыть файл для logging.");

                }

        }

       

        if ($all ==  1) {

                index_all();

        } else {

 

                if ($reindex == 1 && $command_line == 1) {

                        $result=mysql_query("select url, spider_depth, required, disallowed, can_leave_domain from ".$mysql_table_prefix."sites where url='$url'");

                        echo mysql_error();

                        if($row=mysql_fetch_row($result)) {

                                $url = $row[0];

                                $maxlevel = $row[1];

                                $in= $row[2];

                                $out = $row[3];

                                $domaincb = $row[4];

                                if ($domaincb=='') {

                                        $domaincb=0;

                                }

                                if ($maxlevel == -1) {

                                        $soption = 'full';

                                } else {

                                        $soption = 'level';

                                }

                        }

 

                }

                if (!isset($in)) {

                        $in = "";

                }

                if (!isset($out)) {

                        $out = "";

                }

 

                index_site($url, $reindex, $maxlevel, $soption, $in, $out, $domaincb);

 

        }

 

        $tmp_urls  = Array();

 

 

        function microtime_float(){

           list($usec, $sec) = explode(" ", microtime());

           return ((float)$usec + (float)$sec);

        }

 

       

        function index_url($url, $level, $site_id, $md5sum, $domain, $indexdate, $sessid, $can_leave_domain, $reindex) {

                global $entities, $min_delay;

                global $command_line;

                global $min_words_per_page;

                global $supdomain;

                global $mysql_table_prefix, $user_agent, $tmp_urls, $delay_time, $domain_arr;

                $needsReindex = 1;

                $deletable = 0;

 

                $url_status = url_status($url);

                $thislevel = $level - 1;

 

                if (strstr($url_status['state'], "Relocation")) {

                        $url = eregi_replace(" ", "", url_purify($url_status['path'], $url, $can_leave_domain));

 

                        if ($url <> '') {

                                $result = mysql_query("select link from ".$mysql_table_prefix."temp where link='$url' && id = '$sessid'");

                                echo mysql_error();

                                $rows = mysql_numrows($result);

                                if ($rows == 0) {

                                        mysql_query ("insert into ".$mysql_table_prefix."temp (link, level, id) values ('$url', '$level', '$sessid')");

                                        echo mysql_error();

                                }

                        }

 

                        $url_status['state'] == "redirected";

                }

 

                /*

                ini_set("user_agent", $user_agent);

                if ($url_status['state'] == 'ok') {

                        $OKtoIndex = 1;

                        $file_read_error = 0;

                       

                        if (time() - $delay_time < $min_delay) {

                                sleep ($min_delay- (time() - $delay_time));

                        }

                        $delay_time = time();

                        if (!fst_lt_snd(phpversion(), "4.3.0")) {

                                $file = file_get_contents($url);

                                if ($file === FALSE) {

                                        $file_read_error = 1;

                                }

                        } else {

                                $fl = @fopen($url, "r");

                                if ($fl) {

                                        while ($buffer = @fgets($fl, 4096)) {

                                                $file .= $buffer;

                                        }

                                } else {

                                        $file_read_error = 1;

                                }

 

                                fclose ($fl);

                        }

                        if ($file_read_error) {

                                $contents = getFileContents($url);

                                $file = $contents['file'];

                        }

                                preg_match("@<head[^>]*>(.*?)<\/head>@si",$file, $regs);

                                $headdata = $regs[1];

 

                                $res = Array ();

                                preg_match("/<meta +http-equiv *=[\"']?Content-Type[\"']? *content=[\"']?([^<>'\"]+)[\"']?/i", $headdata, $res);

                                if (isset ($res)) {

                                $content = $res[1];

                        }

                                $content = strtolower($content);

 

                                if ( $content == "" ) {

                                $sc = get_headers($url, 1);

                                $content = strtolower($sc[Content-Type]);

                        }

 

                                $codepages = array("windows-1251", "utf-8", "koi8-r");

 

                                for ($i=0;$i<count($codepages);$i++){

                                if ( preg_match("/$codepages[$i]/", $content) ) {

                                $cur_codepage = $codepages[$i];

                                 break;

                                                              }

                        }

 

                               if ( $cur_codepage != "UTF-8" || $cur_codepage != "" ) {

                               $file = iconv($cur_codepage, "windows-1251", $file);

}                      

 

                        $pageSize = number_format(strlen($file)/1024, 2, ".", "");

                        printPageSizeReport($pageSize);

 

                        if ($url_status['content'] != 'text') {

                                $file = extract_text($file, $url_status['content']);

                        }

 

                        printStandardReport('starting', $command_line);

               

 

                        $newmd5sum = md5($file);

                       

 

                        if ($md5sum == $newmd5sum) {

                                printStandardReport('md5notChanged',$command_line);

                                $OKtoIndex = 0;

                        } else if (isDuplicateMD5($newmd5sum)) {

                                $OKtoIndex = 0;

                                printStandardReport('duplicate',$command_line);

                        }

 

                        if (($md5sum != $newmd5sum || $reindex ==1) && $OKtoIndex == 1) {

                                $urlparts = parse_url($url);

                                $newdomain = $urlparts['host'];

                                $type = 0;

                               

                /*              if ($newdomain <> $domain)

 

 

                                // remove link to css file

                                //get all links from file

                                $data = clean_file($file, $url, $url_status['content']);

 

                                if ($data['noindex'] == 1) {

                                        $OKtoIndex = 0;

                                        $deletable = 1;

                                        printStandardReport('metaNoindex',$command_line);

                                }

       

 

                                $wordarray = unique_array(explode(" ", $data['content']));

       

                                if ($data['nofollow'] != 1) {

                                        $links = get_links($file, $url, $can_leave_domain, $data['base']);

                                        $links = distinct_array($links);

                                        $all_links = count($links);

                                        $numoflinks = 0;

                                        //if there are any, add to the temp table, but only if there isnt such url already

                                        if (is_array($links)) {

                                                reset ($links);

 

                                                while ($thislink = each($links)) {

                                                        if ($tmp_urls[$thislink[1]] != 1) {

                                                                $tmp_urls[$thislink[1]] = 1;

                                                                $numoflinks++;

                                                                mysql_query ("insert into ".$mysql_table_prefix."temp (link, level, id) values ('$thislink[1]', '$level', '$sessid')");

                                                                echo mysql_error();

                                                        }

                                }

                                        }

                                } else {

                                        printStandardReport('noFollow',$command_line);

                                }

                               

                                if ($OKtoIndex == 1) {

                                       

                                        $title = $data['title'];

                                        $host = $data['host'];

                                        $path = $data['path'];

                                        $fulltxt = $data['fulltext'];

                                        $desc = substr($data['description'], 0,254);

                                        $url_parts = parse_url($url);

                                        $domain_for_db = $url_parts['host'];

 

                                        if (isset($domain_arr[$domain_for_db])) {

                                                $dom_id = $domain_arr[$domain_for_db];

                                        } else {

                                                mysql_query("insert into ".$mysql_table_prefix."domains (domain) values ('$domain_for_db')");

                                                $dom_id = mysql_insert_id();

                                                $domain_arr[$domain_for_db] = $dom_id;

                                        }

 

                                        $wordarray = calc_weights ($wordarray, $title, $host, $path, $data['keywords']);

 

                                        //if there are words to index, add the link to the database, get its id, and add the word + their relation

                                        if (is_array($wordarray) && count($wordarray) > $min_words_per_page) {

                                                if ($md5sum == '') {

                                                        mysql_query ("insert into ".$mysql_table_prefix."links (site_id, url, title, description, fulltxt, indexdate, size, md5sum, level) values ('$site_id', '$url', '$title', '$desc', '$fulltxt', curdate(), '$pageSize', '$newmd5sum', $thislevel)");

                                                        echo mysql_error();

                                                        $result = mysql_query("select link_id from ".$mysql_table_prefix."links where url='$url'");

                                                        echo mysql_error();

                                                        $row = mysql_fetch_row($result);

                                                        $link_id = $row[0];

 

                                                        save_keywords($wordarray, $link_id, $dom_id);

                                                       

                                                        printStandardReport('indexed', $command_line);

                                                }else if (($md5sum <> '') && ($md5sum <> $newmd5sum)) { //if page has changed, start updating

 

                                                        $result = mysql_query("select link_id from ".$mysql_table_prefix."links where url='$url'");

                                                        echo mysql_error();

                                                        $row = mysql_fetch_row($result);

                                                        $link_id = $row[0];

                                                        for ($i=0;$i<=15; $i++) {

                                                                $char = dechex($i);

                                                                mysql_query ("delete from ".$mysql_table_prefix."link_keyword$char where link_id=$link_id");

                                                                echo mysql_error();

                                                        }

                                                        save_keywords($wordarray, $link_id, $dom_id);

                                                        $query = "update ".$mysql_table_prefix."links set title='$title', description ='$desc', fulltxt = '$fulltxt', indexdate=now(), size = '$pageSize', md5sum='$newmd5sum', level=$thislevel where link_id=$link_id";

                                                        mysql_query($query);

                                                        echo mysql_error();

                                                        printStandardReport('re-indexed', $command_line);

                                                }

                                        }else {

                                                printStandardReport('minWords', $command_line);

 

                                        }

                                }

                        }

                } else {

                        $deletable = 1;

                        printUrlStatus($url_status['state'], $command_line);

 

                }

                if ($reindex ==1 && $deletable == 1) {

                        check_for_removal($url);

                } else if ($reindex == 1) {

                       

                }

                if (!isset($all_links)) {

                        $all_links = 0;

                }

                if (!isset($numoflinks)) {

                        $numoflinks = 0;

                }

                printLinksReport($numoflinks, $all_links, $command_line);

        }

 

 

        function index_site($url, $reindex, $maxlevel, $soption, $url_inc, $url_not_inc, $can_leave_domain) {

                global $mysql_table_prefix, $command_line, $mainurl,  $tmp_urls, $domain_arr, $all_keywords;

                if (!isset($all_keywords)) {

                        $result = mysql_query("select keyword_ID, keyword from ".$mysql_table_prefix."keywords");

                        echo mysql_error();

                        while($row=mysql_fetch_array($result)) {

                                $all_keywords[addslashes($row[1])] = $row[0];

                        }

                }

                $compurl = parse_url($url);

                if ($compurl['path'] == '')

                        $url = $url . "/";

       

                $t = microtime();

                $a =  getenv("REMOTE_ADDR");

                $sessid = md5 ($t.$a);

       

       

                $urlparts = parse_url($url);

       

                $domain = $urlparts['host'];

                if (isset($urlparts['port'])) {

                        $port = (int)$urlparts['port'];

                }else {

                        $port = 80;

                }

 

               

       

                $result = mysql_query("select site_id from ".$mysql_table_prefix."sites where url='$url'");

                echo mysql_error();

                $row = mysql_fetch_row($result);

                $site_id = $row[0];

               

                if ($site_id != "" && $reindex == 1) {

                        mysql_query ("insert into ".$mysql_table_prefix."temp (link, level, id) values ('$url', 0, '$sessid')");

                        echo mysql_error();

                        $result = mysql_query("select url, level from ".$mysql_table_prefix."links where site_id = $site_id");

                        while ($row = mysql_fetch_array($result)) {

                                $site_link = $row['url'];

                                $link_level = $row['level'];

                                if ($site_link != $url) {

                                        mysql_query ("insert into ".$mysql_table_prefix."temp (link, level, id) values ('$site_link', $link_level, '$sessid')");

                                }

                        }

                       

                        $qry = "update ".$mysql_table_prefix."sites set indexdate=now(), spider_depth = $maxlevel, required = '$url_inc'," .

                                        "disallowed = '$url_not_inc', can_leave_domain=$can_leave_domain where site_id=$site_id";

                        mysql_query ($qry);

                        echo mysql_error();

                } else if ($site_id == '') {

                        mysql_query ("insert into ".$mysql_table_prefix."sites (url, indexdate, spider_depth, required, disallowed, can_leave_domain) " .

                                        "values ('$url', now(), $maxlevel, '$url_inc', '$url_not_inc', $can_leave_domain)");

                        echo mysql_error();

                        $result = mysql_query("select site_ID from ".$mysql_table_prefix."sites where url='$url'");

                        $row = mysql_fetch_row($result);

                        $site_id = $row[0];

                } else {

                        mysql_query ("update ".$mysql_table_prefix."sites set indexdate=now(), spider_depth = $maxlevel, required = '$url_inc'," .

                                        "disallowed = '$url_not_inc', can_leave_domain=$can_leave_domain where site_id=$site_id");

                        echo mysql_error();

                }

       

       

                $result = mysql_query("select site_id, temp_id, level, count, num from ".$mysql_table_prefix."pending where site_id='$site_id'");

                echo mysql_error();

                $row = mysql_fetch_row($result);

                $pending = $row[0];

                $level = 0;

                $domain_arr = get_domains();

                if ($pending == '') {

                        mysql_query ("insert into ".$mysql_table_prefix."temp (link, level, id) values ('$url', 0, '$sessid')");

                        echo mysql_error();

                } else if ($pending != '') {

                        printStandardReport('continueSuspended',$command_line);

                        mysql_query("select temp_id, level, count from ".$mysql_table_prefix."pending where site_id='$site_id'");

                        echo mysql_error();

                        $sessid = $row[1];

                        $level = $row[2];

                        $pend_count = $row[3] + 1;

                        $num = $row[4];

                        $pending = 1;

                        $tmp_urls = get_temp_urls($sessid);

                }

       

                if ($reindex != 1) {

                        mysql_query ("insert into ".$mysql_table_prefix."pending (site_id, temp_id, level, count) values ('$site_id', '$sessid', '0', '0')");

                        echo mysql_error();

                }

       

       

                $time = time();

       

       

                $omit = check_robot_txt($url);

       

                printHeader ($omit, $url, $command_line);

       

       

                $mainurl = $url;

                $num = 0;

       

                while (($level <= $maxlevel && $soption == 'level') || ($soption == 'full')) {

                        if ($pending == 1) {

                                $count = $pend_count;

                                $pending = 0;

                        } else

                                $count = 0;

       

                        $links = array();

       

                        $result = mysql_query("select distinct link from ".$mysql_table_prefix."temp where level=$level && id='$sessid' order by link");

                        echo mysql_error();

                        $rows = mysql_num_rows($result);

       

                        if ($rows == 0) {

                                break;

                        }

       

                        $i = 0;

       

                        while ($row = mysql_fetch_array($result)) {

                                $links[] = $row['link'];

                        }

       

                        reset ($links);

       

       

                        while ($count < count($links)) {

                                $num++;

                                $thislink = $links[$count];

                                $urlparts = parse_url($thislink);

                                reset ($omit);

                                $forbidden = 0;

                                foreach ($omit as $omiturl) {

                                        $omiturl = trim($omiturl);

       

                                        $omiturl_parts = parse_url($omiturl);

                                        if ($omiturl_parts['scheme'] == '') {

                                                $check_omit = $urlparts['host'] . $omiturl;

                                        } else {

                                                $check_omit = $omiturl;

                                        }

       

                                        if (strpos($thislink, $check_omit)) {

                                                printRobotsReport($num, $thislink, $command_line);

                                                check_for_removal($thislink);

                                                $forbidden = 1;

                                                break;

                                        }

                                }

                               

                                if (!check_include($thislink, $url_inc, $url_not_inc )) {

                                        printUrlStringReport($num, $thislink, $command_line);

                                        check_for_removal($thislink);

                                        $forbidden = 1;

                                }

       

                                if ($forbidden == 0) {

                                        printRetrieving($num, $thislink, $command_line);

                                        $query = "select md5sum, indexdate from ".$mysql_table_prefix."links where url='$thislink'";

                                        $result = mysql_query($query);

                                        echo mysql_error();

                                        $rows = mysql_num_rows($result);

                                        if ($rows == 0) {

                                                index_url($thislink, $level+1, $site_id, '',  $domain, '', $sessid, $can_leave_domain, $reindex);

 

                                                mysql_query("update ".$mysql_table_prefix."pending set level = $level, count=$count, num=$num where site_id=$site_id");

                                                echo mysql_error();

                                        }else if ($rows <> 0 && $reindex == 1) {

                                                $row = mysql_fetch_array($result);

                                                $md5sum = $row['md5sum'];

                                                $indexdate = $row['indexdate'];

                                                index_url($thislink, $level+1, $site_id, $md5sum,  $domain, $indexdate, $sessid, $can_leave_domain, $reindex);

                                                mysql_query("update ".$mysql_table_prefix."pending set level = $level, count=$count, num=$num where site_id=$site_id");