Форумы портала PHP.SU :: Класс cms_http

Предлагаю выложить на php.su для всех
<?PHP 
/*
*       Copyright ALEN
*       The script is laid out in the free use
*       Revenue Sharing STRICTLY PROHIBITED
*       Do not take responsibility for the use of this class
*       11/25/2010
*       
*       Авторские права пренадлежат ALEN
*       Скрипт выложен в свободное пользование
*       Коммерческое распространение СТРОГО ЗАПРЕЩЕНО
*       Не несу ответственность за использование данного класса
*       25.11.2010      
*/
class cms_http_parse {
 
  public $url;
  public $user_agent='Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US;
rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1';
  public $sleep_time=0; // пауза между запросами в секундах
  public $tmp_dir='./tmp/parser_file/'; // папка для временных файлов
  public $time_curl=5; // время ожидания запроса к одной странице
  public $cache_dir='./tmp/cache_parser/'; // папка с файлами кэша
  public $file_coockies='./tmp/coockies_http_get.dat'; // файл с куками
  public $cache_time_limit=259200; // время хранения кэша в секундах (3 суток)
  public $charset='utf-8'; // кодировка результата данных и хранения кэша
  public $post_array;
  public $charset_ifno='windows-1251';  // если не указана кодировка то считать,
                                        // что windows-1251
  public $pref_file_b='.dat'; // Расширения файла с базой
  public $pref_file_s='.html'; // Расширения файла кэша страницы
  public $on_cached; // включение кэширование на +1
 
  function get_parse($url){
    $ch=curl_init ($url);
    curl_setopt ($ch,CURLOPT_RETURNTRANSFER,1);
    curl_setopt ($ch,CURLOPT_VERBOSE,1);
    curl_setopt ($ch,CURLOPT_HEADER,1);
    curl_setopt ($ch,CURLOPT_TIMEOUT,$this->time_curl);
    curl_setopt ($ch,CURLOPT_USERAGENT,$this->user_agent);
    curl_setopt ($ch,CURLOPT_COOKIEJAR,$this->file_coockies);
    curl_setopt ($ch,CURLOPT_COOKIEFILE,$this->file_coockies);
    if (isset($this->post_array)){
       curl_setopt ($ch,CURLOPT_POST,1);
       curl_setopt ($ch,CURLOPT_POSTFIELDS,$this->post_array);
    } 
    if($this->sleep_time>0){
      sleep($this->sleep_time);
    }
    $page = curl_exec ($ch);
    $this->ch_curl=$ch;
    return $page;
  }
  
  function if_get_parse($url){
    $path_file_bd=$this->cache_dir.md5($this->url).$this->pref_file_b;
    $path_file_site=$this->cache_dir.md5($this->url).$this->pref_file_s;
    if(file_exists($path_file_bd) and file_exists($path_file_site)){
      $bd=unserialize(file_get_contents($path_file_bd));
      if($bd['time']>time()){
        $page=file_get_contents($path_file_site);
        if($bd['charset']!=$this->charset){
          iconv($bd['charset'],$this->charset,$page);
        }
      return $page;
      }
    } else {
      $page=$this->get_followlocation($url);
      $page=preg_replace("#^([^\<]*)<(.*)#i","<\\2",$page);
      $charset_page=$this->charset_page_parse();
      if($this->charset!=''&&$charset_page!=$this->charset){
        $page=iconv($charset_page,$this->charset,$page);
      }
      if($page!=''){
        $this->puts_content($page);
      }
      $this->close_curle();
      return $page;
    }
  }
  
  function get_followlocation($url){
    $page=$this->get_parse($url);
    if(preg_match("#Location\:\s?(.+)\s#i",$page)){
      preg_match_all("#Location\:\s?(.+)\s#isU",$page,$link);
      $page=$this->get_followlocation(trim($link[1][0]));    
    }
    return $page;
  }
  
  function puts_content($text){
    if($this->on_cached==1){
    $path_file_bd=$this->cache_dir.md5($this->url).$this->pref_file_b;
    $path_file_site=$this->cache_dir.md5($this->url).$this->pref_file_s;
    $bd['time']=time()+$this->cache_time_limit;
    $bd['charset']=$this->charset;
    $bd['url']=$this->url;
    $bd['time_load']=time();
    file_put_contents($path_file_site,$text);
    file_put_contents($path_file_bd,serialize($bd));
  }}
  
  function charset_page_parse(){
    $content_type=curl_getinfo($this->ch_curl,CURLINFO_CONTENT_TYPE); 
    if(preg_match("#charset=(.+)\s*#is",$content_type)){
      preg_match_all("#charset=(.+)\s*#is",$content_type,$chars);
      $charset=$chars[1][0];
    } else {
    $charset=$this->charset_ifno;
    }
    return $charset;
  }
  
  function get($url){
    $this->url=$url;
    $page=$this->if_get_parse($url);
    return $page;
  }
  
  function close_curle(){
    curl_close ($this->ch_curl); 
  }
}
 
 
(Отредактировано автором: 25 Января, 2011 - 11:45:20)
PHP.SU

Класс cms_http_parse
