Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Паук-индексатор

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Описание: Типа индексирует сайты
Volt
Отправлено: 08 Февраля, 2011 - 10:21:20
Post Id


Гость


Покинул форум
Сообщений всего: 75
Дата рег-ции: Янв. 2011  


Помог: 1 раз(а)




ребята пожалуйста дайте скрипт который при наборе какой-нибудь сайт шел на него записывал все ссылки..тайтлы..и если видел другой сайт шел и на него..
 
 Top
DiosPA
Отправлено: 08 Февраля, 2011 - 17:11:26
Post Id



Частый гость


Покинул форум
Сообщений всего: 180
Дата рег-ции: Янв. 2011  
Откуда: Россия


Помог: 2 раз(а)




Volt
в смысле записывал все ссылки? тебе нужен скрипт чтобы все ссылки скачать к себе?
 
 Top
OrmaJever
Отправлено: 08 Февраля, 2011 - 20:35:55
Post Id



Активный участник


Покинул форум
Сообщений всего: 7540
Дата рег-ции: Янв. 2010  
Откуда: Чернигов


Помог: 299 раз(а)




Volt это довольно большой поисковый бот получается и бесплатно их не будет


-----
Если вы хотя бы 3-4 раза не решите всё выкинуть и начать заново - вы явно что-то делаете не так.
 
 Top
DiosPA
Отправлено: 09 Февраля, 2011 - 03:40:51
Post Id



Частый гость


Покинул форум
Сообщений всего: 180
Дата рег-ции: Янв. 2011  
Откуда: Россия


Помог: 2 раз(а)




Парсер всех внешних и внутренних ссылок со страницы
В массиве $vnut только ссылки внутренние, в массиве $vnech только внешние ссылки.

PHP:
скопировать код в буфер обмена
  1.  
  2. $html=file_get_contents ('http://www.popsu.net');
  3. $url='popsu.net';
  4. $vnut=array();
  5. $vnech=array();
  6. preg_match_all('~<a [^<>]*href=[\'"]([^\'"]+)[\'"][^<>]*>(((?!~si',$html, $matches);
  7. foreach ($matches[1] as $val) {
  8. if (!preg_match("~^[^=]+://~", $val) || preg_match("~^[^://]+://(www\.)?".$url."~i", $val)) { $vnut[]=$val; }
  9. else $vnech[]=$val;
  10. }
  11. $vnut=array_unique ($vnut);
  12. $vnech=array_unique ($vnech);
  13. print_r ($vnut);
  14. print_r ($vnech);
 
 Top
Volt
Отправлено: 09 Февраля, 2011 - 08:10:38
Post Id


Гость


Покинул форум
Сообщений всего: 75
Дата рег-ции: Янв. 2011  


Помог: 1 раз(а)




спс но как работает тот скрипт я чет не понял?
 
 Top
ALEN
Отправлено: 09 Февраля, 2011 - 12:58:18
Post Id



Участник


Покинул форум
Сообщений всего: 1459
Дата рег-ции: Авг. 2008  
Откуда: Крым


Помог: 11 раз(а)




Volt Уууу товарисчь, нужно учить мат. часть. Сам скрипт простой, вот только, как это сделать аккуратно и обрабатывать - это другой вопрос.
 
 Top
Volt
Отправлено: 09 Февраля, 2011 - 13:02:01
Post Id


Гость


Покинул форум
Сообщений всего: 75
Дата рег-ции: Янв. 2011  


Помог: 1 раз(а)




слушай пожалуйста ты бы не мог сделать я подожду..хоть через месяц..но сделаеш?
 
 Top
DiosPA
Отправлено: 09 Февраля, 2011 - 16:41:31
Post Id



Частый гость


Покинул форум
Сообщений всего: 180
Дата рег-ции: Янв. 2011  
Откуда: Россия


Помог: 2 раз(а)




Volt а тебе когда надо будет?
 
 Top
Volt
Отправлено: 10 Февраля, 2011 - 08:08:25
Post Id


Гость


Покинул форум
Сообщений всего: 75
Дата рег-ции: Янв. 2011  


Помог: 1 раз(а)




ну через месяц гдет..и это у мя аськи нет извини
 
 Top
DiosPA
Отправлено: 10 Февраля, 2011 - 18:05:07
Post Id



Частый гость


Покинул форум
Сообщений всего: 180
Дата рег-ции: Янв. 2011  
Откуда: Россия


Помог: 2 раз(а)




нет icq? Не понял жесть нуу эээ бывает )) через месяц я может займусь аналогичной ситуацией я буду делать анализатор блоков (то есть блоки почти как 1 не такие как сайты) но логика будет похожая очень, к анализу принимаются внешнии\внутренние ссылки ключевые слова и текст всё это будет в БД структурировано писаться и хранится в удобной статистке, в общем жесть Не понял
 
 Top
Volt
Отправлено: 11 Февраля, 2011 - 08:32:29
Post Id


Гость


Покинул форум
Сообщений всего: 75
Дата рег-ции: Янв. 2011  


Помог: 1 раз(а)




так сделаеш или нет?
 
 Top
DiosPA
Отправлено: 11 Февраля, 2011 - 19:08:25
Post Id



Частый гость


Покинул форум
Сообщений всего: 180
Дата рег-ции: Янв. 2011  
Откуда: Россия


Помог: 2 раз(а)




volt я описал то что я сделаю для себя а ты дальше это сможешь пот делать под свои нужды а конкретно твою задачу нет Хм
 
 Top
Tmin10
Отправлено: 11 Февраля, 2011 - 19:34:57
Post Id



Частый гость


Покинул форум
Сообщений всего: 239
Дата рег-ции: Дек. 2009  


Помог: 0 раз(а)




Такие вещи нужно заказывать, так просто думаю никто не сделает.
 
 Top
DiosPA
Отправлено: 12 Февраля, 2011 - 00:15:21
Post Id



Частый гость


Покинул форум
Сообщений всего: 180
Дата рег-ции: Янв. 2011  
Откуда: Россия


Помог: 2 раз(а)




да с этим я согласен, такое готовое решение делать никто не будет
 
 Top
Volt
Отправлено: 12 Февраля, 2011 - 05:49:32
Post Id


Гость


Покинул форум
Сообщений всего: 75
Дата рег-ции: Янв. 2011  


Помог: 1 раз(а)




ну лады для ся сделаеш и мне код скинеш в личку?
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Напишите за меня, пожалуйста »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB