Определить ТИЦ ресурса

курл с прокси. Или если у компутера есть несколько ip адресов, то можно с них по очереди ходить.
(Добавление)
Хотя сейчас попробовал рукой часто-часто обновить страницу, вроде Яндекс не против)

Ну одно дело 3-5 сайтов часто обновлять, другое 30-50 Может как-то сохранять эти данные в db в колонку weblink_cy например и раз в 3дня написать задание из админки их обновлять? (прокси долго не живут)

Вот кстати, это очень мудрое решение. Всё-таки ТИЦ сильно не поменяется. Можно конечно всё хранить у себя в базе и периодически ее обновлять.

Есть ресурсы с постоянно обновляющимися списками прокси-серверов (anonym, transparent e.t.c.).
Я делал так: проверял каждый прокси сервер при помощи proxy_judge. Работает оно так:
0. Метод proxy_judge делает вызов скрипта через этот прокси (скажем, с помощью curl);
1. Скрипт, который вызывается - тот же самый, что содержит proxy_judge (но можно вынести это и в любой другой скрипт своего сервера)
2. В вызываемом скрипте проверяется $_SERVER; $_REQUEST (все их значения) - если хотя бы где-нибудь фигурирует ip-адрес скрипта-источника (то есть по сути, нашего сервера), то доверять прокси нельзя.

Этот метод дает некоторую степень оценки безопасности прокси. Ну и конечно, списки прокси-серверов постоянно обновляются, их нужно проверять время от времени. Примерный списки легко найти:

http://www[dot]checker[dot]freeproxy[dot]ru/[dot][dot][dot]cked_proxies.php

http://www[dot]proxylists[dot]net/
и т.п.

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

EuGen это высший пилотаж, для этого нужно постоянно отслеживать прокси рынок, а стоит ли овчинка выделки? Да и всё это влияет на скорость загрузки страницы, и ещё нужно сделать сортировку по тиц, если найду способ то и pr

Это было сделано для domain crawler (доменный паук) - который сдедил за состоянием "привлекательных" доменов и сообщал о состоянии тех, дата истечения регистрации которых близка.
Правда, с введением дат резервации это стало неактуальным и заказчик отказался от проекта, однако постоянный парсинг списков прокси/их проверки, парсинге результатов выборки и т.п. дают неплохую базу для операций, схожих с той, с которой столкнулись Вы. Я предположил, что это может быть Вам полезно.

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Да, в будущем, для более серьёзных проектов, безусловно полезная информация, которой я не знала, а сейчас пока игрушка, ох... бедный сайтик, чего он только не натерпелся)

Ну да, возможно, что стоит собирать базу проксей и пользоваться ими. Но вариант с хранием ТИЦев в своей базе лучше все равно сделать. Незачем постоянно обращаться за этим к Яндексу. А вот обновление базы ТИЦев можно сделать с использованием проксей. Только для начала обойтись без проксей. Если Яндекс будет капризничать, это будет видно сразу, тогда уже можно подумать о проксях.

Естественно, БД с прокси и их состоянием необходима (в domaincrawler так и было).
А обращаться все же придется. Прокси и правда живут недолго.

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Блестящая идея Champion попробовать метод EuGenа в деле, только не знаю хватит ли на всё это моих умственных ресурсов)))

Если интересно, то могу поискать реализацию proxy_judge; парсера прокси, их резальтатов (со всеми операциями над БД), а так же псевдомногопоточной обработки в curl

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

EuGen вы значительно облегчите мне жизнь, если учесть, что вчера в поисках как спарсить))) ТИЦ у яндекса, я неразумно гуляла под админкой и схватила вирус, который успел расплодиться))) Представляю что будет если я буду гулять в поисках списков прокси)))

Через curl ? просто запрашивая ресурс и разбирая его? Навряд ли.
Хорошо, попробую поднять архивы, возможно, там сыщется что-то, что Вам пригодится.

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Нашлось что-нибудь?

Для pr существует такая вещь:
http://www[dot]pagerankcode[dot]com/download-script[dot]html

Правда не очень понятно предупреждение вначале:

Это касается определяемых доменов или ресурсов с которых идёт запрос?

Нет, увы, на текущих разделах и примонтированных по локальной сети найти не удалось. Это значит, что оно лежит в старых архивах, которые пока, к сожалению, нет времени поднимать и просматривать.

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.