Наконец добрались руки до тестинга бесплатного серверного парсера Гугли (Яху и МСН тоже можно ). Называется он “Парсилка/чекерка поисковых машин. V2.4″

Что понравилось – написан на ПХП, запускаться может как из командной строки/кроном так и из броузера, возможность проверки урлов на формы ввода и работа через прокси-сервер. Из минусов – не проверяет урлы на дубли доменов – я ему дал один попсовенький запрос – на выходе было ~25K урлов, после проверки на дубли – осталось 242

Еще, плохо, что работает с одним прокси-сервером. Но для тех кому хочется бесплатный серверный парсер, и кому интересно его будет доработать под свои нужды, думаю самое то. Кстати, в архиве есть подробный Readme, так что никаких консультаций по установке и настройке этого скрипта я не оказываю. Скачать можно здесь

8 Comments
Критика, Полезности