SEO блог где палят темы [Самый интересный SEO блог] 2007-11-28 17:08:36 << О популярных вещах | Яхо торгует фармой в топе гугла >>В общем вроде удалось решить проблему. Во-первых, выяснилось что если делать короткую задержку в 1/4 секунды между запросами, то бан наступает примерно после 7000 запросов, а не 700, что сразу облегчило проблему. Дальше я написал скриптик, который положил на все свои сервера, скрипту передаётся ип сервера к которому надо биндиться и список доменов, для которых нужно дёрнуть пр. Скрипт биндится к ип сервера (которых много), дёргает пр и отдаёт его "папе". Папа парсит пр из выдачи скриптика и кладёт в базу, при этом параллельно запуская столько скриптиков, сколько есть доступных ип. В общем и целом вышло достаточно быстро, я доволен. :) Сервера у меня и так есть, так что дополнительных затрат на быстрые прокси не понадобилось, а нагрузка там минимальная. Полезная фича курла - curl_setopt($ch, CURLOPT_INTERFACE, $extip); нужна для того чтобы курл ходил не с первого ип сервера, а с назначенного. Только что пришла в голову мысль - можно попробовать эту штуку запускать на шаред хостингах, где ИП вообще туча у каждого сервера, правда не понятно как они назначаются, дадут ли использовать не назначенный конкретно мне.carl0s 2007-11-28 19:26:36 ооо за curl опт спасибо !! ) surfer7 2007-11-29 00:32:33 Выделил бы своим читателям сервачок для проверки ПР alexf 2007-11-29 00:40:58 surfer7, А зачем мне это нужно? Странная какая-то идея, честное слово. :) Вот тут такое собираются делать: http://epavel.ru/blog/dream-pr-checker/ vosemd 2007-11-29 12:22:30 alexf, на некоторых шаред-хостах дают. Тоже пользуюсь этим для парсинга гугля. Google | parser | SEO сервисы | новичкам | палю тему |