Блог, Сервисы        10 мая 2020        63         0

Ускорение сбора в Key collector

На данной странице Вы получите инструкцию по быстрой настройке программы «Key collector». Данная инструкция позволит вам собирать поисковые запросы и не получать «CAPTCHA». Также данная информация поможет вам не только избавиться от капчи, она также поможет правильно подключить прокси, для более быстрого сбора данных.

Я долго искал оптимальные настройки программы «Кей коллектор». В интернете их очень много и все рекомендуют свои. Бывают настолько «замудренные» и противоречивые, что просто не знаешь, как поступить. В общем, как это часто бывает, подобрал настройки самостоятельно. Конечно, я ни на что не претендую. Понимаю, что специалисты могут раскритиковать мой метод, но он работает. Хотя, я не являюсь большим специалистом в работе с кей коллектором. На сегодняшний день мой результат: 252454 запроса и ни одной капчи. Сбор шел 4 ночи. Если бы зарегистрировал больше прокси, тогда бы на сбор потратил еще меньше времени. Теперь к делу.

Для данной настройки программы мне понадобилось 10 аккаунтов в яндекс почте и три прокси-сервера. Сейчас объясню подробнее.

Чтобы программа работала в несколько потоков нужны прокси-сервера. Что это значит? Все просто, программа одновременно работает по нескольким запросам. Например, вы парсите три запроса. Если ничего не настраивать и не пользоваться прокси, то данные запросы будут парситься по очереди, если же у вас настроено три прокси-сервера, то эти запросы будут парситься одновременно. А это, соответственно, в три раза быстрее. Именно так я и настроил программу. Зарегистрировал три прокси-сервера и 10 аккаунтов в яндекс почте. Зачем нужно десять аккаунтов в яндекс? Они нужны для многопоточности и ускорения сбора. Также могут пригодиться, если вдруг какой-то аккаунт будет забанен. Перейдем к подробностям.

Настройка Key Collector

Прежде чем перейдем к настройке, основные рекомендации. Возможно, вы о них уже знаете, но, на всякий случай, повторю.

  • Аккаунты в яндексе должны быть специально зарегистрированы для парсинга (сбора запросов). Не используйте свой основной аккаунт, его могут заблокировать.  
  • Не используйте бесплатные прокси-сервера. Я много экспериментировал с бесплатными прокси, пользовался огромным количеством, но они очень плохо работают. Постоянные ошибки в Key Collector, прерывания сбора, не корректное завершение сбора. В общем, не рекомендую, только потратите свое время.

Я же настроил программу так:

- В пункте настроек «Yandex.Direct» я добавил специально зарегистрированные 10 аккаунтов.

- В пункте «Сеть» я добавил три прокси-сервера. Данные прокси-сервера я регистрирую за копейки у этого провайдера «Proxy6». Об этом я еще расскажу ниже.

- И во всех вышеперечисленных пунктах я убрал галочку с пункта «Использовать основной IP».

- Также в этих же пунктах поставил три потока.

В целом, на этом мои настройки заканчиваются. Нужно только добавить, что в количестве потоков я исходил из количества прокси. Если вам нужно собирать ОГРОМНЫЕ базы, то вы можете использовать сколько угодно прокси серверов. Не забывайте в количестве потоков выбирать столько, сколько у вас прокси-серверов. Также нужно регистрировать большее количество аккаунтов в яндекс, чем количество прокси-серверов.

Где брать прокси?

Как и обещал, расскажу о прокси. На сервисе «proxy6» вы можете регистрировать сколько угодно прокси-серверов, в зависимости от того, сколько вам необходимо. Чтобы зарезервировать свои прокси-сервера, вам нужно:

- Зарегистрироваться на сервисе. Ссылка на «proxy6»

- Войдите в свой кабинет и нажмите на пункт меню «Купить прокси».

- Вы попадете на страницу заказа. Рекомендую выбирать третий пункт «IPv4 Shared ПРОКСИ» (на момент написания статьи называется так), потому что данный вариант самый дешевый. Вам нужно выбрать страну, количество прокси-серверов и период. После оплаты в вашем кабинете будут данные ваших прокси серверов, которые вы можете добавлять в Key Collector и пользоваться.

На этом настройка закончена. Могу лишь добавить, что с данными настройками Key Collector отлично работает. Я им пользуюсь на двух компьютерах, настройки одни и те же.

Надеюсь, что данная заметка поможет вам настроить Key Collector, и он будет радовать вас своей работой.

Добавил видео, для наглядности.

P. S. То, что вы дочитали статью до конца, говорит о вашей заинтересованности. Держите купон на скидку "rYXS0zTvFK" (вводите без кавычек). Введите его при заказе прокси-сервера у Proxy6
Успехов Вам.

comments powered by HyperComments