A-Parser - многопоточный парсер для профессионалов

A-Parser - многопоточный парсер поисковых систем, сайтов, ключевых слов, контента. Включающий в себя различные парсеры, такие как:

• Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, Mail.Ru, QIP, Yahoo, Seznam, YouTube, Ask, Comcast


• Парсеры подсказок поисковых систем: AOL, Google, Yandex, Bing, Yahoo


• Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends


• Регистрация аккаунтов: Yandex


• Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, Mail.Ru, QIP; параметры сайтов PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush, Mustat


• Парсеры различных сервисов: Bing Translator, Google Images, Bing Images, Google Maps, Yandex.Direct, Yandex.Catalog, AntiGate, Ping


• Парсеры контента: TextExtractor, LinkExtractor, BackLink, HTTP парсер для создания произвольных парсеров

В статье мы рассмотрим добавление и проверку прокси на примере нашего сервиса и запуск задания в A-Parser с проксями.

После запуска A-Parser, переходим в Настройки, во вкладку Настройки потоков:



Выбираем количество потоков 100 - как показано на скриншоте, больше 100 не рекомендуется использовать.
Остальные поля оставляем по умолчанию.

Теперь переходим во вкладку Настройки проверки прокси (1)
Добавляем новый пресет, кликаем Добавить новый (2)
Даем свое название, у меня это “no check1”
И нажимаем на клавишу Ok (3)



Переходим в раздел, куда вы установили A-Parser, находим папку
aparser, далее заходим в папку files, далее переходим в папку proxy
И тут мы видим наш созданный пресет:



Переходим в него, разберём что он в себя включает:



sites.txt здесь находится наша ссылка на прокси,
proxy.txt здесь отображается список прокси из ссылки,
alive.txt здесь отображается список прокси, которые были живыми при работе парсера;

Теперь переходим на https://awmproxy.com/edituser.php


Тут мы видим наш IP, у вас будет свой), прописываем его в поле как показано на скриншоте, и нажимаем кнопку Сохранить.
Мы сделали привязку прокси к нашему IP адресу, это нужно чтобы наши прокси работали.

Теперь переходим в наш кабинет - https://awmproxy.com/cabinet.php



Копируем ссылку на прокси, далее переходим в наш рабочий каталог с нашим пресетом - Переходим в раздел, куда вы установили A-Parser находим папку
aparser, далее заходим в папку files далее переходим в папку proxy.
Открываем файл sites.txt


И вставляем нашу скопированную ссылку, потом нажимаем закрыть.
Теперь возвращаемся к вкладке Настройки проверки прокси

Check url: вставляем нашу ссылку на прокси
No check proxies: ставим галочку, это значит что мы выключили проверку прокси на валидность. Наш сервис продает только рабочие прокси и мы сами их проверяем, поэтому нет необходимости делать это на вашей стороне, все прокси будут рабочими. Остальные настройки оставляем по умолчанию, далее нажимаем Сохранить
Переходим во вкладку Проверка проксей

Видим следующее -

Как мы видим наши прокси загружены, и готовы к работе в количестве 8811 у вас будет своё число, в зависимости от купленного вами тарифа. Теперь перейдём к Редактору заданий (1) и запуска, на примере поисковой выдачи Google

Конфиг потоков (2) - ставим потоки 100 threads
Парсер: (3) - из списка выбираем - SE::Google
Формат результата: (4) - $pl.preset
Выберите файл: (5) - subs/english_top1000.txt (в качестве запроса мы используем топ 1000 запросов гугле)
Имя файла: (6) - $datefile.format().txt
Сохранить (7)

Переходим в Очередь заданий и видим нашу рабочую карточку.
Наше задание уже начало работу, прокси загрузились и выполняется парсинг.
Также видим подробную статистику, и прокси которые попали в бан.
Через некоторое время, после завершения парсера, рабочая карточка перемещается в Завершенные.

Мы можем скачать результат -


И, как мы видим, наши ссылки успешно спарсены, и сохранены в файл.

<<< Вернуться к статьям