Парсер Яндекс Wordstat онлайн через API
С помощью инструмента можно отправлять запросы к Yandex вордстат и получать ответы в формате JSON.
Парсер может быть использован для:
- сбора левой колонки Wordstat;
- сбора правой колонки;
- проверки всех видов частотностей по любым регионам;
- проверки сезонности ключевых слов (история запросов).
Экономия времени
Не нужно возиться с прокси и аккаунтами, решением капчей и с другими сопутствующими проблемами. Это мы берём на себя.
Удобный формат
Выдаём данные в том формате, который вы используете для сбора вордстата напрямую в JSON.
Экономия денег
Платите только за то, что использовали. Не нужно арендовать прокси на месяц или оплачивать месячные тарифные планы. Стоимость 1000 запросов от 10р.
В режиме реального времени
Всё происходит в режиме реального времени, вы сразу видите результаты живой выдачи, не используем баз. Парсим Wordstat, а не Яндекс.Директ.
Проверка частотностей запросов в вордстат
Собирайте любые виды частот — 1) базовую; 2) фразовую “”; 3) точную “!”; 4) уточненную []. Поддерживаем настройки сбора: выбор региона или нескольких регионов и устройства).
Сбор ключевых слов с wordstat
Сбор ключевых фраз из левой и правой колонки на любую глубину. Сервис позволяет собирать от 1 до 40 страницы.
История запросов
Поддерживаем выбор регионов и устройств (десктопные, мобильные, планшеты или все). Функционал позволяет отследить, как менялась популярность ключевых фраз. С помощью этих данных Вы можете определить сезонность ключа и общий тренд.
Бесплатная десктопная программа для сбора данных
Предоставляем программу XMLRiver.Parser для сбора фраз, частот всех видов и истории запросов. Выгрузка осуществляется в csv формат.
Павел Горбунов,
SEO-оптимизатор, pavel-gorbunov.ru
Мне понравился сервис. Я парсил выдачу Гугл с его помощью, скорость была хорошая, 1000 запросов сервис собрал очень быстро. В сравнении с другими сервисами получилось чуть быстрее.
Более того, по моему запросу разработчки сделали возможность парсинга ТОП-0 Гугл, поэтому решения для кастомных задач — это явное преимущество. Открытость к диалогу — это главный плюс сервиса для меня. При возникновении нетиповой задачи всегда можно обратиться с запросом на доработку, и будет найдено решение (которого, возможно, еще и нет на рынке). Поэтому рекомендую сервис для типовых и нетиповых задач.
Александр Ожгибесов,
SEO-оптимизатор, ozhgibesov.net
XMLRiver — это единственный работоспособный вариант в больших объемах за адекватный чек парсить Google. Я, как специалист по семантике, использую сервис для парсинга выдачи для SEO. Относительно недавно добавили множество вариаций для дополнительного парсинга, который очень полезен для серьёзной аналитики выдачи (0 позиция, доп ссылки и т.д.). Всячески хвалю и рекомендую XMLRiver для работы!
Выгрузка данных из Yandex.Wordstat за 3 года
Столкнулся со следующей задачей. Необходимо получить данные по ключевым запросам за 3 года (до пандемии, в 2020, после пандемии). Фактически формирую таблицу в Google.Sheets. Далее варианты: — выгрузить в CSV > input-data.csv для скрипта (парсера) > обработка парсером > выгрузка данных в output-data.csv. — через веб сервис (?) — через API Yandex (?) Колонка A = Запросы, Колонка B и т.д. = Янв. 2019, Фев.2019. Янв.2020, . Янв.2021, Май 2021. Фактически это необходимо для построения линейного тренда роста, спада, стагнации для отбора удовлетворяющих условиям (по динамике запросов) ключевых запросов. На выходе необходим filtered-keywords.csv > Колонка A = Запросы. Встречалось/использовали ли Вы подобное готовое решение (сервис или скрипт) для данного задания?
На сайте с 31.08.2007
25 мая 2021, 07:42
Насколько знаю Вордстат хранит информацию за два года максимум, что видно в «Истории запросов». Конкретно сейчас, на 25 мая, можно получить информацию с апреля 2019 по апрель 2021. Если такой срок вас устраивает, то собрать вам поможет КК.
Получить инфу за 3 года и более можно только, если кто-то чекает интересующие вас запросы и хранит данные у себя. Возможно это делает keys.so и подобные сервисы, пообщайтесь с их поддержкой
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Облачная платформа для работы с семантикой
3 010 716 600 Ключевых фраз и разных частотностей спарсили с wordstat за время существования сервиса.
363 775 Проектов было создано на сервисе! И это число увеличивается с каждой минутой.
8 447 Пользователей зарегистрировано. Среди которых есть крупные студии и топовые специалисты.
2 года Сервис еще совсем молодой, но мы постоянно развиваемся.
Мощный инструмент для вашей работы
Космическая скорость парсинга фраз
Больше нет нужды ждать сбора часами / днями — это в прошлом! Уникальные алгоритмы позволяют собирать даже большие ядра за считанные минуты. Все виды частотностей в ваших руках, проверьте сами!
Удобный и продуманный онлайн интерфейс
Работайте с проектом в онлайн режиме с любой точки мира! Каждая деталь максимально проработана для вашего удобства. Технология Drag & Drop упростит работу с фразами. Никаких заморочек с программами, совместимостью, ключами активаций. Работайте в свое удовольствие!
Быстрый и функциональный стеммер слов
Устали чистить ядро от мусора? Стеммер слов поможет вам найти мусорные слова со всеми окончаниями и быстро удалить или сгруппировать фразы. Особый алгоритм налету схватывает все ваши действия и оперативно обновляет список слов.
Сравни ТОП 10 и кластеризатор
Сравнивайте выдачу ТОП 10 по нужным фразам и регионам! Похожие url будут подсвечены одинаковым цветом. Встроенный кластеризатор подскажет возможные группы, или на что следует обратить внимание.
Древовидная группировка фраз
Проектируйте структуру сайта, создавая древовидные группы любой вложенности. Для наполнения достаточно просто перетащить выделенные фразы в нужную группу. Есть возможность выгрузки и копирования фраз в буфер.
Выгрузка в Excel и KeyCollector
Возможность полноценно выгружать собранное семантическое ядро (фразы, группы, частотности) в Excel (формат csv) и интгрерировать с программой KeyCollector.
Как отпарсить Яндекс wordstat список регионов
При написании своего сервиса SEO аналитики, он же личный кабинет клиента, была поставлена задача получить список федеральных округов, регионов, районов и городов с содержанием идентификаторов Яндекса. Поискав в интернете ничего готово не нашел, так что кому-нибудь данная статья пригодится.
Есть два пути решения как получить список регионов:
1) С помощью API Яндекс директ – выгружается сразу в формате JSON, но что бы получить доступ к API требуется пройти проверку. Так что такой вариант не подходит, нужно еще сделать скрин интерфейса программы (думаю если отскринить скрип, модератор не оценит юмор);
2) Отпарсить html c сайта – самый быстрый и простой вариант.
Первым делом нужно узнать где в html «прячется» наши регионы. Открыв браузер выяснилось, что список регионы загружается с помощью AJAX при клике по ссылке «Все регионы»
Мы теперь знаем ссылку для получения списка регионов:
https://wordstat.yandex.ru/stat/regions_tree
Написание парсера Яндекс wordstat на Python
Для этих целей нам потребуется 4 модуля, именно:
— «Requests» – для получения html, установить можно командой;
pip install requests
— «BeautifulSoup» – этот модуль нужен для разбора html и поиска нужных узлов DOM по селекторам, а также библиотека для парсинга html5lib, передается в конструктор BeautifulSoup в качестве второго аргумента в виде строки. Не забываем установить модули:
pip install html5lib pip install bs4
— Модуль «re» для работы с регулярными выражениями;
— Модуль «json» для вывода полученного результата в виде json строки.
import requests from bs4 import BeautifulSoup import re import json
Создадим три переменные
headers = < 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:45.0) Gecko/20100101 Firefox/45.0' >url = "https://wordstat.yandex.ru/stat/regions_tree" result = []
headers – заголовок агента, чтобы нас не заблокировали;
url — адрес списка регионов;
result – список словарей регионов, который мы получим в результате парсина.
Пишем функцию для парсинга:
def get_region(): if len(result) > 0: return result session = requests.Session() r = requests.get(url, headers=headers) dom = BeautifulSoup(r.text, "html5lib") region = dom.find(id="beginRegions") def get_tree(group, parent): for item in group: if item.name == 'div': if re.match("^region", item['id']): idparse = re.findall(r'region(\d+)', item['id']) result.append(< 'title': item.label.string, 'id': int(idparse[0]), 'parent': int(parent) >) get_tree(item.children, idparse[0]) get_tree(region, 0) return result
get_tree – это рекурсивная функция, которая обходит дочерние узлы и добавляет в наш результирующий список.
Все работает осталось выгрузить полученный список в файл, используем для этого код самопроверки:
if __name__ == '__main__': res = get_region() with open("yandex_region.json", "w") as file: json.dump(res, file)
И еще одна полезная пункция «строит» результат в виде дерева в json bild_tree():
def bild_tree(): if len(result) == 0: get_region() tree = [] def tree_recursive(id, node=<>): for item in result: if item['parent'] == id: if 'id' in node: if not 'children' in node: node['children'] = [] new_node = item.copy() tree_recursive(item['id'], new_node) if 'children' in new_node and len(new_node['children']) == 0: del new_node['children'] node['children'].append(new_node) else: new_node = item.copy() tree_recursive(item['id'], new_node) tree.append(new_node) tree_recursive(0) return tree
Написание такого скрипта заняло не больше 10 минут, что намного меньше, если бы мы проходили всю процедуру регистрации API Яндекс.Директа. В следующих уроках расскажу, как авторизоваться в Яндекс для парсинга ключевых слов и обхода каптчи. Подпишись на рассылку, чтобы узнать первым.
Разделы блога
- Маркетинг 13
- Продвижение 20
- Разработка 23