Самое первое, что потребуется выяснить: что такое парсить. Возможно, Вы знаете это определение, а даже если и нет, понять будет легко. Парсить (Parsing) – значит собирать информацию из какого-либо источника с последующей обработкой данных. Если говорить о частных случаях, парсинг в seo (по-другому парсинг поисковой выдачи) – это сбор и анализ статистики запросов пользователей.

Поисковые системы тоже используют парсинг. Так, поисковые роботы парсят, анализируя веб-страницы и занося информацию о них в базу данных поисковиков.

Яндекс.Вордстат – сервис очень полезный в seo. Но работать с ним возможно только при наличии аккаунта Яндекс. Он позволяет подбирать ключевые слова на основе запросов пользователей, чтобы далее составить из них семантическое ядро.

Первым делом, необходимо определить тематику. Что Вы продаете? Какие услуги Вы предоставляете? Определив свою тематику и что будете запрашивать, можно начинать пользоваться Вордстат.

В строку поиска вводите свой запрос. И расширяете его с помощью выданных результатов.

Результаты формируются в две колонки. Цифра рядом с запросом – прогнозируемое количество показов в месяц, которое можно получить, выбрав понравившийся запрос ключевой фразой. Прогноз идет за последние 30 дней до даты обновления статистики.

Можно настроить, чтобы выдача показывалась по регионам. Если Вы предоставляете услуги только в Москве, выберите вкладку «Все регионы» (она находится чуть ниже поисковой строки) и настройте под себя.

В левой колонке все фразы со словами Вашего запроса, и слова в ней отсортированы по убыванию частоты показов. Вам важно сразу выделить те варианты расширенных ключей, которые будут являться для вашего проекта целевыми. Целевые - это те запросы, по которым пользователь, вводящий запрос в поисковую систему, может найти нужное ему на Вашем сайте. Целевые фразы будут более низкочастотными, и пользователи, пришедшие по ним с выдачи, смогут найти то, что хотели, а значит не покинут Ваш сайт сразу. Вам важны эти посетители, ведь именно они могут совершить целевое действие – купить товар или заказать услугу.

Проверьте выбранные фразы – исключите те, у которых частотность близка к нулю. Для этого используйте оператор “ “ (Кавычки).

После чего переходите к правой колонке.

В правой колонке показываются запросы, похожие на Ваши. Собрав нужное, не забудьте проверить фразы оператором “ “ (Кавычки).

Набрав достаточное количество ключевых фраз, Вы приступаете к следующему этапу: делите фразы по частотности. На этом Ваша работа с Вордстатом завершена.

По некоторым ключевым словам Вордстат выдает неправильную информацию. Как же ее проверить? Перейдите на вкладку «История запросов» и обратите внимание на статистику.

Показания статистики представлены в 2-х графиках: абсолютное и относительное.

Абсолютный показатель – это фактическое значение показов в разные периоды времени. А относительный показатель – это отношение показов по интересующему запросу к общему числу показов в сети. Он демонстрирует популярность запроса среди всех других.

Если график относительного значения выше абсолютного, то, может быть, идет автоматическая накрутка запроса, или интерес к запросу выше нормы. Возможно, это связано с сезоном. Так спрос на лыжи выше зимой.

Процесс парсинга можно автоматизировать. В этом случае возможно использование не только платных и бесплатных программ, но и расширений для браузера.

1. Расширение для браузера Yandex Wordstat Assistant. Устанавливаете его в браузер, и при работе с Яндекс.Вордстат слева появится панель, в которую вы сможете собрать понравившиеся ключевые слова.

2. Key Collector – программа платная, но высокофункциональная.

• В настройках есть вкладка «Yandex.Wordstat». Перейдя на нее, Вы сможете установить глубину парсинга. Так можно собрать большее число ключей. Но рекомендуется ставить 0, чтобы не увеличивать время. А ключи можно расширить и другим способом, а времени на их собирание уйдет меньше. Максимальное количество страниц для парсинга в Yandex.Wordstat равно 40. На каждой странице при этом находится до 50 фраз. Таким образом, максимальное количество результатов по одной фразе в Вордстат – 2000. И если Вы хотите собрать больше данных, Вам нужно расширить входной список слов, добавив уточняющие слова. Например, не просто «капуста», а «цветная капуста», «производство капусты» и т.д.;

Яндекс Вордстат - это один из базовых сервисов для SEO-оптимизаторов, работающих в Рунете. Штатный инструмент системы позволяет искать ключевые фразы из поисковой выдачи - высоко-, средне- и низкочастотные - используя для этого операторы для повышения эффективности поиска и настройку геолокации. В среде оптимизаторов процесс сбора ключевых запросов, релевантных тематике сайта, называется парсингом.

Специалисты проводят парсинг Яндекс, чтобы сформировать семантическое ядро - лингвистический «костяк» для будущего контента, который наиболее точно отражает нишу или услугу, которую предлагает сайт. Для этого есть собственный инструмент для поиска в Яндексе - Yandex Wordstat Assistant, который можно бесплатно привязать к аккаунту. С его помощью удобно собирать и выгружать собранные ключевые слова в таблицу Excel.

Вы можете пользоваться этим инструментом, но только в том случае, если у вас относительно небольшой сайт, где семантическое ядро составляет не более тысячи запросов. Если объем работы по сбору семантического ядра гораздо больше (например, для интернет-магазина с множеством товаров), то парсить выдачу Яндекса вручную с помощью Wordstat Assistant будет неоправданно долго. Целесообразнее делать это с помощью специальных программ и онлайн-сервисов - бесплатных, условно бесплатных и платных (например, Key Collector).

Рассмотрим основные принципы работы с Вордстат, а также популярные средства для автоматического сбора поисковых запросов.

Как правильно парсить в Вордстат: обзор программ для анализа поисковой выдачи

Парсинг выдачи Яндекса - это процесс сбора поисковых запросов по заданной тематике (с помощью базовых маркеров). С Yandex Wordstat Assistant можно легко получить основную информацию для формирования семантического ядра - поисковые запросы, количество показов в месяц по каждой фразе, а также схожие по тематике слова, помогающие расширить охват целевой аудитории. Парсер Wordstat позволяет получить информацию по словам и по регионам, при этом система ориентируется именно на сайты.

Если хотите выполнить расширенный поиск, включающий не только Яндекс, но и социальные сети и другие поисковые системы, необходимо воспользоваться универсальными инструментами, например, A-Parser. Этот программный продукт отличается удобством в работе, но для эффективной работы с ним нужно купить прокси для парсинга.

В какой среде бы Вы ни работали, используйте универсальную схему сбора семантического ядра:

• формирование базового списка маркеров (запросов, однозначно релевантных сайту);
• сбор ключевых слов;
• удаление «мусора» - ненужных и случайно попавших в список запросов;
• кластеризация ключевиков по разделам сайта или тематикам.

Рассматриваем основной алгоритм работы с Вордстат и парсим Яндекс для сбора семантики на примере сайта агентства недвижимости. Допустим, нам нужно составить перечень релевантных ключевых запросов, соответствующих базовому маркеру «аренда квартир».

Совет! Обращайте внимание на подсказки типа «вместе с этим ищут» в соседнем поле выдачи результатов парсинга - это поможет вам охватить больше аудитории при составлении SEO-контента.

Чтобы облегчить себе задачу по ручному парсингу, используйте операторы Яндекс. Например, поставив в конце поисковой фразы знак «!», вы зафиксируете окончание поискового запроса, и система будет искать слова именно в этой словоформе. Оператор «-» (минус) позволит убрать лишние слова, а квадратные скобки «» - зафиксировать порядок слов в запросе.

Специалисты советуют сочетать ручной и автоматический выбор запросов для составления семантического ядра, особенно для новичков. Пользуясь штатным инструментом Яндекс Вордстат Ассистент, вы нарабатываете навыки интуитивного подбора поисковых фраз, которые приводят на сайт целевых клиентов с помощью средне- и низкочастотных ключей. Высокочастотные фразы не всегда работают, особенно в конкурентной нише.

Если у вас нет времени на ручной парсинг в Яндекс Вордстат, используйте специальные инструменты. В интернете можно найти различное программное обеспечение, но большинство русскоязычных специалистов по SEO-оптимизации делают парсинг выдачи Яндекса с помощью Key Collector.

Это десктопный продукт, позволяющий создавать и хранить в локальной памяти компьютера проекты для каждого сайта, загружать и сохранять файлы и делать парсинг ключевых слов в соответствии с региональными настройками. Программа требует привязки к аккаунту. Для работы с ключевыми поисковыми запросами в Кей Коллекторе имеются пиктограммы основных поисковых систем в Рунете (в нашем случае это Yandex-парсер, хотя можно выбрать Google, Bing и другие).

Среди других полезных сервисов для SEO такие:

• Serpstat - многофункциональная платформа для профессионалов, имеющая триальную версию с ограниченным функционалом, а также платную подписку от 19 до 299$ в месяц;
• Ahrefs - веб-сервис с множеством полезных опций, включая мониторинг ниши, анализ конкурентов и улучшение индексации сайта. Для сбора семантического ядра предусмотрен инструмент Keywords Explorer. Протестировать его можно от 7$ в неделю;
• Semrush - аналог Ahrefs по части функционала, более дорогой по тарифам (от 99$ и выше).

Специалисты утверждают, что Кей Коллектор - это самая удобная и функциональная программа, позволяющая значительно облегчить жизнь оптимизатора. У нее есть множество полезных опций для точной настройки параметров парсера Yandex (например, глубины поиска, избирательного поиска запросов по базовой частотности и т.п.).

Но у программы есть нюанс - она платная. Стоимость лицензии составляет 1800-1900 рублей по электронному и безналичному расчету соответственно.

Совет! Если по какой-то причине вы не хотите пользоваться этим продуктом, можете попробовать его бесплатный аналог «Словоёб». Подойдет и более простой вариант - Букварикс - бесплатный сервис для сбора ключевых слов и формирования семантического ядра.

Парсинг Яндекс Вордстат можно делать самостоятельно и с помощью специальных программ. Ручной сбор посредством инструмента Wordstat Assistant оправдывает себя в том случае, если ваша ниша имеет узкую направленность и мало конкурентов, а перечень поисковых запросов относительно невелик. При больших объемах работ рекомендуется пользоваться специальными программами для парсинга и аналитики.

Один из наиболее популярных модулей в Rush Analytics – парсер Яндекс Вордстат, и это не случайно. При сборе семантического ядра необходимо точно знать частотность собранных запросов, чтобы правильно расставить приоритеты по продвижению и избавится от «мусорных» и нулевых запросов. Часто стоит задача пробить несколько десятков тысяч запросов на частотность в Яндексе, но это не совсем простая задача для самописных парсеров Вордстата и десктопных программ, и вот почему:

1. Yandex Wordstat имеет хорошую защиту от парсинга, например бан IP-адресов с которых осуществляется парсинг и выбрасывание капчи в ответ на запросы от ботов. Чтобы эффективно собирать данные с Wordstat, нужен эффективный алгоритм подключения IP-адресов и другие хитрости
2. Для парсинга большого количества данных с помощью десктопных программ понадобится много IP-адресов (прокси), которые Яндекс с легкостью банит при неоптимальном алгоритме подключения, а прокси – удовольствие недешевое
3. Так же для парсинга понадобится автоматическое введение большого количества капчи (например подключение Antigate для этой задачи). Данный фактор, при неоптимальном алгоритме парсинга, может сделать сам парсинг нерентабельным, так как стоимость капчи будет чрезмерно высока
4. Большинство десктопных программ не имеют защиты от потери данных при сборе. Так, например, собрав половину данных и потратив на это деньги, при сбое в парсере, вы рискуете не только не получить оставшиеся данные, но и потерять уже собранные

Парсинг Яндекс Вордстат в Rush Analytics

Учитывая все трудности которые могут возникнуть при парсинге Вордстата, мы сделали свой парсер Wordstat максимально быстрым, удобным и устойчивым к максимальному количеству проблем, связанных с парсингом:

• Никаких прокси и капчи! Вам больше не нужно думать о бане ваших прокси или огромном количестве капчи, которую выдает Яндекс. Просто создайте проект, загрузите ключевые слова и ждите готовый файл с результатом
• Высокая скорость парсинга. Наши алгоритмы используют оптимальную схему подключения IP-адресов и другие хитрости, чтобы сделать скорость парсинга феноменально высокой – вы и не заметите, как ваш проект будет выполнен!
• Сохранность данных. Создавая проект в нашем парсере, вы можете быть уверены, что он будет успешно завершен и доступен для скачивания в любое время и из любой точки мира – все данные хранятся в облаке!
• Поддержка всех регионов Яндекса. У многих пользователей есть потребность определять частотность запросов в Яндексе не только по региону «Москва» или «Россия», но и по другим, включая «Украину» и «Беларусь». В Rush Analytics вы сможете определить частотность запросов по любому региону, который поддерживает Яндекс на данный момент.

• Сбор всех частотностей. С помощью нашего парсера вы сможете собрать все частотности: поисковый запрос, «поисковый запрос», «!поисковый!запрос».

• Сбор левой колонки Wordstat. Помимо проверки частотности запросов, доступен сбор ключевых слов из левой колонки Wordstat с настройкой глубины парсинга от одной страницы до сбора всех имеющих в левой колонке страниц.

• Сбор правой колонки Wordstat. Доступен сбор ключевых слов из правой колонки Wordstat.

Если вам нужен скоростной сбор частотностей Яндекс Wordstat – Rush Analytics лучшее решение, особенно если вам нужно собирать большие объемы данных. Для пользователей с потребностью сбора боле 100 000 запросов в месяц предусмотрены индивидуальные условия, просто напишите в нашу поддержку на

Скачать архив с парсером
Данный парсер собирает ключевые слова и частотность в эксель файл из сервиса яндекс wordstat.
Если в Ваших частых задачах присутсвует сбор статистики по ключевым словам из сервиса yandex водстат, то одним из способов оптимизации рабочего процесса - является делегирование парсеру задачу парсинга ключевых слов.
Данный парсер не является оригинальным в функциональности, но оригинален в простоте настроек и получения данных по ключевым словам.

Функциональность данного парсера позволяет собрать кллючевые слова из сервиса wordstat.yandex.ru , статистику запрашиваемости собранных ключей, точную частоту ключей, а так же разгруппировать на кластеры собранные ключи.

Настройки парсера:

1. Логин от yandex.ru - в данное поле необходимо ввести адрес Вашего почтового ящика от яндекс почты

2. Пароль от yandex.ru - в данное поле необходимо ввести пароль от Вашей почты на яндексе

3. Файл с ключевыми словами - в данное поле указывается файл со списком ключевых слов (файл должен быть сохранён в формате utf-8, каждый ключ с новой строки), если Вы планируете активировать кластеризацию запросов после сбора, то в данном файле должна находится только 1 базовая ключевая фраза (все слова только в нижнем регистре (маленькими буквами))

4. Файл с минус-словами - в данное поле указывается файл со списком минус-слов (файл должен быть сохранён в формате utf-8, каждое минус-слово с новой строки)

5. Глубина взятия - до какой глубины парсить

6. Исследовать результаты - данная опция активирует этап кластеризации запросов, после того, как будут собраны ключи по базовой фразе (активируя данную опцию Вы обязательно должны указать файл для сохранения исследования)

7. Проверять на точную частоту - данная опция активрует сбор точной частотки по собранным ключам

8. Глубокое сканирование - данная опция активирует глубокое сканирование

9. Ключ для капч - указывать необязательно

10. Файл для сохранения ключей - эксель файл, в который будут сохраняться ключевые слова из сервиса wordstat.yandex.ru

11. Файл для сохранения исследования - эксель файл, в который будут сохраненны сгруппированые кластеры после кластеризации

Если есть вопросы или пожелания - пишите на почту [email protected]
skype - vipvodu
Скачать архив с парсером

Пример файла с кластерами по ключу - база клиентов.

Советы:
1. Тщательно проверяйте настройки перед запуском.
2. Если программа, после нажатия на кнопку - запустить - выключается - то скорее всего, что-то не так с настройками, либо есть повисшие процессы после предыдущего прерванного парсинга, повисшие процессы надо либо убить в диспетчере задач, либо перезагрузить компьютер.
3. Не прерывайте парсинг, дожидайтесь надписи - Все данные сохранены

Если у вас крупный проект с семантическим ядром на несколько сотен или тысяч запросов, согласитесь, сидеть в Вордстате и подбирать их вручную покажется изощрённой пыткой. Хорошо, что существуют программы-помощники, способные взять основную часть рутинной работы на себя. Одна из таких программ называется Словоёб.

Что такое Словоёб

Словоёб (Slovoeb) – бесплатная (и значительно урезанная по функционалу) версия программы , полюбившейся профессиональным оптимизаторам. Большинство функций КейКоллетора обычному пользователю вряд ли понадобится, поэтому можно обойтись Словоёбом для решения главной задачи – подбора ключевых слов.

Кстати, платный KeyCollector позволяет парсить слова и из Google AdWords – это особенно полезно, если ваш сайт ориентирован в первую очередь на страны, где основной трафик даёт именно Гугл. Бесплатный Slovoeb ограничен только Яндексом.

Для начала нужно скачать программу Словоёб. Сделать это можно по ссылке в блоге SEOM.info .

Программа не требует установки. Просто распакуйте архив в любое удобное место на компьютере и запустите Slovoeb.exe. В дальнейшем все ваши настройки будут храниться в выбранной папке. Перед началом работы не забудьте прочитать материал о – информация в статье актуальна и для этой программы.

Настройка Slovoeb

Вот что мы увидим после запуска:

Прежде чем приступить к работе, необходимо выполнить ряд настроек. Первое – указать аккаунты Яндекса для парсинга ключевых слов. Напоминаю, что работать в Вордстате можно только после авторизации. Поэтому советую , штук пять аккаунтов, специально предназначенных для Словоёба. Не используйте спецсимволы в паролях этих аккаунтов!

Не советую использовать свой настоящий аккаунт, так как программа делает очень много запросов к Яндексу за единицу времени, за что можно получить санкции.

Нажмите на значок шестерёнки в верхней левой части окна программы и перейдите в настройки.

Выберите вкладку Yandex.Direct и введите данные аккаунтов в формате логин:пароль . По желанию можно указать и прокси. Обязательно прочтите памятку в окне настроек!

Советую изучить и изменить другие настройки софта.

Автоматическое распознавание капчи

Следующим шагом является автоматизация распознавания капчи. Согласитесь, какой смысл в программе, если она каждый раз требует от вас вручную вводить капчу, выдаваемую Яндексом. Так как Словоёб будет много раз отправлять запросы к Яндексу за короткий промежуток времени, капчи неизбежны.

Я пользуюсь сервисом Antigate . По желанию вы можете воспользоваться и другими программами. Slovoeb поддерживает следующие:

• Antigate
• CaptchaBot
• RIPCaptcha
• ruCaptcha
• SocialLink

О многих из них я прежде никогда не слышал.

В случае с Антигейтом есть нюанс: они переехали на новый сайт (хотя старый всё ещё доступен). Они используют общую базу, поэтому на обоих сайтах единый аккаунт. На каком регистрироваться – решать вам. Первый более классический, спартанский, более привычный для веб-мастеров со стажем. Второй же более современный.

Учтите, что Antigate платный. Но недорогой. Мне хватает 1 доллара на 2 месяца работы (а то и больше).

Перейдите на страницу настроек антикапчи, щёлкнув по вкладке в левой части окна настроек.

В поле Antigate Key введите ваш ключ антикапчи. Получить его можно в настройках профиля Antigate.

На этом базовая настройка Словоёба завершена.

Подбор ключевых слов с помощью Словоёб

Пора приступить непосредственно к подбору запросов. Для этого нужно создать новый проект. Все его данные сохранятся в файл. Таких файлов может быть неограниченное количество, так что вы легко сможете переключаться между проектами.

Нажмите на кнопку “Создать проект”:

В открывшемся окне выберите, куда сохранить файл и как его назвать. Я обычно называю файлы по имени сайта и сохраняю в папку проекта (там, где лежат все остальные данные по нему). Кто-то держит все файлы Словоёба в единой папке. Кому как удобнее.

Следующий шаг после создания проекта – настройка региона. Если ваш сайт ориентирован только на определённый регион (или регионы), вам нужна статистика поисковых запросов именно по нему, а не по всему миру. Нажмите на кнопку выбора региона и установите нужные вам галочки.

Здесь всё так же, как в интерфейсе Вордстата:

Настало время подбора ключевых слов!

Для начала подбора запросов кликните по кнопке “Пакетный сбор запросов из левой колонки Yandex.Wordstat “, как показано на скриншоте.

В открывшемся окне введите ключевые слова, на основе которых вы хотите подобрать запросы. Всё точно так же, как в интерфейсе Вордстата. Главное отличие – в программе вы можете ввести сразу несколько слов, и программа будет работать с ними по очереди, а в Вордстате нужно работать с каждым словом по очереди, вручную, что значительно увеличивает время работы.

Нажмите на кнопку “Начать сбор “. Ура, теперь можно пойти сделать кофе или переключиться на другие задачи. Словоёбу понадобится время, чтобы собрать запросы.

Стоп-слова

После того как программа отпарсила ключевые слова, необходимо отфильтровать их, отбросив не интересующие нас сочетания и формулировки. Это можно сделать с помощью стоп-слов. Нажмите на большую кнопку “Стоп-слова ” с изображением щита. В открывшемся окне кликните по кнопке “Добавить списком “. В ещё одном открывшемся окне перечислите стоп-слова (каждое с новой строчки), которых не должно быть в вашем поисковом запросе. Например, нас не интересуют запросы со словами “скачать”, “торрент”, “новая версия”, “последняя версия” и т. д., так как мы распространяем не саму программу, а только её описание.

После введения стоп-слов нажмите на кнопку “Отметить фразы в таблице ” в левом нижнем углу окна стоп-слов.

Работа с частотностью в Словоёб

Остался один нюанс: частотность запросов, отображаемая в колонке, – это базовая частотность, то есть фраза со всеми словоформами. Чтобы определить частотности с помощью операторов, кликните по кнопке с изображением лупы и выберите пункт “Собрать частотности вида ” ” “.