мониторинг позиций сайта скрипт
Собственный сервис сбора позиций сайта в поисковой выдаче
Думаю большинство начинающих вебмастеров так же как и я, сталкивались с задачей определения позиций сайта, по некоторым ключевым словам в поисковой выдаче.
Первое, вменяемое решение что я нашел, был сайт — allpositions.ru, но данные почему-то отличались от тех что отображались клиентам или же тех, что я видел сам при просмотре выдачи через браузер. Отличия в большинстве случаев несущественные ( 1-3 позиции вверх или вниз), но всегда присутствуют.
Тщательный анализ алгоритмов ранжирования показал, — что на позицию сайта в поисковой выдаче Google и Yandex, кроме домена поисковика, языка браузера пользователя, местоположения, IP, влияет вероятно даже фаза луны. Соответственно позиция сайта по поисковому запросу для каждого пользователя может отличаться и есть возможность определить только среднее значение этой величины.
Если вам нужно получить статистику позиций по поисковым запросам для одного, двух сайтов, сервис отлично решает задачу, но в моем случае получалось достаточно дорого (
$ 136) собирать статистику для 100 доменов.
Лучшее что я нашел, — a-parser.com, так же платный + надо покупать прокси раз в месяц (
110$) и оплачивать дроплет на digitalocean (
$20), но в итоге кроме съема позиций, своих и конкурентов, я решаю еще много SEO задач с его помощью. Думаю это мастхев софт, если вам дорого содержать semrush, ahrefs, wordtracker и другие подобные сервисы.
Что бы не нарушать правила хабра, приведу здесь линк на решение задачи с позициями:
Новый Site Control для анализа сайтов и проверки позиций
Наверняка, вы читали или слышали про скрипт Site Control. Я уже когда-то писал обзор данной панели сайтов и сегодня хочу поговорить о ее новой версии. Нужно отметить, что из всех тестируемых мною подобных решений, эта программа прослужила дольше всего. Если у вас много сайтов и нужно как-то за всеми ними присматривать: проверять показатели, ориентироваться в используемых хостингах, движках, видеть сроки окончания доменов и т.п., Site Control отлично с этим справится.
Признаться, ранее я не использовал панельку по максимуму, однако с выходом новой версии нужно будет это исправить, поскольку теперь софт стал гораздо мощнее и функциональнее. В конце статьи найдете промо код на 20% скидку для читателей блога.
Скрипт анализа сайтов вы можете установить на свой хостинг и отслеживать практически любую информацию по личным и/или клиентским сайтам. Он не является сервисом, поэтому все данные будут храниться только на вашем сервере. Возможности совместной работы при выполнении задач, крутая функциональность и опции брендирования делают его интересным инструментом даже для веб-студий. Хотя, конечно, вебмастерам и оптимизатором он чуточку «ближе».
Всего в Site Control есть 4 функциональных модуля:
Анализ параметров сайтов
С помощью данного модуля вы можете проверять 28 разных SEO параметров своих проектов и следить за их изменениями. Проверка производится автоматически с заданной периодичностью. Хотя, разумеется, обновление показателей можно выполнить и вручную — отмечаете несколько сайтов и жмете соответствующую кнопку.
При добавлении сайтов в специальной форме можете указать сразу несколько проектов + разместить их в разные группы. Опция «Дополнительные колонки» позволяет добавить текстовые поля, даты и чекбоксы (я, например, их использую для ввода информации о движке сайта).
В настройках модуля (иконка шестеренки) есть возможность:
Очень удобным механизмом в модуле анализа параметров Site Control есть фильтры. Открываются при клике по одноименной кнопке.
Здесь найдете полный список допустимых параметров сайтов (чтобы их включить кликаете по ссылке «Отобразить скрытые показатели»). Кроме базовых тИЦ, PR, индекс, каталоги, статистика есть также AlexaRank, Google supplemental index, Вебархив, информация из панелей вебмастеров Яндекс и Mail.ru. Вы можете не только отмечать какие показатели выводить, менять их расположение, но и создавать свои новые фильтры (см. на скриншот выше). Для значений параметров допускается использование операторов « ».
В качестве полезных дополнительных возможностей скрипта параметров сайта я бы назвал построение графиков, отслеживание окончания домена плюс многопользовательский режим работы (вы можете подключать к других юзеров с соответствующими правами). В целом, данный модуль пригодится всем вебмастерам.
Позиции сайтов
Скрипт проверки позиций сайтов Site Control будет полезен не только вебмастерам, но и оптимизаторам. Он позволяет определять позиции сайта по нужным ключевым запросам во всех популярных поисковых системах.
Для начала работы добавляете новый сайт. Вам нужно будет: ввести URL, указать необходимость определения геозависимости и релевантной страницы, выбрать нужен ли сбор данных о конкурентах и некоторые другие опции. Далее добавляете список поисковых систем и ключевые слова для проверки.
Основные фишки скрипта позиций сайтов:
Как и в прошлом модуле, здесь есть многопользовательский режим — можете подключать к работе своих коллег/подчиненных. Имеются также фильтры по параметрам и, конечно, возможность подключение прокси, без которой массовая проверка позиций сайтов невозможна.
Совместная работа над проектами
В отличии от прошлой версии программы новый Site Control обладает значительно бОльшим числом функций, одна из которых — совместная работа над сайтами. Называется данный модуль — «Задачи»:
После создания проекта сможете добавить для него определенные задачи. В специальной форме указываете: описание задания, его сроки, приоритетность, статус, приватность и т.п. Можно назначать конкретных исполнителей (пользователей) и наблюдателей, а также разбирать задания на этапы.
Удобно, что для определения важных задач имеется шкала приоритетов (от низкого до высокого с возможностью выделения разными цветами). Обозначать степень готовности заданий позволяют специальные статусы (новая, в работе, тестирование, завершена).
Кстати, и статусы, и приоритеты вы можете редактировать, добавляя свои значения. Если вам нужно, чтобы задачу видели только исполнитель и создатель, то указываете соответствующую настройку приватности.
Для эффективной совместной работы Site Control позволяет:
В целом, достаточно интересный модуль, позволяющий сосредоточить все усилия по работе над вашим сайтом в панеле Site Control: проверили, например, показатели после апдейта и сразу же поставили задачу SEOшникам по раскрутке или программистам по улучшению функциональности сайта.
Аудит сайта
Работа над модулем аудита сайта еще продолжается. На момент написания статьи в Site Control была представлена лишь альфа версия скрипта. Основная его задача — сбор всей информации по сайту: мета тегов, анализ текстов, внутренних ссылок и т.п.
После входа в соответствующий раздел добавляете новый проект и отправляете его в очередь на сканирование. Через некоторое время сможете просмотреть результат. Скрипт определяет:
С помощью многопоточного параллельного сканирования можете анализировать сразу несколько проектов. Также настраивается автоматический запуск аудита сайта через cron. Разработчики обещают добавить в этот блок еще несколько интересных функций, которые значительно расширят его возможности.
Установка и настройка скрипта Site Control
Процесс установки скрипта анализа сайтов Site Control также немного изменился, хотя в нем нет ничего сложного. Вы просто скачиваете установочный файл install.php и загружаете его на свой хостинг. Найдете его тут вместе с детальным описанием процесса. Для удобства программу можно расположить в какой-то директории, например http://ваш_сайт/panel/install.php.
Дальше следует пройти 5 шагов:
Если модули не подключились, сделайте это вручную через раздел «Модули» — «Маркет». Кстати, там же сможете просматривать наличие обновлений системы и оперативно их внедрять. Процесс апдейта максимально прост — выполняется автоматически в пару кликов.
В разделе «Настройка» сможете указать некоторые параметры для админки — добавить каптчу, изменить язык локализации, реализовать брендирование. В целом, ничего особенного. Куда более интересными являются два других пункта меню — Пользователи и Логи:
Итого и тарифы
Скрипт проверки позиций и анализа параметров сайтов Site Control имеет 3 ценовых пакета — бесплатный, Standart и Pro. Полное сравнение функций найдете на этой странице.
Цена на картинке — это общая стоимость покупки всех модулей. Вы можете приобретать их и по отдельности, но как видите, оптом дешевле. За 5100 рублей получите полную функциональность Site Control.
Для читателей блога предлагаю скидку 20% — при покупке вам нужно указывать скидочный купон: tods-blog (действительный до 1 декабря 2015).
Что касается итоговых выводов по скрипту Site Control. Как уже говорил выше, прошлая версия прожила у меня достаточно долго, и сейчас я обязательно перенесу все сайты в новую. Ключевые плюсы проекта:
Эти 5 ключевых преимуществ делают скрипт Site Control отличным инструментом не только для отдельных вебмастеров и оптимизаторов, но и вполне применимым в работе веб-студий. Решение действительно интересное! Вы можете скачать бесплатную ограниченную (Free) сборку или же попробовать Demo версию онлайн.
Пишите в комментариях о своих впечатления по работе с Site Control.
Мониторинг позиций своими руками
Делаем мониторинг позиций запросов в поисковой системе, начало.
Обычно мы заинтересованны в увеличении клиентов.
А что-бы увеличить что-то, нужно это сначало оценить.
А так уж исторически сложилось, что часть клиентов на интернет-магазины приходит с поисковых систем.
( Про работу с контекстной рекламой и прайс-агрегаторами напишу в следующих статьях, если кому будет интересно. )
А для оценики своего состояния в поисковиках, обычно нужно собрать с них статистику по положению запросов в выдаче.
Узнаем у yandex.ru нашу позицию по запросу.
Хочу сразу уточнить, в данной статье будет описаны самые азы и сделаем самый простой вариант, который в дальнейшем будем усовершенствовать.
Для начала сделаем функцию которая по урлу возвращает html.
Загружать страницу будем c помощью pycurl.
Установим url который будем загружать
Для возврата тела страницы curl использует callback функцию, которой передает строку с html.
Воспользуемся строковым буфером StringIO, на вход у него есть функция write(), а забирать все содержимое из него мы сможем через getvalue()
На всякий случай сделаем наш curl похожим на броузер, пропишем таймауты, юзерагента, заголовки и т.д.
Теперь загружаем страницу
Вот и все, страница у нас, мы можем прочитать html страницы
Так-же можем прочитать заголовки
И если получили получили какой-то отличный от 200 ответ сервера, то сможем его обработать. Сейчас мы просто выкинем исключение, обрабатывать исключения будем в следующих статьях
Обернем все что получилось в функцию, в итоге у нас получилось
Выберем из страницы поисковой выдачи список сайтов с позициями
Сконструируем поисковый запрос,
на yandex.ru/yandsearch нам нужно послать 3 GET параметра,
‘text’-запрос, ‘lr’-регион поиска, ‘p’-страница выдачи
Выведем url и проверим в броузере
Получим через предыдущую функцию страницу с выдачей
Теперь будем ее разбирать по dom модели с помощью lxml
Поподробнее напишу что тут происходит
lxml.html.fromstring(html) — из html строки мы делаем обьект html документа
.find_class(‘b-serp-item__title’) — ищем по документу все теги, которые содержат класс ‘b-serp-item__title’, получаем список элементов H2 которые содержат интерсующую нас информацию по позициям, и проходим по ним циклом
b = h2.find_class(‘b-serp-item__number’) — ищем внутри найденого тега H2 элемент b, кторый содержит номер позиции сайта, если нашли то дальше собираем позицию b[0].text.strip() сайта и строчку c url сайта
urlparse.urlparse(url).hostname — получаем доменное имя
Проверим получившийся список
И соберем все получившееся в функцию
Найдем наш сайт в списке сайтов
Нам потребуется вспомогательная функция, которая отрезает ‘www.’ в начале сайта
Получим список сайтов и сравним с нашим сайтом
Хм, на первой стрнице выдачи по ‘python’ хабра нету, попробуем пройти выдачу в цикле в глубину,
но нам нужно поставить ограничение, max_position — до какой позиции мы будем проверять,
заодно и обернем в функцию, а на случай, если ничего не найдется будем возвращать None, None
Вот собственно мы и получили нашу позицию.
Напишите пожалста, интересна ли данная тема и нужно-ли продолжать?
Насколько эффективно использовать скрипт для определения позиций сайта?
“Раскрутка” или поисковое продвижение сайта является отличным способом генерации бесплатного клиентского трафика. Для эффективной поисковой оптимизации профессионалами используется большое количество специальных сервисов, скриптов и программ. Скрипт определения позиций сайта, например, используется для автоматического и регулярного сбора соответствующей информации.
Когда необходим скрипт для определения позиций сайта?
Скрипт проверки позиций сайта необходимо использовать, если вы начинаете или уже ведете компанию по seo-продвижению ваших веб-ресурсов. Безусловно, лучше всего инсталлировать скрипт перед началом раскрутки сайта, чтобы иметь базовые данные по всем позициям. Так вы сможете максимально точно оценить эффективность работы в дальнейшем.
Особенно полезен такой скрипт seo-специалистам, вебмастерам и digital-агентствам. Проще говоря, всем, кому нужно регулярно снимать большие массивы позиций по большому количеству своих и клиентских сайтов.
Как использовать скрипт для мониторинга позиций сайта?
На 2019 год существует несколько скриптов от разных производителей: частных программистов и многофункциональных сервисов веб-аналитики. Рассмотрим работу такой программы на примере популярного Site Control.
По сути, это web-панель управления, созданная на php. Устанавливается на сервер или виртуальный хостинг. После заливки установочного файла на сервер и инсталляции скрипта открывается удобная рабочая панель.
Здесь легко добавлять сайты для мониторинга, ключевые слова, заказать автоматический аудит сайта и многое другое.
С настройкой всех функций скрипта справится даже новичок, так как все максимально наглядно и на русском языке. Можно добавить необходимое количество пользователей (сотрудников, работающих над проектом).
Как скрипты могут навредить?
Любой скрипт дает дополнительную нагрузку на сервер. Если же неправильно рассчитать нагрузку или же скрипт криво написан разработчиками и неэффективно использует ресурсы, то есть угроза того, что в один прекрасный момент ваш сервис просто упадет от перегрузки. Во время падения могут быть утеряны все бэкапы с данными за прошлые месяцы, аналитикой и пользовательскими учетными записями.
Альтернативные способы отслеживать позиции сайта
Альтернативным способом регулярной проверки позиций являются облачный сервисы. Они обладают собственными вычислительными мощностями, собственными серверами, базами данных и т.д. Они отлично защищены от любых видов перегрузок, скачков напряжения и прочих неисправностей. Следовательно, мониторинг всех необходимых позиций будет осуществляется непрерывно, а наработанная аналитика никуда не исчезнет в любом случае. Примером такого сервиса может служить Serpstat, который помимо съема позиций сайта, несет в себе множество других очень полезных функций.
Некоторые компании предпочитают по старинке нанимать специалистов, которые вручную отслеживают динамику позиций по запросам и самостоятельно анализируют полученные данные. Естественно, такой вариант морально устарел, так как человеческий фактор может подвести в любой момент. К тому же скорость и качество такой аналитики не может ни коим образом соперничать со скоростью и качеством облачных сервисов.
Заключение
Скрипт определения позиций сайта – современный инструмент seo-продвижения и веб-аналитики. Пригодится любому владельцу сайта, а также вебмастерам и сотрудникам digital-агентств. Обычно устанавливается на сервер в виде дополнительной панели управления. Настройка мониторинга и контроль не вызовут затруднений ни у кого: внутри панели управления все элементы управления расположены логично и легкодоступно.
Минусом может оказаться перегрузка сервера скриптом, из-за чего он может упасть. Последствием падения сервера может быть потеря всех данных, накопленных за время мониторинга. Также возможно придется заново настраивать функционирование сервера и скрипта. Заменить скрипт можно облачным сервисом мониторинга либо нанятыми веб-специалистами.
Дорогие друзья, сегодня я решил собрать воедино все программы и сервисы для проверки позиций сайта. На систематизацию материала и написание этого поста у меня ушло 5 дней.
Программы для проверки позиций сайта
Это одна из немногих SEO программ, которая работает как на Windows, так и на MacOS и Linux. Приведу скриншот одного из отчетов Rank Tracker:
Следует учесть, что помимо основной стоимости, за обновления программы нужно ежегодно доплачивать. C другой стороны, это дает гарантию, что софт не будет заброшен разработчиками и будет развиваться и совершенствоваться дальше.
Сервисы для проверки позиций
Есть ряд дополнительных возможностей: мониторинг Google рекламы по тем же ключам, специальных элементов выдачи (картинки, видео, быстрые ответы и т.д.), Google карт. Плюс доступна бесплатная проверка до 5 конкурентов наравне с вашим сайтом и анализ топ-100 выдачи по каждому ключу с сохранением истории и маркировкой результатов.
Глубина сбора позиций у сервиса 200. Первые 14 дней бесплатны. Доступны тарифы с оплатой за проверку (от 0.03 ₽ за проверку при глубине парсинга 100) и подписка. Также можно выбрать желаемую частоту проверок – ежедневно, раз в три дня, раз в неделю, раз в месяц, после апдейтов Яндекса или по требованию.
Есть интеграция с сервисами статистики и аналитики:
🔥 Кстати! 6 сентября 2021 года стартует 13 поток моего курса по продвижению англоязычных сайтов SEO Шаолинь. Для читателей блога я делаю хорошую скидку. Тариф Про по промокоду «adman» стоит не 28, а 23 тысячи рублей. Тариф Лайт не 10, а 8 тысяч. Для получения скидки пишите мне на globatorseo@gmail.com с темой «Курс» или в Telegram @mikeshakin.
Доступны следующие варианты частоты проверок: каждый день, каждую неделю, раз в две недели, каждый месяц, при обновлении выдачи Яндекса, при обновлении Яндекс Каталога, при обновлении тИЦ, при обновлении поведенческих факторах Яндекса, при обновлении Google PR. Такого большого выбора по частоте проверок больше не предоставляет ни один сервис в рунете.
Бесплатные сервисы для быстрой проверки позиций
Бывает, что нужно быстро проверить позиции по нескольким запросам. Для этого можно воспользоваться сервисами, которые не требуют оплаты и в них не нужно регистрироваться.
Приложения для Android для мониторинга позиций
iOS приложения для мониторинга позиций
Есть поддержка Яндекс, Google, Mail.ru, Bing, Yahoo и Baidu. Количество сайтов и проверяемых запросов не ограничено. Можно настроить желаемую глубину проверки и отправлять отчеты на e-mail.
Англоязычные программы для мониторинга позиций
Довольно удобно и наглядно, можно запускать проверку по расписанию.
Англоязычные сервисы для мониторинга позиций
https://www.micrositemasters.com/- сервис с лаконичным дизайном интерфейса:
Желаю, чтобы позиции ваших сайтов всегда вас радовали!
Подпишитесь на рассылку блога с полезными материалами по SEO
Оцените, пожалуйста, статью, я старался 🙂 :