Как составить robots.txt самостоятельно

Как составить robots.txt самостоятельно

Как правильно составить robots.txt и зачем он вообще нужен, как закрыть индексацию через robots.txt и бесплатно проверить robots.txt с помощью онлайн-инструментов.

Как поисковики сканируют страницу
Robots.txt для Яндекса и Google
Как составить robots.txt правильно
Инструменты для составления и проверки robots.txt

Как поисковики сканируют страницу

Роботы-краулеры Яндекса и Google посещают страницы сайта, оценивают содержимое, добавляют новые ресурсы и информацию о страницах в индексную базу поисковика. Боты посещают страницы регулярно, чтобы переносить в базу обновления контента, отмечать появление новых ссылок и их доступность.

Зачем нужно сканирование:

  1. Собрать данные для построения индекса — информацию о новых страницах и обновлениях на старых.
  2. Сравнить URL в индексе и в списке для сканирования.
  3. Убрать из очереди дублирующиеся URL, чтобы не скачивать их дважды.

Боты смотрят не все страницы сайта. Количество ограничено краулинговым бюджетом, который складывается из количества URL, которое может просканировать бот-краулер. Бюджета на объемный сайт может не хватить. Есть риск, что краулинговый бюджет уйдет на сканирование неважных или «мусорных» страниц, а чтобы такого не произошло, веб-мастеры направляют краулеров с помощью файла robots.txt.

Боты переходят на сайт и находят в корневом каталоге файл robots.txt, анализируют доступ к страницам и переходят к карте сайта — Sitemap, чтобы сократить время сканирования, не обращаясь к закрытым ссылкам. После изучения файла боты идут на главную страницу и оттуда переходят в глубину сайта.

Какие страницы краулер просканирует быстрее:

  1. Находятся ближе к главной.
    Чем меньше кликов с главной ведет до страницы, тем она важнее и тем вероятнее ее посетит краулер. Количество переходов от главной до текущей страницы называется Click Distance from Index (DFI).
  2. Имеют много ссылок.
    Если многие ссылаются на страницу, значит она полезная и имеет хорошую репутацию. Нормальным считается около 11-20 ссылок на страницу, перелинковка между своими материалами тоже считается.
  3. Быстро загружаются.
    Проверьте скорость загрузки инструментом, если она медленная — оптимизируйте код верхней части и уменьшите вес страницы.

Все посещения ботов-краулеров не фиксируют такие инструменты, как Google Analytics, но поведение ботов можно отследить в лог-файлах. Некоторые SEO-проблемы крупных сайтов можно решить с помощью анализа лог-файлов который также поможет увидеть проблемы со ссылками и распределение краулингового бюджета.

Посмотреть на сайт глазами поискового бота

Robots.txt для Яндекса и Google

Веб-мастеры могут управлять поведением ботов-краулеров на сайте с помощью файла robots.txt. Robots.txt — это текстовый файл для роботов поисковых систем с указаниями по индексированию. В нем написано какие страницы и файлы на сайте нельзя сканировать, что позволяет ботам уменьшить количество запросов к серверу и не тратить время на неинформативные, одинаковые и неважные страницы.

В robots.txt можно открыть или закрыть доступ ко всем файлам или отдельно прописать, какие файлы можно сканировать, а какие нет.

Требования к robots.txt:

  • файл называется «robots.txt«, название написано только строчными буквами, «Robots.TXT» и другие вариации не поддерживаются;
  • располагается только в корневом каталоге — https://site.com/robots.txt, в подкаталоге быть не может;
  • на сайте в единственном экземпляре;
  • имеет формат .txt;
  • весит до 32 КБ;
  • в ответ на запрос отдает HTTP-код со статусом 200 ОК;
  • каждый префикс URL на отдельной строке;
  • содержит только латиницу.

Если домен на кириллице, для robots.txt переведите все кириллические ссылки в Punycode с помощью любого Punycode-конвертера: «сайт.рф» — «xn--80aswg.xn--p1ai».

Robots.txt действует для HTTP, HTTPS и FTP, имеет кодировку UTF-8 или ASCII и направлен только в отношении хоста, протокола и номера порта, где находится.

Его можно добавлять к адресам с субдоменами — http://web.site.com/robots.txt или нестандартными портами — http://site.com:8181/robots.txt. Если у сайта несколько поддоменов, поместите файл в корневой каталог каждого из них.

Как исключить страницы из индексации с помощью robots.txt

В файле robots.txt можно запретить ботам индексацию некоторого контента.

Яндекс поддерживает стандарт исключений для роботов (Robots Exclusion Protocol). Веб-мастер может скрыть содержимое от индексирования ботами Яндекса, указав директиву «disallow». Тогда при очередном посещении сайта робот загрузит файл robots.txt, увидит запрет и проигнорирует страницу. Другой вариант убрать страницу из индекса — прописать в HTML-коде мета-тег «noindex» или «none».

Google предупреждает, что robots.txt не предусмотрен для блокировки показа страниц в результатах выдачи. Он позволяет запретить индексирование только некоторых типов контента: медиафайлов, неинформативных изображений, скриптов или стилей. Исключить страницу из выдачи Google можно с помощью пароля на сервере или элементов HTML — «noindex» или атрибута «rel» со значением «nofollow».

Если на этом или другом сайте есть ссылка на страницу, то она может оказаться в индексе, даже если к ней закрыт доступ в файле robots.txt.

Закройте доступ к странице паролем или «nofollow» , если не хотите, чтобы она попала в выдачу Google. Если этого не сделать, ссылка попадет в результаты но будет выглядеть так:

Такой вид ссылки означает, что страница доступна пользователям, но бот не может составить описание, потому что доступ к ней заблокирован в robots.txt.

Содержимое файла robots.txt — это указания, а не команды. Большинство поисковых ботов, включая Googlebot, воспринимают файл, но некоторые системы могут его проигнорировать.

Если нет доступа к robots.txt

Если вы не имеете доступа к robots.txt и не знаете, доступна ли страница в Google или Яндекс, введите ее URL в строку поиска.

На некоторых сторонних платформах управлять файлом robots.txt нельзя. К примеру, сервис Wix автоматически создает robots.txt для каждого проекта на платформе. Вы сможете посмотреть файл, если добавите в конец домена «/robots.txt».

В файле будут элементы, которые относятся к структуре сайтов на этой платформе, к примеру «noflashhtml» и «backhtml». Они не индексируются и никак не влияют на SEO.

Если нужно удалить из выдачи какие-то из страниц ресурса на Wix, используйте «noindex».

Как составить robots.txt правильно

Файл можно составить в любом текстовом редакторе и сохранить в формате txt. В нем нужно прописать инструкцию для роботов: указание, каким роботам реагировать, и разрешение или запрет на сканирование файлов.

Инструкции отделяют друг от друга переносом строки.

Символы robots.txt

«*» — означает любую последовательность символов в файле.

«$» — ограничивает действия «*», представляет конец строки.

«/» — показывает, что закрывают для сканирования.

«/catalog/» — закрывают раздел каталога;

«/catalog» — закрывают все ссылки, которые начинаются с «/catalog».

«#» — используют для комментариев, боты игнорируют текст с этим символом.

User-agent: *
 Disallow: /catalog/
 #запрещаем сканировать каталог
 
 

Директивы robots.txt

Директивы, которые распознают все краулеры:

User-agent

На первой строчке прописывают правило User-agent — указание того, какой робот должен реагировать на рекомендации. Если запрещающего правила нет, считается, что доступ к файлам открыт.

Для разного типа контента поисковики используют разных ботов:

  • Google: основной поисковый бот называется Googlebot, есть Googlebot News для новостей, отдельно Googlebot Images, Googlebot Video и другие;
  • Яндекс: основной бот называется YandexBot, есть YandexDirect для РСЯ, YandexImages, YandexCalendar, YandexNews, YandexMedia для мультимедиа, YandexMarket для Яндекс.Маркета и другие.

Для отдельных ботов можно указать свою директиву, если есть необходимость в рекомендациях по типу контента.

User-agent: * — правило для всех поисковых роботов;

User-agent: Googlebot — только для основного поискового бота Google;

User-agent: YandexBot — только для основного бота Яндекса;

User-agent: Yandex — для всех ботов Яндекса. Если любой из ботов Яндекса обнаружит эту строку, то другие правила User-agent: * учитывать не будет.

Sitemap

Указывает ссылку на карту сайта — файл со структурой сайта, в котором перечислены страницы для индексации:

User-agent: * Sitemap: 
 http://site.com/sitemap.xml
 

Некоторые веб-мастеры не делают карты сайтов, это не обязательное требование, но лучше составить Sitemap — этот файл краулеры воспринимают как структуру страниц, которые не можно, а нужно индексировать.

Disallow

Правило показывает, какую информацию ботам сканировать не нужно.

Если вы еще работаете над сайтом и не хотите, чтобы он появился в незавершенном виде, можно закрыть от сканирования весь сайт:

User-agent: *
 Disallow: /
 

После окончания работы над сайтом не забудьте снять блокировку.

Разрешить всем ботам сканировать весь сайт:

User-agent: *
 Disallow:
 

Для этой цели можно оставить robots.txt пустым.

Чтобы запретить одному боту сканировать, нужно только прописать запрет с упоминанием конкретного бота. Для остальных разрешение не нужно, оно идет по умолчанию:

Пользователь-агент: BadBot 
 Disallow: /
 

Чтобы разрешить одному боту сканировать сайт, нужно прописать разрешение для одного и запрет для остальных:

User-agent: Googlebot
 Disallow: 
     
 User-agent: * 
 Disallow: /
 

Запретить ботам сканировать страницу:

User-agent: *
 Disallow: /page.html
 

Запретить сканировать конкретную папку с файлами:

User-agent: *
 Disallow: /name/
 

Запретить сканировать все файлы, которые заканчиваются на «.pdf»:

User-agent: *
 Disallow: /*.pdf$
 

Запретить сканировать раздел http://site.com/about/:

User-agent: *
 Disallow: /about/
 

Запись формата «Disallow: /about» без закрывающего «/» запретит доступ и к разделу http://site.com/about/, к файлу http://site.com/about.php и к другим ссылкам, которые начинаются с «/about».

Если нужно запретить доступ к нескольким разделам или папкам, для каждого нужна отдельная строка с Disallow:

User-agent: *
 Disallow: /about
 Disallow: /info
 Disallow: /album1
 

Allow

Disallow-наоборот — директива, разрешающая сканирование. Для роботов действует правило: что не запрещено, то разрешено, но иногда нужно разрешить доступ к какому-то файлу и закрыть остальную информацию.

Разрешено сканировать все, что начинается с «/catalog», а все остальное запрещено:

User-agent: *
 Allow: /catalog 
 Disallow: /
 

Сканировать файл «photo.html» разрешено, а всю остальную информацию в каталоге /album1/ запрещено:

User-agent: *
 Allow: /album1/photo.html 
 Disallow: /album1/
 

Заблокировать доступ к каталогам «site.com/catalog1/» и «site.com/catalog2/» но разрешить к «catalog2/subcatalog1/»:

User-agent: * 
 Disallow: /catalog1/ 
 Disallow: /catalog2/ 
 Allow: /catalog2/subcatalog1/
 

Бывает, что для страницы оказываются справедливыми несколько правил. Тогда робот будет отсортирует список от меньшего к большему по длине префикса URL и будет следовать последнему правилу в списке.

Директивы, которые распознают боты Яндекса:

Clean-param

Некоторые страницы дублируются с разными GET-параметрами или UTM-метками, которые не влияют на содержимое. К примеру, если в каталоге товаров использовали сортировку или разные id.

Чтобы отследить, с какого ресурса делали запрос страницы с книгой book_id=123, используют ref:

«www.site. com/some_dir/get_book.pl?ref=site_1& book_id=123»
«www.site. com/some_dir/get_book.pl?ref=site_2& book_id=123»
«www.site. com/some_dir/get_book.pl?ref=site_3& book_id=123″

Страница с книгой одна и та же, содержимое не меняется. Чтобы бот не сканировал все варианты таких страниц с разными параметрами, используют правило Clean-param:

User-agent: Yandex 
 Disallow: 
 Clean-param: ref /some_dir/get_book.pl
 

Робот Яндекса сведет все адреса страницы к одному виду:

«www.example. com/some_dir/get_book.pl? book_id=123″

Для адресов вида:
«www.example2. com/index.php? page=1&sid=2564126ebdec301c607e5df»
«www.example2. com/index.php? page=1&sid=974017dcd170d6c4a5d76ae»

robots.txt будет содержать:

User-agent: Yandex
 Disallow:
 Clean-param: sid /index.php
 

Для адресов вида

«www.example1. com/forum/showthread.php? s=681498b9648949605&t=8243»
«www.example1. com/forum/showthread.php? s=1e71c4427317a117a&t=8243»

robots.txt будет содержать:

User-agent: Yandex 
 Disallow: 
 Clean-param: s /forum/showthread.php
 

Если переходных параметров несколько:
«www.example1. com/forum_old/showthread.php? s=681498605&t=8243&ref=1311»
«www.example1. com/forum_new/showthread.php? s=1e71c417a&t=8243&ref=9896″

robots.txt будет содержать:

User-agent: Yandex 
 Disallow: 
 Clean-param: s&ref /forum*/showthread.php
 

Host

Правило показывает, какое зеркало учитывать при индексации. URL нужно писать без «http://» и без закрывающего слэша «/». Директиву распознают только боты Яндекса.

User-agent: Yandex
 Disallow: /about
 Host: www.site.com
 

Crawl-delay

Частая загрузка страниц может нагружать сервер, поэтому устанавливают Crawl-delay — время ожидания робота в секундах между загрузками. Мощным серверам не требуется.

Время ожидания — 4 секунды:

User-agent: *
 Allow: /album1 
 Disallow: /
 Crawl-delay: 4
 

Только латиница

Напомним, что все кириллические ссылки нужно перевести в Punycode с помощью любого конвертера.

Неправильно:

User-agent: Yandex 
 Disallow: /каталог
 

Правильно:

User-agent: Yandex
 Disallow: /xn--/-8sbam6aiv3a
 

Пример robots.txt

Запись означает, что правило справедливо для всех роботов: запрещено сканировать ссылки из корзины, из встроенного поиска и админки, карта сайта находится по ссылке http://site.com/sitemap, ref не меняет содержание страницы get_book:

User-agent: *
 Disallow: /bin/ 
 Disallow: /search/ 
 Disallow: /admin/ 
 Sitemap: http://site.com/sitemap 
 Clean-param: ref /some_dir/get_book.pl

Составить robots.txt бесплатно поможет инструмент для генерации robots.txt от PR-CY, он позволит закрыть или открыть весь сайт для ботов, указать путь к карте сайта, настроить ограничение на посещение страниц, закрыть доступ некоторым роботам и установить задержку:

Графы инструмента для заполнения

Для проверки файла robots.txt на ошибки у поисковиков есть собственные инструменты:

Инструмент проверки файла robots.txt от Google позволит проверить, как бот видит конкретный URL. В поле нужно ввести проверяемый URL, а инструмент покажет, доступна ли ссылка.

Инструмент проверки от Яндекса покажет, правильно ли заполнен файл. Нужно указать сайт, для которого создан robots.txt, и перенести его содержимое в поле.


Файл robots.txt не подходит для блокировки доступа к приватным файлам, но направляет краулеров к карте сайта и дает рекомендации для быстрого сканирования важных материалов ресурса.

Как собрать медиамикс digital-инструментов для продвижения медицинских препаратов

Как собрать медиамикс digital-инструментов для продвижения медицинских препаратов

Медицинский маркетинг – процесс, где интересы фармпроизводителей тесно переплетаются с интересами пользователей, которые, в свою очередь, защищает государство. Эта сфера считается одной из самых сложных для рекламы, поскольку действия ограничены законодательством. Какие инструменты и на каком этапе стоит применять для успешного продвижения медпрепаратов в интернете?

Путь клиента

Путь клиента.png

Наличие большого количества аптек сегодня, в том числе в интернете, облегчает приобретение лекарственных препаратов. По данным исследования STADA, 84% опрошенных покупают препараты исходя из личного опыта применения обезболивающих, противовирусных, витаминных комплексов и других лекарств. При этом 79% следуют рекомендациям врачей, если недомогание выходит за рамки обычной простуды, легкой боли и нарушения работы ЖКТ.

Прежде чем сделать окончательный выбор, 40% изучают отзывы в интернете, а 44% внимательно читают и сравнивают инструкции препаратов – в том числе онлайн. Еще 20% респондентов учитывают спецпредложения, скидки и промоакции аптек, а 64% обращают внимание на стоимость препаратов, сравнивать которую удобно онлайн.

Интернет-взаимодействие фармпроизводителя с покупателем может происходить на каждом из этих этапов. Как сделать контакты с потенциальными клиентами наиболее эффективными?

До подбора digital-микса

Особенности вашей целевой аудитории

Целевая аудитория рекламы фармпрепаратов — это профессиональные потребители (специалисты медучреждений, закупщики лекарственных средств, оборудования и услуг) и обычные потребители. Последние делятся на три основные группы:

  • здоровые люди, которые задумываются о поддержании достойного уровня жизни, увлекаются ЗОЖ и т.п.;
  • временно нездоровые, которым требуется эффективное краткосрочное решение проблемы;
  • хронически больные, которым нужен долгосрочный комплекс мер.

Для интернет-маркетинга особенно важно определить специфику своей целевой аудитории, так как на разные группы лучше воздействовать через несколько рекламных каналов.

Точки пересечения с целевой аудиторией

Для достижения максимальной эффективности в интернет-рекламе нужно сделать процесс взаимодействия с потенциальными клиентами как можно более интуитивным и логичным, а потом масштабировать точки пересечения на другую аудиторию в аналогичном контексте либо на этих же клиентов, но с другим сообщением или на другой площадке.

Например, мы рекламируем средство от детских колик на сайте для молодых мам. Если мы будем продвигать такое средство на сайте автомастерской – это будет ошибкой выбора контекста. Другое дело — реклама в мобильном приложении с рецептами для кормящих: так мы используем ту же ЦА, но в ином контексте.

Зная точки пересечения, мы помогаем налаживать связь между конечным пользователем и продуктом.

Рекламное послание, которое заинтересует вашу целевую аудиторию

От правильного ответа на вопрос, с чем именно обратиться к пользователям, зависит эффективность нашей рекламной кампании. Важно знать, какое сообщение раскроет максимум преимуществ для целевой аудитории и решит «боль» клиента. На этом этапе мы должны понимать сезонность продукта и теплоту спроса в зависимости от времени года и гео.

Стратегия продвижения на разных этапах воронки продаж

Воронка продаж – это путь, по которому проходит клиент от интереса к продукту до его покупки. Наша задача – учитывать потребности клиента, возникающие на каждом этапе, его мотивы, вопросы, возражения. Для каждого этапа, в зависимости от целей, используем разные инструменты в определенной последовательности.

Цикл жизни клиента на разных этапах:

Цикл жизни клиента.png

Цикл жизни клиента

При рекламе в сети ориентиром для нас становятся действия пользователя на сайте. При рекламе определенных средств в фармацевтике целевым может считаться конкретное действие на сайте, например, «где купить», «перейти в онлайн-аптеку». Сама продажа чаще всего происходит офлайн на основании предпочтений человека.

Вариант оптимального распределения инструментов в зависимости от спроса:

Воронка продаж для фармы.png

Воронка продаж для фармы

В этой тематике необходимо сначала создать знание о проблеме и продукте, поэтому имеет смысл использовать ТВ как инструмент для охвата всех сегментов аудитории. А для тщательной проработки и воздействия на целевую аудиторию лучше использовать все виды рекламы в интернете – контекстную, таргетированную рекламу, программатик и видеорекламу.

Задачи, которые обычно стоят перед интернет-маркетологом, можно разделить на два больших блока: увеличение знаний о бренде и продажи. На практике мы чаще всего сталкиваемся с сочетанием этих задач. В каждом отдельном случае есть свои ограничения: что считаем конверсией, каково УТП продукта, позиции конкурентов-аналогов, будем ли размещаться на всю Россию или выберем отдельные города. Все это влияет на итоговый пул инструментов.

Примеры медиамиксов

Медиамикс для продукта, зарекомендовавшего себя на рынке

Основная цель: охват «теплого» спроса, сформированного сезонностью проблемы.

Стратегия: максимальный охват ЦА, захват аудитории конкурентов-аналогов, увеличение офлайн- и онлайн-продаж. Активное использование аудиторий ретаргетинга.

Медиамикс для продукта, зарекомендовавшего себя на рынке.png

Большую долю бюджета стоит заложить на social, так как у данного канала есть возможность сегментировать пользователей и показываться только тем, кого может заинтересовать продукт. В контекстном размещении – сделать упор на брендовые и конкурентные запросы.

Медиамикс для нового продукта, выходящего на рынок

Основная цель: сформировать знание о продукте.

Стратегия: максимальный охват, повышение уровня доверия бренду. Использование большого количества подходящих аудиторий и площадок.

Медиамикс для нового продукта, выходящего на рынок.png

В контекстном размещении – упор на общетематические запросы. Большую часть бюджета закладываем на кампании Programmatic и Video для создания знания о бренде и формирования имиджа продукта.

Особенности рекламных каналов при продвижении фармпрепаратов

Контекстная реклама

  • Брендовый трафик

Брендовые запросы обходятся недорого, так как система распознает наши объявления как более подходящие, за счет чего кампания улучшает свои показатели. Стоит размещаться по брендовым запросам, чтобы не позволить конкурентам рекламироваться по нашим запросам. Более развернутый комментарий о том, почему брендовый трафик упускать нельзя, дает исследование Яндекса «Директ в поисковой выдаче от Александры Маликовой».

  • Использование расширений

В частности, номер телефона и виртуальная визитка, благодаря которым клиент может сразу уточнить все вопросы по препарату.

  • Разделение трафика на десктоп и мобайл

Деликатные тематики чаще всего ищут с мобильных устройств, что наглядно подтверждается исследованиями Яндекс.

Динамика распределения кликов по типам устройств (данные закрытой квартальной аналитики за Q3 2018 года).png 

Динамика распределения кликов по типам устройств (данные закрытой квартальной аналитики за Q3 2018 года)

Анализируя такие запросы, мы наблюдаем, что зачастую трафик с десктопа «горячее». Зная, где местонахождение заинтересованной аудитории, делаем корректировки ставок, чтобы получать более качественный трафик.

  • Медийно-контекстный баннер на поиске Яндекса

Удобен при охвате брендового трафика, потому что находится на первой странице выдачи и занимает видное место. МКБ зарекомендовал себя, как высококонверсионный инструмент.

  • Контекст на сетях

Преимуществом является высокий охват и возможность таргетироваться отдельно на аудитории пользователей, которые входят в нашу ЦА. Например, препарат от отравления, который часто берут путешественники, есть возможность показывать тем пользователям, которые интересуются путешествиями, любят вкусно поесть и заботятся о здоровье.

Таргетированная реклама в социальных сетях

Один из незаменимых инструментов в арсенале специалиста, поскольку в социальных сетях пользователь указывает большое количество информации о себе. Основных площадок четыре: ВКонтакте, Facebook, Одноклассники, Instagram. Каждая имеет свои особенности и правила.

На текущий момент система настроек таргетинга в Facebook – одна из самых разветвленных и детальных среди соцсетей. Она предоставляет детализацию от пола и возраста вплоть до интереса к морепродуктам или легкого/сильного увлечения футболом. Оптимизация рекламы происходит в зависимости от цели кампании.

При основной цели «Охват» или «Узнаваемость бренда» стоит обратить внимание на охватные кампании FB и IG отдельно по площадкам. Система будет оптимизировать показы таким образом, чтобы наибольшее число пользователей смогло увидеть объявление.

Требуется настройка событий пикселя на сайте, если основная цель – «Увеличение продаж». Затем площадка будет оптимизировать показы таким образом, чтобы найти наиболее заинтересованных пользователей, которые не просто посмотрят или кликнут, а совершат конверсии.

Данный анализ происходит на основании прошлого поведения пользователя в соцсетях и на сайтах-партнерах. Facebook – умная площадка, и чаще всего такой формат оптимизации дает хорошие результаты. Я рекомендую заводить все плейсменты, так как наш продукт может заинтересовать тех, например, кто не сидит в ленте FB, но листает сториз в IG.

Программатик

Для этого канала характерно использование автоматических платформ, которые предоставляют возможность анализировать эффективность креативов и понять, какую сумму нужно заплатить владельцу площадки.

В мобильной рекламе выделю два существенных и часто непересекающихся сегмента:

  • размещение на мобильном трафике классических веб-сайтов – адаптированных или неадаптированных для небольших экранов;
  • размещение в мобильных приложениях.

Я рекомендую рассмотреть программатик-нативную рекламу при размещении на веб-сайтах. Такой подход сочетает в себе преимущества программатик и нативной рекламы. В среднем качественные метрики – показатель отказов, среднее время на сайте, глубина просмотра, полученные с помощью нативной рекламы – вполне сопоставимы, а иногда и выше аналогичных метрик по органическим каналам.

Особенность нативной рекламы – маскировка рекламных объявлений под обычный текст в новостной ленте социальных сетей. Пользователи из нашей ЦА, просматривая новости, не будут воспринимать объявление как рекламу, а значит, станут более лояльны.

Пример нативной рекламы для Базирона.jpg

Пример нативной рекламы для Базирона

Пример нативной рекламы для Дирол.jpg

Пример нативной рекламы для Дирол

Видеореклама

Видеореклама используется для имиджевых и охватных целей. Традиционно в фармацевтике эту задачу раньше решала TB-реклама, но снижение заинтересованности к телевидению формирует новую аудиторию — пользователей, которые проводят время за просмотром фильмов и роликов в интернете.

Площадок, размещающих на своих сайтах рекламу, много. Наибольшую аудиторию имеют YouTube, Mail.ru, Native Roll. При выборе площадки нужно учитывать, что на каждой из них – своя аудитория, и важно заранее уточнять у менеджера, есть ли там пользователи с нужными вам характеристиками.

Пример видеорекламы по фарме на YouTube (формат In-Stream).jpg

Пример видеорекламы по фарме на YouTube (формат In-Stream)

На Mail.ru рекомендую использовать Pre-Roll – удобный формат из ВКонтакте и Одноклассников. Он имеет хороший показатель VTR – соотношение количества просмотров к количеству показов относительно других инструментов. Подходит для охватной кампании.

Советы при использовании видеорекламы:

  • Проводите замену креативов минимум раз в 2 месяца – они быстро приедаются пользователям, которые их уже видели.
  • Чаще «освежайте» аудиторию – исключайте людей, которые уже видели рекламу. Расширяйте таргетинг на новых пользователей.

В конце 2018 года для видеосети MRG и партнерской сети появился новый инструмент – мультиформат. Его основное отличие в том, что он объединяет много площадок, начиная с почты Mail.ru и заканчивая MyTarget. Долю бюджета на данный инструмент нужно варьировать в зависимости от цели. Например, мы использовали 40% на формат от всего бюджета канала. В сравнении с Pre-Roll получаемый CTR меньше, но его окупает конверсионность.

Ретаргетинг/ремаркетинг

Этот инструмент в разной степени присутствует в каждом интернет-канале, но для фармацевтической отрасли он не всегда доступен из-за ограничений по площадкам. Ретаргетинг стоит использовать несмотря на сложности, с которыми можно столкнуться при запуске – например, в контекстной рекламе.

Процент конверсии по нему один из самых высоких: моя практика показывает, что это может быть до 60% по кнопке «Где купить» при использовании брендового сайта одного продукта.

Лояльная аудитория, которая уже была на сайте и вернулась снова, с большей вероятностью пойдет за ним в аптеку или продолжит принимать препарат, а аудиторию, только узнавшую о бренде, ретаргетинг вовлечет в процесс покупки.

Три основных вывода

  1. Для грамотного составления медиамикса важно понимать на каждом этапе воронки продаж — чего хочет ваша ЦА и как ей это дать.
  2. Рекламное сообщение и распределение digital-инструментов происходит исходя из портрета целевого пользователя, УТП продукта, сезонности и выделенного бюджета.
  3. Состав медиамикса меняется в зависимости от задачи: одни интернет-инструменты помогают создать или поддержать знание о продукте, другие – повысить продажи, в том числе за счет аудитории конкурентов.

Распределение рекламного бюджета между различными инструментами продолжается и после запуска рекламных кампаний – на основании постоянного анализа их эффективности. Только постоянная оптимизация позволит выработать идеальный медиамикс для конкретного фармпроизводителя и бренда.

оптимизируем код верхней части страницы

оптимизируем код верхней части страницы

Как оптимизировать верхнюю часть страницы, как уменьшить ее вес, ускорить загрузку и улучшить результат в PageSpeed Insights. Объединяем и сокращаем JavaScript и CSS, используем кэширование и другие способы.

Как оптимизировать код верхней части страницы:

Удалить код JavaScript и CSS из верхней части страницы
Использовать асинхронную загрузку Javascript и CSS
Настроить асинхронную загрузку с jQuery
Ускорить получение первых байтов (TTFB)
Объединить CSS в один файл, объединить JavaScript
Использовать алгоритмы сжатия
Минифицировать файлы CSS и JavaScript
Использовать кэш браузера
Загружать данные с помощью CDN

Скорость загрузки сайта важна для удержания пользователей на ресурсе и для ранжирования в поисковиках. На скорость загрузки влияет и скорость интернета, и географическое положение, но веб-мастеры могут повлиять только на то, что связано с их ресурсом. Быстрее загружаются легкие страницы, а уменьшить вес сайта можно с помощью оптимизации кода, стилей и других элементов.

Когда пользователь переходит по ссылке, он оценивает сайт по тому, что видит в первые несколько секунд. Сперва загружается верхняя часть страницы, поэтому важно оптимизировать ее так, чтобы пользователь мог увидеть контент как можно быстрее. Так пользователь поймет, что остальной контент тоже скоро подгрузится, и сможет начать изучать страницу.

Узнать примерную скорость загрузки можно с помощью инструмента PageSpeed Insights от Google. Он оценивает скорость сайта и выводит советы по улучшению показателя.

Фрагменты проверки инструментом PageSpeed Insights

Для оценки Google определил девять правил, инструмент считает количество баллов по соответствиям.

  1. Не используйте перенаправления с целевой страницы
  2. Включите сжатие
  3. Сократите время ответа сервера
  4. Используйте кэширование в браузере
  5. Сократите HTML, CSS и JavaScript
  6. Оптимизируйте изображения
  7. Оптимизируйте загрузку CSS
  8. Расставьте приоритеты загрузки контента
  9. Удалите блокировку рендера JavaScript

Инструмент « Проверка скорости сайта» от PR-CY.RU использует такие же правила для анализа скорости. Он оценивает загрузку на десктопе и мобильной версии, дает советы и пояснения по каждому пункту.

Фрагмент анализа инструментом Проверка скорости сайта

Если вам или вашему клиенту важна скорость загрузки сайта, учитывайте рекомендации инструмента и уделяйте внимание оптимизации верхней части страницы.

Как оптимизировать код верхней части страницы:

Ускорить загрузку части страницы, которая первой появляется при переходе на сайт, поможет оптимизация. Для этого можно как минимум удалить лишние символы и скрипты из верхней части кода, сжать код алгоритмами, настроить загрузку из кэша.

Удалить код JavaScript и CSS из верхней части страницы

В верхней части кода HTML-страницы используйте только контент, нужный для загрузки первого экрана, остальной перенесите вниз. Скрипты JS и CSS влияют на отклик страницы, но не нужны в той части, которая загружается первой. Они тормозят браузер, и получается, что пользователь не видит часть страницы, на которую они влияют, но уже ждет ее загрузку.

Исходный HTML-код страницы:

<html> 
   <head> 
     <link rel="stylesheet" href="small.css">
   </head> 
   <body>
     <div class="black">
       Текст
     </div>
   </body>
 </html>
 

Стили small.css:

    yellow {background-color: white;} 
   .blue {color: black;} 
   .big { font-size: 8em; } 
   .bold { font-weight: bold; }
 

Встраиваем CSS:

    <html> 
   <head> 
     <style> 
       .black{color:black;} 
     </style> 
     </head> 
   <body> 
     <div class="black">
       Текст
     </div> 
   </body> 
 </html> 
 <link rel="stylesheet" href="small.css">
 

Файл стилей small.css будет подгружаться после загрузки первой страницы.

Использовать асинхронную загрузку Javascript и CSS

Браузер загружает код HTML построчно, но загрузка множества файлов Javascript может тормозить весь процесс. Для некоторых пользователей с медленным интернетом тормозить могут и файлы стилей. Чтобы браузер не останавливался на загрузке этих файлов, а продолжал подгружать остальной код, настраивают асинхронную загрузку Javascript и CSS.

Асинхронная загрузка позволит браузеру продолжать загружать основной код HTML и другие нужные ресурсы независимо от загрузки сторонних элементов.

Настроить асинхронную загрузку Javascript

Если на сайте есть видео со сторонних сервисов или другие внешние элементы, браузеру придется ждать загрузки всех элементов Javascript. Недоступное видео или другие проблемы с контентом могут вообще заблокировать загрузку сайта. Чтобы этого не произошло, используют Friendly iFrame или асинхронную загрузку.

Создайте пустой div блок в том месте, где нужно отобразить элемент:

<div id="script_block" class="script_block"></div>
 

Перейдите в конец страницы и вставьте скрипт для асинхронной загрузки перед </body>:

<div id="script_ad" class="script_ad" style="display:none;">
 файл или скрипт для загрузки</div>
 <script type="text/javascript">
    *переместить на реальную позицию отображения*
    document.getElementById('script_block').appendChild(document.getElementById('script_ad'));
  *показать*
    document.getElementById('script_ad').style.display = 'block';
 </script>
 

Скрипт работает во всех современных браузерах.

Настроить асинхронную загрузку CSS

Быстрее показать страницу пользователю с медленным интернетом поможет асинхронная загрузка CSS. Рекомендуют применять ее только к вспомогательным CSS, иначе страница появится сначала вообще без стилей, а потом будет перерисовываться.

Настроить асинхронную загрузку CSS можно несколькими способами, к примеру, через «rel=preload»:

<link type="text/css" href="style.css" rel="preload" as="style" onload="this.rel='stylesheet'" />
 <noscript>
 <link type="text/css" href="style.css" rel="stylesheet" />
 </noscript>
 

В некоторых версиях браузеров, к примеру, в Firefox 57, «preload» по умолчанию отключен, поэтому событие «onload» не сработает. Учитывайте это и догружайте данные скриптом:

<script>
 if (navigator.userAgent.indexOf("Firefox")>=0) {
     var elms = document.querySelectorAll('link[rel=preload][as=style]');
     for (i=0; i<elms.length; i++) {
       elms[i].rel="stylesheet";
     }
 }
 </script>
 

Скрипт cssrelpreload.js by loadCSS на GitHub включает поддержку rel=preload для файлов CSS файлов. Он сработает, если в браузере нет родной поддержки «preload».

Настроить асинхронную загрузку с jQuery

Для своей работы веб-мастера используют библиотеки скриптов. По данным графика популярности библиотек в вакансиях, в 2017 году библиотека jQuery была на пике популярности. Ее использование выросло и в 2018, хоть в вакансиях стал чаще появляться React.

График популярности библиотек в вакансиях: слева 2017, справа 2018

Библиотека скриптов jQuery содержит набор готовых функций Javascript, которые помогают писать код.

Последняя версия библиотеки jQuery для локального подключения

Для работы подключите версию библиотеки, которая у вас поддерживается.

Настроить асинхронную загрузку Javascript с jQuery

Для настройки асинхронной загрузки Javascript с jQuery нужно добавить свойство «async»:

<script async src="http://pr-cy.ru/example.js"></script>
 

Это отключит последовательную загрузку, поэтому добавьте событие «onload»:

<script>function init() {
     $('a').addClass('ajax');
 }</script>
 <script src="http://pr-cy.ru/jquery.js" async onload="init()"></script>
 

Функция «init» будет вызвана после загрузки jQuery.

Настроить асинхронную загрузку CSS с jQuery

jQuery подходит и для асинхронной загрузки CSS. Для того используйте код:

$("head").append("<link rel='stylesheet' type='text/css' href='/stylesheet.css' />");
 

Он должен загружаться после остальных элементов страницы и jQuery. К примеру, использование с методом «ready»:

    <script>
  $(document).ready(function() {
  $("head").append("<link rel='stylesheet' type='text/css' href='/stylesheet.css' />");
  });
 </script>
 

Ускорить получение первых байтов (TTFB)

TTFB (Time To First Byte) — это время, которое прошло с момента отправки запроса клиентом до получения им первого байта. Чем меньше показатель, тем быстрее браузер начинает загружать страницу.

Яндекс и Google не используют показатель TTFB в ранжировании, но если это время больше 200 мс, нужно заняться оптимизацией, чтобы пользователь не ждал начала загрузки.

Чем больше запросов выполняет браузер, тем дольше может быть загрузка. Проверить, сколько HTTP-запросов генерирует страница, можно на панели разработчика браузера. В Google Chrome и Mozilla Firefox для этого нужно вызвать на странице команду «Посмотреть код» (Ctrl + Shift + I), найти вкладку Network, перезагрузить страницу и отфильтровать по типу HTML (Doc). Появится список запросов со статусами ответов и временем загрузки.

Список запросов со статусами на главной странице Яндекс

Также данные о TTFB есть в Pagespeed и в Google Analytics: перейдите в «Поведение» — «Скорость загрузки сайта» — «Обзор», в блоке «Среднее время ответа сервера» увидите TTFB в секундах.

Если проходит слишком много времени до загрузки верхней части страницы, проверьте гипотезы:

  1. На загрузку не хватает ресурсов.
    Возможно, у вас слишком слабый процессор, не хватает оперативной памяти. Используйте проверенные хостинги с достаточными возможностями для непредвиденной нагрузки.
  2. Работа с базой данных слишком медленная.
    При каждой загрузке сервер обращается к базе данных за информацией, на каждый запрос нужно время. Сократить количество запросов поможет кэширование — так браузер запомнит данные и при дальнейших посещениях страницы будет делать меньше запросов.
  3. На сайте не включен акселератор (для PHP).
    Разработчики сайтов на PHP используют акселераторы кода для его оптимизации — это расширение, которое кэширует байт-код и увеличивает производительность интерпретатора. При загрузке страницы сервер часто обрабатывает одни и те же участки кода, а акселератор будет предварительно компилировать PHP, что уменьшит время получения первого байта. В версиях PHP 5.5 и выше он идет в комплекте, в файле «php.ini» нужно найти «opcache.enable» и включить акселератор. В версиях 5.2 и 5.3 он доступен в PECL, нужно установить его и включить также через файл «php.ini» .

Объединить CSS в один файл, объединить JavaScript

На каждый отдельный файл нужен отдельный HTTP запрос. Некоторым разработчикам удобнее хранить разные стили CSS или коды JavaScript в разных файлах, но если стилей много, браузеру придется делать много запросов, что тормозит загрузку. Для оптимизации кода рекомендуют объединять все стили CSS в один файл.

Исходный код:

<link rel="stylesheet" href="structure.css" media="all">
 <link rel="stylesheet" href="banner.css" media="all">
 <link rel="stylesheet" href="layout.css" media="all">
 <link rel="stylesheet" href="component.css" media="all">
 <link rel="stylesheet" href="plugin.css" media="all">
 

Объединяем CSS-файлы:

<link rel="stylesheet" href="main.css" media="all">
 

Файлы JavaScript тоже нужно объединять, чтобы уменьшить количество HTTP запросов при загрузке страницы. Способ объединения такой же, как в случае CSS-файлов.

Исходный код:

<script src="http://pr-cy.ru/navbar.js"></script>
 <script src="component.js"></script>
 <script src="page.js"></script>
 <script src="framework.js"></script>
 <script src="plugin.js"></script>
 

Объединяем файлы JavaScript:

<script src="http://pr-cy.ru/main.js"></script>
 

Использовать алгоритмы сжатия

Меньше объем файла — быстрее загрузка. Алгоритмы сжатия данных хоть и нагружают сервер для выполнения архивирования, но уменьшают объем данных. За счет этого браузер принимает более легкие файлы и справляется с ними быстрее.

Сейчас популярны алгоритмы gzip или brotli. Сервер сжимает данные перед отправкой тем способом, который браузер может декодировать, и отправляет ему архивы. Лучше использовать оба алгоритма: большинство браузеров поддерживаеет только gzip, но в ряде случаев сработает brotli, который тратит чуть больше ресурсов, но сжимает данные сильнее.

Подробно о подключении алгоритмов сжатия для разных серверов в статье «Как уменьшить вес сайта и ускорить загрузку страниц: использовать сжатие gzip или brotli».

Минифицировать файлы CSS и JavaScript

Данные делают легче не только с помощью алгоритмов сжатия. Еще CSS, Javascript и HTML можно минифицировать — сократить методом удаления лишних символов, которые не влияют на работу кода, но занимают место. Удаляют пробелы, комментарии, переносы строк и табуляцию, в файлах стилей сокращают названия цветов.

После минификации файл будет сложнее читать, но зато он будет меньше весить и быстрее загружаться. Обычно сокращенную версию сохраняют отдельно с расширением «.min».

Минификация CSS

Исходный код:

    <style>
       body { background-image: url("foo.png"); }
       /* This comment will be stripped */
       #iddy, .anotherId {
         border: solid 1px #cccccc;
         padding: 1.2em;
         float: left;
         color:##ff0000;
       }
     </style>
 

Минифицируем CSS:

<style>body{background-image:url(("foo.png"}#iddy,#anotherId{border:solid 1px #ccc;padding:1.2em;float:left;color:red}</style>
 

Минифицировать файлы CSS и JavaScript

Коды JavaScript тоже можно сократить — удалить лишние символы и сократить переменные. Чтобы не делать это вручную, для минификации есть автоматические сервисы — загружаешь в него код и скачиваешь версию в сокращении.

Подробнее о сервисах и особенностях минификации в статье «Как уменьшить вес сайта и ускорить загрузку страниц: использовать минификацию HTML, CSS и JS»

Использовать кэш браузера

Когда пользователь заходит на сайт в первый раз, его браузер загружает всю графику, все элементы JavaScript и CSS-файлы. Последующие загрузки страницы будут быстрее, если настроить кэширование в браузере пользователя. Тогда браузер сохранит файлы, и ему не придется загружать их с сервера повторно.

Кэшировать рекомендуют элементы, которые редко изменяются. Настройте подходящий период хранения данных в кэше, чтобы пользователь всегда видел актуальную версию страницы.

Для сервера Nginx в файле конфигурации настройте модуль Expires: перечислите форматы файлов для кэширования через с прямой слэш «|», укажите время хранения в секундах.

location ~* .(js|css|png|jpg|jpeg|gif)$ {
  expires 86400s;
  log_not_found off;
  }
 

Если вы используете Apache, добавьте в файл .htaccess строки с указанием сроков хранения в кэше для форматов файлов:

## EXPIRES CACHING ##
 <IfModule mod_expires.c>
 ExpiresActive On
 ExpiresByType image/gif "access plus 6 months"
 ExpiresByType image/jpeg "access plus 6 months"
 ExpiresByType image/png "access plus 6 months"
 ExpiresByType text/css "access plus 1 year"
 ExpiresByType text/javascript "access plus 6 months"
 ExpiresByType application/javascript "access plus 6 months"
 </IfModule>
 ## EXPIRES CACHING ##
 

О других способах настройки кэширования есть в статье «Как использовать кэш браузера для ускорения: кэширование для Nginx и Apache, метод Cache-Control и кэширование по времени».

Загружать данные с помощью CDN

Еще один способ сократить время загрузки данных — использовать популярные CDN. CDN (Content Delivery Network) — это сетевая структура серверов в разных географических точках, которые хранят контент и быстро отдают его клиенту. CDN нужны, чтобы сайт открывался с одинаково быстрой скоростью для пользователей из разных географических точек. Они сокращают время загрузки, ускоряют рендеринг, защищают от DDoS, скраперов и ботов.

Система по времени отклика или количеству промежуточных хопов выбирает ближайший сервер, который отдаст контент конкретному пользователю — чем быстрее, тем лучше. Браузер сохранит в кэше файлы из библиотеки, поэтому загружать их повторно в следующих посещениях не понадобится.

Разработчики выбирают CDN в зависимости от потребностей бизнеса и бюджета. Hhostings.info собрали двадцать CDN с лучшими отзывами и составили топ CDN 2019.


Пользователь переходит на сайт и ожидает увидеть загрузку контента. Если на сайте ничего не появится, ждать он не будет, поэтому рекомендуем ускорить загрузку части страницы, которая появляется первой. Тогда пользователь сможет изучать контент, пока остальные элементы подгружаются.