Почему я ненавижу турбо-страницы от Яндекса
Яндекс запустил свою версию «ускоренных страниц» под названием “Турбо” в далеком 2017 году. Это был эксперимент, но прошло уже 5 лет, и я вижу в этой технологии больше проблем, чем их решения.
Далее делюсь личным опытом взаимодействия с турбо, который может отличаться от мнения остальных пользователей, разработчиков и владельцев интернет ресурсов, чьи страницы ускоряет Яндекс.
Что меня не устраивает:
С точки зрения пользователя
- Переходя из яндекс-новостей на турбо страницы, я с трудом понимаю на какой ресурс попал, все они имеют один “стерильный” дизайн, с довольно слабым функционалом, который в разы отличается от основного сайта, например, нет привычных “Добавить в закладки” или “Подписаться на уведомления”. Также полностью отсутствует персонализация в виде личного кабинета, настроек подписки и прочего привычного функционала.
- Навигация по турбо интуитивно непонятна: часть ссылок в тексте ведет на такие же турбо станицы, а часть на сайт, кликнув на ссылку можно только догадываться, куда в результате попадешь.
- Из этого вытекает еще одна проблема: попадая уже на сам сайт, мы видим совсем другой интерфейс, отличный от турбо, что может сбить с толку.
- Некоторая часть контента не доступна в турбо. Это может раздражать, когда не загружаются картинки или виджеты, в итоге появляется желание прокрутить вниз и перейти на полную версию сайта.
Надо сказать, что с последним пунктом Яндекс борется, но достается как всегда разработчикам, которым итак приходится не сладко.
С точки зрения разработчика
- Вместо одной версии сайта приходится поддерживать три: сайт/турбо/AMP, и каждые со своими заморочками, документацией и требованиями.
- Что бы не говорил Яндекс со своих площадок, о том, что турбо это просто, но факт остается фактом — это отдельная версия сайта, и ее необходимо разрабатывать, поддерживать и мониторить. Все элементы присутствующие в тексте приходится преобразовывать в турбо-разметку, а это значит парсить текст материала, находить там изображения, видео, сторонние виджеты и конвертировать в стандартные элементы/компоненты. А если вы что-то упустили, можно не переживать, Яндекс обязательно напомнит, припугнув исключением из турбо.
- Отдача контента через XML! Я, в принципе, понимаю почему так: Яндексу привычно работать с этим форматом, как и большим медийным площадкам — все Яндекс-новости экспортируются через RSS. Видимо, ставка была на то, чтобы интернет СМИ по-быстрому переделали свои RSS и не сильно нагружались. Поначалу так и было, но потом требований становилось все больше, функционал разрастался и нагрузка на разработчиков возросла до поддержки этого отдельного XML в постоянном режиме.
- Для обновления содержимого страницы необходимо перегенерировать все тот же XML, и, если на сайт добавлен новый виджет, то извольте отправить все страницы на инвалидацию, учитывая, что у нас несколько миллионов материалов, то задача с отправкой XML по API с квотированием 10 000 элементов на один канал (https://yandex.ru/dev/turbo/doc/api/quota.html) не выглядит такой уж тривиальной.
- Ошибки и предупреждения — это наша головная боль, их необходимо постоянно отслеживать, например, через Вебмастер, который является не самым дружественным инструментом с точки зрения интерфейса, да и сами ошибки иногда вводят в ступор, например: Внутри элемента turbo:content указан URL на Турбо-версию страницы. Чтобы не получать такое уведомление, укажите URL на обычную версию страницы и используйте атрибут data-turbo со значением true Тут редактор поставил ссылку на турбо страницу другого издания. Если Яндекс считает турбо полноценными страницами, почему это надо запрещать? В итоге приходится парсить страницы на наличие таких ссылок и заменять их на нормальные, спасибо за работу! Вот еще ошибка: Слишком много картинок в тексте страницы Да, на этой странице стоит фоторепортаж, у которого больше 30 изображений, таких материалов много, и их требуется удалить из выдачи, либо они сами исключаются из-за нарушений квотирования.
- Пользовательские компоненты. Это самое страшное зло. Мы не можем поставить на сайт виджет, которого нет в списке разрешенных для турбо-страниц https://github.com/turboext/components, в противном случае получим предупреждение: “Ваши турбо-страницы отличается от оригинала” , и они будут исключены из выдачи. В результате приходится неделями ждать, пока виджет будет доступен в репозитории турбо-компонентов, и только после этого размещать его на сайте. У нас случилась подобная история с озвучкой текста, его не было в списке турбо-компонентов, но мы разместили его на сайте, как итог получили множество предупреждений в Вебмастере. Виджет, конечно, пришлось снять, и дожидаться появления в официальном репозитории.
Не обошлось без проблем и в смежных областях.
С точки зрения маркетинга:
- Аналитика по дефолту! Можно добавить идентификаторы счетчиков Google Analytics (GA), Яндекс Метрики и т.д, без возможности настройки дополнительных параметров, в итоге мы теряем множество данных, а результаты выборок с основного сайта (где отправляются десяток пользовательских определений в GA) и турбо с трудом связываются между собой. Для примера: с сайта в GA отправляется информация об авторе материала, с возможностью в дальнейшем построить выборку «Как читали автора X», но в турбо такой возможности нет, и получается, что автор вообще не работал.
- Проблему идентичности ресурса уже описывал в разделе про пользователей, но страдают от нее и маркетологи, им стало сложнее продвигать бренд, который выглядит как сотня других и отличается только логотипом в верхнем углу экрана.
- Турбо затрудняет обмен ссылками на оригинальный материал. Находясь на такой странице, можно поделиться ссылкой только на турбо-страницу, т.е оригинальный ресурс не получает никакой обратной ссылки, ее получает Яндекс! В связи с этим у издателей есть тенденция удалять со страниц блок “sharing”.
С точки зрения ресурса
- Турбо-страницы принадлежат Яндексу и если компания в какой-то момент решит, проект не выгодный, и закроют его, владельцам ресурсов придется просто смириться, а все ссылки превратятся в ошибки 404. Рано или поздно это произойдет, и тогда проблема «битых ссылок» встанет максимально остро.
- Ресурсы вынуждены отдавать свои страницы Яндексу, в противном случае есть риск недополучить хоть какой-то трафик. Хотя и нет официальной информации о пессимизации за отсутствие турбо, но ставить эксперименты на себе никому не хочется.
Про отрицательные стороны поговорили, а есть ли позитивные моменты? Есть! Некоторые показатели у турбо выше — это, разумеется, скорость загрузки, показатели отказов и.. всё. Остальные, например, глубина просмотров и время проведенное пользователями на странице у сайта, больше.
Если резюмировать вышесказанное, проблемы турбо это:
- размещение контента на сторонних для издателя серверах, которые не поддерживают ряд редакционных форматов подачи контента, либо их настройка требует значительных ресурсов разработчиков,
- постоянные проблемы с подсчетом пользователей,
- пользователям удобнее и привычнее основная версия сайта и с точки зрения метрик это подтверждается.
За 5 лет, проведенных вместе с турбо, есть уверенность, что ни пользователям, ни владельцам сайтов эта технология не нужна, а нужна лишь Яндексу, для удержания пользователей на своем ресурсе.
Как заблокировать маскирующих ботов под Яндекс
Добрый день, столкнулся проблемой: недруги сканируют сайт используя прокси Яндекс Переводчика, а именно «переводчика сайтов». Сперва подумал что это какой-то сервис который кэширует страницы ресурсов, но нет, по логам вижу обращения в момент хита. Думал блокнуть прокси бота, но оказалось что для этого дела используется «основной индексирующий бот», поэтому я подумал задействовать Cloudflare Firewall для проверки трафика, получилось вот такая правила: 
Но это не работает 🙁 Логи: 
Как победить эту проблему без ущерба?
- translated.turbopages.org
Крупнейший русскоязычный форум и новостной сайт, посвященный поисковой оптимизации, продвижению сайтов, интернет-маркетингу, работе с контекстной рекламой, монетизации трафика, сайтостроению.
AMP и Турбо-страницы: плюсы, минусы и результаты внедрения
Те, кто следит за новинками сферы IT, знают про “быстрые страницы” от Google и Яндекс: AMP и Турбо-страницы. Они были выпущены больше 2 лет назад, но особого шума на рынке не произвели.Меня зовут Константин. Я директор веб-студии AlkoDesign. Мы решили напомнить об этих инструментах и поделиться результатами их внедрения.
Мобильный трафик в последние годы неуклонно растет. Пользователи все чаще читают новостные сайты, заказывают продукты и вещи с телефонов. Мобильные и адаптивные версии сайтов перестали быть привлекательным бонусом, а стали реальной необходимостью.
Но не все так прекрасно. В погоне за трафиком и снижением отказов, приходится искать новые пути решения. Мобильные и адаптивные версии не всегда спасают ситуацию, а иногда вообще неудобны: адаптив получается слишком “тяжелыми” для скачивания, из-за этого скорость загрузки на смартфонах оставляет желать лучшего. (Говорить про то, что посетители, да и поисковые системы, не любят долгую загрузку, нужно?)
Мы в AlkoDesign.ru работаем с одним крупным информационным порталом. (Обойдемся без имен). Одними из поставленных перед нами задач, были: увеличение трафика и снижение процента отказов. Недолго думая, мы решили воспользоваться быстрыми страницами от Google и Яндекса.
В этой статьей мы поделимся результатами внедрения таких страниц на одном из новостных порталов и вкратце расскажем, что такое быстрые страницы и с чем их едят (для тех, кто не в теме).
Теория
AMP и Турбо-страницы — это технология ускоренных мобильных страниц, которая разрабатывается независимыми разработчиками и активно продвигается обеими поисковыми системами. Такие страницы загружается даже быстрее чем страница мобильной версии сайта.
AMP страницы google.ru
Суть в том, что на сайте используются специальные теги (с префиксом amp), количество и функционал которых строго ограничены. Задача разработчика состоит в том, чтобы собрать солянку из доступных схем, которые решат проблему заказчика.
Поисковые системы находит эти специальные тэги и кэширует информацию в них. После этого, когда пользователь ищет что-то, браузер на фоне подгружает информацию из CDN, в специальный iframe и при переходе по ссылке открывает уже загруженную страницу в специальном окне.
При использовании на сайте какой-либо CMS, для AMP страниц необходимо сделать свой отдельный шаблон для отображения данных согласно требованиям к разметке AMP страниц.
Турбо-страницы Яндекса
Основное отличие от AMP — контент Турбо-страниц берется не со страниц сайта, а из специального RSS-канала.
Их содержимое хранится на серверах Яндекса. Но для того, чтобы Яндекс забрал с нашего сайта контент, мы должны написать скрипт, который будет передавать все необходимые данные (текст, изображения, стили и т.д.) в специальном формате XML-документ. Процесс похож на подготовку данных для Яндекс.Товары или Яндекс.Маркета.
Честно говоря, настройка максимально простая. Если количество страниц небольшое (10-20), то сделать RSS-канал для Яндекса можно самим, без привлечения программиста. Правда, в этом случае обновляться он будет тоже вручную.
Скорость загрузки Турбо — страницы превышает обычную примерно в 15 раз. И, дополнительный (но не последний), бонус — если сайт упадёт, например, из-за заражения или DDoS-атаки, его Турбо-страницы продолжат открываться и контент будет по-прежнему доступен пользователям.
Страницы с AMP и Турбо, ранжируются выше других запросов в поиске за счет того, что соответствуют требованиям к быстрой загрузке.
Особенности AMP и Турбо-страниц
Первое и самое главное отличие от стандартных сайтов — это невозможность вставки «обычных» скриптов. То есть большая часть функционала, завязанная на динамическом изменении (действия по клику, анимация, фильтрация, модальные окна), становится недоступной.
Решение — использование доступных компонентов и iframe. Доступные компоненты позволяют добиться, пусть и не полной, реализации привычного инструментария на сайте, но представляют ему достойную замену и оптимизированы для быстрой загрузки.
С помощью AMP и Турбо-тегов, можно реализовать боковое меню, карусель, отправку формы, подгружаемый контент, рекламу и прочее. Каждый компонент связан со своей js-библиотекой, которую нужно подключить для его использования на сайте.
Особенности Турбо-страниц
Они помогают увеличивать охват мобильной аудитории — пользователям не приходится долго ждать загрузки сайта, и они почти сразу переходят к вашему контенту. Прирост трафика может быть существенным.
Преимущества Турбо-страниц в том, что после их внедрения на вашем сайте:
- Падает показатель отказов. Когда пользователь заходит на ваш сайт и из-за своего плохого интернета долго не может открыть вашу страницу, он может просто не дождаться ее загрузки, закрыть и снова вернуться в поисковую выдачу, чтобы найти какой-то другой, более быстрый сайт. Таким образом у вас повышается показатель отказов, а чем больше показатель отказов, тем хуже ваши позиции в поисковой выдаче.
- Растет мобильный трафик. На сегодняшний день многие пользователи уже знают, что сайты, отмеченные в выдаче значком ракеты, грузятся очень быстро и поэтому по ним активно кликают. Это дает вам преимущество перед конкурентами и позволяет увеличить посещаемость вашего сайта с мобильных устройств.
- Снижается нагрузка на хостинг. Если на сайте довольно высокая посещаемость, то этот пункт будет тоже актуален. За счет того, что загрузка контента идет не с вашего хостинга, а с серверов Яндекса, нагрузка снижается. При этом для создания и хранения Турбо-страниц Яндекс использует собственную сеть доставки контента (CDN), что еще сильнее ускоряет загрузку контента.
- Не поддерживаются формы обратной связи, нет возможности заказа товара или услуги. Это можно назвать самым главным минусом, т.к. для посадочной страницы или интернет-магазина использование турбо-страниц будет нецелесообразным, ведь вы все равно не сможете получить с них заявки.
- Сайт оформляется по предопределенному малогибкому шаблону. Когда вы кликаете по ссылке, помеченной значком «Турбо», то ваш контент отобразиться в упрощенной странице, созданной поисковиком, и ваше уникальное оформление сайта никто не увидит. Поэтому здесь придется выбирать между высокой скоростью загрузки сайта и уникальным оформлением вашей мобильной или адаптивной версии.
Особенности AMP
- Создание «легких» страниц;
- Поисковик сохраняет облегченные версии страниц у себя на серверах;
- «Яндекс» предлагает владельцам смартфонов турбо-страницы в поиске или новостной ленте;
- Благодаря высокой скорости загрузки улучшается пользовательский опыт и поведенческие показатели.
Подготовка данных
Для AMP-страниц
Все изображения на странице должны быть описаны в особом теге , что затрудняет вставку изображений пользователем через текстовый редактор.
Так же, если используются карусель или lightbox, нужно вставить аналоги из компонентов amp. Для реализации этого функционала был реализован обработчик, который с помощью регулярных выражений заменяет стандартные HTML-теги, на теги используемые в amp спецификации.
Еще одна особенность, которая должна коснуться в первую очередь текстового редактора, так как редактирование стилей там проходит inline. Элементы с атрибутами типа style=“color:…”, не являются валидными, а изменение цвета или размера шрифта запишет это свойство в код.
Чтобы поисковик понял, что есть AMP-версия страницы, она должна содержать ссылку:
А на AMP-странице — присутствовать обратная ссылка:
Css стили пишутся inline, и их размер не должен превышать 50кб.
Для Турбо-страниц
Чтобы подключить Турбо-страницы, достаточно внести небольшие изменения в текущий экспортный файл согласно техническим требованиям:
- Корневым элементом RSS-файла является rss, атрибут version которого должен иметь значение 2.0.
- Внутри элемента rss содержится элемент channel, который включает информацию об источнике и его содержание.
- Информация о сайте-источнике — сведения передаются в элементе channel.
- Информации о сообщении — данные передаются в элементе item.
- контент для турбо-страницы
Практика
Внедряем AMP на сайт
Учитывая, что мы далеко не новички в IT-сфере, внедрение страниц не составило большого труда.
Мы создали отдельный шаблон для сайта с использованием необходимых тегов из спецификации AMP и Турбо. Затем настроили автоматическую генерацию страниц.
Сразу после внедрения быстрых страниц, запустили проверку через Google и Яндекс валидатор. После запуска обнаружили дополнительные ошибки, которые были успешно устранены.
Внедряем Турбо-страницы
Для внедрения Турбо-страниц на сайте, была изучена спецификация формата. Определены шаблоны для генерации заголовков турбо-страниц и указания дополнительных изображений. Был разработан специализированный модуль для CMS, который генерирует RSS файлы с данными, согласно технической документации Яндекса ( partner.news.yandex.ru/tech.pdf ).
Поскольку материалы на сайте постоянно добавляются, то обновление RSS ленты с турбо-страницами, также обновляется путем запуска скрипта обновления на CRON. Из-за специфики проекта было принято решение сделать несколько RSS лент, каждая для своего типа контента.
В настройках модуля можно указать какие разделы сайта необходимо экспортировать в RSS, указать дополнительные данные для экспорта. Частота обновлений RSS ленты турбо-страниц задается периодичностью выполнения задачи на CRON.
После прохождения валидации RSS со стороны Яндекса, Турбо-страницы были добавлены к индексации.
Результаты
Отказы
После внедрения AMP и Турбо-страниц изменились поведенческие метрики.
За квартал показатель отказов на сайте в целом составил 14,2 %. Здесь учитываются все посетители, включая пользователей десктопов.
Показатель отказов для владельцев смартфонов, которые приходили на обычные страницы, составил за квартал 23,7%.
Показатель отказов для посетителей Турбо-страниц за этот же период составил 6,2 %.
То есть по показателю отказов, обычные страницы проигрывают турбо-страницам более чем в два раза: 23,7 % против 6,2% с Турбо-страницами и в целом 14,2%.
Посещаемость
С момента внедрения AMP и Турбо-страниц мы увеличили посещаемость портала в 2 раза.
Скорость загрузки страниц
Главный плюс — увеличение скорости загрузки страницы в 3 — 10 раз. Она мгновенно выросла за счет кеширования.
- Снизилась нагрузка на серверы
- Выросли поведенческих факторов (на позиции в органике AMP непосредственно не влияет).
Вывод: внедряем к месту и с умом
Там где нужно донести до пользователя контент максимально быстро и в простой форме.
В нашем случае результатом внедрения стало:
- процент отказа снизился в целом в 2 раза;
- посещаемость выросла в 2 раза;
- скорость загрузки выросла в 3-10 раз
Кому пока не подходит Турбо:
- Ecommerce, потому что нет корзины. (на данный момент в разработке)
- Landing page, потому что не поддерживаются любые кнопки и формы на страницах
Кому идеально подходят Турбо-страницы:
- СМИ
- Контентные проекты
- Блоги внутри сайтов (например, информационный раздел в интернет-магазине, с новостями, описанием новинок индустрии и т.д.)
AMP и Турбо-страницы — интересная технология, которую нужно использовать с умом. Может быть использована для «легкой» мобильной версии сайта, либо для определенных разделов, не требующих высокой функциональности. И, конечно, это отличное решение для информационных сайтов, блогов, интернет-журналов.
Как отключить встроенный переводчик в браузере
- В правом верхнем углу экрана браузера нажмите на иконку с тремя полосками
- Выберите Настройки ->Расширения
- Выключите Google Переводчик
Яндекс. Браузер
- В конце поисковой строки браузера нажмите на значок, отвечающий за перевод
- Далее нажмите на стрелочку в открывшемся окне и выберите Никогда не переводить этот сайт
Chrome
- В браузере Chrome нажмите на значок с тремя точками в правом верхнем углу экрана и выберите Настройки
- Нажмите Языки
- Отключите функцию, указанную на скриншоте ниже
Mozilla Firefox
- В правом верхнем углу экрана браузера нажмите на иконку с тремя полосками
- Выберите Настройки ->Расширенияи Темы
- Отключите To Google Translate