Основным элементом Всемирной паутины являются гиперссылки, которые соединяют один сайт с другим. Когда пользователь Интернета нажимает на одну из таких ссылок, его браузер отправляет HTTP-запрос на веб-сервер, который выдает целевую страницу. В заголовке, помимо имени хоста сервера и желаемого ресурса, обычно присутствует так называемый referrer. Это необязательный компонент, который содержит URL-адрес ссылающейся веб-страницы, тем самым предоставляя серверу информацию о происхождении посетителя.
Термин «referrer» образован от слова refer. В отличие от глагола, это существительное пишется с двумя буквами «r». Неправильное написание «referer», распространенное в области http, относится к орфографической ошибке в оригинальном Запросе команд (RFC 1945). При соблюдении других стандартов, таких как Document Object Model (DOM), используется правильное написание (см. document.referrer).
Функцию referrer можно проиллюстрировать на примере:
Приведенное выше поле для заметок содержит дополнительную ссылку на RFC 1945. Если вы перейдете по этой ссылке, ваш веб-браузер в течение нескольких миллисекунд отправит GET-запрос на веб-сервер Internet Engineering Task Force (IETF). Щелчок по гиперссылке заставляет ваш веб-браузер связаться с узлом с именем tools.ietf.org и запросить файл /rfc/rfc1945.txt. Ссылочной страницей (referrer) является URL этой статьи. HTTP-заголовок, который используется для этой цели, включает (среди прочего) следующие поля:
GET /rfc/rfc2068.txt HTTP/1.1
Host: www.ietf.org
Referrer: https://www.ionos.com/digitalguide/hosting/technical-matters/dereferrer-anonymizing-links-made-easy/Оператор сервера веб-сайта получает информацию о том, какие веб-страницы ссылаются на предоставленное им онлайн-предложение, и может обрабатывать эту информацию в процессе анализа и впоследствии отображать контент, ориентированный на конкретного пользователя.
Другие поля заголовка HTTP обычно содержат информацию об используемом вами агенте пользователя, а также о поддерживаемых форматах, языках, наборах символов или методах кодирования. Объем предоставляемой информации зависит от того, какой веб-браузер вы используете и как он настроен.
Данные о реферерах в веб-анализе
Как правило, веб-серверы хранят всю информацию, которую они получают в виде клиентских запросов, в файле журнала. Каждый запрос записывается в журнал отдельной строкой. Операторы веб-сайтов используют эти данные в качестве основы для анализа, предоставляя полезную информацию о посетителях своего сайта. Кроме того, используемое аналитическое программное обеспечение основано на скриптах и собираемой информации о реферере, а также других метриках.
Информация о реферере позволяет статистическим оценкам выявить, какие потоки посетителей попадают на сайт. Благодаря этой информации можно достоверно оценить маркетинговые меры, такие как рекламные баннеры, партнерские ссылки, платные записи в отраслевых каталогах или гостевые статьи на сторонних сайтах, и проверить их эффективность. Анализ рефереров также дает важное представление о масштабах вашей поисковой оптимизации.
При прямом вводе информация о реферере не передается. Это происходит, например, когда пользователь вручную вводит нужный URL в строку поиска веб-браузера или доступ к веб-странице осуществляется через закладку.
Инструменты веб-аналитики позволяют автоматически считывать поле referrer и оформлять собранные данные в виде наглядного отчета. При поиске с помощью поисковой системы вы можете ввести ключевые слова, которые приведут вас на сайт.
По данным W3-Techs 83% всех операторов сайтов, которые автоматически оценивают трафик, полагаются на Google Analytics. Мы собрали хорошие альтернативы лидеру рынка в сравнительной статье на эту тему.
Однако не всем пользователям Интернета нравится идея о том, что оператор целевой ссылки (сайт, на который ссылается гиперссылка) может проследить ее происхождение. В принципе, реферер предоставляет информацию о поведении посетителей сайта. Некоторые пользователи Интернета опасаются, что данные о реферере будут использоваться для создания журналов движения, и предпочитают отключать поле реферера в HTTP-запросах.
У операторов веб-сайтов также есть ряд способов предотвратить автоматическую передачу referrer. В прошлом использовались службы dereferrer. Сегодня новый стандарт HTML (версия 5) предоставляет собственный атрибут noreferrer.
Использование технологии dereferrer обычно мотивируется соображениями безопасности. В прошлом хакеры могли использовать информацию о реферере для получения личных данных из неопубликованных веб-страниц. Поэтому Dereferrer и аналогичные технологии иногда используются для сокрытия URL и возможных параметров GET или идентификатора сессии в строке запроса перед оператором сайта. Еще одной причиной отключения реферера является предотвращение спама.
Спам по рефереру
HTTP referrer успешно использовался (или неправильно использовался) в прошлом для SEO-методов (Black-Hat-SEO) в контексте рассылки спама. Целью было подделать статистику рефереров и повысить релевантность собственного сайта для поисковых систем. Для этого веб-страницы сканировались скриптами, чтобы оставить следы собственного URL в лог-файлах других сайтов. Веб-блоги, публикующие статистику своих рефереров, также предлагают платформу для спама ссылками, доступными как пользователям, так и поисковым системам. Многие порносайты сумели зарекомендовать себя как якобы значительный источник трафика.
Что такое дереферрер?
Дереферрер (также известный как анонимайзер ссылок) — это веб-страница, размещенная между источником ссылки и целевой ссылкой с целью перенаправления пользователей на новую страницу. Цель заключается в том, чтобы скрыть URL-адрес ссылающегося сайта и тем самым предотвратить возможность отслеживания.
Услуги по удалению ссылок
Существует множество интернет-провайдеров, которые имеют функции dereferrer. Как правило, эти функции находятся на специально созданном для этой функции сайте. Они манипулируют HTTP-запросом клиента, используя мета-тег refresh и скрипты на стороне сервера.
- anonym.to с gulli.com
Вы можете создавать анонимные ссылки непосредственно с сайта со всеми перечисленными дереферрерами. Выполните следующие действия:
- Введите URL: Введите желаемый адрес назначения в предназначенную для этого онлайн-форму.
- Сгенерируйте ссылку на дереферрера: Сгенерируйте анонимную ссылку, подтвердив свой ввод нажатием кнопки «Сгенерировать».
Затем скопируйте ссылку dereferrer и вставьте ее в нужное место на вашем сайте.
Помимо возможности генерировать ссылки через веб-приложение, все перечисленные поставщики предоставляют скрипты, которые, будучи интегрированными в исходный код сайта, перенаправляют все исходящие ссылки с помощью соответствующего dereferrer.
Дереферрер: обзор преимуществ и недостатков
Если вы анонимизируете исходящие ссылки с помощью dereferrer, вы скрываете URL-адрес ссылающегося сайта для оператора места назначения ссылки. Однако поставщик услуги dereferrer будет иметь полный доступ ко всем передаваемым данным. Это создает значительную брешь в безопасности, подобно прокси-серверу.
Скептики даже утверждают, что шпионаж за данными может быть ключевой мотивацией бесплатных услуг анонимизации в Интернете. В частности, секретные службы могут быть заинтересованы в том, чтобы узнать, что люди, пользующиеся этими услугами, пытаются сохранить в тайне.
Однако даже если вы выбрали, казалось бы, легитимную службу анонимизации, всегда есть вероятность, что со временем она может быть взломана. Если это произойдет, информация, которую вы пытаетесь сохранить в тайне, станет известна третьим лицам. Поэтому поставщики веб-сайтов обычно полагаются на самостоятельные дереферреры для защиты конфиденциальной информации — например, идентификаторов или параметров GET — от доступа третьих лиц.
Провайдеры веб-почты, например, обычно заменяют ссылки в электронных письмах перенаправлением через внутреннюю службу дереферрера. Это предотвращает так называемый «перехват сессии». В противном случае злоумышленники могут использовать предоставленные referrer идентификаторы сеанса, чтобы завладеть веб-почтой ничего не подозревающего посетителя.
Примечание: Информация о реферере иногда используется для того, чтобы сделать определенные функции сайта доступными для посетителей. Например, определенные элементы содержания сайта могут быть направлены на URL-адрес, соответствующий конкретной стране. Если вы используете анонимную ссылку для ссылки на страницы вашего сайта, ваши посетители могут не увидеть то, что вы хотели показать.
| Преимущества | Недостатки |
|---|---|
| URL-адрес ссылки остается секретным (защита от перехвата сессии) | Поставщик dereferrer имеет доступ ко всему трафику данных. |
| Сайты, использующие информацию о реферерах для своего сайта, могут обнаружить, что они работают не так, как хотелось бы. |
Альтернативы услугам Dereferrer
Вы хотите анонимизировать ссылки, но вам не нужны недостатки и риски, связанные с услугами dereferrer? Нет проблем. Мы покажем вам, как отключить функцию referrer в вашем веб-браузере без включения дополнений или гиперссылок в качестве анонимных ссылок, используя атрибут HTML5 rel=»noreferrer».
Отключение функции referrer в браузере
Dereferrer в первую очередь предназначен для операторов веб-сайтов, которые хотят предотвратить отслеживание исходящих гиперссылок на свои собственные веб-сайты. Пользователи Интернета, желающие защитить свою конфиденциальность, могут внедрить службу dereferrer с помощью дополнения к браузеру. В этом случае веб-браузер перенаправляет любую ссылку, на которую нажимают, на сайт-отправитель.
Провайдер, который используется в этом случае, обычно может быть адаптирован. Существуют расширения для Mozilla Firefox и Google Chrome. Однако они не являются необходимыми, поскольку оба браузера предлагают возможность навсегда отключить функцию referrer.
Mozilla Firefox
Деактивация функции referrer возможна только в Mozilla Firefox в скрытых настройках браузера. Чтобы настроить ее, выполните следующие действия:
- Откройте скрытые настройки: Откройте Firefox и введите about:config в адресной строке.
Вы получите предупреждение о том, что изменения в современных браузерах могут повлиять на безопасность, стабильность и производительность вашего веб-обозревателя.
Нажмите «Я осознаю опасность!».
-
Выполните поиск параметров: Используйте строку поиска, чтобы перейти к параметру сети parameternetwork.http.sendRefererHeader. Именно этот параметр отвечает за предоставление информации о реферере.
-
Настройте параметры: Дважды щелкните на записи network.http.sendRefererHeader. Установите значение параметра с 2 на 0 и подтвердите ввод «ОК».
Теперь Firefox будет отправлять http-запросы без реферера.
Обзор возможных параметров для network.http.sendRefererHeader:
| Параметры для network.http.sendRefererHeader | |
|---|---|
| Значение | Значение |
| Никогда не отправлять URL-адрес реферера | |
| 1 | Отправлять URL-адрес ссылки только в том случае, если были выбраны ссылки |
| 2 | URL-адрес ссылки для щелкнутых, связанных и всех отправленных ресурсов (например, изображений, скриптов, CSS и т.д.). |
Большинство веб-браузеров передают информацию о реферере не только при вызове веб-страницы. Обычно реферер также передается, когда на сайте запрашиваются внешние ресурсы, такие как изображения, скрипты или CSS.
Firefox также предоставляет возможность отключить передачу реферера только для сторонних сайтов.
В этом случае оставьте значение параметра network.http.sendRefererHeader равным 2 и вместо этого настройте параметр network.http.referer.XOriginPolicy. Доступны следующие параметры:
| Параметр network.http.referer.XOriginPolicy | |
|---|---|
| Значение | Значение |
| Всегда отправлять URL-адрес реферера (стандарт). | |
| 1 | Отправлять URL-адрес ссылки только при совпадении доменного имени участвующего сервера. Пример: отправляется ссылка с mail.example.com на www.example.com. |
| 2 | Отправлять ссылку только при совпадении имени хоста участвующего сервера Пример: ссылка с mail.example.com на www.example.com не отправляется. |
Google Chrome
Веб-браузер Google не предоставляет интерфейс конфигурации, позволяющий настраивать функции referrer, но Chrome даст вам команду отключить функцию referrer при запуске программы. Выполните следующие действия:
- Создайте ярлык: Сначала создайте ярлык для установки Chrome. Введите название программы в поле поиска в меню Пуск и щелкните правой кнопкой мыши на значке Chrome.
В меню «Ярлык» нажмите «Отправить на» и выберите «Рабочий стол».
-
Настройте свойства: Щелкните правой кнопкой мыши только что созданный ярлык и выберите в контекстном меню пункт меню «Свойства».
На вкладке «Ярлык» в поле «Назначение» отображается путь к файлу. Добавьте суффикс —no-referrers. Если вы используете путь установки по умолчанию, он должен выглядеть следующим образом:
«C:Program Files (x86)GoogleChromeApplicationchrome.exe» —no-referrers
Сохраните настройки, нажав на кнопку «Применить».
Откройте Chrome, дважды щелкнув по ярлыку на рабочем столе. Теперь HTTP-запросы будут отправляться без функции referrer.
Если функция referrer веб-браузера полностью деактивирована, некоторые функции посещаемых вами веб-сайтов становятся недоступными.
В настоящее время веб-браузеры Apple Safari и Microsoft Edge не предоставляют пользователям возможности вручную настроить функцию referrer.
HTML5: noreferrer в атрибуте rel
С введением нового стандарта HTML 28 октября 2014 года у операторов веб-сайтов появилось гораздо больше возможностей для определения гиперссылок с помощью «отношений ссылок». К ним относится, в частности, ключевое слово no referrer (согласно спецификации HTML5 правильное написание — с двумя «r»), которое можно использовать в сочетании с атрибутом rel и в элементах области.
<a rel="noreferrer" href="www.example.com">Anonymous example.com</a>Если веб-страница в исходящей ссылке использует атрибут rel с ключевым словом noreferrer, все веб-браузеры, поддерживающие эту функцию, направляют http-запрос к месту назначения ссылки без указания реферера. Ключевое слово noreferrer в атрибуте rel теперь поддерживается текущими версиями всех популярных веб-браузеров.
Кроме того, операторы веб-сайтов могут отключить реферер для всех исходящих ссылок с помощью одной строки кода в заголовке HTML:
<meta name="referrer" content="no-referrer">Примечание: Вскоре эта функция не будет поддерживаться всеми веб-браузерами в связи с изменением спецификации.