Сидите ли вы за настольным компьютером, читаете ли новости на планшете или работаете с веб-сайтом на сервере, в фоновом режиме на этих устройствах происходит множество различных процессов. Если возникнет ошибка или вы просто захотите узнать больше о том, какие действия выполняет та или иная операционная система или программа, то файлы журналов могут помочь вам в этом. Они автоматически записываются практически каждым приложением, сервером и системой баз данных.
Как правило, файлы журналов редко читаются и оцениваются — считайте их своего рода виртуальным черным ящиком: только в самых экстренных случаях они проверяются. Благодаря тому, как они собирают данные, файлы журналов оказываются отличным источником информации о программных и системных ошибках; кроме того, они особенно хорошо подходят для сбора информации о поведении пользователей. Возможность узнать больше о пользователях делает эту технологию особенно интересной для операторов веб-сайтов, поскольку они могут получить полезные данные из файлов журналов, расположенных на их веб-серверах.
Что такое файл журнала?
Файлы журналов, которые иногда называют файлами событий, обычно представляют собой обычные текстовые файлы. Они содержат информацию обо всех процессах, которые были определены соответствующими программистами как важные. Если речь идет о файле журнала базы данных, то в нем отображаются все изменения, внесенные в правильно выполненные транзакции. Если часть базы данных удаляется, например, в процессе выключения системы, файлы журналов служат основой для восстановления набора данных в надлежащее состояние.
Файлы журналов генерируются автоматически в соответствии с тем, как они были запрограммированы. Можно также создавать собственные файлы, если вы достаточно хорошо знакомы с техническими аспектами. Как правило, строка в файле журнала содержит следующую информацию:
- Записанные события (например, запуск программы)
- Временная метка, которая присваивает событию дату и время.
Обычно время ставится первым, чтобы отобразить хронологическую последовательность событий.
Типичное применение для файлов протоколов
Операционные системы обычно создают несколько файлов протоколов, назначая различные типы процессов фиксированным категориям. Например, системы Windows записывают информацию о событиях приложений, системных событиях, событиях, связанных с безопасностью, событиях настройки и событиях перенаправления. Это позволяет администраторам получить представление о соответствующей информации файла журнала, что может помочь им в устранении неполадок; файлы журнала Windows также показывают, какие пользователи входили в систему и выходили из нее. Помимо операционной системы, следующие программы и системы собирают совершенно другие данные:
- Фоновые программы, такие как электронная почта, базы данных или прокси-серверы, создают файлы журналов, которые в основном используются для записи сообщений об ошибках и событиях, а также других уведомлений. Эти функции помогают защитить, а в случае сбоя восстановить данные.
- Установленное программное обеспечение, например, официальные программы, игры, программы мгновенного обмена сообщениями, брандмауэры или сканеры вирусов, сохраняют множество различных типов данных в файлах журнала. В этот процесс могут быть вовлечены различные конфигурации или сообщения чата. Случаи сбоев программ компилируются и используются для ускорения поиска и устранения неисправностей.
- Серверы (особенно веб-серверы) записывают соответствующую сетевую активность; эта информация содержит полезные данные о пользователях и их поведении в сети. Более того, уполномоченные администраторы получают информацию о том, какие пользователи запускали приложение или запрашивали файл, в какое время и как долго они это делали, какая операционная система использовалась. Анализ веб-журнала — один из старейших методов веб-контроля и один из лучших примеров для демонстрации многочисленных способов использования файлов журналов.
Файлы журналов веб-сервера: хрестоматийный пример возможностей журнальных файлов
Первоначально файлы журналов веб-серверов, таких как Apache или Microsoft IIS, были стандартными параметрами для записи и устранения ошибок обработки. Однако быстро выяснилось, что файлы журналов веб-серверов содержат гораздо более ценные данные: информацию об удобстве использования и популярности веб-сайтов, размещенных на серверах, а также данные о пользователях, такие как:
- Время просмотра страницы
- Количество просмотров страниц
- продолжительность сеанса
- IP-адрес и имя хоста пользователя
- Информация о запрашивающем клиенте (обычно браузер)
- Используемая поисковая система, включая поисковые запросы
- Используемая операционная система
Типичная запись файла журнала aweb-сервера выглядит следующим образом:
183.121.143.32 — — — [18/Mar/2003:08:04:22 +0200] «GET /images/logo.jpg HTTP/1.1» 200 512 «http://www.wikipedia.org/» «Mozilla/5.0 (X11; U; Linux i686; de-DE;rv:1.7.5)»
Подробный обзор отдельных параметров:
| Значение | Пример значения | Объяснение |
|---|---|---|
| IP-адрес | 183.121.143.32 | IP-адрес запрашивающего узла |
| Idle | — | Вообще неизвестная личность RFC 1413 |
| Кто? | — | Раскрывает имя пользователя, если была проведена HTTP-аутентификация; в противном случае, как в данном примере, остается пустым. |
| Когда? | [18/Mar/2003:08:04:22 +0200] | Метка времени, состоящая из информации о дате, времени и смещении времени |
| Что? | GET /images/logo.jpg HTTP/1.1 | Произошедшее событие, в данном случае запрос изображения по протоколу HTTP |
| Ok | 200 | Подтверждает успешный запрос (код состояния HTTP 200) |
| Сколько? | 512 | Если применимо: объем переданных данных в байтах |
| Откуда? | http://www.wikipedia.org/ | Веб-адрес, с которого запрашиваются файлы |
| Какими средствами? | Mozilla/5.0 (X11; U; Linux i686; de-DE;rv:1.7.5) | Техническая информация о клиенте: браузер, операционная система, ядро, пользовательский интерфейс, голосовой вывод, версия |
Для того чтобы эффективно оценить поток информации, были разработаны инструменты, такие как Webalizer. Они берут собранные данные и преобразуют их в информативную статистику, таблицы и графики. С помощью этой информации можно определить тенденции роста веб-сайта, удобство отдельных страниц для пользователей или соответствующие ключевые слова и темы.
Даже если анализ лог-файлов веб-сервера продолжается, этот испытанный и верный метод потерял часть своего былого блеска из-за все более популярных методов веб-анализа, таких как Cookies или тегирование страниц. К числу факторов, подталкивающих эту тенденцию, относится подверженность анализа лог-файлов ошибкам при назначении сессий, а также тот факт, что операторы веб-сайтов часто не имеют доступа к лог-файлам веб-сервера. Несмотря на этот недостаток, все сообщения об ошибках немедленно регистрируются. Более того, данные, полученные в результате анализа лог-файлов, хранятся непосредственно в компании.