Команда tail в Linux

Команда tail в Linux является важным инструментом командной строки. Команда используется в основном для вывода конца (текстового) файла или для ограничения вывода команды Linux. Таким образом, команда Linux tail находится в одном ряду с командой Linux head и командами «cat» и «less». Эти команды Linux используются для вывода содержимого текстовых файлов.

Команда Linux tail является частью GNU Core Utilities (Coreutils) — коллекции основных команд, содержащихся в операционной системе Linux с открытым исходным кодом. Coreutils публикуются под лицензией с открытым исходным кодом и доступны для загрузки для многих различных операционных систем.

Основной функцией команды tail в Linux является вывод конца файла. Как правило, новые данные, добавленные в файл, оказываются в его хвосте (т.е. в конце). Таким образом, команда Linux tail позволяет нам проверить, есть ли в файле новые данные. Поэтому команда Linux tail является популярным инструментом для оценки и мониторинга файлов журналов.

Многие программы, особенно веб-серверы, такие как Apache или nginx, записывают информацию о состоянии в так называемые файлы журналов. Например, каждая строка в файле журнала сервера содержит отметку времени, URL запрашиваемого ресурса и IP-адрес запрашивающей стороны.

Однако файлы журналов могут легко вырасти до огромных размеров с каждым запросом, который выполняется. Чтобы ограничить увеличение размеров файлов, файлы журналов обычно «вращаются». Файл журнала сжимается и архивируется под новым именем. Кроме того, создается новый, пустой файл журнала под первоначальным именем. Ниже приведен обзор распространенных файлов журналов в Ubuntu Linux:

Вы можете вызвать команду Linux tail из командной строки. Как обычно, вводится имя команды, за которым следуют необязательные параметры. Завершает вызов имя или путь к одному или нескольким файлам. Давайте рассмотрим общий случай использования:

Без опций простейший вызов команды Linux tail приводит к следующей схеме:

Выполненная таким образом, команда Linux tail печатает последние десять строк указанного файла. Это полезно, когда вы хотите просмотреть последние данные, записанные в файл.

Командой tail в Linux можно управлять с помощью параметров. Как часть GNU Coreutils, каждый параметр имеет длинную форму, а более часто используемые параметры имеют короткую форму. Ниже приведен обзор наиболее полезных параметров опций:

Приведенные основные опции команды Linux tail функционально аналогичны опциям команды head. Однако, если команда head возвращает начало файла, то команда Linux tail выводит конец файла. Но эта команда способна на гораздо большее.

В частности, команда Linux tail предоставляет множество опций для отслеживания изменений в файлах. С помощью команды Linux tail данные, которые были добавлены в конец файла, могут выводиться непрерывно. Поэтому команда особенно подходит для мониторинга файлов журналов. Этот процесс также известен как «живой хвост». Ниже приведен обзор наиболее часто используемых опций:

В документации Coreutils команда Linux tail перечислена в разделе «Вывод частей файлов». Следует знать, что термин «файлы» используется в широком смысле. Термин «текстовые потоки» является более точным.

Следуя философии Unix, команды командной строки используют текстовые потоки как универсальный формат ввода и вывода. Текстовые потоки в основном являются файлами, но включают в себя стандартный ввод и вывод командной строки. Кроме того, очень важны так называемые «трубы», поскольку они позволяют связать несколько команд. Выходные данные одной команды передаются в качестве входных данных для следующей команды.

Основная идея объединения нескольких команд в цепочку восходит к философии Unix. Вместо того чтобы разрабатывать сложные команды для совершенно разных задач, существует относительно управляемый набор общих команд. Следуя поговорке «делай одно дело, и делай его хорошо», каждая команда имеет узко определенную функциональность. Команды используют текстовые потоки в качестве универсального интерфейса и могут комбинироваться для многократного создания новых решений.

Следующие примеры основаны на базовых опциях команды Linux tail, показанных выше. Примеры расширенных опций приведены ниже в разделе о мониторинге файлов журналов.

В большинстве приведенных примеров команда Linux tail сочетается с одной или несколькими командами Linux. Упомянутые трубы используются для вывода команды в качестве входа для следующей команды.

В простейшем случае мы используем команду Linux tail для вывода последних строк файла. Чтобы попробовать это сделать, замените заполнитель «<file>» на имя или путь к существующему текстовому файлу в вашей системе. Здесь мы используем опцию -n и выводим последние три строки файла:

Может быть полезно отслеживать контекст файла, обрабатываемого командой tail в Linux. Чтобы вывести строки с номерами строк, мы сначала обрабатываем файл командой nl (название происходит от «line numbering») и передаем вывод команде Linux tail:

Команда history показывает команды, введенные в командную строку. Зачастую именно последние введенные команды являются тем, что нужно большинству людей. Кроме того, вывод истории команд может раскрыть конфиденциальные данные. В этом примере мы пересылаем вывод команды history команде Linux tail и выводим последние пять строк:

Рассмотрим более сложный пример. Мы удалим десять самых старых файлов из каталога с резервными копиями. Для этого мы используем четыре команды Linux «ls», «tail», «xargs» и «rm»:

Что здесь происходит?

1. Команда ls выводит список файлов в каталоге.

Используя опцию «-t», файлы сортируются по дате модификации. Самые старые файлы находятся внизу списка.

Мы используем шаблон поиска «* .bak» для источника данных. Это обычное расширение файлов для резервных копий. Оно также служит защитой, чтобы вы случайно не удалили важные файлы при открытии.

Мы передаем список файлов команде Linux tail.

1. Используя команду Linux tail без указания опций, мы прочитаем последние десять файлов из списка. Имена выходных файлов — это самые старые файлы в каталоге.
2. Команда xargs принимает список файлов и имя команды. Команда выполняется, когда файлы переданы в качестве аргументов.

В нашем примере команда Linux tail возвращает текст из нескольких строк. Каждая строка содержит имя удаляемого файла. Имена файлов отделяются от строк с помощью команды «xargs» и передаются в качестве аргументов команде rm.

1. Для удаления файлов в Linux мы используем команду rm, которая удаляет файл, переданный в качестве аргументов.

Обратите внимание, что удаленные файлы не будут перемещены в корзину для мусора, а будут удалены немедленно.

Будьте осторожны при удалении файлов с помощью командной строки Linux. Чтобы опробовать приведенный ниже пример, лучше всего сначала создать каталог с тестовыми файлами. Для этого выполните следующий код в командной строке:

Сначала мы создаем тестовый каталог «tail-test/» на рабочем столе и переходим в него. Затем создаем 100 пустых тестовых файлов с «test-1.bak» по «test-100.bak». Наконец, мы запускаем код для удаления десяти самых старых файлов:

До сих пор мы рассматривали общую функциональность команды Linux tail. В следующих примерах мы сосредоточимся на мониторинге лог-файлов сервера в реальном времени («живой хвост»).

В этих примерах мы имеем в виду веб-сервер Apache2 под Ubuntu Linux, где файлы журналов размещаются в каталоге «/var/log/apache2/». В других дистрибутивах Linux место хранения может отличаться. То же самое относится и к другим веб-серверам, например, nginx.

Обычный вызов команды Linux tail выводит указанное количество строк в файле один раз. Если в конец файла добавляются новые данные, команда должна быть выполнена снова. Для этого случая существуют дополнительные опции. Они предписывают команде следить за изменениями в файле и выводить их непрерывно.

Рассмотрим, как это работает на примере журнала доступа веб-сервера Apache2. Мы вызываем команду Linux tail с опцией -f и передаем имя файла журнала:

При таком выполнении изменения в журнале доступа выводятся непрерывно. Этот подход непрактичен, если в единицу времени происходит много обращений. В этом случае журнал меняется так быстро, что терминал переполняется данными. Нажмите комбинацию клавиш «Ctrl + C», чтобы отменить текущее выполнение live tail.

Команда tail в Linux отслеживает указанный файл после выполнения с опцией ‘-f’. Если она удалена, вывод данных отменяется. Как объяснялось в начале, файлы журналов периодически ротируются. Новый файл создается под предыдущим именем. Чтобы продолжить мониторинг файла журнала, несмотря на ротацию, мы используем опцию -F:

До сих пор мы обрабатывали один файл с помощью команды Linux tail. Однако команда позволяет одновременно отслеживать несколько файлов. Ниже мы используем шаблон поиска «* .log» для постоянного мониторинга всех файлов с расширением «.log»:

Есть еще два варианта обработки нескольких файлов. С одной стороны, мы можем подавить вывод имен файлов с помощью опции «-q»:

Аналогично, опция -v может быть использована для принудительного вывода имен файлов. Это имеет смысл, если шаблон поиска возвращает только один файл:

В предыдущих примерах мы отслеживали файл журнала на предмет любых изменений. Однако чаще всего требуется ограничить мониторинг только отдельными изменениями. Чтобы ограничить вывод изменений в файле журнала шаблоном поиска, мы используем команду grep. Вот общий пример такого подхода:

Имеет смысл отслеживать журнал сервера на предмет доступа по определенному IP-адресу. Это может быть полезно, например, для определения того, была ли атака на сервер уже завершена или еще продолжается. Здесь мы отслеживаем журнал доступа веб-сервера Apache на предмет запросов с IP-адреса «93 .184.216.34»:

Давайте рассмотрим еще один распространенный сценарий развертывания. Вместо того чтобы фильтровать журнал доступа по IP-адресу, мы отслеживаем доступ к определенному ресурсу. Доступ к файлу «robots.txt» указывает на запросы от ботов поисковых систем. И снова мы используем команду grep. Таким образом, отображаются только новые обращения от ботов поисковых систем: