Создайте резервную копию в формате tar: Как работает архивация

Программа архивирования tar основана на старом методе резервного копирования данных, но и сегодня он не утратил своей убедительности. Название tar — это аббревиатура, означающая Tape Archiver, или архивация ленточных накопителей. Несмотря на то, что сегодня частные пользователи почти не используют ее, программа продолжает оставаться самым популярным инструментом для архивирования на Unix-системах. С помощью программы упаковки можно создавать регулярные, инкрементные резервные копии сервера. Здесь мы объясним, как работает tar и какие команды используются для создания резервных копий.

Tar — это программа для архивирования в Linux и родственных системах. Нетипично для такого рода программ, tar не предлагает сжатие по умолчанию. Но программа очень популярна, поскольку предлагает большое преимущество — возможность объединения целых каталогов в один файл. С этой технологией связана история программы: С помощью ленточного накопителя данные успешно переносятся на магнитную ленту. Этим объясняется последовательное, линейное хранение данных в формате tar. Новые файлы прикрепляются к задней части архива. Один из соответствующих файлов также известен как Tarball, поскольку файлы практически «склеены».

Однако для достижения успешного сжатия tar часто используется в сочетании с gzip. Эти две программы прекрасно дополняют друг друга: gzip может сжимать только отдельные файлы. Поэтому обычно сначала используется tar, а затем gzip (или другая программа для сжатия). Таким образом, в итоге создаются файлы .tar.gz или .tzip.

В Ubuntu программа tar уже должна быть предустановлена. Если вы используете другой дистрибутив Linux или Unix, установите полезную программу с:

Пакет tar-doc является необязательным: он содержит документацию по программе архивации.

Если вы хотите использовать tar, просто воспользуйтесь следующим синтаксисом.

Опции tar выглядят следующим образом:

При создании tar-архивов у вас также есть возможность создавать подстановочные знаки со звездочкой. Если вы создаете новый архив, всегда указывайте сначала опции, затем имена файлов архива, который вы хотите создать, и, наконец, файлы и папки, которые он должен содержать. В следующем примере создайте архив (-c) из двух текстовых файлов, сожмите его с помощью gzip (-z) и запишите в файл archive.tar.gz (-f):

Если вы хотите объединить в архив все текстовые файлы в каталоге, используйте соответствующий подстановочный знак:

Вы также можете объединить в архив полные каталоги и их подкаталоги. В следующем примере архивируется каталог /directory1, включая все его подкаталоги и содержащиеся в них файлы, исключая подкаталог /directory1/subdirectory_x:

В следующем примере вы извлекаете (-x) сжатый (-z) архив, который мы создали в первом примере, в другой каталог (-C):

Чтобы добавить еще один файл в архив (который должен быть несжатым), введите следующую команду:

Веб-мастера любят использовать tar для создания резервных копий: При этом сохраняется структура каталогов, а функциональность программы позволяет выполнять множество тонких настроек, о чем свидетельствуют многочисленные опции. В следующих разделах мы расскажем, как создать полную резервную копию с помощью tar, а также как создавать инкрементные резервные копии с помощью этой программы.

Создание простой резервной копии с помощью tar

Для стратегии безопасности имеет смысл создать сценарий резервного копирования для архивации системы вместо того, чтобы просто выполнять архивацию вручную. Таким образом, вы сможете автоматически архивировать несколько каталогов, сжимать их или переносить на внешнее устройство хранения. Для этого важно, чтобы вы были полностью авторизованы для чтения и записи в соответствующих каталогах. Сначала создайте каталог под названием bin в вашем домашнем каталоге (если у вас его еще нет) и создайте в нем скрипт. Вам нужно будет самостоятельно модифицировать приведенный ниже пример скрипта в соответствии с вашими потребностями и структурой каталогов:

Чтобы вы поняли, что именно делает этот скрипт, мы объясним его построчно:

1. Первая строка — это так называемый Shebang, который сообщает операционной системе, какую программу интерпретатора она должна использовать. В данном случае это bash.
2. Каждая резервная копия с помощью tar содержит метку времени. Это важно для того, чтобы можно было безопасно отделить несколько резервных копий друг от друга. Переменные имеют следующий формат, например: Год-Месяц-День-ЧасМинутаСекунда, так, например, 2017-09-07-152833.
3. Здесь указывается каталог, в котором должна быть создана резервная копия. При этом последняя поддиректория не заканчивается на «/».
4. В этой строке вы указываете, какие каталоги вы хотите включить в архив. Здесь также можно указать несколько каталогов, разделенных только пробелом: SOURCE=»$HOME/sourcedirectory1 $HOME/sourcedirectory2 «. В этой позиции также нет «/» в конце каталогов. В любом случае, обратите внимание, чтобы перед закрывающей кавычкой был пробел.
5. Последняя строка скрипта, наконец, содержит команду tar:
   • -cvzpf создает архив (-c), шаги отображаются (-v), он сжимается с помощью gzip (-z), права доступа сохраняются (-p), и все выводится в следующий файл (-f). В большинстве случаев параметры -v и -p являются необязательными, и у вас есть возможность добавить дополнительные опции для настройки резервного копирования.
   • В завершение сообщите tar с помощью переменной $SOURCE, что именно должно быть заархивировано. Вполне возможно, что вы также можете исключить каталоги или файлы с помощью —exclude или -X, которые не должны быть включены в резервную копию.

   • $BACKUP_DIR/backup-$DATE.tar.gz обозначает каталог ($BACKUP_DIR) и файл, в котором должна быть сохранена резервная копия. В нашем примере мы даем имя этой резервной копии, за которым следует отметка текущего времени. Имя файла дополняется указанием формата, в котором создается файл. Если вы хотите использовать другое сжатие, не забудьте изменить как формат файла, так и опцию в команде.

Теперь сохраните файл с именем backup в каталоге bin и добавьте этот путь в переменную PATH:

Вам все еще нужно сделать созданный вами сценарий резервного копирования исполняемым:

Это делает файл исполняемым только для вас (u). Вы также можете назначить права доступа группе (g), другим (o) или всем (a). Теперь вы закончили и можете запускать сценарий:

Если вы хотите снова создать резервную копию для извлечения архива, вы можете сделать это с помощью данной команды:

Сценарий создает полную резервную копию. Однако это не всегда правильный выбор при резервном копировании всего сервера. Поэтому следует подумать, не имеет ли большего смысла для ваших целей инкрементное резервное копирование с помощью tar.

Веб-мастера регулярно создают резервные копии, чтобы избежать потери данных. В случае отказа, компрометации или удаления реальной системы можно установить рабочую версию из резервной копии. Чем чаще вы создаете точки хранения, тем меньше потери данных в случае непредвиденных обстоятельств. Если каждый раз сохранять только полную резервную копию и архивировать все данные системы, это займет очень много времени и потребует много места для хранения. Вместо этого можно создавать инкрементные резервные копии.

Инкрементное резервное копирование всегда требует полного резервного копирования. Сначала нужно один раз заархивировать всю систему (или, по крайней мере, ту часть, которую вы хотите заархивировать). После этого при инкрементном резервном копировании сохраняются только новые или измененные файлы. Это позволяет получить гораздо меньший объем данных, но требует больше усилий при восстановлении. При восстановлении резервной копии вам понадобится последняя полная резервная копия, а также все инкрементные резервные копии, сделанные с тех пор. Если какой-либо файл будет потерян (что сегодня менее вероятно, чем во времена использования магнитных лент), резервная копия будет неполной.

С помощью tar можно создавать регулярные инкрементные резервные копии. Вы также можете написать свой собственный сценарий резервного копирования. Например, можно указать, что полная резервная копия должна создаваться раз в месяц, а инкрементная — ежедневно. Следующий сценарий также обеспечивает регулярное перемещение старых резервных копий в папки, отсортированные по дате. В дополнение к tar вам также понадобится cron. Этот демон (программа, работающая в фоновом режиме) позволяет выполнять другие процессы по времени и всегда входит в комплект поставки Ubuntu. Сначала откройте другой текстовый редактор и создайте этот скрипт:

Для этого сценария резервного копирования мы также объясним шаг за шагом, что происходит:

• Сначала снова определите интерпретатор.
• Затем установите переменные. Новыми дополнениями являются каталог для ротации резервных копий (разновидность архива резервных копий) и файл для временной метки.
• В нашем примере мы показываем, что не всегда имеет смысл брать с собой в резервную копию все каталоги. В данном случае мы исключили содержимое папок mnt, proc, sys и tmp (но не сами папки, отсюда и «*»). Файлы в этих каталогах либо временные, либо создаются заново при каждом запуске системы.
• Чтобы убедиться, что все пути интерпретируются правильно, скрипт переключается в корневой каталог с помощью команды cd /.
• Создайте резервный каталог с помощью mkdir, если он еще не существует.
• Теперь все переменные введены. Поскольку вы хотите нумеровать свои резервные копии последовательно, блок кода определяет номер последней резервной копии. Это делается путем удаления других частей имени файла в скрипте.
• Одновременно записывается только 30 резервных копий, после чего сценарий перемещает все архивные файлы в папку ротации. Она создается первой, а затем все файлы, начинающиеся с букв b и t, перемещаются в новую папку. Ограничение на буквы объясняется тем, что в папке должны быть только файлы, помеченные этими признаками: backup и timestamp. Наконец, скрипт сбрасывает номер резервной копии на 1. Если ваш скрипт обнаружит, что 30 резервных копий еще не создано, он просто увеличит номер файла на 1 (++).
• Теперь сценарий делает то, что он сделал в начале: Команды убеждаются, что имя файла снова полное — с новым номером.
• Наконец, сценарий запускает собственно команду tar: В отличие от команды простого полного резервного копирования, здесь имеются дополнительные опции. С помощью параметра -g включается инкрементное резервное копирование. Для этого tar считывает временную метку каждого файла, сравнивает ее с данными, записанными на данный момент в файле timestamp.dat, и затем определяет, какие изменения были сделаны с момента последнего резервного копирования. Только они становятся частью нового архива.

На этом сценарий создания инкрементной резервной копии с помощью tar завершен: Сохраните файл как резервную копию в каталоге bin. Вам также нужно экспортировать сюда путь и сделать сценарий исполняемым:

Теоретически, теперь вы можете запустить сценарий резервного копирования с помощью sudo backup. Но идея инкрементного резервного копирования заключается в том, что процесс автоматически запускается каждый день. Для этого вы получаете доступ к cron и изменяете так называемый Crontab. Это таблица, которая задает порядок выполнения заданий cron. Она состоит из шести разделов:

В этих разделах вы можете ввести либо соответствующее числовое значение (указано в круглых скобках), либо звездочку (*). Последний вариант в принципе подходит для всех возможных значений. Особенностью является раздел «Дни недели». Здесь вы можете установить, что задание будет выполняться, например, каждый понедельник (1) или только в будние дни (1-5). Воскресенье может быть задано с помощью двух различных значений: 0 или 7 относится к воскресенью, так как для одних людей в этот день начинается неделя, а для других — заканчивается.

В командной строке откройте режим редактора cron с:

Здесь введите следующую строку:

Это означает, что резервное копирование будет выполняться в 7:30 утра каждый день (и каждый месяц, независимо от дня недели). Сохраните изменения, и ежедневное инкрементное резервное копирование готово к использованию.

Никто никогда никому не пожелает этого, но иногда случается худшее, и систему необходимо полностью восстановить. С помощью tar это также относительно легко сделать и не требует дополнительных сценариев. Однако одна команда для полной резервной копии невозможна: в природе инкрементных резервных копий существует необходимость распаковки нескольких файлов. В консоли введите эти командные строки:

Чтобы не пришлось извлекать каждый архивный файл по отдельности, используйте цикл for:

1. На первом этапе определите каталог, содержащий резервные копии.
2. С помощью команды cd / перейдите в корневой каталог, чтобы убедиться, что архив будет извлечен в нужное место.
3. Теперь запустите цикл for: Эта команда повторяет все действия между do и done до тех пор, пока не будут выполнены все варианты. Чтобы задать команду, снова укажите путь к вашим резервным копиям со звездочкой в качестве подстановочного знака, поскольку вы хотите распаковать все файлы архива в этом каталоге.
4. Команда tar задается следующим образом: Вы извлекаете (-x), сохраняя права доступа (-p), и распаковываете (-z) архив (-f $archive) в корневой каталог (-C /).
5. После этого установите конец цикла.

Поскольку вы пронумеровали их последовательно с созданием архивов, резервные копии перезагружаются одна за другой — начиная с самой старой. Это важно: в архивах, созданных после полного резервного копирования, содержатся более новые версии файлов. Это означает, что во время цикла сначала извлекается старая версия, а затем при следующем запуске перезаписывается более новой. В итоге вы полностью перезаписали всю систему с помощью резервной копии и восстановили самую новую архивную версию каждого файла.

В этом и заключается суть инкрементного резервного копирования: Полное восстановление системы. С небольшим отступлением можно даже восстановить только один файл и получить ранее заархивированную последнюю версию. Проделайте это в два этапа:

В этом первом шаге вы также полагаетесь на цикл for, который используется для поиска, а не для извлечения:

1. Снова определите каталог резервного копирования.
2. Используйте команду ls для отображения всех файлов и папок в каталоге резервного копирования. Опция -l позволяет получить подробную информацию.
3. Запустите цикл, например, для восстановления всего архива.
4. Важное изменение содержится в опциях команды tar: Вместо создания (c) или извлечения (x) архива, отобразите содержимое архива (t). Но поскольку вы не хотите искать файл самостоятельно, передайте вывод команде grep с помощью трубы (вертикальной линии). Это позволит найти в выводе (то есть в содержимом архива) искомый файл.
5. Завершите цикл.

Теперь в терминале отображается только искомый файл — и, возможно, даже не один раз, если вы регулярно редактировали его и он появляется в нескольких инкрементных резервных копиях. Теперь запомните путь к файлу и постройте еще один цикл, который восстановит последнюю сохраненную версию:

Теперь файл восстанавливается в исходное место и перезаписывает возможную более новую версию.