Базы данных in-memory: хранение больших данных

Цифровая коммуникация порождает большие объемы данных. Это отличная возможность для компаний, которые работают с большими данными. Однако чем больше данных, с которыми приходится работать компании, тем сложнее становится распознать взаимосвязь и закономерности. ИТ-решения и системы становятся все более востребованными для поддержки компаний в оценке огромных объемов получаемой ими информации. Анализ данных с использованием традиционных баз данных уже не позволяет хранить, извлекать и обрабатывать чрезвычайно большие массивы данных. Когда классические базы данных достигают своего предела, на помощь приходят базы данных с памятью.

База данных in-memory (иногда сокращенно db) основана на системе управления базами данных, которая хранит свои коллекции данных непосредственно в рабочей памяти одного или нескольких компьютеров. Использование оперативной памяти имеет ключевое преимущество в том, что базы данных in-memory имеют значительно более высокую скорость доступа. Хранящиеся данные становятся доступными очень быстро, когда это необходимо.

Базы данных in-memory хранят большие объемы данных и предоставляют ряд результатов анализа. Но как именно работает хранение больших данных, и какие технологии делают хранение больших данных возможным?

При хранении данных в базе данных in-memory различают хранение данных, ориентированное на столбцы и хранение данных, ориентированное на строки, при этом некоторые системы баз данных используют оба метода хранения данных. Базы данных, ориентированные на строки, располагают собранные записи данных вместе в одной строке. Например, если хранятся значения «имя, город и страна», данные будут расположены следующим образом: имя 1, город 1, страна 1, имя 2, город 2, страна 2. В хранилище на основе столбцов данные распределяются по соответствующим категориям таким образом: имя 1, имя 2, город 1, город 2, страна 1, страна 2.

Формат хранения данных на основе столбцов называется столбцовым. Храня данные с одинаковыми значениями вместе, система минимизирует количество существующих данных. Таким образом, сокращается место для хранения и время передачи данных. Производительность анализа баз данных in-memory также улучшилась со временем, поскольку анализировать нужно только определенные столбцы, а не все. Такая форма оценки данных называется колоночной проекцией.

Концепция баз данных in-memory не является чем-то новым. Основы технологий баз данных были разработаны еще в середине 1980-х годов. Однако тогда ИТ-системы не обладали необходимой вычислительной мощностью, поэтому ранние концепции баз данных in-memory не могли быть использованы. Современные компьютерные архитектуры, такие как хранилища данных, 64-битная технология и многоядерные процессоры, наконец, позволили использовать базы данных in-memory.

• Базы данных in-memory обычно относятся к хранилищам данных. Эти системы баз данных собирают и сжимают данные из различных источников, сохраняют их на длительный срок и готовят к анализу.
• Благодаря 64-битной технологии можно увеличить объем оперативной памяти до терабайтного диапазона. В результате размер БД in-memory увеличился.
• Благодаря многоядерным процессорам несколько процессорных ядер работают в одном чипе, что приводит к повышению производительности обработки и производительности данных. Производительность данных показывает чистый объем переданных данных.

Во время работы баз данных in-memory происходят повторяющиеся, идентичные процессы. База данных in-memory выполняет резервное копирование данных следующим образом:

1. Запуск базы данных: когда база данных запускается, система загружает весь набор данных с жесткого диска в рабочую память. Это означает, что во время работы базы данных не нужно загружать данные.
2. Повторная корректировка данных: база данных часто просматривает и корректирует данные, поэтому при изменении данных они остаются актуальными.
3. Резервное копирование журналов транзакций: текущие изменения записываются в журналы транзакций. Если произойдет ошибка, базу данных можно восстановить до момента, предшествующего возникновению ошибки. Этот процесс называется «откат».
4. Обработка данных: данные обрабатываются в соответствии с принципом ACID (атомарность, согласованность, изолированность и долговечность), как и в традиционных базах данных. Аббревиатура ACID описывает идеальные свойства процессов в системах управления базами данных.
5. Репликация базы данных: на этом этапе данные из базы данных постоянно копируются на компьютер или сервер в качестве резервной копии.

Преимущество баз данных in-memory заключается в том, что доступ к данным осуществляется гораздо быстрее, чем при использовании традиционной базы данных, хотя в этом же кроется и самый большой недостаток баз данных in-memory, поскольку невозможно постоянно хранить данные в оперативной памяти. Ниже приводится сравнение преимуществ и недостатков баз данных in-memory.

Самым большим преимуществом использования баз данных in-memory является значительно более высокая скорость доступа, обусловленная использованием оперативной памяти. Это также приводит к более быстрому анализу данных. Однако не только сокращение времени выборки оптимизирует анализ данных. СУБД in-memory делают возможной оценку структурированных и неструктурированных данных из любой системы. До сих пор компании и программные решения сталкивались с проблемой хранения и обработки больших объемов неструктурированных данных, таких как тексты, изображения, аудио- и видеофайлы.

Благодаря использованию инфраструктур распределенных данных неструктурированные данные можно хранить в базе данных in-memory, в которой несколько обрабатывающих устройств (компьютеров, процессоров и т.д.) параллельно работают над общей задачей и распределяют ее по разным кластерам серверов. В результате увеличивается объем хранения, ускоряется обработка и повышается скорость передачи неструктурированных данных.

Использование оперативной памяти, с одной стороны, означает более быстрый доступ, но с другой стороны, несет в себе ключевой недостаток: хранимые данные являются лишь временными. В случае сбоя компьютерной системы все временно сохраненные данные будут потеряны. Для борьбы с этим были созданы следующие методы:

• Файлы моментальных снимков: существуют определенные моменты, например, во время плановых интервалов или перед выключением системы, когда сохраняется текущая версия базы данных. Важным недостатком этого метода является то, что все данные, добавленные после последнего так называемого моментального снимка, будут потеряны в случае аварии — в зависимости от длительности каждого интервала это может быть большое количество данных.
• Защита протокола транзакций: регистрация изменений в журналах транзакций — это интегрированный процесс, используемый в качестве средства безопасности. Используемый в сочетании с процессом моментального снимка, протокол транзакций может помочь восстановить систему после сбоя.
• Репликация: базы данных in-memory уже в значительной степени обладают функцией хранения точной копии базы данных на обычном жестком диске. В случае сбоя можно получить доступ к сохраненной базе данных.
• Энергонезависимая память RAM: энергонезависимая память RAM способна сохранять файлы доступными для извлечения даже после перезапуска системы.

Другим недостатком использования оперативной памяти является то, что сам компьютер уже не имеет столько доступной оперативной памяти. Grid computing может стать решением этой проблемы. Grid computing объединяет множество различных компьютеров, и для того, чтобы компьютер мог подключиться к этой связи, на нем должно быть установлено специализированное программное обеспечение. Путем объединения неиспользуемых мощностей создается виртуальный высокопроизводительный компьютер.

Под базой данных обычно понимают совокупность информации, доступной в электронном виде. Традиционные базы данных хранят только структурированные данные. Структурированные данные — это четко организованные и определенные поля данных в конкретных записях данных. Записи данных располагаются в таблицах, где каждое поле данных представляет собой отдельный атрибут и имеет соответствующее название. Движение за большие данные довело эту модель до предела — ее слабые стороны заключаются в хранении и обработке больших объемов данных. Другим недостатком является отсутствие адаптивности. Неструктурированные данные, такие как изображения и документы на естественном языке, не могут быть сохранены и оценены.

После того как вы ознакомились с преимуществами и недостатками баз данных in-memory и провели сравнение с традиционными базами данных, вы можете подумать, какая система управления базами данных (СУБД) подходит для вашей компании. Если вы работаете с большими данными, решение уже принято за вас — только СУБД in-memory подойдет для ваших нужд. Однако база данных in-memory может быть правильным выбором и в других случаях.

База данных in-memory — это подходящая СУБД для вас, если:

• У вас много собранных данных
• Вам необходим быстрый и частый доступ к данным
• Ваши существующие системы управления базами данных или серверы перегружены
• сохранение данных не является вашим главным приоритетом
• Потеря данных (или хотя бы возможность этого) является для вас приемлемой.

Среди наиболее известных баз данных in-memory — SAP HANA и Oracle TimesTen. Если ваша компания ищет корпоративное программное обеспечение с широким набором функций, то решения SAP и Oracle являются наиболее распространенными. Обе системы управления базами данных обладают максимально возможной производительностью. Далее мы рассмотрим, что их отличает и каково их практическое применение в компании.

База данных SAP HANA (высокопроизводительное аналитическое устройство) in-memory представляет собой комбинацию аппаратного и программного обеспечения. Программное обеспечение было специально разработано компанией SAP, а аппаратное обеспечение (сервер) поставляется от десяти различных производителей. В отличие от других баз данных in-memory, SAP HANA не хранит данные временно, а постоянно хранит их в рабочей памяти и сохраняет данные с помощью журналов транзакций.

Обработка транзакций и анализ в единой базе данных позволяют обрабатывать информацию в режиме реального времени. SAP HANA может быть внедрена как на корпоративном сервере, так и в облаке, что снижает потенциальные трудности для ИТ-структуры вашей компании. Кроме того, минимизируются затраты на прежние методы управления данными.

База данных Oracle имеет много общего с SAP. Обработка данных также осуществляется в режиме реального времени, а приложение может выполняться через сервер или в виде облачного сервиса. В отличие от базы данных SAP, программное и аппаратное обеспечение Oracle TimesTen разработано самой компанией Oracle.

Таким образом, TimesTen является чисто «оракловым» приложением. В результате преимущество для пользователя заключается в том, что в случае ошибки вы можете действовать своими силами, и ваша компания не зависит от различных компаний, производящих аппаратное и программное обеспечение. Oracle не хранит собранные данные исключительно в памяти — данные, не требующие высокопроизводительной обработки, могут храниться на жестком диске или флэш-диске.

Функции SAP HANA и Oracle TimesTen практически одинаковы. Обе базы данных обладают хорошими преимуществами:

• Более быстрая обработка данных
• Переориентация компании с помощью инновационных приложений
• Повышенная гибкость, активность и адаптивность

В следующей таблице приведены различия и сходства между двумя базами данных in-memory:

По мере развития цифровых технологий и без того огромные объемы данных будут продолжать расти. Разработчики баз данных in-memory сегодня сталкиваются с необходимостью постоянно совершенствовать предыдущие системы. Необходимо рассмотреть следующие задачи:

• сбор данных из растущего числа источников.
• упрощение ИТ-структуры и одновременное сокращение времени отклика и скорости анализа данных
• Как получить дополнительные сведения из анализа данных и поддержать компании в процессе принятия решений
• разработка приложений, еще более приспособленных к вызовам постоянных цифровых изменений.

Базы данных in-memory зарекомендовали себя как успешная форма технологии хранения и обработки данных. Они позволяют компаниям, которым приходится работать с большими объемами данных, анализировать их в кратчайшие сроки и получать доступ к ним в любое время. Однако эффективное использование баз данных in-memory возможно только в том случае, если для хранения данных используется не только база данных in-memory, но и стандартизированные системы резервного копирования данных, интегрированные в процессы работы с базами данных in-memory.