Правильное управление данными для эффективной работы с ними

В современных компаниях ежедневно создается огромное количество записей данных. Благодаря электронной обработке данных (ЭОД) сбор и организация этой информации больше не является проблемой. Данные о клиентах можно заносить в базы данных, а управление данными о персонале легко автоматизировать. Достаточно просто импортировать данные в компьютер, а сложные алгоритмы позаботятся обо всем остальном.

Однако расширение сети и растущий объем данных породили целый ряд новых проблем. Например, часто несколько сотрудников должны иметь возможность одновременного доступа к одной и той же базе данных. Они должны иметь возможность найти данные в любое время и не должны вводить их несколько раз. Прежде всего, данные должны быть защищены от возможных потерь, вызванных дефектами оборудования или неправильным обращением, а также от хакеров и других похитителей данных в Интернете. Также важно учитывать юридические аспекты, такие как обязательные сроки хранения или декларации о согласии на хранение персональных данных.

Сложность этой темы привела к развитию новой дисциплины в области информационных технологий: управление данными. Эта область также является предметом многочисленных научных исследований. Наука о данных — это все еще относительно новая отрасль компьютерной науки, которая фокусируется на таких темах, как эффективное хранение и взаимосвязь данных и эффективный поиск в больших базах данных.

Управление данными предъявляет определенные требования к работе с цифровыми данными. Сам термин описывает процесс, состоящий из отдельных практик. Успешное управление данными требует первоначальной организации, начиная с момента сбора и ввода данных. Минимизация и качество данных — вот два фактора, которые необходимо учитывать. Защищая содержимое, вы должны убедиться, что данные могут быть эффективно использованы для той цели, ради которой они были собраны (т.е. практичность всегда должна быть приоритетом). Наконец, важной частью управления данными является определение того, какие данные необходимо архивировать и на какой срок. Ненужные данные должны быть быстро найдены и надежно удалены.

Планируя работу с данными, начните с вопроса о том, с какими типами данных вы имеете дело. Здесь поможет разделение данных на категории, чтобы вы могли действовать систематически, не упуская ни одной области:

• Персональные данные: Информация, непосредственно относящаяся к конкретным лицам; типичные примеры — имена, номера телефонов и адреса. Другие примеры включают данные измерений и покупательское поведение. Персональные данные могут включать данные о клиентах, данные о собственных сотрудниках компании или третьих лицах. Эти данные подлежат особой защите.
• Чувствительные данные компании: Каждая компания должна уделять особое внимание тщательной обработке своих внутренних данных, таких как бухгалтерские данные, налоговые документы и секреты компании. Когда речь идет об управлении данными, важно определить, какая информация относится к этой категории.
• Вторичные данные: Данные, полученные в процессе сбора информации для другой цели. Примером могут быть данные, полученные в результате видеонаблюдения, которое обычно устанавливается для защиты от взлома и краж. Эти данные могут также включать номерные знаки автомобилей клиентов. Другой пример — журналы в сети компании, в которых могут храниться IP-адреса посетителей.
• Публичные данные: Намеренно публикуемые и распространяемые данные; сюда входит информация на веб-сайте и в брошюрах компании. Важно соблюдать правила авторского права и одновременно защищать свои собственные данные. В США ваши изображения автоматически защищаются законом об авторском праве, в то время как рекламные слоганы и логотипы компании требуют наличия зарегистрированных торговых марок.

Целью управления данными является эффективная интеграция всех процессов от сбора до хранения или удаления данных. Этот процесс охватывает весь «жизненный цикл» данных. Это дает основание для термина «управление жизненным циклом данных» (Data Lifecycle Management, DLM).

Обработка данных начинается со сбора данных. Важным фактором здесь является минимизация данных, что означает сбор только минимального количества информации, необходимой для конкретной цели. Эта концепция играет центральную роль в Общем регламенте ЕС по защите данных (GDPR). Согласно закону, данные могут обрабатываться только в том случае, если субъекты данных дали свое согласие или если это необходимо по юридическим причинам (например, для составления договора). Американские организации, которые обрабатывают любые данные о гражданах Европы, также обязаны соблюдать этот закон, и за его несоблюдение предусмотрены значительные штрафы.

Качество данных может быть обеспечено наиболее эффективно во время их ввода. Тщательный ввод данных устраняет необходимость в ненужных последующих запросах и обработке. Информация также должна храниться в том формате, в котором она будет востребована в дальнейшем. Любая передача или преобразование данных может привести к ошибкам в базе данных.

Выбор места и формата хранения данных очень важен. Данные могут храниться в локальной папке или в облаке. У каждого решения есть свои преимущества и недостатки. Локально хранящиеся файлы легче защитить от несанкционированного доступа. Облачное хранение, с другой стороны, является более масштабируемым и отказоустойчивым. Для очень важных данных имеет смысл использовать комбинированное решение.

Базы данных — лучший вариант для хранения больших объемов данных. Если вы используете специальное программное обеспечение (например, бухгалтерское или программное обеспечение для управления складом), вам не нужно задумываться о месте хранения данных. Однако важно убедиться, что программное обеспечение совместимо с внешними системами. Кроме того, программное обеспечение должно позволять вам создавать электронные резервные файлы для предоставления в государственные органы, такие как Служба внутренних доходов.

Безопасность данных — важная и сложная тема в управлении данными. Данные должны быть защищены от потери, нежелательных изменений и несанкционированного доступа. Концепция кибербезопасности, опубликованная Национальным институтом стандартов и технологий США (NIST), содержит стандарты, рекомендации и практические рекомендации, которые помогут организациям управлять и снижать риски кибербезопасности. Аналогичным образом, стандарт ISO 27001 предоставляет набор лучших практик для выявления и устранения рисков информационной безопасности. Организации, которые демонстрируют соответствие этому стандарту, могут получить сертификат ISO 27001.

К возможным рискам безопасности данных относятся:

• повреждение оборудования в результате пожара, воздействия воды или перенапряжения
• Потеря данных в результате неправильного обращения
• Потеря данных или вывод систем из строя из-за вредоносного программного обеспечения (трояны-шифровальщики, кража данных)
• Потеря данных из-за ошибок в программном обеспечении
• Потеря данных в результате кражи

Решения для противодействия этим рискам включают в себя программные механизмы защиты, а также организационные меры, такие как пожарная безопасность и системы обнаружения вторжений.

Следует помнить о следующих принципах:

• Регулярное обновление: Важно взвесить возможности автоматического и ручного обновления. Преимущество автоматических обновлений заключается в том, что вы не забудете их выполнить. Преимущество ручного импорта заключается в том, что вы можете избежать обновлений, содержащих ошибки.
• Защита паролей: Существуют различные стратегии защиты паролей. Имеет смысл попросить сотрудников использовать сложные пароли и регулярно их менять. Однако если пароли слишком сложны или меняются слишком часто, у сотрудников может появиться привычка записывать их и хранить на рабочем месте.
• Стратегия резервного копирования: Одним из наиболее важных моментов является использование правильной стратегии резервного копирования. Важные данные должны полностью и регулярно резервироваться на физически отдельных носителях. Резервное копирование баз данных представляет собой особую проблему. При определенных обстоятельствах вы не сможете скопировать открытые файлы во время работы системы. Вместо этого необходимо выполнять резервное копирование непосредственно из приложения или использовать специальное программное обеспечение, такое как MySQLDump.
• Защита от вирусов/брандмауэр: Каждая ИТ-система должна обеспечивать актуальную защиту от вирусов. В зависимости от сложности сети, ваша система должна включать брандмауэр и, возможно, систему обнаружения вторжений.

Резервные копии должны создаваться автоматически. В противном случае существует значительный риск того, что они будут пропущены из-за нехватки времени, удобства или забывчивости. Важные данные должны сохраняться инкрементально (т.е. в нескольких версиях). Это означает, что резервное копирование производится только измененных записей данных. Если возможно, более старые версии следует сохранять в течение определенного времени, чтобы восстановить данные в случае их случайного удаления.

Обеспечение безопасности хранящихся резервных копий — важная тема в управлении данными. Трояны-шифровальщики пытаются скомпрометировать любую память, к которой можно получить доступ. В худшем случае резервные копии, сохраненные в постоянно подключенной сети или на внешних носителях, также будут зашифрованы. Для этого необходима система, которая запрещает доступ обычным пользователям и только временно подключается к носителям во время резервного копирования.

Важно проводить различие между защитой данных и безопасностью данных, несмотря на то, что они частично совпадают. Целью защиты данных является обеспечение того, чтобы неавторизованные лица не могли получить доступ к конфиденциальным данным. Это предполагает предотвращение внешнего доступа, что требует установки мер по защите данных. Это также подразумевает использование технологии управления правами для предотвращения внутреннего доступа к персональным данным. С помощью этой программной технологии доступ закрывается для определенных сотрудников, или записи данных отображаются лишь частично, в зависимости от их привилегий. Дополнительную защиту может обеспечить шифрованная передача и хранение данных. Это позволяет защитить конфиденциальные данные в случае, если к аппаратному обеспечению получат доступ неавторизованные сотрудники или воры в случае взлома.

Управление данными должно быть интегрировано в рабочие процессы вашей компании как можно более практично и интуитивно понятно. Это обеспечит максимальную приемлемость для сотрудников и оптимизирует эффективность. Многие методы управления данными полезны для повышения эффективности. Сбор ненужных данных отнимает время и может раздражать клиентов. Упорядоченное и безопасное хранение данных повышает производительность.

Поэтому имеет смысл внедрить политику управления данными, которая определяет, как обращаться с данными в вашей компании. Это означает, что необходимо сосредоточиться на качестве данных и использовать такие функции программного обеспечения, как автокоррекция, для улучшения качества данных. Это также предполагает определение стандартных формулировок и терминов.

Архивирование данных, которые больше не нужны в ближайшее время, является еще одной важной задачей. Компании должны делать это, когда у них есть юридические обязательства по хранению данных, таких как счета-фактуры и налоговые документы. Поэтому вы должны включить архивирование в свою концепцию управления данными.

Отдельное хранение может быть выгодным. Оно уменьшает объем текущего резервного копирования данных и обеспечивает их защиту. Не все варианты резервного копирования на носителях подходят для архивирования. Например, жесткие диски необходимо регулярно включать, чтобы убедиться в их работоспособности. Оптические носители информации, такие как компакт-диски, чувствительны к условиям окружающей среды и имеют ограниченный срок службы. Ленточные накопители с магнитными лентами являются идеальным вариантом. Однако недостатком этих накопителей является их дороговизна и громоздкость. Их преимущество в том, что сами ленты для резервного копирования недороги и долговечны.

Данные, которые больше не нужны, следует удалять. Таким образом, вы больше не будете нести ответственность за их защиту. Поэтому ваша концепция управления данными должна обеспечивать возможность отдельного выбора и удаления таких данных. Прежде всего, персональные данные должны удаляться безопасно.

Когда данные удаляются с помощью функций операционной системы, это обычно означает лишь то, что данные освобождаются для перезаписи. На самом деле данные продолжают существовать на жестком диске до тех пор, пока не закончится свободное место, и тогда они будут перезаписаны.

В отличие от ЕС, в США нет всеобъемлющего закона о конфиденциальности данных. Однако личная информация, как правило, защищена в соответствии с Законом США о конфиденциальности, а также рядом других законов, которые применяются в определенных областях:

• Закон о переносимости и подотчетности медицинского страхования (HIPAA)
• Закон о справедливой кредитной отчетности (FCRA)
• Закон о защите конфиденциальности детей в Интернете (COPPA)
• Закон Грамма-Лича-Блайли (GLBA).

Соблюдение этих законов является обязательным. Ваша организация и ее представители могут быть привлечены к прямой ответственности за любое несоблюдение, которое приводит к утечке данных или неправомерному использованию персональных данных. Поэтому целесообразно назначить ответственного за конфиденциальность, чтобы обеспечить соблюдение этих норм.

То, как организовано управление данными, зависит от размера компании. На рынке представлены различные подходы к интегрированным решениям. Некоторые из них специально предназначены для оценки и оптимизации использования существующих данных (например, в рекламных целях). Другие направлены на повышение производительности с использованием всех имеющихся данных. Возможные варианты включают:

• Системы планирования ресурсов предприятия (ERP): эти системы обеспечивают наиболее комплексный подход. Они регистрируют и учитывают все ресурсы компании. Сюда входит персонал, рабочее оборудование и данные о материалах. Известные коммерческие поставщики программного обеспечения ERP включают SAP, Sage, Oracle и Microsoft. Существуют также бесплатные программные решения, такие как Odoo и OpenZ.
• Управление основными данными: Эти системы используются для централизации и пересмотра основных данных компании. Сюда входят данные о сотрудниках, клиентах и информация о рабочем оборудовании. Целью является обеспечение единого качества данных, что приводит к улучшению удобства использования. Это наиболее распространенный подход в ERP-системах.
• Системы управления контентом (CMS): это преимущественно системы управления информацией (например, центральный интранет компании). Благодаря своей большой гибкости, они также позволяют использовать другие аспекты, такие как управление формами и интеграция баз данных.
• Системы управления документами (DMS): подобласть управления данными; эти системы предоставляют формы и функции, такие как архивирование и хранение документов.

Управление данными — это динамичный процесс, который всегда должен быть адаптирован к текущим потребностям. Это порождает новые проблемы.

Объем данных постоянно растет. Как следствие, предъявляются высокие требования к масштабируемости хранилищ и резервных мощностей, к организации и возможности поиска необходимых данных. Чем больше данных вы собираете, тем важнее становится минимизация данных. Поэтому все больше внимания следует уделять извлечению только самых важных данных.

Администраторы сетей постоянно сталкиваются с новыми опасностями. Кража информации с помощью социальной инженерии и саботаж с помощью троянов-шифровальщиков — это лишь два возможных сценария. Чем больше компания оцифровывает свои данные, тем более зависимой она становится от функциональности используемой системы. Вот почему важно постоянно быть в курсе возникающих рисков и принимать меры предосторожности для предотвращения выхода из строя оборудования или потери доступа к собственным системам.

Когда закон GDPR был впервые введен в Европе, он вызвал много неопределенности и создал большую нагрузку для многих компаний. Он также затронул американские компании, которые обязаны соблюдать закон, если они хранят данные о гражданах Европы. В Соединенных Штатах конфиденциальность данных не регулируется на федеральном уровне. Однако несколько штатов разработали собственное законодательство по защите данных потребителей. Например, Закон Калифорнии о защите частной жизни потребителей предоставляет потребителям расширенные права в отношении того, как обрабатываются их личные данные. По мере принятия новых законов и изменения существующих норм организациям придется вносить коррективы, которые также могут повлиять на управление данными.

Управление данными требует учета любых изменений в структуре или процессах вашей компании. Вы можете заранее спланировать такие изменения, используя системы, которые легко расширяются или переносятся. Регулярное обучение сотрудников внутренним правилам управления данными требует дополнительных усилий.

Конечно, управление данными может отнимать много времени и отвлекать бизнес от его основной деятельности. Однако, если рассмотреть отдельные методы, то вскоре становится очевидным, что они необходимы и полезны. Они призваны помочь бизнесу соответствовать требованиям законодательства, обеспечить большую безопасность данных и повысить эффективность рабочих процессов. Поэтому ваше время будет потрачено с пользой.