Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1)

Подробности

Опубликовано: 02.04.2020 10:28

Автор: Степанов Дмитрий Юрьевич

Просмотров: 11682

Аннотация: в статье рассматриваются отличия основных и переменных данных, способы их миграции, продемонстрирована взаимосвязь плана миграции и перехода, определены параметры, задающие стратегию переноса данных на примере системы SAP ERP.
Скачать: PDF (статья), PDF (выпуск №9).
Ключевые слова: миграция исторических данных, миграция данных ERP, миграция SAP систем, SAP миграция системы, концепция миграции данных системы, правила преобразования в LSMW, миграция SAP-систем, миграция систем SAP, SAP migration cockpit, SAP LSMW.

Введение

Цифровизация предприятия ведется за счет внедрения интегрированных программных систем для управления бизнес-процессами и базами данных. Комплексное программное обеспечение задает класс систем вида ERP, который часто в русскоязычной литературе называют корпоративными информационными системами. Сложность имплементации ERP-систем состоит в том, что одновременно должны решаться задачи по оптимизации бизнес-процессов, разработке программ, переносу данных, управлению изменениями, настройке технической инфраструктуры и «дирижированию» проектом. Миграция информации из исторической системы в целевую систему является одной из важнейших проектных задач, так как низкое качество начальных данных может заблокировать выполнение бизнес операций и их отражение в программной системе. Качественный процесс переноса данных обеспечивается правильно подобранной и реализованной стратегией миграции. Какие стратегии существуют, каковы их особенности и способы выполнения? Мы постараемся найти ответы на эти вопросы в данной статье.

1. Обзор литературных источников

Несмотря на важность вопроса мигрирования данных корпоративных информационных систем, литературных источников, дающих исчерпывающее представление о переносе информации не так много. Но даже в них есть изъяны: или слишком поверхностное описание, или излишняя детализация, исключающая стратегию как таковую. Примером первой категории работ служит статья [1], повествующая о миграции данных в SAP ERP, однако тонкости и детали переноса основных и переменных данных в ней не раскрыты. Прочие работы [2-3] дают максимум информации по автоматизированным средствам переноса данных в той же системе SAP, хотя взаимосвязь между техническими средствами и концепцией, стратегией, видением не прослеживается. Все это подчеркивает необходимость детального анализа миграции данных ERP-систем, что особенно актуально для транзакционных информационных систем.

2. Цель и задачи

Целью данной работы является анализ концепций, способов и методов миграции данных корпоративных информационных систем на примере программного решения SAP для обеспечения качественного и эффективного процесса имплементации ERP-систем. Решение озвученной цели потребует выполнения следующих задач:

• обзор проекта внедрения SAP ERP с точки зрения миграции данных;
• рассмотрение разновидностей данных и способов их миграции;
• анализ плана миграции как составной части плана перехода;
• организация процесса миграции данных;
• формирование концепции миграции. 

3. Обзор процесса миграции 

3.1. Основные термины и определения

Начнем рассмотрение тематики миграции данных в ERP-системах с введения основных терминов и определений, которыми мы будем пользоваться на протяжении всей работы:

• данные;
• миграция данных;
• план перехода;
• тестовая миграция;
• историческая система.
  

Данные есть представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе. Тогда миграция данных представляет собой процесс селекции, подготовки, извлечения, преобразования данных и переноса из одной компьютерной системы хранения в другую. Миграции подлежат данные из исторической системы (Legacy), представляющей собой информационную систему, используемую на предприятии до внедрения целевой ERP-системы (в общем случае историческая система может отсутствовать, например, если в компании все операции выполняются вручную).

Процесс переноса данных ведется путем выполнения тестовых циклов миграции, где под тестовой миграцией подразумевается перенос данных ERP-системы, выполняемый многократно для выявления ошибок (начинается с технической проверки средств загрузки, завершается испытанием 100% данных, подлежащих продуктивной миграции). Продуктивная миграция данных является составной частью плана перехода, который определяется как план подготовки к продуктивному старту и содержит описание технических задач в ERP-системе, бизнес-операций для обеспечения работы компании, а также миграции данных для запуска программного решения [4].

3.2. Проект внедрения системы SAP ERP

Миграция данные играет одну из ключевых ролей в успешном запуске ERP-решения. Если данные не будут перенесены в срок в целевую систему или будут мигрированы с большим числом ошибок, продуктивная эксплуатация системы будет невозможна. Согласно каскадной модели внедрения программного обеспечения проект имплементации ERP-системы разбивают на ряд этапов (рис. 3.1):

• подготовка проекта;
• проектирование;
• реализация;
• подготовка к опытно-промышленной (или опытной эксплуатации);
• опытно-промышленная (или опытная эксплуатация);
• переход к промышленной эксплуатации;
• промышленная эксплуатация.

Каждый шаг указанных этапов внедрения проекта предполагает выполнение череды операций. Так на этапе подготовки проекта  формируется концепция реализации содержания проекта и готовятся шаблоны документов. Анализ требований, подготовка проектных решений и функциональных спецификаций на разработку ведутся на фазе проектирования. Этап реализации требует выполнения настройки и доработки ERP-системы, а также проведения функционально-модульного, системного и интеграционного видов испытаний. 

Рис. 3.1. Типовые этапы внедрения ERP-систем

На этапе подготовки к опытно-промышленной эксплуатации готовятся сценарии тестирования, проводится обучение ключевых пользователей и заводятся тестовые данные для проведения испытаний. Приемочное тестирование и устранение дефектов осуществляется на фазе опытно-промышленной эксплуатации. Этап перехода к промышленной эксплуатации предполагает решение задач по технической подготовке системы и миграции данных. Запуск системы и ее работа в режиме реального времени, передача системы на поддержку заказчику ведутся на завершающем этапе промышленной эксплуатации.

Внедрение корпоративных информационных систем ведется по уровням, представляющим группировку задач. Так выделяют уровни (рис. 3.2):

• проекта;
• процессов;
• приложений;
• данных;
• технической инфраструктуры;
• изменений.

Как видно из списка выше, один из уровней касается данных. Задачи этого уровня решаются отдельной командой (команда по миграции), ключевая цель этой команды – выполнить качественную миграцию основных и переменных данных в продуктивную  ERP-систему [5]. 

Рис. 3.2. Уровни имплементации ERP-систем

Уровень данных содержит огромное число проектных документов, которые описывают все необходимые шаги для выполнения миграции информации из исторической системы в целевую. В частности, требования к миграции фиксируются в матрице отслеживания требований. Кроме того, для описания данных готовится стандартный пакет документов: проектные решения и функциональные спецификации на разработку. С точки зрения реализации системы ведутся конфигурирование и доработка средств загрузки и валидации данных.

К доступным средствам анализ требований к данным и процессу их миграции можно отнести следующие опции:

• использование знаний, накопленных в процессе внедрения информационных систем на аналогичных предприятиях;
• проведение опроса;
• анализ управленческой документации;
• рассмотрение документооборота на предприятии;
• наблюдение за выполнением наиболее критичных операций.

Наиболее эффективными методами выявления требований являются:

• демонстрация системы (Workshop), т.е. показ работающей ERP-системы в режиме онлайн, либо демонстрация презентационных слайдов, которые показывают интерфейс и логику работы информационной системы;
• прототипирование, где создается демонстрационный образец работы определенной функции ERP-системы.

Идентифицированные требования к данным приоритизируются и участвуют в процедуре Fit/Gap-анализа (рис. 3.3). Цель анализа состоит в определении областей покрытий и дефицитов предъявляемых требований и стандартного функционала ERP-решения. Если представить функционал системы и требования в виде овала, то пересечение этих двух областей есть часть Fit покрытия, т.е. это те требования, которые уже реализованы в ERP-системе. Неокрашенная часть овала, которая относится к требованиям, будет соответствовать Gap части, т.е. области функционального дефицита, которую необходимо покрыть дополнительной программной разработкой или доконфигурированием системы. Конфигурирование и разработка системы ведется на основе двух видов документов: проектные решения для конфигурации и функциональные спецификации для доработки.

Проектные решения готовятся для всевозможных потребностей проекта. В частности, для описания бизнес-процессов, организационной структуры и данных предприятия, а также проведения миграции данных и настройки ролей и полномочий. Указанные виды проектных решений относятся к категории системных. Кроме того, существуют проектные решения, относящиеся к нормативным и кадровым составляющим организации, например: должностная инструкция, структура и штатная численность предприятия. С точки зрения миграции данных, мы будем работать с проектными решения по:

• организационной структуре предприятия и объектам данных;
• миграции данных.

 Рис. 3.3. Области покрытий и дефицитов по результатам Fit/Gap-анализа

В документе проектного решения по организационной структуре предприятия и объектам данных приводится описание технической организационной структуры компании в системе ERP для различных функциональных модулей, а также атрибуты объектов данных. Решение включает следующее:

• оргструктуру предприятия по всем функциональным областям системы ERP: закупки, управление запасами, сбыт, производство, ремонт оборудования, финансовый и налоговый учеты, кадры;
• перечень основных и транзакционных данных системы для всех функциональных областей, наименование таблиц баз данных, описание их полей, типов данных и размерности;
• список доработок и настроек, необходимых для покрытия требований к оргструктуре и данным в ERP-системе. Документ подтверждается бизнес представителями.

Проектное решение по миграции данных содержит описание порядка обработки данных, находящихся в исторической системе, для их преобразования и загрузки в новую ERP. Документ включает:

• шаблон загрузки данных с описанием полей, размерности и обязательности их заполнения, который в последующем будет содержать информацию к загрузке в формате целевой ERP-системы;
• детали средств автоматизированной загрузки данных в ERP-систему. Преимущественно используются стандартные средства миграции информационной системы;
• описание механизма валидации данных, загруженных в новую информационную систему с использованием заполненного шаблона и средства миграции из текущего проектного решения.

3.4. Данные и способы их миграции

Говоря о процессе миграции, следует уточнить, что подразумевается под структурой данных в ERP-системе. Архитектура данных состоит из двух частей [6]:

• таблицы баз данных, с указанными атрибутами, ключевыми полями, размерностями и типами данных;
• взаимосвязи между таблицами, которые называют ER-диаграммами (диаграмма сущность-связь).
  

Данные, которые необходимо мигрировать из исторической системы в целевую могут относиться к одной из четырех категорий: 

• две наиболее важные категории:
  • основные данные;
  • переменные данные.
• прочие категории:
  • организационная структура;
  • справочники данных.

Основные данные задают ту информацию в ERP-системе, которая очень редко изменяется или не меняются вовсе после создания. Переменные данные в отличие от основных подлежат частой процедуре обновления. Основные и переменные данные, которые часто называют мастер и транзакционными данными, описывают бизнес-объекты системы путем заполнения атрибутов в таблицах баз данных. Число таких атрибутов исчисляется десятками, а то и сотнями для каждого объекта. Организационная структура определяет структуру предприятия в технических терминах ERP-системы (наименование заводов и складов, юридических лиц и МОЛ, и т.д.). Справочники задают перечисленный тип данных, сущности которых характеризуются 1-10 атрибутами. В качестве примеров основных и переменных видов данных в SAP ERP можно привести следующее:

• основная запись материала, основная запись партии, основная запись поставщика как пример основных данных;
• контракт на закупку, инфо-запись, заказ на закупку, складской запас как демонстрация переменных данных.

Достаточно часто примеры этих данных подлежат мигрированию в целевую SAP-систему в реальных проектах. К критичным объектам миграции основных данных в системе SAP ERP преимущественно относят:

• основную запись материала;
• основную запись кредитора;
• основную запись дебитора.

Эти объекты важны, так как все последующие переменные данные при миграции будут ссылаться на них. Критическими объектами переменных данных служат:

• складской запас;
• дебиторская задолженность;
• кредиторская задолженность.

Для переноса данных определяется список объектов миграции (материалы, партии, контрагенты и т.д.). Далее за каждым из объектов закрепляется единая точка контакта, называемая владельцем данных. Владельцем данных может служить сотрудник какого-либо отдела, наиболее погруженный в проблематику миграции со стороны заказчика. Тем самым все вопросы по ведению информации, ее проверке и мигрированию будут обсуждаться с одним человеком. Это значительно упрощает процесс коммуникации, так как, во-первых, число объектов достаточно велико, во-вторых, объектам миграции из разных областей назначаются отличные ответственные сотрудники со стороны заказчика. Перенос информации из исторической системы в целевую включает в себя четыре обязательных шага (рис. 3.4):

• очистка, т.е. удаление из исторической системы нерелевантной информации;
• выгрузка, когда из исторической системы осуществляется выгрузка необходимых данных;
• трансформация, когда информация, выгруженная из исторической системы, преобразуется в заданный формат, позволяющий загрузить информацию в целевую систему;
• загрузка, в рамках которой преобразованная информация из исторической системы переносится в целевую информационную систему.

Каждый шаг миграции данных завершается подзадачей валидации, т.е. очистку, выгрузку, трансформацию и загрузку данных завершают проверкой корректности  проведенной обработки, которую обычно осуществляют представители клиента. 

Рис. 3.4. Шаги переноса данных

Не все переменные данные подлежат переносу в продуктивную систему. Мигрируются только открытые позиции, т.е. документы, по которым ожидаются дальнейшие действия в целевой системе. Кроме того, переносу преимущественно подлежат  те объекты, которые были созданы за последние несколько лет. Это делается для того, чтобы исключить миграцию той информации, которая в будущем не будет использоваться в продуктивной среде. Исключенная из мигрирования информация будет храниться в исторической системе в течение установленного законодательством времени.

Для каждого выбранного объекта миграции, который релевантен переносу, определяется способ переноса. Миграция данных из исторической системы в целевую может быть выполнена следующими методами:

• вручную, когда ведется ручное заведение данных в целевую систему;
• автоматизированно, где используются цифровые программные решения;
• комбинировано, включающего одновременное применение ручного и автоматизированного способов  переноса данных.

Критериями включения объектов в автоматическую миграцию служат:

• объект должен входить в список миграции;
• необходимость объекта миграции к переносу подтверждена представителями бизнеса;
• предполагаемое число записей для указанного объекта превышает заданную величину, например, 100.

Обычно перенос информации из исторической в целевую информационную систему ведется многократно для того, чтобы проверить и улучшить средства миграции информации. Выделяют несколько этапов мигрирования данных (рис. 3.5):

• техническая миграция, предполагающая лишь проверку работоспособности автоматизированных программ для переноса информации;
• 1-3 тестовая миграция, состоящая в итеративной процедуре переноса данных в тестовую информационную систему. С увеличением номера итерации, которые проводят в разные интервалы времени, увеличивается процент переносимых тестовых данных;
• продуктивная миграция предполагает финальный перенос информации в целевую корпоративную информационную систему, которая в последующем будет работать в продуктивном режиме.

Рис. 3.5. Виды миграции данных

Тестовые волны миграции позволяют:

• отрепетировать коммуникацию в процессе миграции данных;
• оценить продолжительность мигрирования каждого объекта;
• выявить и устранить ошибки в данных.

Волны тестовых миграций связаны с этапами испытания разработанной информационной системы. В частности, при проведении модульного испытания выполняется техническая миграция данных. Для выполнения системного тестирования предварительно проводится 1-я тестовая миграция. Интеграционное тестирование ведется после 2-й тестовой миграции. Приемочное тестирование сопровождается 3-й тестовой миграцией, в рамках которой преимущественно переносится максимально правдоподобный объем основных и переменных данных из исторической в тестовую систему.

От вида мигрирования данных зависит процент объема данных, который подлежит переносу из исторической в тестовую или целевую систему. При технической миграции перенос данных вообще не выполняется, так как проверяется только возможность запуска программ. Продуктивная миграция подразумевает перенос 100% данных из исторической системы, подходящих под критерии миграции, обычно это открытые документы, созданные за последние 1-2 года. Тогда с учетом тестовых волн миграции, процент мигрируемых данных из исторической системы может принимать следующие значения:

• техническая миграция – 0 %;
• 1-я тестовая миграция – 40%;
• 2-я тестовая миграция – 60%;
• 3-я тестовая миграция – 80-100%;
• продуктивная миграция – 100%.

Основные сложности, которые сопровождают процесс миграции данных, сводятся к следующим:

• высокая степень вовлечения в процесс представителей заказчика;
• значительные суммарные трудозатраты потому, что данные необходимо очистить, выгрузить, преобразовать, загрузить в целевую систему, тем самым выполняется череда всевозможных задач;
• влияние на последующие операции, т.е. от качественного выполнения миграции данных зависят последующие проектные шаги. В частности, тестовые волны мигрирования предшествуют всевозможным видам испытаний системы: функционально-модульному, системному, интеграционному и приемочному тестированиям. Ссылка на 2-ю часть статьи. 

Литература

1. Еременко Я.O. Особенности миграции данных в SAP ERP // Корпоративные информационные системы. – 2019. – №3(7). – С. 22-28. – URL: https://corpinfosys.ru/archive/issue-7/67-2019-7-migration.
2. Kalwachwala H., Chahal S., Cheekoti S. SAP Master Data Governance.: SAP Press, 2019. – 772 p.
3. Densborn F., Finkbohner F., Gradhl J. Data migration with SAP.: SAP Press, 2016. – 550 p.
4. Степанов Д.Ю. Анализ, проектирование и разработка корпоративных информационных систем: уровень данных / МГТУ МИРЭА. - М., 2017.
5. Степанов Д.Ю. Проблемы внедрения корпоративных информационных систем: уровень приложений // Менеджмент сегодня. – 2015. – т.87, №3. – c.180-191.
6. Гвоздева Т.В., Баллод Б.А. Проектирование информационных систем: учебное пособие. – Ростов н/Д.: Феникс, 2009. – 508 с.

Выходные данные статьи

Степанов Д.Ю. Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1) // Корпоративные информационные системы. – 2020. – №1(9). – С. 49-61. – URL: https://corpinfosys.ru/archive/issue-9/89-2020-9-datamigration.

Об авторе

Степанов Дмитрий Юрьевич – кандидат технических наук, доцент МИРЭА, принимал участие более чем в 10 проектах внедрения корпоративных информационных систем на базе SAP, Microsoft и Sage. Специализируется на управлении материальными потоками, сбытом и системой документов. Автор более 25 статей, в том числе публикации в журналах «Логистика сегодня», «Вопросы экономических наук», «САПер» и др. Электронный адрес автора: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Статьи выпуска №9

1. Учетная политика организации при применении автоматизированного учета;
2. Удаленное ведение бухгалтерского и налогового учетов компании;
3. Интернет вещей;
4. Автоматизация электронного документооборота с помощью EFSOL;
5. Концепции, методы и способы миграции данных (часть 1).