Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1)

Подробности: Опубликовано: 02.04.2020 10:28; Автор: Степанов Дмитрий Юрьевич; Просмотров: 11977

Аннотация: в статье рассматриваются отличия основных и переменных данных, способы их миграции, продемонстрирована взаимосвязь плана миграции и перехода, определены параметры, задающие стратегию переноса данных на примере системы SAP ERP.
Скачать: PDF (статья), PDF (выпуск №9).
Ключевые слова: миграция исторических данных, миграция данных ERP, миграция SAP систем, SAP миграция системы, концепция миграции данных системы, правила преобразования в LSMW, миграция SAP-систем, миграция систем SAP, SAP migration cockpit, SAP LSMW.

Введение

Цифровизация предприятия ведется за счет внедрения интегрированных программных систем для управления бизнес-процессами и базами данных. Комплексное программное обеспечение задает класс систем вида ERP, который часто в русскоязычной литературе называют корпоративными информационными системами. Сложность имплементации ERP-систем состоит в том, что одновременно должны решаться задачи по оптимизации бизнес-процессов, разработке программ, переносу данных, управлению изменениями, настройке технической инфраструктуры и «дирижированию» проектом. Миграция информации из исторической системы в целевую систему является одной из важнейших проектных задач, так как низкое качество начальных данных может заблокировать выполнение бизнес операций и их отражение в программной системе. Качественный процесс переноса данных обеспечивается правильно подобранной и реализованной стратегией миграции. Какие стратегии существуют, каковы их особенности и способы выполнения? Мы постараемся найти ответы на эти вопросы в данной статье.

1. Обзор литературных источников

Несмотря на важность вопроса мигрирования данных корпоративных информационных систем, литературных источников, дающих исчерпывающее представление о переносе информации не так много. Но даже в них есть изъяны: или слишком поверхностное описание, или излишняя детализация, исключающая стратегию как таковую. Примером первой категории работ служит статья [1], повествующая о миграции данных в SAP ERP, однако тонкости и детали переноса основных и переменных данных в ней не раскрыты. Прочие работы [2-3] дают максимум информации по автоматизированным средствам переноса данных в той же системе SAP, хотя взаимосвязь между техническими средствами и концепцией, стратегией, видением не прослеживается. Все это подчеркивает необходимость детального анализа миграции данных ERP-систем, что особенно актуально для транзакционных информационных систем.

2. Цель и задачи

Целью данной работы является анализ концепций, способов и методов миграции данных корпоративных информационных систем на примере программного решения SAP для обеспечения качественного и эффективного процесса имплементации ERP-систем. Решение озвученной цели потребует выполнения следующих задач:

обзор проекта внедрения SAP ERP с точки зрения миграции данных;
рассмотрение разновидностей данных и способов их миграции;
анализ плана миграции как составной части плана перехода;
организация процесса миграции данных;
формирование концепции миграции.

3. Обзор процесса миграции

3.1. Основные термины и определения

Начнем рассмотрение тематики миграции данных в ERP-системах с введения основных терминов и определений, которыми мы будем пользоваться на протяжении всей работы:

данные;
миграция данных;
план перехода;
тестовая миграция;
историческая система.

Данные есть представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе. Тогда миграция данных представляет собой процесс селекции, подготовки, извлечения, преобразования данных и переноса из одной компьютерной системы хранения в другую. Миграции подлежат данные из исторической системы (Legacy), представляющей собой информационную систему, используемую на предприятии до внедрения целевой ERP-системы (в общем случае историческая система может отсутствовать, например, если в компании все операции выполняются вручную).

Процесс переноса данных ведется путем выполнения тестовых циклов миграции, где под тестовой миграцией подразумевается перенос данных ERP-системы, выполняемый многократно для выявления ошибок (начинается с технической проверки средств загрузки, завершается испытанием 100% данных, подлежащих продуктивной миграции). Продуктивная миграция данных является составной частью плана перехода, который определяется как план подготовки к продуктивному старту и содержит описание технических задач в ERP-системе, бизнес-операций для обеспечения работы компании, а также миграции данных для запуска программного решения [4].

3.2. Проект внедрения системы SAP ERP

Миграция данные играет одну из ключевых ролей в успешном запуске ERP-решения. Если данные не будут перенесены в срок в целевую систему или будут мигрированы с большим числом ошибок, продуктивная эксплуатация системы будет невозможна. Согласно каскадной модели внедрения программного обеспечения проект имплементации ERP-системы разбивают на ряд этапов (рис. 3.1):

подготовка проекта;
проектирование;
реализация;
подготовка к опытно-промышленной (или опытной эксплуатации);
опытно-промышленная (или опытная эксплуатация);
переход к промышленной эксплуатации;
промышленная эксплуатация.

Каждый шаг указанных этапов внедрения проекта предполагает выполнение череды операций. Так на этапе подготовки проекта формируется концепция реализации содержания проекта и готовятся шаблоны документов. Анализ требований, подготовка проектных решений и функциональных спецификаций на разработку ведутся на фазе проектирования. Этап реализации требует выполнения настройки и доработки ERP-системы, а также проведения функционально-модульного, системного и интеграционного видов испытаний.

Рис. 3.1. Типовые этапы внедрения ERP-систем

На этапе подготовки к опытно-промышленной эксплуатации готовятся сценарии тестирования, проводится обучение ключевых пользователей и заводятся тестовые данные для проведения испытаний. Приемочное тестирование и устранение дефектов осуществляется на фазе опытно-промышленной эксплуатации. Этап перехода к промышленной эксплуатации предполагает решение задач по технической подготовке системы и миграции данных. Запуск системы и ее работа в режиме реального времени, передача системы на поддержку заказчику ведутся на завершающем этапе промышленной эксплуатации.

Внедрение корпоративных информационных систем ведется по уровням, представляющим группировку задач. Так выделяют уровни (рис. 3.2):

проекта;
процессов;
приложений;
данных;
технической инфраструктуры;
изменений.

Как видно из списка выше, один из уровней касается данных. Задачи этого уровня решаются отдельной командой (команда по миграции), ключевая цель этой команды – выполнить качественную миграцию основных и переменных данных в продуктивную ERP-систему [5].

Рис. 3.2. Уровни имплементации ERP-систем

Уровень данных содержит огромное число проектных документов, которые описывают все необходимые шаги для выполнения миграции информации из исторической системы в целевую. В частности, требования к миграции фиксируются в матрице отслеживания требований. Кроме того, для описания данных готовится стандартный пакет документов: проектные решения и функциональные спецификации на разработку. С точки зрения реализации системы ведутся конфигурирование и доработка средств загрузки и валидации данных.

К доступным средствам анализ требований к данным и процессу их миграции можно отнести следующие опции:

использование знаний, накопленных в процессе внедрения информационных систем на аналогичных предприятиях;
проведение опроса;
анализ управленческой документации;
рассмотрение документооборота на предприятии;
наблюдение за выполнением наиболее критичных операций.

Наиболее эффективными методами выявления требований являются:

демонстрация системы (Workshop), т.е. показ работающей ERP-системы в режиме онлайн, либо демонстрация презентационных слайдов, которые показывают интерфейс и логику работы информационной системы;
прототипирование, где создается демонстрационный образец работы определенной функции ERP-системы.

Идентифицированные требования к данным приоритизируются и участвуют в процедуре Fit/Gap-анализа (рис. 3.3). Цель анализа состоит в определении областей покрытий и дефицитов предъявляемых требований и стандартного функционала ERP-решения. Если представить функционал системы и требования в виде овала, то пересечение этих двух областей есть часть Fit покрытия, т.е. это те требования, которые уже реализованы в ERP-системе. Неокрашенная часть овала, которая относится к требованиям, будет соответствовать Gap части, т.е. области функционального дефицита, которую необходимо покрыть дополнительной программной разработкой или доконфигурированием системы. Конфигурирование и разработка системы ведется на основе двух видов документов: проектные решения для конфигурации и функциональные спецификации для доработки.

Проектные решения готовятся для всевозможных потребностей проекта. В частности, для описания бизнес-процессов, организационной структуры и данных предприятия, а также проведения миграции данных и настройки ролей и полномочий. Указанные виды проектных решений относятся к категории системных. Кроме того, существуют проектные решения, относящиеся к нормативным и кадровым составляющим организации, например: должностная инструкция, структура и штатная численность предприятия. С точки зрения миграции данных, мы будем работать с проектными решения по:

организационной структуре предприятия и объектам данных;
миграции данных.

Рис. 3.3. Области покрытий и дефицитов по результатам Fit/Gap-анализа

В документе проектного решения по организационной структуре предприятия и объектам данных приводится описание технической организационной структуры компании в системе ERP для различных функциональных модулей, а также атрибуты объектов данных. Решение включает следующее:

оргструктуру предприятия по всем функциональным областям системы ERP: закупки, управление запасами, сбыт, производство, ремонт оборудования, финансовый и налоговый учеты, кадры;
перечень основных и транзакционных данных системы для всех функциональных областей, наименование таблиц баз данных, описание их полей, типов данных и размерности;
список доработок и настроек, необходимых для покрытия требований к оргструктуре и данным в ERP-системе. Документ подтверждается бизнес представителями.

Проектное решение по миграции данных содержит описание порядка обработки данных, находящихся в исторической системе, для их преобразования и загрузки в новую ERP. Документ включает:

шаблон загрузки данных с описанием полей, размерности и обязательности их заполнения, который в последующем будет содержать информацию к загрузке в формате целевой ERP-системы;
детали средств автоматизированной загрузки данных в ERP-систему. Преимущественно используются стандартные средства миграции информационной системы;
описание механизма валидации данных, загруженных в новую информационную систему с использованием заполненного шаблона и средства миграции из текущего проектного решения.

3.4. Данные и способы их миграции

Говоря о процессе миграции, следует уточнить, что подразумевается под структурой данных в ERP-системе. Архитектура данных состоит из двух частей [6]:

таблицы баз данных, с указанными атрибутами, ключевыми полями, размерностями и типами данных;
взаимосвязи между таблицами, которые называют ER-диаграммами (диаграмма сущность-связь).

Данные, которые необходимо мигрировать из исторической системы в целевую могут относиться к одной из четырех категорий:

две наиболее важные категории:
- основные данные;
- переменные данные.
прочие категории:
- организационная структура;
- справочники данных.

Основные данные задают ту информацию в ERP-системе, которая очень редко изменяется или не меняются вовсе после создания. Переменные данные в отличие от основных подлежат частой процедуре обновления. Основные и переменные данные, которые часто называют мастер и транзакционными данными, описывают бизнес-объекты системы путем заполнения атрибутов в таблицах баз данных. Число таких атрибутов исчисляется десятками, а то и сотнями для каждого объекта. Организационная структура определяет структуру предприятия в технических терминах ERP-системы (наименование заводов и складов, юридических лиц и МОЛ, и т.д.). Справочники задают перечисленный тип данных, сущности которых характеризуются 1-10 атрибутами. В качестве примеров основных и переменных видов данных в SAP ERP можно привести следующее:

основная запись материала, основная запись партии, основная запись поставщика как пример основных данных;
контракт на закупку, инфо-запись, заказ на закупку, складской запас как демонстрация переменных данных.

Достаточно часто примеры этих данных подлежат мигрированию в целевую SAP-систему в реальных проектах. К критичным объектам миграции основных данных в системе SAP ERP преимущественно относят:

основную запись материала;
основную запись кредитора;
основную запись дебитора.

Эти объекты важны, так как все последующие переменные данные при миграции будут ссылаться на них. Критическими объектами переменных данных служат:

складской запас;
дебиторская задолженность;
кредиторская задолженность.

Для переноса данных определяется список объектов миграции (материалы, партии, контрагенты и т.д.). Далее за каждым из объектов закрепляется единая точка контакта, называемая владельцем данных. Владельцем данных может служить сотрудник какого-либо отдела, наиболее погруженный в проблематику миграции со стороны заказчика. Тем самым все вопросы по ведению информации, ее проверке и мигрированию будут обсуждаться с одним человеком. Это значительно упрощает процесс коммуникации, так как, во-первых, число объектов достаточно велико, во-вторых, объектам миграции из разных областей назначаются отличные ответственные сотрудники со стороны заказчика. Перенос информации из исторической системы в целевую включает в себя четыре обязательных шага (рис. 3.4):

очистка, т.е. удаление из исторической системы нерелевантной информации;
выгрузка, когда из исторической системы осуществляется выгрузка необходимых данных;
трансформация, когда информация, выгруженная из исторической системы, преобразуется в заданный формат, позволяющий загрузить информацию в целевую систему;
загрузка, в рамках которой преобразованная информация из исторической системы переносится в целевую информационную систему.

Каждый шаг миграции данных завершается подзадачей валидации, т.е. очистку, выгрузку, трансформацию и загрузку данных завершают проверкой корректности проведенной обработки, которую обычно осуществляют представители клиента.

Рис. 3.4. Шаги переноса данных

Не все переменные данные подлежат переносу в продуктивную систему. Мигрируются только открытые позиции, т.е. документы, по которым ожидаются дальнейшие действия в целевой системе. Кроме того, переносу преимущественно подлежат те объекты, которые были созданы за последние несколько лет. Это делается для того, чтобы исключить миграцию той информации, которая в будущем не будет использоваться в продуктивной среде. Исключенная из мигрирования информация будет храниться в исторической системе в течение установленного законодательством времени.

Для каждого выбранного объекта миграции, который релевантен переносу, определяется способ переноса. Миграция данных из исторической системы в целевую может быть выполнена следующими методами:

вручную, когда ведется ручное заведение данных в целевую систему;
автоматизированно, где используются цифровые программные решения;
комбинировано, включающего одновременное применение ручного и автоматизированного способов переноса данных.

Критериями включения объектов в автоматическую миграцию служат:

объект должен входить в список миграции;
необходимость объекта миграции к переносу подтверждена представителями бизнеса;
предполагаемое число записей для указанного объекта превышает заданную величину, например, 100.

Обычно перенос информации из исторической в целевую информационную систему ведется многократно для того, чтобы проверить и улучшить средства миграции информации. Выделяют несколько этапов мигрирования данных (рис. 3.5):

техническая миграция, предполагающая лишь проверку работоспособности автоматизированных программ для переноса информации;
1-3 тестовая миграция, состоящая в итеративной процедуре переноса данных в тестовую информационную систему. С увеличением номера итерации, которые проводят в разные интервалы времени, увеличивается процент переносимых тестовых данных;
продуктивная миграция предполагает финальный перенос информации в целевую корпоративную информационную систему, которая в последующем будет работать в продуктивном режиме.

Рис. 3.5. Виды миграции данных

Тестовые волны миграции позволяют:

отрепетировать коммуникацию в процессе миграции данных;
оценить продолжительность мигрирования каждого объекта;
выявить и устранить ошибки в данных.

Волны тестовых миграций связаны с этапами испытания разработанной информационной системы. В частности, при проведении модульного испытания выполняется техническая миграция данных. Для выполнения системного тестирования предварительно проводится 1-я тестовая миграция. Интеграционное тестирование ведется после 2-й тестовой миграции. Приемочное тестирование сопровождается 3-й тестовой миграцией, в рамках которой преимущественно переносится максимально правдоподобный объем основных и переменных данных из исторической в тестовую систему.

От вида мигрирования данных зависит процент объема данных, который подлежит переносу из исторической в тестовую или целевую систему. При технической миграции перенос данных вообще не выполняется, так как проверяется только возможность запуска программ. Продуктивная миграция подразумевает перенос 100% данных из исторической системы, подходящих под критерии миграции, обычно это открытые документы, созданные за последние 1-2 года. Тогда с учетом тестовых волн миграции, процент мигрируемых данных из исторической системы может принимать следующие значения:

техническая миграция – 0 %;
1-я тестовая миграция – 40%;
2-я тестовая миграция – 60%;
3-я тестовая миграция – 80-100%;
продуктивная миграция – 100%.

Основные сложности, которые сопровождают процесс миграции данных, сводятся к следующим:

высокая степень вовлечения в процесс представителей заказчика;
значительные суммарные трудозатраты потому, что данные необходимо очистить, выгрузить, преобразовать, загрузить в целевую систему, тем самым выполняется череда всевозможных задач;
влияние на последующие операции, т.е. от качественного выполнения миграции данных зависят последующие проектные шаги. В частности, тестовые волны мигрирования предшествуют всевозможным видам испытаний системы: функционально-модульному, системному, интеграционному и приемочному тестированиям. Ссылка на 2-ю часть статьи.

Литература

Еременко Я.O. Особенности миграции данных в SAP ERP // Корпоративные информационные системы. – 2019. – №3(7). – С. 22-28. – URL: https://corpinfosys.ru/archive/issue-7/67-2019-7-migration.
Kalwachwala H., Chahal S., Cheekoti S. SAP Master Data Governance.: SAP Press, 2019. – 772 p.
Densborn F., Finkbohner F., Gradhl J. Data migration with SAP.: SAP Press, 2016. – 550 p.
Степанов Д.Ю. Анализ, проектирование и разработка корпоративных информационных систем: уровень данных / МГТУ МИРЭА. - М., 2017.
Степанов Д.Ю. Проблемы внедрения корпоративных информационных систем: уровень приложений // Менеджмент сегодня. – 2015. – т.87, №3. – c.180-191.
Гвоздева Т.В., Баллод Б.А. Проектирование информационных систем: учебное пособие. – Ростов н/Д.: Феникс, 2009. – 508 с.

Выходные данные статьи

Степанов Д.Ю. Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1) // Корпоративные информационные системы. – 2020. – №1(9). – С. 49-61. – URL: https://corpinfosys.ru/archive/issue-9/89-2020-9-datamigration.

Об авторе

Степанов Дмитрий Юрьевич – кандидат технических наук, доцент МИРЭА, принимал участие более чем в 10 проектах внедрения корпоративных информационных систем на базе SAP, Microsoft и Sage. Специализируется на управлении материальными потоками, сбытом и системой документов. Автор более 25 статей, в том числе публикации в журналах «Логистика сегодня», «Вопросы экономических наук», «САПер» и др. Электронный адрес автора: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Статьи выпуска №9

Учетная политика организации при применении автоматизированного учета;
Удаленное ведение бухгалтерского и налогового учетов компании;
Интернет вещей;
Автоматизация электронного документооборота с помощью EFSOL;
Концепции, методы и способы миграции данных (часть 1).