Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1)
- Подробности
- Опубликовано: 02.04.2020 10:28
- Автор: Степанов Дмитрий Юрьевич
- Просмотров: 11778
Аннотация: в статье рассматриваются отличия основных и переменных данных, способы их миграции, продемонстрирована взаимосвязь плана миграции и перехода, определены параметры, задающие стратегию переноса данных на примере системы SAP ERP.
Скачать: PDF (статья), PDF (выпуск №9).
Ключевые слова: миграция исторических данных, миграция данных ERP, миграция SAP систем, SAP миграция системы, концепция миграции данных системы, правила преобразования в LSMW, миграция SAP-систем, миграция систем SAP, SAP migration cockpit, SAP LSMW.
Введение
Цифровизация предприятия ведется за счет внедрения интегрированных программных систем для управления бизнес-процессами и базами данных. Комплексное программное обеспечение задает класс систем вида ERP, который часто в русскоязычной литературе называют корпоративными информационными системами. Сложность имплементации ERP-систем состоит в том, что одновременно должны решаться задачи по оптимизации бизнес-процессов, разработке программ, переносу данных, управлению изменениями, настройке технической инфраструктуры и «дирижированию» проектом. Миграция информации из исторической системы в целевую систему является одной из важнейших проектных задач, так как низкое качество начальных данных может заблокировать выполнение бизнес операций и их отражение в программной системе. Качественный процесс переноса данных обеспечивается правильно подобранной и реализованной стратегией миграции. Какие стратегии существуют, каковы их особенности и способы выполнения? Мы постараемся найти ответы на эти вопросы в данной статье.
1. Обзор литературных источников
Несмотря на важность вопроса мигрирования данных корпоративных информационных систем, литературных источников, дающих исчерпывающее представление о переносе информации не так много. Но даже в них есть изъяны: или слишком поверхностное описание, или излишняя детализация, исключающая стратегию как таковую. Примером первой категории работ служит статья [1], повествующая о миграции данных в SAP ERP, однако тонкости и детали переноса основных и переменных данных в ней не раскрыты. Прочие работы [2-3] дают максимум информации по автоматизированным средствам переноса данных в той же системе SAP, хотя взаимосвязь между техническими средствами и концепцией, стратегией, видением не прослеживается. Все это подчеркивает необходимость детального анализа миграции данных ERP-систем, что особенно актуально для транзакционных информационных систем.
2. Цель и задачи
Целью данной работы является анализ концепций, способов и методов миграции данных корпоративных информационных систем на примере программного решения SAP для обеспечения качественного и эффективного процесса имплементации ERP-систем. Решение озвученной цели потребует выполнения следующих задач:
- обзор проекта внедрения SAP ERP с точки зрения миграции данных;
- рассмотрение разновидностей данных и способов их миграции;
- анализ плана миграции как составной части плана перехода;
- организация процесса миграции данных;
- формирование концепции миграции.
3. Обзор процесса миграции
3.1. Основные термины и определения
Начнем рассмотрение тематики миграции данных в ERP-системах с введения основных терминов и определений, которыми мы будем пользоваться на протяжении всей работы:
- данные;
- миграция данных;
- план перехода;
- тестовая миграция;
- историческая система.
Данные есть представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе. Тогда миграция данных представляет собой процесс селекции, подготовки, извлечения, преобразования данных и переноса из одной компьютерной системы хранения в другую. Миграции подлежат данные из исторической системы (Legacy), представляющей собой информационную систему, используемую на предприятии до внедрения целевой ERP-системы (в общем случае историческая система может отсутствовать, например, если в компании все операции выполняются вручную).
Процесс переноса данных ведется путем выполнения тестовых циклов миграции, где под тестовой миграцией подразумевается перенос данных ERP-системы, выполняемый многократно для выявления ошибок (начинается с технической проверки средств загрузки, завершается испытанием 100% данных, подлежащих продуктивной миграции). Продуктивная миграция данных является составной частью плана перехода, который определяется как план подготовки к продуктивному старту и содержит описание технических задач в ERP-системе, бизнес-операций для обеспечения работы компании, а также миграции данных для запуска программного решения [4].
3.2. Проект внедрения системы SAP ERP
Миграция данные играет одну из ключевых ролей в успешном запуске ERP-решения. Если данные не будут перенесены в срок в целевую систему или будут мигрированы с большим числом ошибок, продуктивная эксплуатация системы будет невозможна. Согласно каскадной модели внедрения программного обеспечения проект имплементации ERP-системы разбивают на ряд этапов (рис. 3.1):
- подготовка проекта;
- проектирование;
- реализация;
- подготовка к опытно-промышленной (или опытной эксплуатации);
- опытно-промышленная (или опытная эксплуатация);
- переход к промышленной эксплуатации;
- промышленная эксплуатация.
Каждый шаг указанных этапов внедрения проекта предполагает выполнение череды операций. Так на этапе подготовки проекта формируется концепция реализации содержания проекта и готовятся шаблоны документов. Анализ требований, подготовка проектных решений и функциональных спецификаций на разработку ведутся на фазе проектирования. Этап реализации требует выполнения настройки и доработки ERP-системы, а также проведения функционально-модульного, системного и интеграционного видов испытаний.
Рис. 3.1. Типовые этапы внедрения ERP-систем
На этапе подготовки к опытно-промышленной эксплуатации готовятся сценарии тестирования, проводится обучение ключевых пользователей и заводятся тестовые данные для проведения испытаний. Приемочное тестирование и устранение дефектов осуществляется на фазе опытно-промышленной эксплуатации. Этап перехода к промышленной эксплуатации предполагает решение задач по технической подготовке системы и миграции данных. Запуск системы и ее работа в режиме реального времени, передача системы на поддержку заказчику ведутся на завершающем этапе промышленной эксплуатации.
Внедрение корпоративных информационных систем ведется по уровням, представляющим группировку задач. Так выделяют уровни (рис. 3.2):
- проекта;
- процессов;
- приложений;
- данных;
- технической инфраструктуры;
- изменений.
Как видно из списка выше, один из уровней касается данных. Задачи этого уровня решаются отдельной командой (команда по миграции), ключевая цель этой команды – выполнить качественную миграцию основных и переменных данных в продуктивную ERP-систему [5].
Рис. 3.2. Уровни имплементации ERP-систем
Уровень данных содержит огромное число проектных документов, которые описывают все необходимые шаги для выполнения миграции информации из исторической системы в целевую. В частности, требования к миграции фиксируются в матрице отслеживания требований. Кроме того, для описания данных готовится стандартный пакет документов: проектные решения и функциональные спецификации на разработку. С точки зрения реализации системы ведутся конфигурирование и доработка средств загрузки и валидации данных.
К доступным средствам анализ требований к данным и процессу их миграции можно отнести следующие опции:
- использование знаний, накопленных в процессе внедрения информационных систем на аналогичных предприятиях;
- проведение опроса;
- анализ управленческой документации;
- рассмотрение документооборота на предприятии;
- наблюдение за выполнением наиболее критичных операций.
Наиболее эффективными методами выявления требований являются:
- демонстрация системы (Workshop), т.е. показ работающей ERP-системы в режиме онлайн, либо демонстрация презентационных слайдов, которые показывают интерфейс и логику работы информационной системы;
- прототипирование, где создается демонстрационный образец работы определенной функции ERP-системы.
Идентифицированные требования к данным приоритизируются и участвуют в процедуре Fit/Gap-анализа (рис. 3.3). Цель анализа состоит в определении областей покрытий и дефицитов предъявляемых требований и стандартного функционала ERP-решения. Если представить функционал системы и требования в виде овала, то пересечение этих двух областей есть часть Fit покрытия, т.е. это те требования, которые уже реализованы в ERP-системе. Неокрашенная часть овала, которая относится к требованиям, будет соответствовать Gap части, т.е. области функционального дефицита, которую необходимо покрыть дополнительной программной разработкой или доконфигурированием системы. Конфигурирование и разработка системы ведется на основе двух видов документов: проектные решения для конфигурации и функциональные спецификации для доработки.
Проектные решения готовятся для всевозможных потребностей проекта. В частности, для описания бизнес-процессов, организационной структуры и данных предприятия, а также проведения миграции данных и настройки ролей и полномочий. Указанные виды проектных решений относятся к категории системных. Кроме того, существуют проектные решения, относящиеся к нормативным и кадровым составляющим организации, например: должностная инструкция, структура и штатная численность предприятия. С точки зрения миграции данных, мы будем работать с проектными решения по:
- организационной структуре предприятия и объектам данных;
- миграции данных.
Рис. 3.3. Области покрытий и дефицитов по результатам Fit/Gap-анализа
В документе проектного решения по организационной структуре предприятия и объектам данных приводится описание технической организационной структуры компании в системе ERP для различных функциональных модулей, а также атрибуты объектов данных. Решение включает следующее:
- оргструктуру предприятия по всем функциональным областям системы ERP: закупки, управление запасами, сбыт, производство, ремонт оборудования, финансовый и налоговый учеты, кадры;
- перечень основных и транзакционных данных системы для всех функциональных областей, наименование таблиц баз данных, описание их полей, типов данных и размерности;
- список доработок и настроек, необходимых для покрытия требований к оргструктуре и данным в ERP-системе. Документ подтверждается бизнес представителями.
Проектное решение по миграции данных содержит описание порядка обработки данных, находящихся в исторической системе, для их преобразования и загрузки в новую ERP. Документ включает:
- шаблон загрузки данных с описанием полей, размерности и обязательности их заполнения, который в последующем будет содержать информацию к загрузке в формате целевой ERP-системы;
- детали средств автоматизированной загрузки данных в ERP-систему. Преимущественно используются стандартные средства миграции информационной системы;
- описание механизма валидации данных, загруженных в новую информационную систему с использованием заполненного шаблона и средства миграции из текущего проектного решения.
3.4. Данные и способы их миграции
Говоря о процессе миграции, следует уточнить, что подразумевается под структурой данных в ERP-системе. Архитектура данных состоит из двух частей [6]:
- таблицы баз данных, с указанными атрибутами, ключевыми полями, размерностями и типами данных;
- взаимосвязи между таблицами, которые называют ER-диаграммами (диаграмма сущность-связь).
Данные, которые необходимо мигрировать из исторической системы в целевую могут относиться к одной из четырех категорий:
- две наиболее важные категории:
- основные данные;
- переменные данные.
- прочие категории:
- организационная структура;
- справочники данных.
Основные данные задают ту информацию в ERP-системе, которая очень редко изменяется или не меняются вовсе после создания. Переменные данные в отличие от основных подлежат частой процедуре обновления. Основные и переменные данные, которые часто называют мастер и транзакционными данными, описывают бизнес-объекты системы путем заполнения атрибутов в таблицах баз данных. Число таких атрибутов исчисляется десятками, а то и сотнями для каждого объекта. Организационная структура определяет структуру предприятия в технических терминах ERP-системы (наименование заводов и складов, юридических лиц и МОЛ, и т.д.). Справочники задают перечисленный тип данных, сущности которых характеризуются 1-10 атрибутами. В качестве примеров основных и переменных видов данных в SAP ERP можно привести следующее:
- основная запись материала, основная запись партии, основная запись поставщика как пример основных данных;
- контракт на закупку, инфо-запись, заказ на закупку, складской запас как демонстрация переменных данных.
Достаточно часто примеры этих данных подлежат мигрированию в целевую SAP-систему в реальных проектах. К критичным объектам миграции основных данных в системе SAP ERP преимущественно относят:
- основную запись материала;
- основную запись кредитора;
- основную запись дебитора.
Эти объекты важны, так как все последующие переменные данные при миграции будут ссылаться на них. Критическими объектами переменных данных служат:
- складской запас;
- дебиторская задолженность;
- кредиторская задолженность.
Для переноса данных определяется список объектов миграции (материалы, партии, контрагенты и т.д.). Далее за каждым из объектов закрепляется единая точка контакта, называемая владельцем данных. Владельцем данных может служить сотрудник какого-либо отдела, наиболее погруженный в проблематику миграции со стороны заказчика. Тем самым все вопросы по ведению информации, ее проверке и мигрированию будут обсуждаться с одним человеком. Это значительно упрощает процесс коммуникации, так как, во-первых, число объектов достаточно велико, во-вторых, объектам миграции из разных областей назначаются отличные ответственные сотрудники со стороны заказчика. Перенос информации из исторической системы в целевую включает в себя четыре обязательных шага (рис. 3.4):
- очистка, т.е. удаление из исторической системы нерелевантной информации;
- выгрузка, когда из исторической системы осуществляется выгрузка необходимых данных;
- трансформация, когда информация, выгруженная из исторической системы, преобразуется в заданный формат, позволяющий загрузить информацию в целевую систему;
- загрузка, в рамках которой преобразованная информация из исторической системы переносится в целевую информационную систему.
Каждый шаг миграции данных завершается подзадачей валидации, т.е. очистку, выгрузку, трансформацию и загрузку данных завершают проверкой корректности проведенной обработки, которую обычно осуществляют представители клиента.
Рис. 3.4. Шаги переноса данных
Не все переменные данные подлежат переносу в продуктивную систему. Мигрируются только открытые позиции, т.е. документы, по которым ожидаются дальнейшие действия в целевой системе. Кроме того, переносу преимущественно подлежат те объекты, которые были созданы за последние несколько лет. Это делается для того, чтобы исключить миграцию той информации, которая в будущем не будет использоваться в продуктивной среде. Исключенная из мигрирования информация будет храниться в исторической системе в течение установленного законодательством времени.
Для каждого выбранного объекта миграции, который релевантен переносу, определяется способ переноса. Миграция данных из исторической системы в целевую может быть выполнена следующими методами:
- вручную, когда ведется ручное заведение данных в целевую систему;
- автоматизированно, где используются цифровые программные решения;
- комбинировано, включающего одновременное применение ручного и автоматизированного способов переноса данных.
Критериями включения объектов в автоматическую миграцию служат:
- объект должен входить в список миграции;
- необходимость объекта миграции к переносу подтверждена представителями бизнеса;
- предполагаемое число записей для указанного объекта превышает заданную величину, например, 100.
Обычно перенос информации из исторической в целевую информационную систему ведется многократно для того, чтобы проверить и улучшить средства миграции информации. Выделяют несколько этапов мигрирования данных (рис. 3.5):
- техническая миграция, предполагающая лишь проверку работоспособности автоматизированных программ для переноса информации;
- 1-3 тестовая миграция, состоящая в итеративной процедуре переноса данных в тестовую информационную систему. С увеличением номера итерации, которые проводят в разные интервалы времени, увеличивается процент переносимых тестовых данных;
- продуктивная миграция предполагает финальный перенос информации в целевую корпоративную информационную систему, которая в последующем будет работать в продуктивном режиме.
Рис. 3.5. Виды миграции данных
Тестовые волны миграции позволяют:
- отрепетировать коммуникацию в процессе миграции данных;
- оценить продолжительность мигрирования каждого объекта;
- выявить и устранить ошибки в данных.
Волны тестовых миграций связаны с этапами испытания разработанной информационной системы. В частности, при проведении модульного испытания выполняется техническая миграция данных. Для выполнения системного тестирования предварительно проводится 1-я тестовая миграция. Интеграционное тестирование ведется после 2-й тестовой миграции. Приемочное тестирование сопровождается 3-й тестовой миграцией, в рамках которой преимущественно переносится максимально правдоподобный объем основных и переменных данных из исторической в тестовую систему.
От вида мигрирования данных зависит процент объема данных, который подлежит переносу из исторической в тестовую или целевую систему. При технической миграции перенос данных вообще не выполняется, так как проверяется только возможность запуска программ. Продуктивная миграция подразумевает перенос 100% данных из исторической системы, подходящих под критерии миграции, обычно это открытые документы, созданные за последние 1-2 года. Тогда с учетом тестовых волн миграции, процент мигрируемых данных из исторической системы может принимать следующие значения:
- техническая миграция – 0 %;
- 1-я тестовая миграция – 40%;
- 2-я тестовая миграция – 60%;
- 3-я тестовая миграция – 80-100%;
- продуктивная миграция – 100%.
Основные сложности, которые сопровождают процесс миграции данных, сводятся к следующим:
- высокая степень вовлечения в процесс представителей заказчика;
- значительные суммарные трудозатраты потому, что данные необходимо очистить, выгрузить, преобразовать, загрузить в целевую систему, тем самым выполняется череда всевозможных задач;
- влияние на последующие операции, т.е. от качественного выполнения миграции данных зависят последующие проектные шаги. В частности, тестовые волны мигрирования предшествуют всевозможным видам испытаний системы: функционально-модульному, системному, интеграционному и приемочному тестированиям. Ссылка на 2-ю часть статьи.
Литература
- Еременко Я.O. Особенности миграции данных в SAP ERP // Корпоративные информационные системы. – 2019. – №3(7). – С. 22-28. – URL: https://corpinfosys.ru/archive/issue-7/67-2019-7-migration.
- Kalwachwala H., Chahal S., Cheekoti S. SAP Master Data Governance.: SAP Press, 2019. – 772 p.
- Densborn F., Finkbohner F., Gradhl J. Data migration with SAP.: SAP Press, 2016. – 550 p.
- Степанов Д.Ю. Анализ, проектирование и разработка корпоративных информационных систем: уровень данных / МГТУ МИРЭА. - М., 2017.
- Степанов Д.Ю. Проблемы внедрения корпоративных информационных систем: уровень приложений // Менеджмент сегодня. – 2015. – т.87, №3. – c.180-191.
- Гвоздева Т.В., Баллод Б.А. Проектирование информационных систем: учебное пособие. – Ростов н/Д.: Феникс, 2009. – 508 с.
Выходные данные статьи
Степанов Д.Ю. Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1) // Корпоративные информационные системы. – 2020. – №1(9). – С. 49-61. – URL: https://corpinfosys.ru/archive/issue-9/89-2020-9-datamigration.
Об авторе
Степанов Дмитрий Юрьевич – кандидат технических наук, доцент МИРЭА, принимал участие более чем в 10 проектах внедрения корпоративных информационных систем на базе SAP, Microsoft и Sage. Специализируется на управлении материальными потоками, сбытом и системой документов. Автор более 25 статей, в том числе публикации в журналах «Логистика сегодня», «Вопросы экономических наук», «САПер» и др. Электронный адрес автора: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра. |
Статьи выпуска №9
- Учетная политика организации при применении автоматизированного учета;
- Удаленное ведение бухгалтерского и налогового учетов компании;
- Интернет вещей;
- Автоматизация электронного документооборота с помощью EFSOL;
- Концепции, методы и способы миграции данных (часть 1).