Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1)

Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах

Аннотация: статья описывает различные концепции миграции данных корпоративных информационных систем, которые формируются на основе организационной структуры команды по миграции, списка объектов миграции, владельцев данных, способов миграции, числа тестовых миграций, %-та мигрируемых данных, распределения RACI-ответственности, количества технических систем, параметров контроля тестовых миграций и раннего переноса информации в целевую систему.
Скачать: PDF (статья), PDF (выпуск №9).
Ключевые слова: миграция данных, загрузка исторических данных, миграция данных при переходе на новую платформу, миграция на SAP S/4HANA, мастер данные SAP, транзакционные данные, концепция миграции данных, способы миграции данных, переменные данные SAP, миграция данных в САП.

Средняя продолжительность проекта внедрения ERP/ERP2-систем составляет от полугода до полутора лет. Для обеспечения прогнозируемости и контролируемости выполнения задач проектные активности группируют, выделяя при этом классические уровни процессов, приложений, данных и техники. Задачи связанные с миграцией данных являются весьма критичными, так как программное приложение не сможет полноценно заработать, если информация не будет перенесена из исторической системы в целевую. Обычно мигрирование ведется на основе заранее подготовленной концепции, включающей описание разновидностей данных, способов и частоты их переноса, а также оргструктуры команды. Выбор правильной стратегии миграции является залогом успеха внедрения и запуска корпоративной информационной системы.

1. Проект внедрения ERP/ERP2-систем 

Если целью внедрения ERP является замена старой (Legacy) системы, то миграция позволит перенести релевантные бизнес-данные из Legacy в соответствующие модули. Процесс миграции включает в себя следующие этапы [1]:

  • экстракция данных из Legacy системы;
  • валидация полученных данных;
  • трансформация данных в формат, подходящий к загрузке в ERP;
  • валидация трансформированных данных;
  • загрузка данных в ERP;
  • проверка загруженных данных.

Первым шагом миграции данных является идентификация объектов, которые необходимо перенести в новую систему, а также их владельцев (рис. 1). Объектами можно назвать, например, Бизнес-Партнеров, Контракты, Запасы и т.д. Далее должны быть определены ETL-инструменты (Extraction, Transform, Load или выгрузка, трансформация и загрузка). Способы экстракции и трансформации данных зависят от источника, однако обычно для загрузки используются решения, разработанные на базе LSMW (Direct Input, BAPI, IDoc и Batch Input). Далее решаются следующие задачи:

  • определение критериев выбора исходных данных для целей миграции;
  • гармонизация исходных данных;
  • определение правил трансформации данных;
  • разработка инструментов для загрузки;
  • определение недостающих данных между исходной и целевой системами;
  • составление правил заполнения недостающие данных;
  • подготовка плана тестирования и миграции данных;
  • разработка стратегии валидации данных до и после загрузки;
  • (опционально) разработка инструментов для автоматизации трансформации данных;
  • (опционально) разработка инструментов для автоматизации валидации данных;
  • интеграционное тестирование всей цепочки миграции;
  • нагрузочное тестирование;
  • продуктивная миграция. 

Разновидность проектных решений, описывающих данные ERP-систем 

Рис. 1. Разновидность проектных решений, описывающих данные ERP-систем

2. Анализ данных и способов их миграции

В зависимости от стратегии, выбранной в начале проекта, миграция данных может включать в себя как несколько тестовых циклов, так и всего один. В свою очередь фаза Go-Live (продуктивный запуск) может также проводиться как в сжатые сроки (Big-Bang), так и итеративно. Выбор подхода определяется такими факторами как объем данных, продолжительность загрузки, допустимое время простоя системы и др. Во время проведения тестового цикла миграции важно помнить о том, что не приближенный к реальному объему набор основных и транзакционных данных приведёт к искаженным результатам, что в свою очередь может повлечь неправильное распределение времени как на активности продуктивной миграции, так и заморозки систем. Это же касается и перечня объектов миграции в целом.

В проведение тестовых циклов миграции должны быть вовлечены все участники для того, чтобы убедиться в достаточной компетентности и понимании назначенных ролей сотрудникам. Не готовые на 100% правила трансформации не должна быть причиной для полного отказа от тестирования миграции, так как в процессе трансформации и очистки даже части данных объектов могут быть выявлены новые требования, зафиксированы новые ошибки и обозначены новые критерии успешно проведённой загрузки (рис. 2).

Виды данных ERP/ERP2-систем 

Рис. 2. Виды данных ERP/ERP2-систем

Одним из распространенных подходов к миграции является привязка тестовых циклов к видам тестирования (функциональное, интеграционное, приемочное). Также в подготовке к продуктивной миграции может помочь так называемая репетиция запуска (Dry Rehearsal), когда к процессам сбора информации, трансформации, загрузки и валидации, будут привлекаться все запланированные участники, а не сокращенный состав команды [2]. 

3. Взаимосвязь плана перехода и миграции

Продолжая тему тесного сотрудничества в процессе подготовки к миграции, нельзя не упомянуть функционально-матричный подход к организации команды миграции. Преимуществами данной структуры являются быстрый обмен информацией между сотрудниками, вовлеченность всей проектной команды в миграционные активности, а также сниженный риск того, что отдельные объекты/правила трансформации/инструменты будут недостаточно проработаны. Недостатками данной организации команды может стать сложность балансирования нагрузки сотрудников, а также трудности во взаимодействии с представителями клиента. Такой подход будет хорошо работать в случае, если командой управляют опытные менеджеры, а на стороне клиента имеет место хорошо проработанное вертикальное взаимодействие, при котором заинтересованное руководство может повлиять на непосредственных исполнителей задач. 

Схема ранней миграции ERP-данных, приводящая к необходимости двойного ввода информации в исторической и целевой системах Рис. 3. Схема ранней миграции ERP-данных, приводящая к необходимости двойного ввода информации в исторической и целевой системах

Несмотря на разные подходы и индивидуальную специфику каждого из проектов по миграции данных, золотыми правилами всегда будут (рис. 3):

  • четкое определение масштабов проекта;
  • понимание текущих бизнес-задач и технических проблем;
  • оперативная оценка существующего уровня качества данных, выявление пробелов;
  • привлечение соответствующих заинтересованных сторон с самого начала проекта.

Планируя активности по миграции данных, необходимо помнить не только о технических аспектах процесса, таких как:

  • экстракция, загрузка и контроль данных;
  • техническая валидация;
  • очистка массивов данных;
  • трансформация и проверка на соответствие правилам ведения,

но и о следующих функциях, которые должны быть закреплены за сотрудниками или командами:

  • корректная и своевременная идентификация владельцев бизнес-данных;
  • сопровождение очищенных массивов информации и координация валидации в случаях, когда объект миграции кросс-функционален и будет использоваться разными бизнес-направлениями;
  • непрерывное взаимодействие с экспертами со стороны клиента, которое позволит сформулировать четкие правила трансформации, а также избежать пропуск объектов миграции.

Тесное сотрудничество с клиентом и управление его ожиданиями является частью фундамента, на котором строится успешный проект по миграции данных. Уже на ранних стадиях проекта руководители направления должны убедиться в том, что бизнес понимает свою роль в проекте миграции, заданы критерии оценивания успешной миграции данных и разработаны схемы работы на период заморозки систем (Freeze Period).

Недостаточная вовлечённость ответственных сотрудников напрямую влияет на качество полученных в результате трансформации данных. У данной проблемы может быть несколько причин, например:

  • некорректно определённы владельцы данных;
  • общая перегруженность ответственных другими проектными задачами;
  • плохая информированность сотрудников о разработанном подходе к миграции,

возможными решениями в таких ситуациях могут быть:

  • проведение дополнительных сессий, в рамках которых будут выявлены как лица, несущие ответственность за чистоту данных, так и сотрудники, непосредственно использующие эти данные и обладающие достаточной экспертизой для обеспечения поддержки процессов миграции;
  • приоритизация распределяемых задач и привлечение дополнительной рабочей силы;
  • разработка мотивационной системы для вовлечённых в проект сотрудников, а также обеспечение и сопровождение канала связи между ответственными и исполнителями. 

Выводы

Миграция данных по праву считается одной из самых критичных задач в проекте внедрения корпоративной информационной системы: как бы качественно не было разработано и протестировано приложение его работа невозможна без своевременно подготовленной и загруженной бизнес-информации. Вне зависимости от выбранной стратегии миграции, а также организационной структуры команды по миграции выгрузка, трансформация, перенос и валидация данных являются критической составляющей общего Cutover-плана по переходу к использованию внедряемого решения.

Литература

  1. Степанов Д.Ю. Анализ, проектирование и разработка корпоративных информационных систем: уровень данных / МГТУ МИРЭА. - М., 2017.
  2. Overview of SAP Best Practices for Data Migration [Электронный ресурс] // Сайт компании StudyLib. – Режим доступа: https://studylib.net/doc/9549628/overview-of-sap-best-practices-for-data-migration (дата обращения 18.08.2018).

Выходные данные статьи

Степанов Д.Ю. Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1) // Корпоративные информационные системы. – 2020. – №1(9). – С. 49-54. – URL: https://corpinfosys.ru/archive/issue-9/89-2020-9-datamigration.

Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1)

Об авторе

Степанов Дмитрий Юрьевич Степанов Дмитрий Юрьевич – кандидат технических наук, доцент МИРЭА, принимал участие более чем в 10 проектах внедрения корпоративных информационных систем на базе SAP, Microsoft и Sage. Специализируется на управлении материальными потоками, сбытом и системой документов. Автор более 25 статей, в том числе публикации в журналах «Логистика сегодня», «Вопросы экономических наук», «САПер» и др. Электронный адрес автора: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Статьи выпуска №9

  1. Учетная политика организации при применении автоматизированного учета;
  2. Удаленное ведение бухгалтерского и налогового учетов компании;
  3. Интернет вещей;
  4. Автоматизация электронного документооборота с помощью EFSOL;
  5. Концепции, методы и способы миграции данных (часть 1).