SAP: Построение системы отчетности на базе SAP HANA

2015-03-16

В статье показан опыт использования платформы SAP HANA для оптимизации системы создания отчетности крупной строительной компании. Проект реализован специалистами Return on Intelligence (ROI) -  бизнес-партнера SAP. ROI – международная компания по оказанию услуг в области высоких технологий. Мы предоставляем консалтинг по технологическим решениям, системную интеграцию и коммерческую разработку программных решений. Наши решения предоставляют максимальный рост, конкурентные преимущества, увеличение прибыли и снижение сложности бизнес-процессов.

За 15 лет нашими клиентами стали более 200 международных компаний, работающих в сфере страхования, финансовых услуг, здравоохранения, телекоммуникаций и государственном секторе. 

Компания объединяет более 800 профессионалов, работающих в центрах разработки в Санкт-Петербурге, Нижнем Новгороде, Риге и  Днепропетровске.  Штаб квартира Return on Intelligence расположена в США.

Return on Intelligence работает в сотрудничестве с SAP, что подтверждено наличием статусов SAP PartnerEdge Partner, VAR-реселлер и Consulting Services Partner. Как член партнерской программы SAP PartnerEdge  (моделирование, разработка, продажа, внедрение, обслуживание и поддержка решений SAP) компания Return on Intelligence, Inc. (ROI) участвует в разработке решений, позволяющих клиентам приобретать и удерживать значительное конкурентное преимущество в своей отрасли. Использование лучших практик, отраслевых моделей, методов, инструментов, технологий и фреймворков дает возможность клиентам ROI переосмыслить и улучшить свой способ ведения бизнеса. 

Ориентация SAP на технологии, отрасли и регионы полностью согласуется с нашими навыками, приоритетами и сильными сторонами.

  • Мы являемся глобальным партнером по внедрению страховых решений SAP Camilion, SAP Claims и FS-CD
  • Наша компания является глобальным экспертом в области страхования
  • Мы являемся специалистами, поддерживающими консультативную аналитику в страховании (BOBJ и HANA)
  • У нас есть высококвалифицированные разработчики программного обеспечения, поставляющие услуги по разработке продукта непосредственно для SAP

1.       Платформа SAP HANA: техническая информация – краткий обзор

SAP HANA является современной in-memory платформой для работы аналитических и транзакционных приложений в реальном времени. SAP HANA позволяет организациям анализировать бизнес-операции, использующие большой объем разнообразных детализированных данных. Первые внедрения приложений SAP на базе SAP HANA показали, что время реакции системы при работе бизнес-пользователей составляет доли секунды, что открывает новые возможности для бизнеса.

SAP HANA   полностью использует все преимущества самых современных аппаратных технологий, сочетая хранение данных по столбцам, массово-параллельную обработку (MPP) и вычисления  по технологии “in memory”  благодаря оптимизированной структуре программного обеспечения.

Программный комплекс SAP HANA представляет собой гибкий, многоцелевой и независимый от источника данных программный комплекс на базе технологии “In-memory”, который объединяет программные компоненты SAP, оптимизированные для аппаратных средств ведущих мировых вендоров – партнеров SAP – Cisco, Dell, IBM, HP,Fujitsu и Hitachi Data Systems.

Благодаря сочетанию технологий оперативного анализа данных и оперативной обработки  транзакций в единой СУБД SAP HANA позволяет создать целостную инфраструктуру для обработки корпоративных данных, получаемых из транзакционных систем, систем бизнес-анализа, поддержки принятия решений и планирования. Аналитические приложения реального времени и оперативные приложения реального времени, включая планирование, могут выполняться совместно с другими операциями.

2.Бизнес – проблема

Заказчик решения  - крупная строительная компания с чистым доходом более $70 млн в год. Компания существует на рынке более 100 лет и предоставляет услуги в разных секторах экономики. Основные направления работы: инфраструктурные работы, энергетика и добывающая отрасль. За свою многолетнюю историю компания построила большую сеть клиентов и поставщиков. Как следствие активной деятельности, внутри компании появилось большое количество разнородных информационных систем, которые перестали выполнять свою основную задачу - ускорять и упрощать работу сотрудников компании. В ходе реструктуризации IT инфраструктуры было принято решение создать централизованную отчетную систему. На момент интеграции у заказчика уже имелись другие продукты SAP: ERP, CRM, SRM, BW и вполне логично, что при выборе решения выбор остановился на технологическом стеке SAP продуктов.

Существующая инфраструктура оказалась сложной и характеризовалась следующим:

  1. отсутствие мастер данных
  2. 4 отдельные системы отчетности без единой точки входа
  3. более 600 различных отчетов, с перекрывающимися областями и неконсистентными данными
  4. низкая производительность
  5. нарастающая сложность и стоимость поддержки

3. Технологии и архитектура

Основные бизнес процессы и система отчетности, в общем, единообразны в большинстве компаний, в частности, если в качестве системы управления процессами и взаимодействия с партнёрами используется решение от SAP.

Для решения задач хранения, переноса, подготовки и представления данных были выбраны следующие продукты:

1) SAP HANA

2) SAP Business Object (BObj) Data Services как средство ETL и инструмент контроля качества данных

3) SAP BObj Rapid Marts в качестве слоя метаданных для стандартных отчетов

4) SAP BObj BI 4.1 как основной инструмент визуализации.

Первостепенной задачей было построение основного хранилища данных (Data Warehouse) в котором должны храниться мастер данные организации качества, целостности данных и реконселяция - проверка  правильности/консистентности переноса. Стоит отметить, что SAP HANA использовалась для создания хранилища мастер данных только для информации, которая разным причинам не хранится в ERP и BW,  например данные получаемые из систем компаний партнёров, которые не имеют прямого отношения к операционной деятельности организации, но интересны с точки зрения аналитики.. Таким образом, все необходимые данные можно было получить из двух источников: SAP HANA и SAP BW (SAP BW бы настороен на использование SAP HANA в качестве внутреннего хранилища).

Все данные были перенесены, консолидированы и проверены, время создавать модели метаданных понятные и удобные для применения специалистам бизнеса.

Отражением бизнес модели, говорящей с пользователями бизнес языком, являются юниверсы. Для ускорения интеграции большая часть юниверсов для системы отчетности поставлялась через SAP Rapid Marts. Rapid Marts автоматически генерирует юниверсы для стандартных процессов и отчетов, на основе конфигураций и данных SAP систем. Для данных, которые выгружались в HANA из 3-х систем, юниверсы строились вручную через SAP BObj Information Design Tool. IDT это специальный инструмент от SAP, который позволяет в удобном графическом интерфейсе создать необходимые связи между данными необходимыми для отчетности, а так же выделить и переобозначить в понятные выражения поля таблиц хранилища.

Понятно, что стандартные юниверсы Rapid Marts не могли покрыть всех нужд и были прилично дополнены командой разработки. Были внесены специфичные для компании факты и измерения.

4. Результаты и преимущества

После 8 месяцев разработки появились результаты в виде оптимизированных процессов, консистентного хранилища данных, а так же средств для принятия решений в виде красивых графиков, интерактивных отчетов и информационных панелей. В качестве систем визуализации были выбраны BObj BI Web Intelligence и Dashboard Designer с возможностями создания интерактивных отчетов и дашбордов различной сложности и имеющими все необходимые инструменты, такие как детализация, консолидация, создание параметризированных срезов.

В итоге было построено около 400 отчетных форм в различных представлениях с возможностью доступа через корпоративный портал, систему отчетности с дополнительными преимуществами самостоятельной параметризации, а также появился новый способ доступа к отчетной системе через мобильные устройства. 

Мое впечатление от подхода и использования компонентов в ходе реализации в большей степени положительно.

  1. HANA отлично интегрируется со всеми используемыми компонентами SAP
  2. Отсутствие дополнительного ETL процесса для построения многомерной модели. В HANA он был реализован логически и выполнялся практически мгновенно благодаря её архитектуре,  что сводило латентность данных к нулю. А так же не создавало новых данных.
  3. На платформе HANA были построены аналитические модели (Analytical views), которые позволяли использовать данные в системе отчетности напрямую, почти без изменения модели метаданных.
  4. Все необходимые для отчетности данные доступны в SAP BObj и легко связываются.
  5. «Тяжелые» расчеты были перенесены из  BI платформы на SAP HANA, которая выполняет такие расчеты в несколько раз быстрее.
  6. Фильтрация является одной из основных операций при построении отчетов, на SAP HANA работает намного быстрее, ввиду колоночного хранения данных.

Следует отметить определенные сложности, с которыми мы столкнулись на этапе подготовки данных и разворачивания инфраструктуры, такие как согласование гранулярности различных источников, отсуствие некоторого специфичного фунционала в системе отчетности, который присутствовал в старых системах, организация процесса тестирования.  Однако эти сложности не повлияли на конечный результат и общую удовлетворенность заказчика.

Подводя краткий итог, я считаю, что для бизнеса, который задумывается над производительностью своих отчетных систем, современной с точки зрения дизайна,  быстрой и удобной системой отчетности, стоит присмотреться к преимуществам, которые предоставляет HANA в сочетании с инструментами визуализации.

Дополнительную информацию по использованным технологиях и программах можно найти на следующих ресурсах:

http://go.sap.com/partner.html - партнерская часть портала SAP

http://hana.sap.com/ - SAP HANA portal

http://go.sap.com/solution/platform-technology/business-intelligence.html - SAP BusinessObjects

http://www.sap.com/pc/tech/data-warehousing/software/netweaver-business-warehouse/index.html -SAP BW

http://www.sap.com/pc/tech/enterprise-information-management/software/data-services/index.html - SAP Data Sevices

http://scn.sap.com/community/developer-center  -  SAP Developer Center

 

Николай Грушин, BI/DB Technical Lead, Return On Intelligence