Dlaczego wybór Data Lake na repozytorium danych D365 to optymalny wybór? 3 kluczowe zalety Data Lake

Najpierw eksport, później analiza

Wnioski wyciągnięte z analizy danych, strategie zbudowane na ich fundamencie i decyzje na nich oparte umożliwiają organizacji rozwijać się, zdobywać klientów i wyprzedzać konkurencję. Dlatego tak ważne jest, aby korzystać z repozytorium, w którym łatwo gromadzić dane i z którego łatwo wyciągać informacje, zawsze gdy są potrzebne.

Na przestrzeni kilku lat wdrażania systemu Microsoft Dynamics 365 F&O i Power BI zmierzyliśmy się z kilkoma problemami związanymi z eksportowaniem danych i raportowaniem. Np. przez brak bezpośredniego dostępu do transakcyjnej bazy danych, dane musiały być wyciągane w odpowiednio zagregowany sposób.

Integracja Dynamics 365 F&O z Power BI do niedawna była możliwa dzięki wykorzystaniu usługi Entity store, połączenia OData lub technologii BYOD.

Te trzy rozwiązania posiadały zarówno zalety, jak i wady. Wśród tych drugich wyróżniały się:

• niska wydajność zastosowanej technologii,
• niska częstotliwość odświeżania i przetwarzania danych,
• wysokie koszty utrzymania infrastruktury.

W pierwszej połowie 2022 roku Microsoft oficjalnie udostępnił na środowiskach produkcyjnych funkcję Export to Data Lake umożliwiającą przenoszenie danych ze środowiska Dynamics 365 w postaci tabel i encji do usługi Data Lake na platformie chmurowej Microsoft Azure. Nowa funkcja zlikwidowała wady poprzednich rozwiązań i pozwoliła na raportowanie w czasie niemal rzeczywistym. Łatwy dostęp do danych, analizy i raporty generowane ad hoc z aktualnych danych pozwalają na podejmowanie trafnych i bezzwłocznych decyzji biznesowych.

Data Lake – czym jest jezioro danych?

Data Lake to scentralizowane repozytorium, w którym można gromadzić i przechowywać ogromne ilości danych w ich pierwotnej postaci. Otwarta i skalowalna architektura data lake może pomieścić wszystkie typy danych, ustrukturyzowane, częściowo ustrukturyzowane i bez struktury, z dowolnego źródła. W kontekście D365FO Data Lake pozwala przechowywać kopie rekordów z bazy danych systemu, tabel i encji w postaci plików CSV. I posiada kilka przydatnych cech, które wyparły wady poprzedników Data Lake.

1. Automatyczna aktualizacja

Co wyróżnia to rozwiązanie i jest jednocześnie jego największą zaletą to możliwość automatycznego aktualizowania magazynowanych danych praktycznie w czasie rzeczywistym, zapewniając im zgodność i spójność ze źródłem systemowym. Koniec ręcznego ustawiania i zarządzania eksportami – zmiany w danych w Data Lake są widoczne po kilku minutach od ich wprowadzenia do systemu D365.

2. Niższe koszty wdrożenia i utrzymania

Wybór Data Lake jako repozytorium danych systemu D365FO wiąże się z niższymi kosztami wdrożenia i utrzymania infrastruktury. W porównaniu z np. technologią BYOD koszt magazynowania i przetwarzania tego samego wolumenu danych jest niższy. Data Lake jest usługą Microsoft Azure, co oznacza, że za utrzymanie infrastruktury odpowiada Microsoft, a użytkownik płaci faktycznie za ilość przechowywanych danych w ramach usługi.

3. Eksport bez obciążania systemu

Ważną zaletą Data Lake jest płynność procesu eksportowania danych do repozytorium. Eksport danych nie wpływa na wydajność systemu, co miało miejsce podczas eksportu przez BYOD. Zwinność i tempo przesyłania danych do Data Lake sprawiają, że to repozytorium stanowi funkcjonalne źródło danych do raportów Microsoft Power BI.

Raportowanie w Power BI z danych Data Lake

Data Lake wykorzystaliśmy w kilku projektach wdrożeniowych ANEGIS. W jednym z nich skonstruowaliśmy i zaimplementowaliśmy architekturę obejmującą eksportowanie danych do Data Lake z systemu Microsoft Dynamics 365 i raportowanie w Power BI.

W ramach projektu powstało ponad 200 raportów, w tym różnego rodzaju raporty kontrolne, finansowe, konsolidacyjne oraz zarządcze. Trial Balance, Balance Sheet, Employee Headcount, Actual vs Budget czy Subledger Reconciliation – to tylko kilka z nich. Największe wyzwanie stanowiły jednak raporty konsolidacyjne, które wymagały zintegrowania danych pochodzących z kilku systemów informatycznych obecnych w firmie.

Export to Data Lake połączył całe środowisko systemowe przedsiębiorstwa z wyznaczonymi magazynami w repozytorium, a do wsparcia przetwarzania i analizy danych użyliśmy usługi Azure Synapse Analytics.

Azure Synapse Analytics – integracja, magazynowanie i analiza ekstra

Azure Synapse Analytics stanowiło ważny element architektury wspomnianego projektu. To nieograniczona, ujednolicona platforma analityczna, która łączy integrację, magazynowanie danych przedsiębiorstwa i analizę big data. Dzięki widokom SQL, utworzonym z pomocą Azure Synapse Analytics, surowe dane zostały przekształcone do takiej postaci, która umożliwiła ich analizę w Power BI. W Azure Synapse Analytics istnieje możliwość tworzenia potoków danych, które w tym przypadku zostały wykorzystane do cyklicznego generowania tzw. snapshotów danych do celów audytowych.

Data Lake – czy warto

Nowy model eksportowania danych jest elastyczny, wydajny i optymalny kosztowo. Dzięki funkcji Export to Data Lake eliminujemy wszystkie dotychczasowe problemy raportowania, które wynikały z ograniczeń Entity store, OData, BYOD.

• W odniesieniu do BYOD – nie musimy już monitorować eksportów, co redukuje koszty generowane przez proces.
• W porównaniu z Entity store – Export to Data Lake znosi problem częstotliwości eksportu danych oraz kastomizacji zagregowanych encji.
• Eksport danych do Data Lake nie ma z kolei problemów wydajnościowych, które miała usługa OData.

Data Lake jako centralne repozytorium dla systemu Dynamics 365, zintegrowane z Power BI, pozwala na analizę i raportowanie zawsze aktualnych danych w czasie niemal rzeczywistym, co dla nowoczesnej organizacji funkcjonującej w dynamicznie zmieniającym się i ewoluującym środowisku biznesowym jest wyjątkową zaletą.

‍

Źródła:

1. What Is Big Data? How To Make Important Data Driven Decisions, https://www.g2.com/articles/big-data

‍