Ak ste ešte nepočuli výraz Data Mesh, tak ste na tento článok klikli správne. Okrem požiadaviek na rýchlosť dodania analytických podkladov je ďalšou požiadavkou na moderné systémy aj rýchlosť ich vývoja.

Na tento trend reagujú aj architektúry a stále viac sa hovorí o architektúre Data Mesh, ktorá je založená na delegovaní zodpovednosti do domén a zdieľaní dátového produktu. Dátovým produktom môžu byť napríklad všetky informácie o zákazníkovi. Dátový produkt zároveň môže byť použitý inou doménou. Každá doména je zodpovedná za dodanie dátového produktu vo vysokej kvalite s definovanými spôsobmi konzumovania.

Takáto architektúra sľubuje vyššiu flexibilitu a jednoduchšie manažovanie vývoja systémov podporujúcich rozhodovanie. Poďme si to však povedať ešte raz a poporiadku… 😊

💡 Čo je Data Mesh?

Data Mesh je prístup k riadeniu dát, ktorý kladie dôraz na decentralizáciu, doménovo orientované vlastníctvo a architektúru dát, dáta vníma ako produkty a podporuje samoobslužnú dátovú infraštruktúru ako platformu. Zároveň sa zameriava na federovanú výpočtovú správu (federated computational governance), čo znamená spoluprácu medzi rôznymi oblasťami a dátovými produktami v rámci organizácie.

🧠 Princípy, na ktorých funguje Data Mesh:

1️⃣ Doménové vlastníctvo (domain ownership):

Jedným z hlavných princípov Data Mesh je doménovo orientované vlastníctvo a architektúra dát. To znamená, že každá oblasť alebo tím v organizácii má zodpovednosť a kontrolu nad dátami, ktoré sú relevantné pre ich činnosti. Jednotlivé domény sú zodpovedné za zbieranie, ukladanie, spravovanie a spracovávanie dát v súlade s ich potrebami a cieľmi.

Praktický príklad: Predstavte si mediálnu spoločnosť, ktorá má oddelené tímy pre podcasty, videá a hudbu. Každý tím má zodpovednosť a vlastníctvo nad dátami týkajúcimi sa ich domény – podcastový tím má kontrolu nad údajmi o epizódach a počúvateľnosti podcastov, tím videí spravuje dáta o sledovanosti a komentároch k videám a tím hudby má vlastníctvo nad dátami o skladbách a umelcoch. Tímy môžu ľahko zdieľať svoje dáta s ostatnými časťami spoločnosti, čo umožňuje efektívnejšiu a lepšie organizovanú správu dát a využívanie dát vo viacerých kontextoch. Týmto spôsobom Data Mesh podporuje rýchlosť, flexibilitu a inováciu v správe a využívaní dát v organizácii. 😊👍🏻

 

2️⃣ Dáta ako produkt (data as a product):

Dátová sieť vníma dáta ako produkty, ktoré sa poskytujú používateľom. Preto sa kladie dôraz na kvalitu a spoľahlivosť dát. To znamená, že dáta musia byť ľahko pochopiteľné a prístupné pre všetkých konzumentov, ktorí ich potrebujú. Dátové produkty sa navrhujú tak, aby spĺňali potreby rôznych používateľov v rámci štruktúry používateľov.

Dáta sa spravujú ako samostatné produkty, ktoré majú tri hlavné komponenty:

  1. Kód: Obsahuje skripty a rozhrania API, ktoré spracúvajú dáta z doménových systémov a poskytujú prístup k dátam a metadátam.

  2. Dáta a metadáta: Zahŕňajú samotné analytické dáta v rôznych formátoch a metadáta, ktoré poskytujú informácie o dátach, ich kvalite a vlastnostiach.

  3. Infraštruktúra: Zabezpečuje nasadenie a spúšťanie kódu, ukladanie dát, prístup k nim a iné potrebné služby.

Praktický príklad: V e-commerce spoločnosti s rôznymi produktami by tento prístup mohol byť využitý pri spracovaní a poskytovaní analytických údajov o predaji produktov. V rámci tejto spoločnosti existujú rôzne tímy zamerané na rôzne kategórie produktov, ako sú oblečenie, elektronika, knihy atď. Každý tím je zodpovedný za správu dát týkajúcich sa svojej kategórie produktov. Zároveň, tím zodpovedný za obchodnú analýzu a marketing bude potrebovať prístup k dátam o dostupnosti a hodnoteniach produktov, aby mohol plánovať kampane a stratégie.

 

3️⃣ Samostatná dátová platforma (self-serve data platform):

Je ďalším dôležitým princípom Data Mesh, ktorý umožňuje doménovým tímom autonómne spravovať a vlastniť svoje analytické dáta. Aby bolo možné budovať, nasadzovať, spúšťať, monitorovať a pristupovať k analytickým dátam vo forme „dátových produktov“ s minimálnym zásahom centrálnych tímov, potrebuje sa vybudovať platforma na samostatné poskytovanie infraštruktúry.

Samotná dátová platforma môže byť považovaná za rozšírenie už existujúcej platformy, ktorá slúži na spúšťanie a monitorovanie služieb. Avšak, technologický základ pre spracovanie dát sa často líši od základu pre bežné služby.

Samotná platforma musí poskytovať nástroje a rozhrania, ktoré umožnia obyčajným vývojárom vytvárať, udržiavať a spúšťať analytické dáta s minimálnou potrebou špecializovaných znalostí. Ide o nový typ samonastaviteľnej infraštruktúry, ktorá znižuje náklady a špecializáciu potrebnú na vývoj dátových produktov.

Praktický príklad: Oddelenie veľkej finančnej spoločnosti používa self-serve data platform na vytvorenie vlastného analytického nástroja. Týmto spôsobom získavajú úplnú kontrolu nad svojimi dátami a môžu rýchlo reagovať na nové analytické požiadavky bez závislosti od centrálneho IT tímu. Táto autonómia vedie k efektívnejšej výkonnosti celej spoločnosti.

 

4️⃣ Federatívna správa výpočtovej techniky (federated computational governance):

Federované výpočtové riadenie je posledným kľúčovým aspektom Data Mesh princípu. Rozhodovacie procesy a štandardy sú rozptýlené medzi rôznymi vlastníkmi dátových produktov a vlastníkmi platformy, čo zabezpečuje autonómiu a rozhodovaciu moc na miestnej úrovni v doménach. Tieto subjekty však spoločne vytvárajú a dodržiavajú súbor globálnych pravidiel a štandardov, ktoré zabezpečujú zdravý a interoperabilný ekosystém.

Toto je výrazný kontrast k tradičnému centralizovanému prístupu k riadeniu dát, kde sa rozhodovanie centralizuje a snaží sa dosiahnuť globálnu jednotu a minimálnu flexibilitu. Federované výpočtové riadenie v data meshe umožňuje decentralizáciu a podporuje rýchle a pružné riešenia.

Tento decentralizovaný a autonómny prístup umožňuje lepšiu kontrolu a efektívne spravovanie dát pre rôzne tímy a oblasti v podniku. Výsledkom je zlepšená konkurencieschopnosť a lepšie využívanie dát pre úspech v podnikaní.

🤔 Čo si z tohto článku odniesť?

Data Mesh predstavuje moderný a inovatívny prístup k riadeniu dát, ktorý sa dokonale prispôsobuje potrebám dnešných rýchlych a agilných systémov. Jednou z hlavných ideí tejto architektúry je decentralizácia, pri ktorej sa zodpovednosť za dáta a ich správu deleguje do jednotlivých domén. Každý tím a oblasť má úplnú kontrolu nad dátami, ktoré sú pre nich relevantné, čo umožňuje rýchle a flexibilné rozhodovanie sa. Data Mesh sa ukazuje ako vhodné riešenie pre spoločnosti, ktoré sa snažia získať maximum z hodnoty svojich dát a byť úspešní v dynamickom data-driven podnikateľskom prostredí.