Centralizovaný data team byl bottleneck. Každý požadavek na nový dataset znamenal týdny čekání. Data Mesh nabízí alternativu — decentralizované datové vlastnictví s centrální governance.
Čtyři principy Data Mesh¶
- Domain-oriented ownership — tým, který data produkuje, za ně zodpovídá
- Data as a product — datasety mají SLO, dokumentaci, vlastníka
- Self-serve data platform — infrastruktura pro snadné publikování a konzumaci dat
- Federated computational governance — centrální standardy, decentralizovaná implementace
Naše implementace¶
Každý doménový tým publikuje datasety jako „data products” v Snowflake. Standardizovaný formát: schema, dokumentace, data quality testy, SLO (freshness, completeness). Data catalog v Apache Atlas.
Governance bez byrokracie¶
Automatizované politiky: PII detekce, retention rules, access control. Data steward v každém týmu. Centrální tým definuje standardy, doménové týmy je implementují. Funguje to — ale vyžaduje kulturní změnu.
Data Mesh není stříbrná kulka¶
Vyžaduje zralé týmy a silnou platformu. Ale pro organizace, kde centrální data team nestíhá, je to cesta vpřed.
data meshdata governancedata platformarchitecture