Tradiční ETL je křehký. Moderní přístup: ELT — nahraji surová data do warehouse a transformuj tam. dbt dělá tu transformaci elegantně.
dbt = SQL + inženýrské praktiky¶
Verzování v Gitu, dependency management (ref()), built-in testy (unique, not_null), auto-generovaná dokumentace s lineage grafem, Jinja templating pro dynamické SQL.
Snowflake výhody¶
- Oddělení storage a compute
- Zero-copy cloning — kopie produkce za sekundy
- Time Travel — historická data 90 dní zpětně
Data quality testy¶
Každý model má testy. Custom test: „celková suma faktur se neliší
od zdrojového systému o více než 0.1 %”. CI/CD spouští
dbt test a dbt run automaticky.
Moderní datový stack = jednoduchost + kvalita¶
Analytik se znalostí SQL může vytvářet robustní, testované pipeline. Revoluce.
dbtsnowflakeeltdata warehouseanalytics