Real-time analytics — architektura pro analýzu v reálném čase

01. 01. 2024 1 min čtení intermediate

Real-time analytics umožňuje analyzovat data v momentě vzniku. Lambda vs Kappa, streaming pipeline a OLAP databáze.

Architektura¶

Lambda vs Kappa¶

Lambda — batch + speed vrstva. Kappa — pouze streaming.

# Kappa stack:
# Kafka → Flink → ClickHouse → Grafana
# 1. Kafka: příjem
# 2. Flink: enrichment, agregace
# 3. ClickHouse: sub-second dotazy
# 4. Grafana: vizualizace

OLAP enginy¶

ClickHouse — nejrychlejší agregace
Apache Druid — time-series
Apache Pinot — user-facing analytics
DuckDB — embedded OLAP

Metriky¶

End-to-end latence — <10s je real-time
Query latence — cíl <1s

Shrnutí¶

Kappa s Kafka + Flink + ClickHouse je dnes preferovaný stack pro real-time analytics.

real-timeanalyticslambdakappa

Další know-how

Apache Flink — stream processing pro real-time analytics

Kafka pro messaging, Flink pro processing. Jak jsme postavili real-time analytics pipeline pro e-commerce klienta.

dbt + Snowflake — moderní datový stack pro analytiku

ELT místo ETL. dbt pro SQL transformace s engineering praktikami, Snowflake jako cloud data warehouse.

Apache Flink — real-time stream processing engine

Apache Flink je framework pro stateful stream processing. Windowing, event time a exactly-once sémantika.