ML model v produkci degraduje. Svět se mění, data se mění, a model natrénovaný před 6 měsíci už neodráží realitu. Bez monitoringu to zjistíte, až si stěžují zákazníci.
Typy driftu¶
- Data drift — distribuce vstupních dat se mění (nový segment zákazníků)
- Concept drift — vztah mezi features a target se mění (změna chování)
- Prediction drift — distribuce predikcí se mění
Evidently AI pro drift detection¶
Evidently — open-source framework pro ML monitoring. Generuje drift reporty, porovnává produkční data s tréninkovými. Integrace s Grafana dashboardem — alerting při překročení thresholdů.
Automatický retraining pipeline¶
Drift detected → Airflow spustí retraining pipeline → nový model v MLflow → automatická evaluace → pokud lepší → Staging → manuální approval → Production. Celý cyklus pod 4 hodiny.
Deploy modelu není konec — je to začátek¶
ML model bez monitoringu je tichá katastrofa. Drift detection + automatický retraining = udržitelný ML systém.
ml monitoringdata driftmlopsevidentlyproduction ml