Задача
Ускорение аналитики и контроль качества данных для ERP
Решение
CDC-based ETL tool, DQ monitoring, Data Lineage implementation
Этапы проекта
1
Data flow analysis
2
CDC algorithm development
3
Data Quality implementation
4
Data Lineage setup
5
Optimization & monitoring
Результаты
ДО
Slow data access, frequent quality incidents
ПОСЛЕ
5x data access speedup, 80% quality incident reduction
Технологии
SparkScala FPAirflowHadoopGXOpenMetadataClickHouse