Bỏ qua tới nội dung
~/hth
Quay lại danh sách dự án
Đã xong

Nền tảng ETL dạng SaaS

Nền tảng ETL dạng dịch vụ. Người dùng tự khai báo nguồn dữ liệu và thiết kế database, các job Airflow chạy theo lịch nạp dữ liệu vào MinIO và MySQL trên AWS EC2.

Bài toán

Cho người dùng lên lịch lấy dữ liệu từ nguồn của họ, đổ vào database do họ tự thiết kế, mà không phải tự dựng Airflow hay server.

Tôi đã làm

  • Viết pipeline ETL bằng Apache Airflow. File thô lưu ở MinIO (tương thích S3), dữ liệu đã xử lý đưa vào MySQL.
  • Cho người dùng tự khai báo nguồn dữ liệu và cấu trúc database, tức là họ chọn lấy dữ liệu gì và bảng trông thế nào.
  • Đóng gói Airflow, MySQL, MinIO và web app Flask thành container Docker, chạy trên nhiều EC2 instance. Phần VPC và chia subnet do tôi thiết kế.
  • Chạy thử toàn bộ luồng, từ lúc lấy dữ liệu, lưu trữ đến web app.
nguồn do user khai báo ──► Airflow DAG ──► file thô ──► MinIO (tương thích S3)
                                      └──► đã xử lý ──► MySQL (OLTP)
                                                            │
                                           Web app Flask ◄──┘

Kết quả

Đồ án cuối kỳ, được 10/10.