Data Engineering Booster – Nâng cao năng lực Data Engineering

Khoá học này tập trung vào các chủ điểm mang tính chất nền tảng mà tôi cho rằng quan trọng và cần thiết giúp cho công việc của một junior data engineer, bao gồm một số chủ điểm về SQL và Python (OOP) cho data engineering, làm việc với API, webscraping, và xây dựng data pipeline đáng tin cậy. Tuy nhiên, data engineering là một mảng công việc rất rộng với nhiều chủ điểm kiến thức, và vẫn còn những chủ điểm kiến thức quan trọng khác như “git”, “security & access control”, “CI/CD”, “design for scale”, “Linux command”, “data modeling và dimensional modeling”, v.v. Các chủ điểm này cần thiết cho việc xây dựng những data pipeline/hệ thống data chuyên nghiệp, chạy được trên môi trường production thực tế. Xin hẹn bạn đọc trong những khoá học hoặc bài viết khác của Data tử tế.

Sau khi học xong khoá học này, trong thời gian chờ đợi, bạn đọc hoàn toàn có thể tự tìm hiểu theo những keyword nêu trên, và nên tập trung vào “git” và cách viết code sao cho phù hợp với CI/CD trước, còn chủ điểm “security & access control” có lẽ sẽ phù hợp cho việc “learn on the job” và trong công việc thực tế nếu bạn cần biết sâu thêm thì hẵng học, và vì cũng có thể tại cơ quan của bạn đã có một bộ phận khác đảm nhiệm các việc liên quan tới chủ điểm này rồi. Tương tự với chủ điểm “design for scale” hay các nội dung về tối ưu performance của pipeline, các bạn cũng có thể chưa cần đào sâu ngay (vì có thể các bài toán ở cơ quan của bạn chưa dùng nhiều dữ liệu đến mức cần phải tối ưu nhiều hay phải design để scale lên nhiều lần). Chủ điểm “dimensional modeling” sẽ quan trọng nếu bạn phải tự design data model cho hệ thống data warehouse hoặc data mart của đơn vị mình, còn nếu có team khác design cho thì bạn tạm thời chỉ cần nắm các khái niệm cơ bản về chủ điểm này, chưa cần đào quá sâu, vì đây là chủ điểm mà học kiến thức chay sẽ khá nhàm chán và khó mường tượng nếu thiếu bài toán/yêu cầu thực tế.