Airflow로 배우는

데이터 엔지니어링 실무!

Airflow 마스터클래스

김 현 진


LG CNS 책임 연구원

정보관리기술사

[주요 프로젝트 경력]

  • 세종 스마트시티 AI 데이터허브 구축 프로젝트
  • LG유플러스 차세대 Data Lake 구축 프로젝트
  • LG전자 Data Lake 구축 프로젝트

[주요 강의 경력]

  • 한이음 ICT 멘토(2020~현재)
  • 멀티캠퍼스 데이터사이언스 멘토(2022. 9)

Airflow 인가요? 📖

Airflow는 복잡한 계산 작업을 정의, 스케줄링하고 모니터링하는 데 사용되며, 데이터 엔지니어링, 데이터 사이언스 분야에서 주로 활용됩니다.

  • Airbnb에서 개발한 Airflow는 현재 스케줄링, 워크플로우 도구의 표준이 되었으며, 확장성이 넓어 일반적으로 스케줄링과 파이프라인 작성 도구로 많이 사용합니다. 특히, 회사의 데이터 엔지니어링 팀에서 많이 사용하는 도구입니다.
  • 즉, 데이터 엔지니어가 되고 싶다면, 꼭 알아야되는 프로그램이죠!

수강 대상🙆‍♀️

  • 데이터 분석 모델링 후 파이프 라인 구성 방법을 알고 싶은 분
  • 데이터 엔지니어로 성장하길 원하는 분
  • Airflow를 더 깊이 있게 이해하고 싶은 분

강의를 통한 성장📈

  • Airflow의 다양한 오퍼레이터, 센서, 템플릿, Hook 등을 활용하는 방법을 직접 경험하게 되어, 실무적인 스킬이 향상됩니다.
  • 복잡한 워크플로우를 자동화하고, 관리하는 방법을 배워 업무 효율을 극대화할 수 있습니다.
  • Airflow를 이용한 다양한 환경(WSL, Docker 등)에서의 작업 능력을 갖추게 됩니다.
  • 메신저 연동, 모니터링, RShiny 등 실제 업무에 가까운 프로젝트를 통해 실질적인 경험을 쌓을 수 있게 됩니다.

강의 특징 ✨

강사님의 다년간의 프로젝트 경험을 토대로, Airflow를 실무에서 어떻게 적용하고, 데이터 파이프라인을 어떻게 최적화하는지에 대한 실질적인 방법론을 가르칩니다.

  • 직접 VScode 안에서 같이 코드를 짜보며 실제 Hands-on 방식으로 수업을 진행합니다.
  • 58개 이상의 실습 DAG 파일을 통하여 다양한 실습을 통해 이론적인 내용뿐만 아니라 실질적인 스킬까지 향상시키는 데 초점을 맞추고 있습니다. 실제 업무에 가까운 프로젝트를 통해 실질적인 경험을 쌓을 수 있도록 구성되었습니다.

예상 질문 Q&A 💬

Q. 실습 환경과 사양은 어떻게 되나요?

A. 수업 실습 환경 OS는 Windows 입니다. (Windows 10 이상 권장) 또한, 자신의 노트북 사양이 최소 CPU 4 core 이상, Memory 8GB이상, Disk는 10GB 이상이 되는지 체크해주세요!


Q. 실습 파일은 다운 받을 수 있나요?

A. 실습 파일은 강사님의 깃허브에서 모두 다운 받으실 수 있습니다.

Q. 실습 난이도는 어느정도 일까요?

A. 초반에는 파이썬의 기본적인 문법만 알아도 이해할 수 있으나, 후반부로 갈수록 난이도는 조금 어려울 수 있습니다. 파이썬의 클래스, 상속과 같은 개념을 알면 도움이 됩니다. 그렇지만 걱정마세요! 실습 내용은 충분히 설명드리고 진행합니다.

📚수업 커리큘럼📚

  공지사항
Available in days
days after you enroll
  Airflow소개와 작업환경 세팅하기
Available in days
days after you enroll
  오퍼레이터 기본기 다지기
Available in days
days after you enroll
  파이썬 오퍼레이터
Available in days
days after you enroll
  Template Variable
Available in days
days after you enroll
  데이터 공유
Available in days
days after you enroll
  Task 다루기 고급
Available in days
days after you enroll
  More 오퍼레이터
Available in days
days after you enroll
  Connection & Hook
Available in days
days after you enroll
  Sensor
Available in days
days after you enroll
  Airflow기능 더 알아보기
Available in days
days after you enroll
  실습하기 with Rshiny
Available in days
days after you enroll
  실습하기 with 메신저 연동
Available in days
days after you enroll
  Airflow 관리하기
Available in days
days after you enroll
  실습하기 with 모니터링
Available in days
days after you enroll
  Airflow 아키텍처
Available in days
days after you enroll
  chatGPT with Airflow
Available in days
days after you enroll

강의 수강하기