Airflow 개념 | Statistics Playbook

자동 재생
자동 완료

이전 강의 완료하고 넘어가기

Airflow 마스터 클래스

공지사항

수업소개 (12:29)
강의자료다운
수료증 발급 안내
슬기로운 통계생활 Affiliate 프로그램 운영 안내

Airflow소개와 작업환경 세팅하기

Airflow 개념 (7:16)
WSL설치와 리눅스 기본명령어 (16:44)
도커&에어플로우설치 (17:18)
개발환경구성(전체설명, 사양 설명) (4:52)
개발환경구성(파이썬 인터프리터설치) (5:58)
개발환경구성(Vscode 설치) (11:39)
개발환경구성(github 만들고 push, pull) (22:54)
Airflow library 설치 (5:50)

오퍼레이터 기본기 다지기

Bash operator DAG 만들기 & DAG 디렉토리 셋팅 (24:12)
cron 스케줄 설명 (8:54)
task 연결하기 (13:32)
Bash Operator & 외부 쉘파일 수행하기 (24:49)
Email Operator로 메일 전송하기 (11:30)

파이썬 오퍼레이터

Python 오퍼레이터 기본 (11:59)
외부 파이썬 함수 수행하기 (12:31)
@task 데코레이터 사용하기 (13:56)
파이썬 함수 파라미터 이해 (8:46)
Python 오퍼레이터에 op_args로 변수 할당하기 (6:49)
Python 오퍼레이터에 op_kwargs로 변수 할당하기 (8:26)

Template Variable

Jinja 템플릿 설명 (11:27)
Bash Operator에서 Jinja 템플릿 사용하기 (8:50)
Airflow의 날짜개념 (11:05)
Python Operator에서 Jinja 템플릿 사용하기 (8:25)
Bash Operator with macros (20:40)
Python Operator에서 macro 변수 사용하기 (14:43)

데이터 공유

Python Operator에서 Xcom 사용 (24:21)
Bash Operator에서 xcom 사용 (9:01)
Python &Bash 오퍼레이터간 Xcom 사용 (7:26)
Python & email 오퍼레이터간 Xcom 사용 (6:30)
전역 공유변수 Variable (8:57)

Task 다루기 고급

BranchPython 오퍼레이터로 분기처리하기 (10:13)
@task.branch 로 분기처리하기 (5:51)
BaseBranchOperator 로 분기처리하기 (10:21)
Trigger Rule 설정하기 (12:42)
Task groups (12:41)
Edge Labels (3:24)

More 오퍼레이터

지원되는 오퍼레이터 보기 (11:33)
Trigger Dag Run 오퍼레이터 (15:36)
서울시 공공데이터 API 키 발급받기 (8:40)
SimpleHttp 오퍼레이터로 서울시 공공데이터 API 받아오기 (20:18)
Custom operator 개발 study (12:21)
Custom operator 개발 실습 (24:31)

Connection & Hook

도커컴포즈 yaml 해석 (17:58)
Postgres 컨테이너 올리기 (17:58)
Connection 과 Hook (24:04)
Postgres Hook으로 bulk_load하기 (16:34)
Custom Hook 만들고 bulk_load하기 (20:08)
더 많은 Provider 확인 & Connection Type 추가하기 (20:13)

Sensor

센서의 개념 (11:52)
Bash sensor (9:08)
File sensor (11:55)
python sensor (13:57)
External task sensor (21:00)
Custom sensor 만들기 (14:40)

Airflow기능 더 알아보기

dataset을 이용한 dag 트리거 (19:42)
dag의 default_args 파라미터 이해 (10:39)
Task 실패시 email 발송하기 (12:56)
sla 로 task 수행현황 감시하고 email 발송하기 (16:04)
timeout 설정하기 (15:56)
CLI 사용하기 - dag trigger, backfill, clear (19:57)
Triggerer 알아보기 (10:44)

실습하기 with Rshiny

R Shiny 컨테이너 올리기 (6:58)
R Shiny로 코로나 현황 확인하기(ui.R, server.R구성) (21:29)

실습하기 with 메신저 연동

Slack 연동 (23:16)
카카오 연동 준비 (13:54)
카카오 API 사용 준비 (13:30)
task 실패시 카카오 메시지 보내기 (7:22)
SLA miss시 Slack 메시지 보내기 (19:38)

Airflow 관리하기

메타DB 주요 테이블 보기 (19:10)
Pool 설정하기 (24:28)
Airflow User & Role (7:05)

실습하기 with 모니터링

Airflow DAG 수행현황 모니터링 쿼리 만들기 (9:48)
모니터링 내역 Slack 전송하기 (17:52)
모니터링 내역 email 전송하기 (10:43)

Airflow 아키텍처

Airflow의 아키텍처와 Executor (21:39)
Celery환경 구성 방법 (17:01)
Airflow Flower로 Queue 감시하기 (12:31)
Airflow 파라미터 셋팅 (22:52)
스케줄러 부하 줄이기 (19:59)

chatGPT with Airflow

chatGPT 기본지식 & chatGPT로 DAG만들기 (16:45)
파이썬으로 chatGPT API 호출하기 (14:49)
파이썬으로 주식정보 가져오기 (19:32)
chatGPT 응답으로 블로그 자동 포스팅하기 & 끝맺음 (28:48)

Teach online with

Airflow 개념

완료하고 넘어가기

토론하기

0 댓글