[feat] 과거 항공운항 정보 데이터 스크래핑 자동화 #5
Description
어떤 기능인가요?
항공정보포털시스템에서 제공하는 항공운항 정보 데이터 엑셀 파일을 다운로드하는 과정을 자동화한다.
작업 상세 내용
- 20240101부터 20241222까지의 인천공항으로 출도착하는 모든 항공 운항 정보를 가져온다.
- 엑셀 파일은 최대 한 달 단위로 다운로드할 수 있어서, 20240101부터 한 달 단위로 데이터를 다운로드한다.
- 다운로드한 총 24개의 파일을 하나의 parquet 파일로 통합한다.
- AWS S3 'team5-s3/raw_data/flight_operations/flight_operations_20240101_to_20241222.parquet' 경로에 저장한다.