[데이터 수집] 카약 크롤링 : 두바이 국제공항 항공 운항 정보

Original Article by Fatima Hamdan (NYC Data Science Academy Blog)

Translated by JJ Hwang


두바이 국제공항은 운항하는 항공편이 가장 많은 공항 중의 하나입니다. 이것이 좋은 소식일까요, 나쁜 소식일까요?

공항이 바쁘고 승객 수가 많다는 것이 그 나라에 좋은 것이라고 생각할 지 모르겠으나, 경우에 따라 다른 의미일 수 있습니다. 두바이에서는 많은 승객 수로 인해 지연, 결항, 승객들이 비행기를 놓치는 일 등등 다양한 문제가 발생했습니다. 운항 스케줄이 이런 상황에 영향을 미친 것인지 확인해보고, 문제를 해결할 수 있는 방법을 모색하는 것이 본 포스팅의 목적입니다.

다른 번잡한 10개 도시 공항에서 두바이로 오는 항공편 스케줄을 분석하기 위해, 항공권 예약 사이트 카약을 2018년 3월 한 달 기간으로 크롤링했습니다. 핵심 목적은 승객들이 붐빌 수 밖에 없는 주된 요인을 찾아 해결책을 모색해 보는 것입니다.


데이터 크롤링


카약은 사용자가 날짜와 장소를 지정하여 항공권을 예약하는 기능을 제공하는 사이트입니다. 본 포스팅의 목적이 두바이 국제공항의 상태를 분석하는 것이므로, 도착지를 두바이 국제공항 (DXB)으로 고정시켰고, 출발지는 세계적으로 유명한 런던(LHR), 애틀랜타(ATL), 방콕(BKK), 싱가포르(SIN), 프랑크푸르트(FRA), 파리(CDG), 서울(ICN), 홍콩(HKG), 암스테르담(AMS), 타이페이(TPE)의 10개로 다양화했습니다. 운항 정보는 모두 2018년 3월 1일부터 3월 31일까지 한 달 간의 정보를 크롤링했습니다.

데이터셋은 두 가지입니다. 하나는 각 도시에서 두바이로 한 달 간 오는 항공편 총 숫자인데, 데이터 규모가 311줄입니다. 다른 하나는 각 항공편의 세부 정보인데 이는 데이터 규모가 26,429줄 입니다.

데이터셋 1 : 샘플, 첫 5줄

데이터셋 2 : 샘플, 첫 5줄



분석 및 시각화


아래 그래프가 다음의 질문에 대한 답이 될 수 있습니다.​


1. 두바이로 오는 항공편이 가장 많은 출발 공항은 어디인가?


두바이로 오는 항공편이 가장 많은 출발 공항은 런던임을 알 수 있습니다.


2. 두바이로 오는 항공편이 가장 많은 날짜는 3월 몇 일 인가?

이 그래프를 통해 3월 16일과 3월 30일이 두바이로 오는 항공편이 가장 많은 날임을 알 수 있습니다.


3. 런던에서 두바이로 오는 항공편 수는 3월 한 달 동안 어떻게 변화하는가?

그래프를 통해 런던에서 두바이로 오는 항공편은 3월 8일, 15일, 16일, 27일, 30일에 많이 분포함을 알 수 있습니다.


4. 하루 중 몇 시에, 가장 많은 항공편이 두바이에 도착하는가?

그래프를 통해 많은 항공편이 런던에서 두바이로 도착하는 날의 시간대는 새벽 4시와 밤 10시 부근임을 알 수 있습니다.


5. 공항이 붐비는 이유에 항공사가 영향을 미치는가?

위 그래프를 통해 두바이로 운항하는 항공편이 많은 항공사는 알이탈리아, 에티하드, 연합 운행 항공사임을 알 수 있습니다.

위 그래프는 알이탈리아, 에티하드, 연합 운행 항공사 데이터를 통해 각 일의 운항수 합계 추이를 나타낸 것입니다.


결론


​분석 결과 중 확실한 사실 하나는 두바이로 오는 항공편이 많은 항공사 (알이탈리아, 에티하드, 연합 운행 항공사) 들의 항공편 도착 시간이 오전 4시와 오후 10시 부근에 몰려 있다는 것입니다. 해법은 이 항공사들의 항공편 도착 시간을 분산시키는 것입니다. 다른 항공사들과의 조율에 의해 도착 스케줄을 합리적으로 조정하는 방식으로 이루진다면, 두바이 공항의 복잡도를 줄일 수 있는 좋은 방법이 될 것입니다. 다른 공항, 다른 항공사들, 다른 출도착 시간 데이터를 크롤링하여 분석한다면, 전 세계 공항의 복잡도를 줄이는 데 큰 기여를 할 수 있을 것입니다.​​


=========================

스파이더킴 (www.spiderkim.com)

웹크롤링, 웹스크래핑, 웹데이터 수집, 빅데이터에서 최고의 서비스를 제공합니다.

지금 바로 홈페이지를 방문하셔서, 문의 요청해 주십시오!

조회 36회

​고객센터

Tel: 02-596-8900  Fax : 02-6930-5709

10시 - 오후 7시(토, 일요일 및 공휴일은 휴무)

개인정보관리책임자 : 황재준   상호 : 유펜솔루션   대표자 : 김재훈   사업자등록번호 : 426-86-00939
주소 : (본사)대전광역시 유성구 엑스포로446번길 38, 3층 302호 / (지사 및 연구소)서울시 성동구 연무장 15길 11, B동 2층
​ⓒ 2019 UpennSolution Co., Ltd. All rights reserved.