[데이터 수집] 이커머스 사이트 (아마존과 월마트) 크롤링

2019년 7월 8일 업데이트됨

Original Article by scrapehero.com

Translated by JJ Hwang


image from CNN

상거래가 온라인으로 바뀌는 추세입니다. 데이터 최적화가 향후 유통의 핵심 기폭제가 될 것입니다. 이커머스(E-Commerce) 사이트에서 추출한 데이터가 제품 홍보, 고객 반응, 판매 전략, 사업 확장 등의 영역에서 중요한 역할을 하고 있습니다. 본 포스팅은 웹크롤링으로 지난 수 년 동안 수집한 주요 이커머스 사이트의 데이터에 대한 사례를 소개하고자 합니다.

비즈니스 예측과 전략을 위해 사용되는 이커머스 데이터

이커머스 사이트는 방대한 데이터를 운영하고 있다는 점에서, 웹사이트의 크기나 규모 면에서 최상위 영역을 차지하고 있습니다. 상품 정보나 고객 반응 등등, 이커머스 사이트는 다양한 영역의 데이터가 수집되고 활용되기에 적합한 웹사이트입니다.

1. 가격 데이터

복수의 이커머스 사이트에서 제품의 가격 정보를 수집하여 비교할 수 있습니다. 이는 소비자 뿐만 아니라 판매자에게도 유용한 자료인데, 시장 현황을 파악하여 자사의 전략을 우월적으로 추진할 수 있기 때문입니다. 즉, 경쟁사의 판매 가격을 조직적으로 파악할 수 있고, 자사의 판매 가격을 그에 맞게 조정할 수 있다는 것입니다.

2. 제품 데이터

온라인에 어떤 제품이 올라와 있고 어떻게 팔리고 있는 지를 파악하여 시장의 수요에 정통하게 됩니다. 제품 정보를 주기적으로 크롤링하여 팔리는 제품 수의 증감, 경쟁사의 판촉 활동 데이터를 누적할 수 있습니다. 아마존과 월마트의 경쟁은 결국 온라인이라는 가상 매대에 얼마나 많은 수의 제품을, 얼마나 빨리 진열해 놓았는가로 귀결됩니다.

3. 사업 확장 데이터

오프라인 매장 수, 제휴 관계, 확장 계획 등은 해당 이커머스 웹사이트 뿐만 아니라 관련 뉴스들을 크롤링함으로써 파악할 수 있습니다. 크롤링으로 데이터를 확보하여 활용하는 것은 경쟁사를 한 걸음 앞설 수 있는 손쉬운 방법입니다.

4. 고객 후기 데이터

평점과 후기와 같은 고객 반응을 수집하여 분석하면, 자사의 제품이 이커머스 웹사이트에서 어떤 위치에 있는 지 알 수 있습니다. 고객은 가격 적정성이나 제품 적정성에 대해 민감하게 반응을 나타낼 것이며, 이 데이터는 각 브랜드들이 고객 만족이라는 주제로 자사의 비즈니스를 점검하는 중요한 단서가 됩니다.

아마존과 월마트의 사례

2015년부터 아마존, 월마트, 아마존 프라임 나우, 월마트 그로서리 등의 유력 이커머스 사이트의 데이터를 수집/비교분석하여 몇 가지 유의미한 경향을 추출해 보았습니다.

아마존닷컴 : 제품 수의 증가

아래의 그래프는 2015년 이래로 아마존닷컴의 제품 수 증가를 보여줍니다. 아마존에서 판매되는 제품 수는 2015년도 1분기에 3분기 사이에 급격히 증가한 반면, 2016년 하반기와 2017년 하반기에는 감소하였습니다. 아마존은 프라임 나우라는 서비스를 2017년 중반에 런칭했는데, 이것이 2017년 하반기 제품 수 증가에 큰 역할을 한 것으로 판단됩니다. 이와 같이 제품 수의 증가는 2017년 하반기에 최고치에 이르고, 2018년 1월에는 약간의 감소세를 보이고 있습니다.



아마존 : 글로벌 판매

아래의 그래프는 아마존 글로벌 판매 제품 수를 2017년과 2018년의 수치로 비교한 것입니다. 미국, 독일, 영국의 판매 제품 수가 가장 많고, 일본, 이탈리아, 스페인이 뒤를 잇고 있습니다. 판매 제품 수는 지난 수 년 동안 미국, 호주, 멕시코, 중국에서 가장 많이 증가한 반면, 영국은 약간의 감소 경향을 보여주고 있습니다. 이러한 판매 제품 수의 증가는 해당 국가에서 유저의 증가와 판매자의 증가에 기인한 것으로 판단됩니다.




아마존 프라임 나우 VS. 월마트 그로서리

아마존 프라임 나우는 2017년에, 월마트 그로서리는 2018년에 런칭했습니다. 두 서비스의 차이는 아마존과의 경쟁에서 승리하려는 월마트의 전략으로 귀결되는 듯 합니다. 프라임 나우는 2017년 1백만건이 채 못 되는 제품 수로 시작했으며 이후 1년간 눈에 띄는 성장이 없는 것으로 보입니다. 월마트 그로서리는 4천6백만건 이상의 제품 수로 시작했는데, 이미 이 분야 내 아마존과의 승부에서 누가 승리자인지를 확실히 보여주고 있습니다.



고객의 구매 패턴 추적해 보기 : 베스트셀러 랭킹, 평점, 후기

최근 베스트셀러 랭킹이 어떤 의미이며, 이것이 고객의 구매 행위와 만족도와 어떤 연관이 있는지 분석을 시도했습니다. 결론적으로 평점과 후기가 베스트셀러 랭킹에 큰 영향을 미치지는 않는다는 것입니다. 낮은 평가를 받은 제품이나 브랜드가 베스트셀러 리스트에 올라 있는 경우도 많았습니다. 아래 그래프는 평점이 1점대나 2점대로 낮은 제품이 베스트셀러 랭킹에 오른 예시입니다.



이커머스 데이터의 활용

이커머스 데이터를 크롤링하여 활용하는 것은 앞으로도 많은 가능성이 있습니다. 투자사, 헤지 펀드, 부동산 회사에게 있어 예측, 분석, 모니터링, 고객 반응을 위한 대안적 데이터의 활용이 이제 필수가 되었다면, 이커머스 산업은 이를 통해 그보다 더 크고 직접적인 가치를 창출할 수 있습니다.

1. 가격 최적화와 고객 반응 분석

많은 소매 판매자가 데이터 사이언스를 활용하여 최적화된 가격 책정을 추구하며, 불필요한 할인을 배제하고 경쟁력 없는 비싼 가격을 조절하고 있습니다. 실례로, 아마존은 하루에 2백5십만 번 가격을 변경하는 것으로 잘 알려져 있는데, 이는 아마존이 수 년 간 축적해온 가격 최적화 알고리즘을 잘 활용한 결과입니다. 고객들은 무조건 싼 가격이나 무의미한 할인 정책에 휘둘리지 않으며, 다양한 비교와 분석을 통해 최적의 소비를 지향합니다. 가격의 지속적인 모니터링만이 이러한 흐름을 선도할 수 있는 가격 최적화의 공식을 찾아 줄 것입니다.

2. 성장 예측과 시장 조사를 위한 새로운 툴

웹크롤링으로 이커머스 데이터를 수집하여 분석하는 것은 판매사의 성장 예측과 시장 조사에 결정적인 기여를 할 것입니다. 이커머스 데이터는 성장, 확장, 고객 및 판매자 트래픽, 브랜드의 제품 구성 등을 쉽게 예측하고 분석할 수 있게 해 줍니다. 실례로 월마트는 아마존과의 경쟁에 대비하여 광범위한 데이터를 활용했고, 결과적으로 2017년 말까지 아마존과의 가격 차이를 0.3% 이내로 좁혔습니다.

국내외 유수의 이커머스 사이트에서 데이터를 수집/분석하여 중요한 비즈니스 인사이트를 얻을 수 있습니다. 스파이더킴과 상의해 주십시오!

=========================

스파이더킴 (www.spiderkim.com)

웹크롤링, 웹스크래핑, 웹데이터 수집, 빅데이터에서 최고의 서비스를 제공합니다.

지금 바로 홈페이지를 방문하셔서, 문의 요청해 주십시오!

조회 153회

​고객센터

Tel: 02-596-8900  Fax : 02-6930-5709

10시 - 오후 7시(토, 일요일 및 공휴일은 휴무)

개인정보관리책임자 : 황재준   상호 : 유펜솔루션   대표자 : 김재훈   사업자등록번호 : 426-86-00939
주소 : (본사)대전광역시 유성구 엑스포로446번길 38, 3층 302호 / (지사 및 연구소)서울시 성동구 연무장 15길 11, B동 2층
​ⓒ 2019 UpennSolution Co., Ltd. All rights reserved.