각종 프로그램 | 웹 크롤링의 다양한 플랫폼 실제 개발 활용 사례 (웹 크롤링, 클로러 활용, 스크래핑, 데이터 분석)

특징 : 웹 크롤링 기능을 활용해 개발 가능한 여러 분야의 활용 사례 소개

여행 분야 활용 사례

- 여행분야에서는 크롤러를 활용시 여러 웹 사이트의 항공권 정보를 동시에 수집 가능

- 동시에 수집된 항공권 정보는 사용자에게 동일한 목적지라도, 다양한 옵션과 금액대의 항공권을 제시 가능

- 이 때, 항공권 뿐 아니라, 호텔, 렌터카, 맛집 등 여행에 필요한 모든 요소를 함께 제시 가능

- 단순히 가격과 예약을 제공하지 않고, 서비스에 대한 리뷰를 함께 수집해 안내 가능

- 파인튜닝된 인공지능 챗봇을 함께 활용시 데이터를 자체적으로 분석하고 사용자에게 최적화된 여행 계획을 수립해 제안 가능

부동산 매물 조회 플랫폼 활용 사례

- 부동산 플랫폼을 개발시 네이버나 구글과 같은 대형 부동산 플랫폼으로부터 데이터를 수집 가능

- 수집되는 부동산 데이터에는 시세, 면적, 매매형태(전세 월세 매매 등), 청약 가능 여부, 부동산 입지 등 아주 다양한 정보를 동시에 수집

- 이를 통해 특수한 부동산 데이터를 사용자에게 동시에 제공 가능하도록 플랫폼 개발

주식 및 암호화폐 거래소 활용 사례

- 주식이나 암호화폐 거래소를 개발시에는 국내와 해외 거래소의 수수료 차이가 있기 때문에, 동시에 데이터 수집 필요

- 각 국의 증권 거래소 데이터와 뉴스, 종목 커뮤니티를 함께 수집해 실시간 시장 심리 분석 결과를 사용자에게 제공 가능

구인구직 플랫폼 활용 사례

- 구직자와 기업의 구인 데이터를 다양한 플랫폼에서 수집해 분석 가능

- 수집된 데이터는 바로 사용되는 것이 아닌 인공지능 알고리즘을 통해 분석 후 사용자의 선호도에 맞는 매칭 결과를 제공

- 구직자가 입력한 경력이나, 기술을 기반으로 채용 공고를 매칭하거나, 신규 직무에 필요한 강의를 추천하도록 플랫폼 개발 가능​