안녕하세요. 15년 차 SCM 및 워크플로우 자동화 전문가 에이드네(Aidne)입니다.

이커머스나 B2B 유통업계에 종사하신다면, 매일 아침 출근하자마자 치르는 ‘의식’이 하나 있을 겁니다. 브라우저 탭을 수십 개 띄워놓고 주요 경쟁사 쇼핑몰의 상품 가격 변동과 품절 여부를 일일이 확인하는 일이죠. 저는 현업에서 이 끔찍한 반복 작업을 ‘김 대리의 엑셀 노가다’라고 부릅니다.

시시각각 변하는 시장 동향을 파악하는 것은 비즈니스의 생명줄과도 같습니다. 하지만 사람이 직접 눈으로 보고 엑셀에 복사/붙여넣기 하는 방식은 휴먼 에러를 유발할 뿐만 아니라, 가장 똑똑해야 할 실무자의 에너지를 갉아먹습니다. 오늘은 단순한 툴 소개를 넘어, 웹 스크래핑과 노코드 자동화 툴을 결합하여 이 과정을 완벽한 컨베이어 벨트로 만드는 실무 밀착형 워크플로우를 파헤쳐 보겠습니다.

매일 아침 경쟁사 쇼핑몰을 뒤지는 ‘김 대리의 엑셀 노가다’의 한계

경쟁사가 기습적으로 주력 상품의 가격을 10% 내리거나, 재고가 소진되어 품절 대란이 일어났다고 가정해 봅시다. 수작업 모니터링 체제에서는 이 사실을 하루나 이틀 뒤에야 알게 됩니다. 이미 시장의 수요는 경쟁사로 넘어가거나 기회를 놓친 후죠.

단순 반복 작업에 인력을 갈아 넣는 것은 기업 입장에서도 엄청난 손실입니다. 데이터 수집은 기계에게 맡기고, 사람은 수집된 데이터를 바탕으로 ‘어떻게 대응할 것인가’하는 전략적 의사결정에 집중해야 합니다. 이것이 바로 웹 스크래핑 기반 모니터링 자동화가 필요한 이유입니다.

Make와 웹 스크래핑을 활용한 실무 밀착형 자동화 워크플로우 3단계

그렇다면 현업에서는 이를 어떻게 구축할까요? 코딩을 몰라도 상관없습니다. Apify 같은 클라우드 스크래핑 툴과 Make(구 Integromat)를 연결하면, 누구나 강력한 데이터 파이프라인을 만들 수 있습니다. 실제 제가 현업에 세팅하는 딥다이브 워크플로우를 공개합니다.

[1단계] 스크래핑 툴(Apify) 트리거 설정 및 데이터 추출

첫 번째 단계는 경쟁사 웹사이트에서 데이터를 긁어오는 ‘크롤러’를 작동시키는 것입니다. Apify 플랫폼에서 제공하는 기성 웹 스크래퍼(Web Scraper) 액터를 활용합니다. Make에서 ‘Apify – Run an Actor’ 모듈을 트리거로 설정하고, 매일 오전 8시 또는 4시간 간격으로 스케줄링합니다. 타겟 URL(경쟁사 상품 페이지)을 입력하면, 스크래퍼가 상품명, 현재 가격, 재고 상태(In Stock / Out of Stock)를 JSON 형태의 깔끔한 데이터로 추출해 냅니다.

[2단계] Make(구 Integromat)를 통한 데이터 파싱 및 필터링

추출된 로우 데이터(Raw Data)가 Make로 넘어오면, ‘Iterator’ 모듈을 사용해 배열 형태로 묶인 수십 개의 상품 데이터를 개별 아이템으로 쪼개어 파싱(Parsing)합니다. 여기서 중요한 것은 쓰레기 데이터를 걸러내는 필터링 로직입니다. ‘Router’ 모듈을 배치하여, 이전 가격과 비교해 변동폭이 5% 이상이거나 ‘품절’ 상태로 변경된 상품 데이터만 다음 단계로 통과하도록 조건을 설정합니다. 이 과정을 거치면 우리에게 진짜 필요한 ‘유의미한 동향 변화’만 남게 됩니다.

[3단계] 구글 시트 업데이트 및 슬랙(Slack) 알림 자동 전송

마지막 종착지입니다. 필터를 통과한 알짜배기 데이터는 ‘Google Sheets – Add a Row’ 모듈을 통해 ‘경쟁사_동향_DB’ 스프레드시트에 차곡차곡 기록됩니다. 동시에 ‘Slack – Create a Message’ 모듈이 작동하여 영업팀과 마케팅팀이 있는 채널에 즉시 알림을 쏩니다. “[긴급] A사 주력 상품 가격 10% 인하 (현재가: 45,000원) – 즉각 대응 요망“ 이런 메시지가 담당자의 스마트폰으로 꽂히는 순간, 김 대리의 엑셀 노가다는 영원히 종료됩니다.

개인의 생산성을 넘어 전사적 데이터 파이프라인으로

이러한 웹 스크래핑 기반 모니터링 자동화는 단순한 개인의 업무 꿀팁이 아닙니다. B2B 의사결정권자나 시스템 기획자라면, 이를 전사적 SCM 데이터 파이프라인을 구축하는 마중물로 보아야 합니다. 경쟁사의 가격 동향 데이터가 내부 ERP의 가격 결정 알고리즘과 연동되고, AI가 최적의 대응 가격을 제안하는 수준까지 고도화할 수 있기 때문입니다.