Scrapling 도입 판단: 사이트 구조가 바뀌어도 반복 수집을 이어가는 도구

웹사이트가 조금 바뀌어도, 예전에 찾던 가격·날짜·제목을 다시 따라가게 만드는 쪽이 Scrapling의 핵심입니다.

웹페이지 하나를 읽어 정리하는 일과, 같은 가격·날짜·제목을 계속 모으는 일은 겉보기보다 다릅니다. r.jina.ai가 URL을 Markdown으로 바꿔 Claude가 읽게 한다면, Scrapling은 사이트 구조가 조금 바뀌어도 예전에 찾던 항목을 다시 찾는 쪽입니다.

한 페이지를 읽는 것과, 같은 정보를 계속 수집하는 일은 목적이 다릅니다.

사용자가 “이게 그 가격이네” 하고 알아보는 것처럼, Scrapling은 예전에 찾던 요소와 닮은 요소를 다시 찾으려고 합니다.

CSS 선택자와 XPath가 사라지면 기존 자동화가 멈춥니다

웹 수집은 먼저 값을 찾을 위치를 정하고, 그 규칙을 반복해서 적용하는 일입니다. 가격은 .price, 제목은 h1, 날짜는 .date에서 읽도록 정하는 식입니다.

이때 쓰는 위치 규칙이 CSS 선택자와 XPath입니다. 웹페이지에서 원하는 요소를 가리키는 주소라고 보면 됩니다. 그래서 이름 자체보다, 사이트가 그 규칙을 바꿨을 때 수집이 어떻게 멈추는지가 중요합니다.

웹사이트는 화면을 거의 그대로 둔 채 HTML 안쪽 구조만 바꾸기도 합니다. 사람에게는 가격·제목·날짜가 그대로 보여도 클래스 이름이나 감싸는 태그는 달라질 수 있습니다.

사람은 가격이 오른쪽 위에서 아래로 옮겨져도 같은 가격으로 알아봅니다. 버튼 색이 바뀌어도 같은 버튼인지 알아봅니다.

반면 자동화는 .price를 찾다가 .price가 사라지면 멈춥니다. 가격이 화면에 남아 있어도, 미리 정한 위치를 찾지 못한 셈입니다.

그래서 웹 수집은 처음 흐름을 만드는 일보다, 사이트가 바뀐 뒤 깨진 위치를 다시 고치는 일이 더 번거로울 수 있습니다. 한 번 만든 수집 흐름이 멈추면 담당자가 현재 페이지에서 새 위치를 찾아 수정해야 하니까요.

adaptive scraping은 저장한 요소와 현재 요소를 비교합니다

Scrapling의 adaptive scraping은 사이트가 바뀐 뒤 같은 항목을 다시 찾는 문제를 다룹니다. 처음 저장한 요소와 현재 페이지의 요소를 비교해, 같은 항목을 다시 찾는 방식입니다.

처음에는 일반적인 방식으로 가격 영역이나 제목 영역을 찾습니다. 이때 Scrapling은 해당 요소의 특징도 함께 저장합니다.

저장하는 특징은 .price라는 선택자 하나로 끝나지 않습니다. 공식 문서에 따르면 태그 이름, 텍스트, 속성, 형제 태그, 부모 요소, 경로 정보를 함께 봅니다.

나중에 같은 선택자로 찾지 못하면 Scrapling은 현재 페이지의 여러 요소를 비교합니다. 예전에 저장한 특징과 가장 비슷한 요소를 찾아 가격이나 제목의 후보로 다시 씁니다.

예전에는 .price에서 가격을 찾았습니다.
지금은 .price가 없습니다.
그런데 예전 가격 영역과 비슷한 텍스트, 비슷한 위치, 비슷한 부모 구조를 가진 요소가 있습니다.
그러면 그 요소를 가격 후보로 다시 가져옵니다.

공식 문서는 이 기능이 AI 없이 동작한다고 설명합니다. 페이지 내용을 AI가 추측해 읽는 방식이 아니라, 저장한 요소의 특징과 현재 요소의 유사도를 계산합니다.

따라서 Claude가 “아마 이게 가격일 거야”라고 판단하는 흐름과는 다릅니다. Scrapling이 이전 요소와 현재 요소가 얼마나 닮았는지를 수집 도구 안에서 비교합니다.

화면은 같아도 HTML 구조가 바뀌면 값이 흔들립니다

Scrapling은 화면에 보이는 항목은 그대로인데 사이트 안쪽 구조가 바뀌는 상황에서 도움이 될 수 있습니다.

쇼핑몰에서 상품 가격을 수집한다고 해보겠습니다. 기존 가격 영역을 .price로 잡았는데, 사이트 개편 뒤 클래스 이름이 .product-price로 바뀌었습니다.

사람은 상품 카드 안의 같은 숫자를 가격으로 알아봅니다. 그러나 기존 자동화는 .price가 사라졌다는 이유로 실패합니다.