AI 크롤러가 보내주는 방문은 얼마나 되나

AI 업체들이 웹을 대량으로 긁어간다는 지적은 오래됐습니다. 정작 그 대가로 돌아오는 방문이 얼마나 되는지를 업체별로 갈라 본 자료는 드뭅니다.

무엇이 달라졌나

클라우드플레어가 자사 네트워크를 분석해 공개한 자료를 보면, 업체별 격차가 큽니다. 2025년 중반 기준으로 앤트로픽은 수만 페이지를 크롤하는 동안 방문을 겨우 한 건 보냈습니다.

같은 시점에 오픈AI와 퍼플렉시티도 크롤 쪽으로 크게 기울어 있었습니다.

어디까지 확인된 것인가

검색엔진에 가까운 쪽일수록 비율이 낮았습니다. 마이크로소프트와 구글은 다른 업체들과 자릿수가 달랐습니다.

방향이 반대로 움직인 곳도 있습니다. 퍼플렉시티는 연초보다 오히려 크롤 쪽으로 더 기울었습니다.

이 수치는 시점에 따라 크게 흔들립니다. 앤트로픽만 해도 같은 해 안에서 서로 크게 다른 값이 함께 보고된 적이 있습니다.

그래서 무엇을 봐야 하나

이 비율은 크롤러를 열어둘지 말지를 정하는 근거가 됩니다.

• 학습용으로만 가져가는 크롤러와 방문을 되돌려 보내는 크롤러는 성격이 다릅니다
• robots.txt는 둘을 따로 여닫을 수 있는데, 실제로 나눠 설정한 사이트는 많지 않습니다

한 줄로 전부 막거나 전부 여는 선택 사이에 실제로는 넓은 중간 지대가 있습니다. 어느 크롤러가 무엇을 돌려주는지 알아야 그 중간을 고를 수 있습니다.