AI 크롤러는 가져간 만큼 돌려주고 있나

AI 업체들이 웹을 대량으로 긁어간다는 지적은 오래됐습니다. 정작 그 대가로 돌아오는 방문이 얼마나 되는지를 업체별로 갈라 본 자료는 드뭅니다.

무엇이 달라졌나

클라우드플레어가 자사 네트워크를 분석해 공개한 자료를 보면, 업체별 격차가 큽니다. 2025년 7월 기준으로 앤트로픽은 38,065페이지를 크롤하는 동안 방문 1건을 보냈습니다.

같은 시점에 오픈AI는 1,091대 1, 퍼플렉시티는 195대 1이었습니다.

검색엔진에 가까운 쪽일수록 비율이 낮았습니다. 마이크로소프트는 41대 1, 구글은 5.4대 1이었습니다.

방향이 반대로 움직인 곳도 있습니다. 퍼플렉시티는 연초의 54대 1에서 195대 1로, 크롤 쪽으로 더 기울었습니다.

이 수치는 시점에 따라 크게 흔들립니다. 앤트로픽만 해도 같은 해 안에서 70,900대 1과 26,500대 1이 함께 보고된 적이 있습니다.

이 비율은 크롤러를 열어둘지 말지를 정하는 근거가 됩니다.

한 줄로 전부 막거나 전부 여는 선택 사이에 실제로는 넓은 중간 지대가 있습니다. 어느 크롤러가 무엇을 돌려주는지 알아야 그 중간을 고를 수 있습니다.