[어니스트뉴스=손시훈기자] 네이버(www.naver.com 대표 김상헌)는 지난 2010년 네이버에서 운영하는 개발자센터를 통해 검색 콘텐츠 수집에 사용하는 네이버 봇의 단점을 해결하고 독립 사이트들의 부담을 줄여준다며 신디케이션 API(Syndication API)을 정식 오픈했다.

기존 크롤링 방식인 웹 로봇은 무작위 접근 방식의 크롤링(crawling) 기법을 이용하여 콘텐츠를 수집하는데, 이는 웹 사이트에 많은 부하를 줄 수 있으며, 정형화되지 않은 URL과 수집 내용 때문에 검색 서비스에서도 수집 결과를 분석하기 어려운 단점이 있다”며 신디케이션이라는 것을 통해 이를 해결할 수 있다고 홍보하는 네이버 측의 말을 믿고 수 많은 독립 사이트들이 검증되지 않은 신디케이션과의 연동에 나섰다.

신디케이션 API 프로토콜 흐름도                              [자료출처=네이버]

네이버 측은 “기존 방식의 단점을 해결하기 위해 웹 사이트에서 콘텐츠가 등록/수정/삭제되면 검색 서비스로 Ping을 보내고, Ping을 받은 콘텐츠만 검색 서비스에서 수집하기 때문에 ▲검색 서비스의 무작위 크롤링으로 인한 웹 사이트의 서버 부하가 줄어든다 ▲신규 콘텐츠 혹은 수정된 내용이 빠르게 검색 서비스에 반영 ▲제목, 내용, 태그 등 콘텐츠의 구조가 검색 결과에 정확히 반영 ▲Ping을 보낸 콘텐츠만 수집하므로 콘텐츠 제공자가 원하는 부분만 검색에 노출시킬 수 있다”며 신디케이션을 적용하면 무조건 좋다는 식으로 전파했다.

헌데 네이버의 신디케이션으로의 유입 목적이 알려진 바와 다르게 콘텐츠의 사전검열이 주 목적이라는 지적이 나오고 있다.

신디케이션을 연동한 일부 독립 사이트들은 잦은 연동오류와 노출된 콘텐츠마저 사라지는 것에 의구심을 갖고 신디케이션을 삭제했다. 그러나 문제는 신디케이션을 삭제한 이후 더 커졌다는 주장이다.

신디케이션을 삭제한 후 네이버 봇이 사이트 내에 들어와도 콘텐츠를 읽지 못하고  더구나 신디케이션 삭제로 기존 웹문서들 조차 사라져 콘텐츠 알리기가 힘들다고 하소연하고 있다.

한편 네이버는 연동제한에 대한 문의가 오면 우선 “신디케이션 아이피가 귀사에서 차단되어 있다”고 안내하며 연동제한에 대한 탓을 독립 사이트로 떠넘겼다.
그러나 아이피가 차단되었다는 것을 어떤방법으로 확인 했는지에 대해 캐묻자 담당자는 “연동이 안되는 것이 차단이다”, “왜 연동이 안되는지는 서버에 문의해라” 등 말도 안되는 이유를 대며 아이피차단 근거에 대해 노코멘트 입장을 밝혔다.

문제는 한번 이같은 일이 발생한 사이트는 원상회복이 힘들고 한순간에 망가지기도 한다는 점이다.

결국 네이버는 자신들의 입맛에 맞는 콘텐츠만을 선별하기 위한 도구로 신디케이션을 이용했다는 비난을 받고 있다.

더구나 본지의 확인결과 신디케이션은 네이버와 제휴를 맺고 있는 96개의 언론사를 제외한 타 언론사에서 발행하는 뉴스에 대하여는 웹문서 검열 시 이슈성 펌글을 지속 도배하는 경우로 규정하고 노출 제한 등 불이익을 주고 있다는 의혹이 사실로 확인됐다.

네이버 신디케이션과의 연동제한 문제를 겪은 사이트들은 “신디케이션과의 연동은 그 어떠한 불이익도 감수한다는 조건하에 접근해야 할 것”이라고 주의를 당부했다.

어니스트뉴스 web@honestnews.co.kr
저작권자ⓒHNN 어니스트뉴스 (www.Honestnews.co.kr) 무단전재 및 재배포 금지