robots.txt 지켜야 되는 것인가 말아도 되는 것인가

구글과 네이버를 적대적 관계로 볼 때 자주 나오는 이야기가 robots.txt을 이용해서 외부 검색을 못하게 하기 때문에 구글이 한국에서 힘이 없는 것이다 라는 말입니다.

그 내용을 아는 개발자가 IT관계자들도 robots.txt를 지켜도 그만 안지키면 어쩔 수 없는 것으로 생각을 하고 있습니다.

그 내용을 다른 각도에서 보도록 할 필요도 있습니다.

일반적으로 저작물의 복제행위는 특별한 저작권표시가 없으면 하면 안되는 행위입니다. 음악이나 영화와 마찬가지로 자신이 만든 컨텐츠는 설사 인터넷에 올렸다 손 치더라도 남이 복제를 하면 안되는 것이죠. 그것은 마우스로 긁어가는 것과 프로그램이 긁어가는 것의 차이는 전혀 없습니다. 둘 다 안됩니다. 상업적으로 쓰건 그렇지 않건간에 복제하는 행위 자체는 엄연히 불법입니다.

그럼 생각해 보도록 하죠. 네이버나 구글의 크롤링이라고 하는 다시 말하면 웹사이트들의 페이지들을 긁어가는 행위는 명백한 저작권침해가 됩니다. 설사 검색결과에서 관련된 문장 세줄정도만 보여준다고 해도 서버에는 모든 페이지들이 저장되어 있기 때문에 복사 자체가 불가능하다는 뜻 되겠습니다.

쉽게 말하자면 이렇습니다. 얼마전부터 한창 문제가 되는 노래 저작권과 저작인접권에 관한 문제를 문화관광부의 답변을 토대로 말하자면, 복제불가능하게 비상업적으로 듣는다 하더라도 하드디스크에 노래를 복제하는 행위 자체가 불법이 되기 때문에 어떤 형태로건 서비스를 할 때에는 저작권자와 인접권자의 허락을 받게 되어 있습니다. 그것은 웹사이트에도 동일하게 적용됩니다. 즉, 내가 쓴 글을 검색회사들이 가져갈 권리는 내가 따로 검색회사들에게 주어야 한다는 것입니다. 그 통로가 바로 robots.txt라는 것이죠.

저작권자는 자신의 웹사이트에 robots.txt를 만들어 놓음으로서 다른 회사들이 복제하지 못하게 할 수 있습니다. 그렇기 때문에 검색회사들이 복제를 해서 검색서비스를 일반인에게 제공하는 것이 법적으로 가능하게 되는 것입니다.

얼마전 엠파스에서 열린검색이라는 서비스를 오픈했습니다. 과감하게 robots.txt도 무시한채 네이버의 지식인과 열린게시판이라고 해서 유명한 포럼들의 글을 복제해서 검색서비스를 하고 있습니다. 참으로 위험하기 짝이 없는 서비스임에도 불구하고 누구도 이의를 제기하지 않고 있습니다.

확실한 것은 남의 저작물을 이용하는 데 있어서 저작권자의 허락을 받는 것은 저작자가 할 일이 아니라 이용하는 자가 할 일이라는 것입니다. 그 것이 인터넷에서만 특별하게 저작권자가 robots.txt라는 것을 이용해서 거부의사를 밝히는 것이죠. 만약 모든 회사들이 robots.txt라는 것을 지키지 않고 모든 웹사이트들의 컨텐츠 복제를 시도한다면 인터넷에서 검색서비스는 할 수 없게 됩니다.

저작권 보호를 위한다면 인터넷에 올리지 않으면 되는 것이 아니냐? 라고 이야기 할 수도 있겠지만, 현행 저작권법하에서는 위에도 말한 바와 같이 그것은 글을 올린 사람이 해결해야 할 문제가 아니라 사용하는 쪽이 해결해야 할 문제입니다.

한국의 법원은 아직까지 징벌적 배상 판결을 내리지 않기 때문에 만약 비상업적으로 저작물을 사용할 때 보통은 상업적으로 이용했을 경우를 예로 들어 사용비만을 배상하라는 판결을 합니다. 하지만, 검색서비스는 확실히 상업서비스입니다. 엄청난 광고가 나오는 페이지들이 비상업이라고 말할 수는 없겠지요.

robots.txt이라는 간단한 룰이 그냥 생긴 것이 아닙니다. 그 것을 지키지 않은 엠파스도 지켜도 그만 안지켜도 그만인 것은 더더욱 아닙니다. 인터넷에서 검색서비스는 네티즌들의 암묵적인 합의가 있었기에 가능한 것이죠. 네티즌들이 거부할 수 있는 단 한개의 권리를 지켜주지 않는다면 악의적인 사용자에 의한 소송을 피할 길이 없게 되고 현재의 음원서비스처럼 닭싸움이 될 가능성도 있습니다.