구글은 BMW를 검색목록에서 왜 삭제했나?

구글은 자동차메이커 BMW의 독일 웹사이트를 검색결과에서 제외시킨다고 발표했습니다.

그리고, 웹사이트에서 자바스크립트 코드를 없애고 구글에 연락을 하면 검색결과에 다시 넣어준다고 이야기 했는데요, 현재는 검색이 되고 있습니다. 이 기사가 나갈 때 이미 BMW의 독일 웹사이트는 자바스크립트를 제거한 상태였습니다.

그렇다면 구글은 왜 BMW의 독일 웹사이트를 웹검색에서 삭제시킨걸까요?

BMW의 독일 웹사이트는 검색엔진의 상위등록 방법으로 흔하고 쉽게 사용할 수 있는 도어웨이(Doorway) 페이지를 만들었습니다. 도어웨이 페이지란 검색엔진의 상위등록을 목적으로 작성되며, 클릭하는 사용자는 곧바로 다른 페이지로 이동하거나 다른 컨텐츠가 나오게 됩니다.

BMW가 이번에 사용한 방법은 이렇습니다.

일반적으로 익스플로러나 파이어폭스같은 브라우져들은 자바스크립트가 가동될 수 있도록 세팅이 됩니다. 하지만 검색엔진에선 보통 자바스크립트를 무시하죠. 자바스크립트는 사용자의 브라우져를 제어하는 목적으로 사용하는 일종의 컴퓨터 언어입니다.

다음 그림은 BMW 독일 웹사이트를 브라우져로 본 것과 검색엔진이 본 것을 나열해 본 것입니다.

위의 그림에서도 알 수 있겠지만, 사람이 보는 페이지에서는 단순한 상품의 리스트이고, 검색엔진이 보는 페이지는 컨텐츠(중고차에 대한 설명입니다.)가 나옵니다. 검색엔진은 컨텐츠를 가져가서 검색결과에 표시해주고, 결과적으로 사용자는 중고차로 검색을 해서 BMW에 접속을 하면 단순리스트가 뜨게 됩니다.

기술적으로 이런 페이지를 무한대로 만드는 일은 매우 간단합니다. 아파치 웹서버에서는 .htaccess를 이용하고, 윈도우서버에서도 404페이지 등의 에러페이지를 조작하면 됩니다. 서버를 조작할 수 없어도 ASP나 PHP같은 웹스크립트를 사용해도 간단히 만들 수 있습니다. 만드는 시간은 한시간도 채 되지 않습니다.

구글은 이런 도어웨이 페이지 같이 검색엔진을 속이는 웹사이트들을 신고할 수 있는 별도의 공간을 제공하고 있습니다. 이런 페이지들은 검색엔진을 거의 완벽하게 속일 수 있기 때문입니다.

그렇다면 한국은?

한국은 구글과 야후를 제외하고는 웹검색이 거의 쓸모가 없기 때문에 상대적으로 효과가 없습니다만 이런 식으로 마케팅을 하는 사람들이 있고, 대행해주는 사람도 있습니다만 매우 음성적으로 활동하고 있습니다. 예전 PHPSCHOOL에 이와 관련된 글을 올렸는데 이틀후에 제작자가 메일로 글의 삭제를 요청한 적도 있었습니다.

구글에서 “배슬기 복고댄스“로 검색을 해보면 수많은 도어웨이 페이지가 나오게 됩니다. 도어웨이 페이지의 전형적인 예로 클릭을 해보면 검색결과와 전혀 상관없는 페이지들이 나오게 됩니다.

이런 사이트들의 도메인 정보를 보게되면 정보 또한 허위로 기재되었다는 것을 쉽게 알 수 있습니다.

도메인이름 : solarcities.or.kr
등록인 : 도메인양도
등록인 주소 : 서울특별시 강남구 대치동 나머지 주소
등록인 우편번호 : 135280
책임자 : 도메인양도
책임자 전자우편 : magicdoregi@hanmail.net
책임자 전화번호 : 02-1234-5678
등록일 : 2006. 01. 25.
최근 정보 변경일 : 2006. 01. 25.
사용 종료일 : 2007. 01. 25.
정보공개여부 : Y

도메인 등록 정보 중에 신뢰할 만한 것은 이메일 주소이기 때문에 아마도 위의 정보 중 이메일은 아는 사람의 정보를 이용해서 허위로 만들지 않는 한은 도어웨이 페이지의 제작자 주소일 것입니다.

도어웨이 페이지를 검색엔진에서 삭제하는 방법

이런 식의 페이지는 검색엔진에서 잡아내기가 굉장히 어렵습니다. 검색엔진이 어떤 알고리즘으로 잡아낸다고 해도 도어웨이 제작자는 그것을 쉽게 피해갈 수가 있습니다.

따라서, 사용자가 좋아하는 검색엔진에 직접 신고를 할 수 밖에 없습니다. 구글은 스팸 페이지를 신고하는 페이지를 따로 제공하고 있는데 이런 정보를 볼 때마다 구글에 신고를 하면 구글에서 그 사이트가 삭제가 됩니다. 이 기간은 그다지 오래 걸리지 않습니다.

내가 왜 검색엔진에게 그런 것들을 알려주어야 하나?

검색엔진은 사기업이 운영하는 것이지만 공공재의 성격이 강합니다. 따라서, 사용자는 제대로 된 검색결과를 받기를 원하거나 다른 이들에게 도움을 주기 원한다면 스팸 사이트로 신고를 하는 것이 바람직합니다. 물론 그런 일들은 사용자의 자유의지겠지요.

Update 20060211.

배슬기 복고댄스와 관련해서 구글에 스팸사이트로 거짓결과 몇개를 신고했습니다.