로봇 메타 태그(Robots meta tag)는 검색 순위에 직접적인 영향을 미치지는 않지만, 웹 페이지가 검색 엔진에 색인되고 해석되는 방식에 영향을 미칠 수 있습니다. 따라서 웹 페이지의 목적에 따라 검색 엔진에 어떻게 노출될지를 고려하여 로봇 메타 태그를 적절하게 활용하는 것이 중요합니다.
이 글에서는 로봇 메타 태그에 대한 전반적인 이해를 제공하고, 이를 바탕으로 태그의 형식과 적용 방법에 대해 살펴보겠습니다.
로봇 메타 태그 (Robots meta tag) 란?
로봇 메타 태그는 HTML 태그 중 하나로 종종 메타 로봇 태그(Meta robots tag)로 불리기도 합니다. 이 태그는 검색 엔진에 웹페이지의 콘텐츠를 어떻게 색인하고 표시할지를 지시하는 역할을 하며 이를 설정하여 특정 콘텐츠가 검색 결과에 노출되도록 유도하거나, 그 반대로 원치 않는 콘텐츠는 제외할 수 있습니다. 로봇 메타 태그는 다음과 같은 형식을 갖습니다.
<meta name="[ROBOTS]" content="[PARAMETER]">
여기서 우리가 설정할 수 있는 부분은 [ROBOTS]와 [PARAMETER]입니다. [ROBOTS] 부분에는 googlebot, bingbot, yeti, daumoa 등과 같은 검색엔진 로봇의 이름을 지정할 수 있습니다. 그러나 특정 로봇의 행동을 세밀하게 제어하고 싶은 경우를 제외하고는 대부분 검색 엔진 로봇을 통칭하는 robots를 사용하는 것이 일반적입니다. [PARAMETER] 부분은 웹페이지의 동작을 제어하는 데 사용되며, 다양한 값이 존재하지만 이 글에서는 가장 많이 사용되는 아래 네 가지만 다루겠습니다.
- index: 페이지를 색인에 포함
- noindex: 페이지를 색인에서 제외
- follow: 링크 따라가기 허용
- nofollow: 링크 따라가기 제한
다른 값에 대한 정보가 필요하신 분은 아래 링크를 참고하시기 바랍니다.
[Google 검색 센터, 유효한 색인 생성 및 게재 규칙]
로봇 메타 태그 적용 방법 및 예시
로봇 메타 태그는 HTML의 <head>와 </head> 사이에 위치해야 합니다. 일반적으로 아래와 같은 형식이 가장 많이 사용되며 이 메타 태그는 해당 페이지를 색인하고 페이지 안에 포함되어 있는 모든 링크를 따라가 크롤링하는 것을 허용합니다.
<meta name="robots" content="index, follow">
예를 들어, 웹페이지가 아직 완전히 개발되지 않았거나 개인정보와 같은 보안상의 문제로 검색 결과에 나타나기를 원치 않는 경우, 아래와 같이 noindex, nofollow를 이용하여 검색 엔진이 해당 페이지를 색인하지 않고 해당 페이지에 있는 링크들도 검색 엔진이 따라가지 않도록 설정할 수 있습니다.
<meta name="robots" content="noindex, nofollow">
아래 메타 태그는 주로 웹 사이트의 일부 페이지를 검색 결과에서 제외하고자 할 때 사용합니다. 예를 들어, 로그인 페이지, 관리자 페이지, 또는 검색 결과 페이지와 같이 특정 이유로 검색 결과에 나타나지 않아야 할 페이지에 사용됩니다. 이 태그를 사용하면 검색 결과에는 표시되지 않지만, 해당 페이지에 있는 링크는 검색 엔진이 따라가 색인할 수 있습니다.
<meta name="robots" content="noindex, follow">
웹사이트에 임시 페이지나 이벤트 페이지가 있는 경우, 다음과 같이 사용하면 해당 페이지를 검색 결과에 포함하되 해당 페이지에 있는 링크는 검색 엔진이 따라가지 않도록 할 수 있습니다.
<meta name="robots" content="index, nofollow">
[PARAMETER]는 위의 예시에서처럼 두 개만 사용할 수 있는 것은 아닙니다. 예를 들어, 아래와 같이 쉼표(,)로 구분하여 단일 문자열로 개수 제한 없이 여러 값을 적용할 수 있습니다.
<meta name="robots" content="noindex, nofollow, nosnippet">
로봇 메타 태그를 올바르게 활용하면 웹페이지가 검색 결과에서 더 잘 나타나고 사용자들이 더 편리하게 정보에 접근할 수 있습니다. 그러나 이 메타 태그를 부적절하게 사용하면 검색 결과에서 중요한 페이지가 빠질 수 있으므로 신중한 접근이 필요합니다.
로봇 메타 태그의 형식과 적용 방법을 알아보았으니, 이제 실제로 적용해 보겠습니다.
