[온엣지의 디지털마케팅]SEO(검색엔진 최적화) 공부하기④-검색 엔진의 디자인 & 개발

안녕하세요 디지털 마케터 유성민 입니다. :)

3박 4일의 짧은 일본 여행을 다녀와서 글을 쓰게 되었습니다 !

어느정도 힐링도 하니 마음이 편안해지네요 .

지난 시간에 저희는 챕터 3장까지 SEO에 대한 이론적인 부분들을 공부해 보았습니다.

어려운 내용도 있을 것이라 생각합니다. 하지만, 너무 걱정하지 마시고 넘어오시면 됩니다. 차차알게 될 것입니다.

검색 엔진은 웹을 크롤링하거나, 콘텐츠를 해석하는 방법에 있어서 한계가 있습니다. 우리가 검색하게 되면 볼 수 있는 검색 엔진의 웹페이지가 모든 사람에게 똑같이 보여지는 것은 아닙니다. 이번 챕터에서는 웹페이지를 구축하는 특정 기술적인 측면에 초점을 두어, 검색엔진과 사용자, 방문자 모두를 구조화 해보는 시간을 가지려고 합니다. 아마 이 글을 읽고 계시는 분이 마케터라면, 기술 개발자나 프로그래머 들과 함께 해당 포스팅을 공유하면 좋을 것 같습니다 :)

CHAPTER 4. 검색 엔진의 디자인과 개발의 기본

1, 색인 생성이 가능한 컨텐츠(Indexable contents)

검색 엔진 목록을 보다 잘 수행하기 위해서, HTML은 가장 중요한 내용이 될 것입니다. 이미지, 플래시 파일, JAVA 애플릿 및 기타 비 텍스트 콘텐츠는 크롤링 기술의 발전에도 불구하고 검색 엔진 크롤러가 무시하거나, 평가절하 하는 경우가 많습니다. 방문자에게 표시하는 단어 및 구문을 검색 엔진에 표시되도록하는 가장 쉬운 방법은 페이지의 HTML 텍스트에 단어 및 구문을 배치하는 것입니다. 그러나 더 많은 형식이나, 시각적인 스타일을 요구하는 사람들에게는 보다 고급적인 방법들을 이용할 수가 있습니다.

1) 이미지에 대체 텍스트를 제공하십시오. HTML의 gif, jpg 또는 png 형식의 "alt attributes"  형식으로 이미지를 지정하면, 검색 엔진에 시각적 내용에 대한 텍스트 설명을 첨부할 수가 있습니다.

2) 네이게이션 및 크롤링 링크가 있는 검색창을 보완 하십시오.

3) 페이지에 텍스트가 있는 플래시 또는 JAVA 플러그인을 보완하십시오.

4) 사용된 단어와 구가 엔진에 의해 색인될 예정이라면, 비디오 및 오디오 콘텐츠에 대한 텍스트를 부여하십시오.

2, 검색엔진의 우리 웹사이트 내에서 보게 되는 것

많은 웹 사이트에서 색인 생성이 가능한 콘텐츠에 심각한 문제를 가질 수 있기 때문에, 두번이상의 확인을 할 필요가 있습니다. 구글의 캐시, SEO-browser.com 및 MozBar 와 같은 도구를 사용하면, 컨텐츠의 어떤 요소가 표시되고, 엔진에 인덱싱되는지 확인 할 수 있습니다. 구글 캐시를 사용하게 된다면, 우리는 검색엔진을 볼 수가 있습니다. 이미지나 비텍스트 컨텐츠가 없어져서 나오고, 오로지 텍스트만 나타날때가 있을 겁니다. 그것이 바로 캐시파일이고, 검색엔진은 캐시파일에 있는 요소들만 크롤링하고 인덱싱하게 됩니다.

3. 크롤링이 가능한 링크 구조

검색 엔진은 엄청난 키워드 기반 색인에 페이지를 나열하기 위해 콘텐츠의 출처를 찾기위해 링크를 볼 필요가 있습니다. 크롤러가 웹 사이트의 경로를 탐색할 수 있게 해주는 크롤링 할 수 있는 링크 구조는 웹사이트의 모든 페이지를 찾는데에 필수적인 요소입니다. 수십만 개의 사이트가 검색엔진이 액세스 할 수 없는 방식으로 탐색 기능을 구성하는 바보같은 실수를 저지르고, 검색 엔진 색인에 나열된 페이지를 정렬하는 기능을 방해하게 됩니다.

아래 제가 어떤 일이 일어나는지 예시를 들어보았습니다.

위의 예에서 Google 크롤러는 페이지 A에 도달하여, 페이지 B및 E에 대한 링크를 볼 수 있습니다. 그러나 C,D가 사이트의 중요한 페이지 일지라도, 크롤러는 도달할 수 있는 방법이 없습니다. (또는 존재 여부 조차도 알수가 없습니다.) 이는 직접 크롤링 가능한 링크가 페이지 C와 D를 가리키지 않기 때문입니다.

Google에서 볼 수 없는 경우에는, 페이지가 존재하지 않는 것이나 마찬가지 입니다. 크롤러가 처음부터 페이지에 도달 할 수 없는 경우, 훌륭한 콘텐츠,효과적인 키워드 타겟팅 및 스마트 마케팅으로도 어떠한 변화도 가져올 수 없습니다.

링크 태그에는 사용자가 다른 페이지로 이동할 수 있는 페이지의 클릭 가능한 영역을 제공하는 이미지나 텍스트 또는 기타 개체가 포함될 수있습니다. 이 링크는 하이퍼 링크라고하는 인터넷의 원래 사용되는 탐색 요소입니다. 위의 그림에서 "<a" 태그는 링크의 시작을 나타냅니다. 링크 참조 위치(link referral location)는 브라우저(및 검색 엔진)에게 링크가 가리키는 위치를 알려줍니다. 이 예에서는 URL : Http://www.jonwye.com이 참조됩니다. 다음으로 SEO 세계에서 앵커 텍스트라고 하는 방문객을 위한 링크의 가시적인 부분을 링크가 가르키는 페이지를 설명합니다. 링크 된 페이지는 "Jon Wye's Custom Designed Belts"입니다. "</a>" 태그는 링크를 닫아 태그 사이의 링크된 텍스트를 제한하고, 링크가 페이지에 다른 요소를 포함하지 못하도록 도와줍니다.

해당 예시는 링크의 가장 기본적인형식이며, 검색 엔진에서는 쉽게 이해할 수 있을 것입니다. 크롤러는 이 링크는 웹의 엔진 링크 그래프에 추가하고, 이를 사용하여, Google의 page rank와 같은 쿼리 독립적 변수를 계산하고 이를 참조하여, 참조 페이지의 내용엗 대한 색인을 생성해야 합니다. 

4. 그렇다면 웹 페이지가 도달하지 못하는 공통적인 이유들은 어떤 것이 있을까요?

1) 제출 양식

특정 콘텐츠에 액세스하기 전에, 사용자가 온라인 양식을 작성해야하는 경우 검색 엔진에서 보호된 페이지를 볼 수 없습니다. 양식에는 암호로 된 로그인이나, 설문조사가 포함될 수 있습니다. 두 경우 모두 검색 클롤러가 일반적으로 양식 제출을 시도하지는 않으므로, 양식을 통해 엑세스 할 수 있는 모든 콘텐츠나 링크는 엔진에서 볼 수가 없습니다.

2) 해석할 수 없는 JavaScript의 링크

링크에 자바 스크립트를 사용하면, 검색 엔진이 크롤링하지 않거나 포함된 링크에 거의 영향을 미치지 않을 수 있습니다. 표준 HTML 링크는 크롤러가 크롤링 할 페이지에서 자바 스크립트를 대체하거나, 두가지 다 동시에 병행해야합니다.

3) 메타 로봇 태그 or Robots.txt에 의해 차단된 페이지를 가리키는 링크

메타로봇 태그나 robots.txt. 파일을 사용하면, 사이트 소유자가 크롤러 액세스를 페이지에 제한할 수도 있습니다. 많은 웹 마스터가 의도치 않게 이러한 지시문을 악성 봇의 액세스를 차단하려는 목적으로 사용했기 때문에, 검색 엔진이 크롤링을 중단한다는 것도 알게 되었습니다.

4) 프레임 or iframes

기술적으로, 프레임과 iframe 모두의 링크는 크롤링 할 수 있지만, 조직과 추적의 개념 측면에서, 엔진의 구조적 문제를 나타낼 수 있습니다. 검색 엔진에서 프레임의 링크를 색인 생성하고, 링크를 따르는 방법에대해 기술적으로 잘 알고 있는 고급 사용자가 아닌 경우에는, 일반적인 사용자들로 부터 멀리떨어지는 것이 최선입니다.

5) 로봇은 검색 양식을 사용하지 않는다.

비록 1번에서 말씀드린 양식에 대한 경고와 직접적으로 관련이 있지만, 보통 이렇게 나누어서 언급하는 것이 일반적입니다. 일부 웹 마스터는 사이트에 검색 창을 배치해두면, 방문자가 검색하는 모든 것을 엔진에서 찾을 수 있다고 생각합니다. 유감스럽게도 크롤러는 콘텐츠를 찾기 위한 검색을 수행하지는 않기 때문에, 수백만개의 페이지를 엑세스 할 수 없으며, 크롤링 된 페이지가 링크될때까지는, 의미없는 검색 결과로써 처리가 됩니다.

6) Flash, Java 및 기타 플러그인의 링크

가끔씩 크롤링 되지 않는 페이지를 보면, 이미지나 다른 비텍스트 컨텐츠 없이 텍스트만 가시적으로 나타나는 현상을 많이 본 경험이 있으실 겁니다. 수십개의 링크가 나열되고 있지만, 링크 구조를 통해 크롤러에 도달할 수 없으므로, 크롤러가 엔진에 보이지 않게되고, 사용자가 지정해둔 검색어에 나타나지 않게 됩니다.

7) 너무 많은 페이지의 링크

검색 엔진은 주어진 페이지에서 오직, 몇 개의 링크들만을 크롤링합니다. 이러한 제재는 스팸을 줄이고 검색 개재순위를 보존하기 위해 필요한 것입니다. 수백 개의 링크가 있는 페이지는 해당 링크를 크롤링하거나, 색인을 생성하지 못할 위험이 있습니다.'

이러한 문제들을 피하기 위해서는, 깔끔하고, 표준에 맞춘 HTML 링크를 가져야 할 것입니다. HTML링크는 검색 봇이 우리의 페이지에 쉽게 접근할 수 있도록 도와줄 것 입니다.

이상으로 해당 포스팅에서는 기술적인 문제점이 발생하는 가장 공통적인 이유들에 대해서 설명해보았습니다.

다음 포스팅에서는, 검색 엔진을 최적화하는 방법을 단계적으로 설명해볼까 합니다.

 감사합니다 :)