디지털 쉼터
  • 목록
  • 아래로
  • 위로
  • 쓰기
  • 검색

트래픽 초과의 원인을 알았습니다.

Mactopia님의 기기정보
CPU : XEON 1230 V2 MAINBOARD : ZOTAC Z77 ITX WIFI GRAPHIC : AMD RX 570 4096 MB MEM : 16GB XMP HDD : SAMUNG SSD 830 256GB PSU : SliverStone SX600-G

지금 사이트 트래픽이 24시간 기준 10GB 입니다. 정확히 어제 11시 45분 경에 트래픽 초과가 났습니다. 한 15분 정도 사용량이 모자른거지요.


하여 그대로 놔두면 주말에는 조금더 사용량이 많을테니 시간당 약 1GB 씩 잡아 먹을거라 생각이 들었습니다. 부랴 부랴 원인을 찾던중...


다행히 답을 찾은 듯 하네요.


그 이유는 이름도 거창한 서치엔진 로봇 크롤링! = 검색기관 자동기계가 긁어가기!




그런 겁니다. 갑자기 사이트가 검색엔진에 입맛에 들었는지...whatever ~


구글 봇 / 네이버 봇 / 다음 봇 / 빙봇 / 이런 봇들이~~ 시도때도 없이 들어와서 사이트를 긁어가며 트래픽을 쭈우우쭉 잡아 드셨던 것 입니다.



맥토피아가 구분하는 악질봇의 정의 

"실컷 와서 긁어만 가고(트래픽만 소모 시키고) 지네들 검색엔진에 노출은 안하는 봇"


1. 바이두 봇 : 엄청 나게 긁어가면서 거의 3초 단위로 방문함...하여 트래픽 소모양이...장난아님, 이 놈들 봇 이름도 무시무시..baidu spider..

2. 빙봇 : 사이트 방문은 바이두 스파이더랑 비슷하게 엄청나게 함....그런데 트래픽 소모는 바이두 봇에 비해 적음. 그래서 크롤 봇도 그 능력치로만 보면 이름 만큼 빙딱임. 하지만 방문량이 많기 때문에 한번에 긁어 가는 양은 바이두 봇에 비해 적어도...그래도 큰 편임. 

3. 네이버봇 : 방문도 그럭저럭....긁어가는 양도 그럭저럭...하지만 방문자는 미미...지네들 블로그나 돈주고 판 높은 자리(파워 서치)에 우선 되어 있는지....

4. 구글 봇 : 방문양도 많음..당연히 트래픽 소모도 많음...하지만 몸값을 함.. 



스크린샷 2015-04-03 오후 8.34.46.png


그래서 아래와 같이 일단 바이두 스파이더랑 빙봇을 일단 차단 시켰습니다.  


robots.txt 
-

User-agent: Googlebot
Allow: / 
User-agent: daumoa 
Allow: /
User-agent: Baiduspider
Disallow: /

User-agent: Bingbot
Disallow: /

-


그랬더니 현재 시간 기준 기이한 트래픽 소모 현상이 중지되었네요. 지금이 9시 정도니까...원래라면 못해도 7GB 이상은 소모 되었야 하는데요.. 괜찮습니다.


스크린샷 2015-04-03 오후 8.52.33.png



PS. 근데 왠지 씁슬 ?









  • 구독(457명)

Mactopia Mactopia
199 Lv. Max Level

댓글 5

참여를 하시면 세상을 바꿉니다.
profile image
Mactopia 작성자 2015.04.03. 21:05 |댓주소:#502791
XEXEX
털썩...아이브경입니다. 봇이 아닙니다. 복잡함을 추구하지요. 심플한 디자인과 하얀색을 특히 싫어합니다. 남 앞에 나서서 피티하길 좋아하고 동영상 출연을 싫어합니다.
3등 해태 2015.04.04. 04:21 |댓주소:#503288
Mactopia

이런거 어떻게 알수 있나요? ?저도 홈피가 있는데 트랙픽초과는 아니지만 검색이 잘 되는지 알고 싶어서요.

profile image
Mactopia 작성자 2015.04.04. 12:27 |댓주소:#503429
해태

직접 제작한 사이트는 범용 구글 애널리스틱이라던지 네이버 애널리스틱 이런 별도의 툴을 이용해야 할 겁니다. 워드프레스나 그런 것으로 하셨다면 그런 플랫폼에 맞게 나온게 있을거에요.

댓글 쓰기

선택 삭제 전체 선택
익명상태

신고

"님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"님의 댓글"

이 댓글을 삭제하시겠습니까?