워드프레스 robots.txt 변경 및 바로 반영 안 되면 확인하세요

워드프레스에 글을 작성하면서 해야 할 것들이 많고 알아야할 것도 많은 듯 합니다. 하지만, 인터넷과 AI가 있으니 해결 가능한 부분도 있지만 때론 돌아가게 만드는 것은 아닌가 싶기도 합니다. 겪은 문제 중에 워드프레스 robots.txt 변경 방법 및 이를 반영시키는 법에 대한 정보를 공유하려고 합니다.

이것을 하게 된 이유는 ‘다음 웹마스터’에 등록하고 싶었기 때문입니다.
다음 포털에도 이 워프 글이 노출이 되면 좋겠다는 생각에서 시작했는데요.

잘 안 됐어요. 그래서 알아보고 해결한 방법입니다.

워드프레스 robots.txt 변경하는 방법은 해당 파일을 업로드하면 단순하게 할 수 있습니다. 혹은 이 워프에 설치된 Rank math SEO를 통해서도 변경할 수 있다고 합니다.

제가 선택한 방법은 파일 생성해서 기존 + 추가 내용 작성하고 반영시키기입니다.

저는 참고로, 워드프레스는 클라우드웨이지(Cloudways)에 설치해서 사용하고 있습니다. 그리고 도메인은 클라우드플레어(CLOUDFLARE)에서 구매하고 그곳에서 DNS 레코드 추가해서 사용하고 있습니다.

이렇게 구성한 이유는 예전에 패스트코멧인가(?) 정확한 명칭은 기억이 나지 않지만 지원은 잘 해줬지만 초보자가 사용하기에는 너무나도 열악(!)했습니다. 모르는 것도 많은데 속도도 느렸습니다. 물론 저렴하긴 했죠. 그리고 호스팅KR에서 도메인도 사고 그곳에서 DNS 설정해서 사용도 했었습니다.

• PageSpeed Insights 내 사이트도 측정해보기 [바로가기]

하지만, 이제는 클라우드웨이즈+클라우드플레어 조합으로 이용하고 있습니다. 이전하는 것도 그렇게 어렵지는 않았고요. 지금은 좀 더 비싼 돈은 주지만 스트레스는 없다고는 말 못하지만 정말 운영하는덴 없다고도 할 수 있습니다.

앗… 사설이 길었네요.
죄송합니다.
본론으로 돌아와서요.

로봇 텍스트, robots.txt 역할

웹사이트의 루트 디렉토리에 위치한 텍스트 파일.
웹 크롤러(예: 검색 엔진 봇)가 어떠 ㄴ페이지를 크롤링할 지 말지를 지시하는 역할

• 크롤링 제어
• 서버 부하 감소
• 사이크맵 안내

워드프레스 robots.txt 변경 및 바로 반영 시키기

저는 Rank Math SEO 플로그인을 사용하고 있습니다.
그런데, 어떻게 변경하는지 모르겠더라고요.

인터넷 뒤지면 알겠지만, 나중에 또 수정하고 그럴 일이 발생하면 또 인터넷 검색하고 그래야 하나? 라는 생각이 들어서 아주 심플한 방법을 선택하기로 했습니다.

참고로, Rank Math SEO를 사용하면 robots.txt 파일 내용을 확인할 수 있는데요.
[Rank Math SEO > 일반 설정 > Edit robots.txt]에서 볼 수 있습니다.

혹은 아래와 같이 url로 접근하셔도 확인 가능합니다.

https://yoursiteURL.com/robots.txt

이 내용가지 확인하셨다면 저는 일단은 기존 robots.txt의 내용은 그대로 유지하고 새롭게 추가할 내용만 추가했습니다.

저의 워드프레스 기본 robots.txt 내용입니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://kkumivault.com/sitemap_index.xml

그 방법 바로 알아보겠습니다.

워드프레스 robots.txt 파일 생성하기

FTP를 활용하시는 분도 계십니다.
저는 간단히 WP 파일 관리자(파일매니저) 플러그인을 통해서 진행했습니다.

WP 파일관리자 설치 및 활성화까지 진행해 주세요.

1. WP 파일 관리자를 선택합니다. (워프 관리자페이지 사이드바)

2. 상단 메뉴바에서 ‘새 파일’ 버튼을 클릭하고 ‘TXT:Plain text’ 옵션을 선택합니다.

3. 이름을 robots.txt로 입력합니다.

워드프레스 robots.txt 수정하기

워드프레스 robots.txt 수정은 WP 파일 관리자에서 해당 파일 우클릭하고 ‘Editor’를 선택하면 수정화면이 나타납니다.

추가 및 변경하고 싶은 내용을 입력 후 저장합니다.

• SAVE & CLOSE: 저정 후 닫기
• SAVE: 저장하기

모든 수정이 완료되었다면 닫기 해 주세요.

수정 확인은 랭크 매스 robots.txt 편집 메뉴에서 바로 확인이 가능합니다.

그럼에도 불구하고 url로 접속해 보면 변경 내용이 반영되지 않았습니다.

워드프레스 robots.txt 수정 반영 확인하기

저는 워드프레스에 캐시가 때문일 것이란 생각을 했습니다. 그래서 워드프레스 캐시로 사용 중인 breeze 의 ‘Purge All Cache’ 누르고 다시 확인했습니다.

그런데, 반영이 여전히 되지 않았지만 Rank Math Robots.txt Tester and Validator에서는 수정된 것이 보였습니다.

그래서 이번에는 클라우드웨이즈에서 퍼지를 눌렀습니다. 그런데, 여전히 동작하지 않았습니다.

저의 경우 결국은 클라우드플레어에서 캐시를 지워주니 정상적으로 반영되었습니다.

클라우드플레어 캐시 삭제하기

1. 클라우드플레어 홈페이지 접속 후 로그인해 주세요.
2. 캐시삭제할 도메인을 선택합니다.
3. 좌측 메뉴에서 “Caching > 구성’으로 이동합니다.
4. 캐시 삭제 화면에서 ‘모두제거’ 누릅니다.