Các công cụ để kiểm tra x-robot-tag với các chỉ thị noindex và nofollow

Tôi đã từng viết về sức mạnh (và mối nguy hiểm) của thẻ meta robots. Nó có sức mạnh hết sức phi thường.

Nó sẽ là hữu ích khi cần thiết nhưng thẻ meta robots cũng có thể phá hủy SEO của bạn nếu bạn sử dụng không đúng cách. Ví dụ, nếu bạn nhầm lẫn khi thêm thẻ meta robots vào các trang để noindex. Nếu điều đó xảy ra và nếu nó phổ biến thì trang của bạn sẽ bắt đầu bị giảm khỏi chỉ mục của Google. Và khi điều đó xảy ra, bạn có thể mất đi thứ hạng của các trang này và tiếp theo là lưu lượng truy cập. Trong trường hợp xấu nhất, lưu lượng truy cập tìm kiếm tự nhiên của bạn có thể giảm mạnh trong một thời gian.



Tôi đã nhìn thấy điều đó xảy ra với một số công ty trong sự nghiệp của tôi. Nó có thể là lỗi của con người, các vấn đề CMS, quay trở lại với một phiên bản cũ hơn của trang web...Đó là lý do tại sao nó rất quan trọng để kiểm tra sự hiện diện của thẻ meta robots để đảm bảo các chỉ thị đúng được sử dụng.

Ngoài thẻ meta robots, bạn cũng có thể sử dụng x-robot-tag trong header. Bằng cách sử dụng phương pháp này, bạn không cần phải có thẻ meta để thêm vào mỗi URL, thay vào đó bạn có thể cung cấp các chỉ thị thông qua phản hồi máy chủ.

Dưới đây là 2 ví dụ của x-robot-tag:


Một lần nữa, những chỉ thị đó không được chứa trong code html. Chúng đang có trong header nhưng vô hình với mắt thường. Bạn cần phải kiểm tra đặc biệt với header để xem nếu sử dụng x-robot-tagvà chỉ thị đó đang được sử dụng.

Hãy tưởng tượng việc kiểm tra một trang web với thẻ meta robots, suy nghĩ tất cả đều ok khi bạn không thể nhìn thấy nó nhưng x-robot-tagđược dùng với “noindex, nofollow” trên mỗi URL. Điều đó là không tốt.

Làm thế nào để kiểm tra x-robot-tag trong header response?

Dựa trên những gì tôi đã giải thích ở trên, tôi quyết định viết bài này để giải thích bốn cách khác nhau để kiểm tra x-robot-tag. Bằng cách thêm vào danh sách kiểm tra này, bạn có thể đảm bảo rằng các chỉ thị quan trọng là chính xác và rằng bạn đang noindex và nofollow các trang ngay trên trang web của bạn. Danh sách dưới đây có chứa các plugin trình duyệt và các công cụ trực tuyến để kiểm tra URL duy nhất cũng như công cụ thu thập dữ liệu để kiểm tra các URL với số lượng lớn.

1. Plugin trình duyệt

Plugin Web Developer

Plugin web developer là một trong những plugin yêu thích của tôi để kiểm tra một số item quan trọng và nó có sẵn cho cả Firefox và Chrome. Bằng cách click vào plugin trong trình duyệt của bạn sau đó “Information” và sau đó chọn “Response Headers”, bạn có thể xem giá trị http header cho các URL. Và nếu x-robot-tagđược sử dụng, bạn sẽ nhìn thấy giá trị được liệt kê.


SEO Site Tools

Tôi sử dụng phần mở rộng chrome SEO Site Tools thường xuyên để kiểm tra các yếu tố SEO cụ thể cho từng trang cụ thể. Các chỉ thị x-robots bị ẩn trong plugin này nhưng bạn vẫn có thể tìm thấy chúng khá dễ dàng. Chỉ cần click plugin trong Chrome, sau đó chọn tab “Page Elements” và sau đó di chuyển tất cả xuống phía dưới cùng của cửa sổ. Bạn sẽ nhìn thấy header response, bao gồm các chỉ thị x-robot-tagnếu thẻ đang được sử dụng cho trang đó.



LiveHTTPHeaders

Nếu bạn muốn kiểm tra các header một cách nhanh chóng thì các LiveHTTPHeaders là một lựa chọn tuyệt vời. Nó có sẵn cho cả Chrome và Firefox và nó dễ dàng cho phép bạn xem các header response cho mỗi trang khi bạn duyệt web. Ví dụ, bạn có thể kiểm tra các header và theo dõi các vấn đề khi đi qua một trang cụ thể.

Kể từ khi nó cung cấp header response cho mỗi trang, bạn cũng sẽ thấy các chỉ thị x-robot-tagcho mỗi URL. Chỉ cần click vào URL mà bạn muốn, bạn có thể xem được header response. X-robot-tagsẽ được liệt kê nếu nó được sử dụng cho các URL.



2. Các công cụ trực tuyến để kiểm tra Header Response

Ngoài plugin, bạn có thể sử dụng một số công cụ trực tuyến. Cũng giống như plugin, đây là một lựa chọn tốt khi bạn đang kiểm tra URL đơn hoặc chỉ thử nghiệm một mẫu các URL.

SEO Tools Server Header Checker

Có hai lựa chọn khi sử dụng SEO Tools Server Header Checker. Bạn có thể kiểm tra một URL duy nhất hoặc bạn có thể sử dụng URL tùy chọn với số lượng lớn để kiểm tra nhiều URL cùng một lúc. Với tùy chọn URL duy nhất, bạn chỉ cần nhập một địa chỉ để kiểm tra và click “Check Headers”. Công cụ sẽ trả về header response cho URL đó, bao gồm các chỉ thị x-robot-tag.

Với việc kiểm tra header với số lượng lớn, bạn nhập vào một loạt các UR và click vào “Check Headers”. Bạn sẽ nhìn thấy mỗi response cho mỗi URL được liệt kê cùng với x-robot-tagnếu nó đang được sử dụng.



URI Valet

URI Valet được coi là một công cụ trực tuyến đa năng, nó trả về một số thông tin quan trọng cho URL. Ví dụ, header response, thông tin hiệu suất, các liên kết internal, external, xác nhận thông tin...Bạn cũng có thể chọn một tác nhân người dùng để kiểm tra response dựa trên các trình duyệt, thiết bị và các bot tìm kiếm khác nhau. Có khá nhiều chức năng được tích hợp vào công cụ trực tuyến này nhưng tôi sẽ không đi vào chi tiết tất cả các báo cáo ở đây. Đó là bởi vì chúng tôi đang tập trung vào header response (để tìm x-robot-tag).

Đơn giản bạn chỉ cần nhập URL, chọn một tác nhân người dùng (hoặc giữ nguyên mặc định được chọn), click vào nút “I’m not a robot” và sau đó click vào submit. Header response sẽ được liệt kê dưới đây cùng với các chỉ thị x-robot-tagnếu nó được sử dụng.

3. Crawling Tools

Tôi đã đưa cho bạn một số công cụ trực tuyến có thể giúp bạn kiểm tra x-robots-tag và bây giờ hãy kiểm tra một số công cụ thu thập dữ liệu mạnh mẽ. Ví dụ, nếu bạn muốn thu thập nhiều URL với số lượng lớn (như 10K, 100K hay hơn 1M trang) để kiểm tra sự hiện diện của x-robots-tag, những công cụ sau đây có thể là rất hữu ích.

DeepCrawl

Đây là công cụ thu thập dữ liệu cho các doanh nghiệp. Tôi là một fan của DeepCrawl.com bởi tôi thường sử dụng nó để tư vấn cho khách hàng của tôi.

Sau khi thu thập dữ liệu một trang web, bạn có thể dễ dàng kiểm tra báo cáo "Noindex Pages" để xem tất cả các trang được noindex qua thẻ meta robots, x-robots-tag header response hoặc bằng cách sử dụng noindex trong robots.txt. Bạn có thể export danh sách và sau đó filter trong Excel để cô lập các trang noindex thông qua x-robots-tag.


Screaming Frog

Tôi cũng là một fan hâm mộ lớn của Screaming Frog trong một thời gian dài. Đây là một công cụ thiết yếu trong kho vũ khí SEO của tôi và tôi thường sử dụng Screaming Frog kết hợp với DeepCrawl. Ví dụ, tôi có thể thu thập dữ liệu một trang web quy mô lớn (sử dụng DeepCrawl) và sau đó cô lập khu vực cụ thể để thu thập dữ liệu (sử dụng Screaming Frog).

Khi bạn thu thập thông tin một trang web bằng cách sử dụng Screaming Frog, bạn có thể chỉ cần nhấp vào tab Directives và sau đó tìm cột x-robots. Nếu bất kỳ trang nào đang sử dụng x-robot-tag thì bạn sẽ thấy các chỉ thị được sử dụng trên mỗi URL.



Tóm lại - Có nhiều cách để Noindex một trang

Nếu bạn nhận thấy các trang không được index nhưng thẻ meta robots không xuất hiện trong code html thì ban nên kiểm tra sự hiện diện của x-robot-tag. Bạn chỉ có thể tìm thấy các trang quan trọng được noindex thông qua header response. Và một lần nữa, nó có thể là một vấn đề tiềm ẩn gây ra các vấn đề SEO nghiêm trọng.

Sau đó, tôi khuyên bạn nên kiểm tra các plugin, công cụ trực tuyến và các trình thu thập mà tôi đã liệt kê trong bài viết này. Tất cả có thể giúp bạn phát hiện ra những vấn đề có thể ảnh hưởng đến những nỗ lực SEO của bạn.

Lưu ý: Bài viết dành cho người đọc có kiến thức về code, html... để hiểu rõ bản chất bài viết hơn

Ghi nguồn

PHP:

www.thegioiseo.com