ranxeseo
seo.ranxe.com
Kiểm Soát Crawl Budget

Công Cụ Tạo & Kiểm Tra Cú Pháp File Robots.txt

Tạo cấu hình tệp robots.txt chuẩn xác cho bot thu thập dữ liệu (Googlebot, Bingbot). Tích hợp bộ kiểm tra cú pháp thời gian thực cảnh báo nguy cơ chặn nhầm bot tìm kiếm và tính năng chặn AI Scraper.

Nguồn tham khảo: SmallSEOTools & Yoast SEO
Mẫu Cấu Hình Nhanh 1-Click Theo Nền Tảng:

Cấu Hình Quy Tắc Robots

Chỉ định thư mục cho phép (Allow) hoặc cấm thu thập dữ liệu (Disallow) đối với bot tìm kiếm.

Quy Tắc Cho Mọi Bot (User-agent: *)
Disallow:
Allow:
Disallow:
Chặn Các Bot Thu Thập Dữ Liệu AI (Bảo Vệ Bản Quyền Nội Dung)

Tự động thêm quy tắc Disallow cho GPTBot, ChatGPT-User, CCBot, ClaudeBot và Google-Extended.

Kết Quả Kiểm Tra Cú Pháp (Live Validator)
Cú pháp tệp robots.txt hợp lệ, an toàn và chuẩn quy ước quốc tế!
robots.txt Output
Cú Pháp Chuẩn
# robots.txt được tạo tự động bởi Ranxe Seo Tools (https://seo.ranxe.com/cong-cu/tao-robots-txt/)
# Cập nhật: 2026-10-14

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /readme.html

Sitemap: https://yourdomain.com/sitemap.xml
Kiểm tra GSC
Vị trí tải file robots.txt lên hosting:

Tệp robots.txt bắt buộc phải được đặt ở thư mục gốc cao nhất (Root Directory) của tên miền:

https://yourdomain.com/robots.txt
Kiến Thức Kỹ Thuật Crawl & Index

Hướng Dẫn Toàn Diện Về File Robots.txt Cho Quản Trị Website & SEOer

1. File robots.txt là gì và cơ chế hoạt động như thế nào?

Robots.txt là một tệp văn bản thuần túy (plain text) được đặt tại thư mục gốc của website theo giao thức Robots Exclusion Protocol (REP). Đây là tệp đầu tiên mà các bot tìm kiếm (Googlebot, Bingbot, YandexBot) sẽ tải về và phân tích trước khi thu thập dữ liệu bất kỳ trang web nào trên tên miền của bạn.

Mục đích chính của robots.txt là quản lý **ngân sách thu thập dữ liệu (Crawl Budget)**: hướng dẫn bot không lãng phí tài nguyên máy chủ vào các trang quản trị nội bộ (như /wp-admin/), giỏ hàng thanh toán, hoặc các trang tìm kiếm nội bộ không có giá trị SEO.

2. Các chỉ thị quan trọng nhất trong cú pháp robots.txt

User-agent:

Chỉ định tên bot tìm kiếm

Dấu * đại diện cho tất cả các bot trên Internet. Nếu muốn áp dụng riêng cho Google, bạn viết User-agent: Googlebot.

Disallow:

Cấm thu thập dữ liệu

Ngăn bot không truy cập vào thư mục được chỉ định. Ví dụ: Disallow: /admin/ sẽ cấm bot vào toàn bộ trang con trong thư mục admin.

Allow:

Ngoại lệ cho phép thu thập

Mở đường dẫn cụ thể bên trong một thư mục đã bị Disallow. Ví dụ cho phép file AJAX: Allow: /wp-admin/admin-ajax.php.

Sitemap:

Khai báo sơ đồ trang web

Chỉ định trực tiếp URL sitemap XML đầy đủ để bot tìm thấy và lập chỉ mục nội dung mới nhất nhanh hơn.

3. Những sai lầm chết người khi cấu hình file robots.txt

  • Nhầm lẫn giữa Disallow: / và Disallow: Lệnh Disallow: / (có dấu gạch chéo) sẽ chặn toàn bộ website, khiến Google gỡ bỏ bài viết khỏi kết quả tìm kiếm. Trong khi Disallow: (để trống) có nghĩa là cho phép thu thập tất cả.
  • Chặn file CSS và JavaScript: Googlebot cần đọc các tệp CSS/JS để dựng hình ảnh (render) trang web như người dùng thực. Nếu bạn chặn các tệp tài nguyên này, Google có thể đánh giá website không thân thiện với thiết bị di động (Mobile-Friendly).
  • Tưởng rằng robots.txt sẽ ngăn Google Index hoàn toàn: Nếu một trang bị Disallow nhưng lại có nhiều backlink từ bên ngoài trỏ vào, Google vẫn có thể lập chỉ mục URL đó mà không có đoạn trích (thường hiển thị thông báo "Không có thông tin cho trang này"). Để ngăn lập chỉ mục hoàn toàn, bạn phải sử dụng thẻ meta noindex.
Audit Kỹ Thuật SEO Chuyên Nghiệp

Website của bạn gặp sự cố lập chỉ mục hoặc rớt Top hàng loạt?

Hãy để các chuyên gia Ranxe Seo kiểm tra chuyên sâu tệp robots.txt, sitemap XML, thẻ canonical và tối ưu crawl budget để website phục hồi thứ hạng nhanh nhất.

Đăng Ký Audit Miễn PhíTư Vấn Trực Tiếp Zalo
Zalo