Thực chất, file robots.txt là một tập thông tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site.
Tác Dụng và mẹo dùng file Robots.txt cho tối ưu hóa
File Robots.txt và tầm quan trọng của Robots.txt có seo
Ví dụ *http://www.example.com/robots.txt.
Vậy, làm thế nào để tạo ra một file robots.txt?
siêu đơn giản, quý khách mang thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file với tên robots.txt là xong. một số cái lệnh trong file này sở hữu cấu trúc như sau:
>>> Dịch vụ: Thiet ke web spa
User-agent: googlebot
Disallow: /cgi-bin/
Trong ấy User-agent: là đại diện của 1 search engine, Googlebot là spider của Google. Trong ví dụ này, chỉ một số spider của Google là được phép index web site. Disallow: là ko cho phép thực hiện điều gì đấy. ở ví dụ trên là không cho phép vài spider index thư mục "cgi-bin" trong website site.
một ví dụ nữa:
User-agent: googlebot
Disallow: /support
gần như những trang nằm trong thư mục support, hay support-desk sẽ ko được index.
nếu tất cả mọi người muốn số đông một số search engine sở hữu thể index web site của người mua, nhưng không được index những trang trong thư mục "cgi-bin" thì tiêu dùng lệnh sau:
User-agent: *
Disallow: /cgi-bin/
các điều bắt buộc tránh:
- không dùng những chú thích trong file robots.txt, nó có thể khiến những spider của search engine bị lầm lẫn.
Ví dụ: "Disallow: support # Don't index the support directory" might be misinterepreted as "Disallow: support#Don't index the support directory".
- không được để khoảng trắng ở đầu dòng lệnh.
- ko thay đổi trật tự của vài dòng lệnh.
>>> Có thể bạn quan tâm: Thiết kế web bán hàng
Ví dụ:
Disallow: /support
User-agent: *
- ko sử dụng quá một thư mục trong cái lệnh Disallow.
Ví dụ:
User-agent: *
Disallow: /support /cgi-bin/ /images/
những search engine không hiểu định dạng trên. tất cả mọi người bắt buộc viết thế này:
User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/
- phải kiên cố vài mệnh đề, từ sử dụng trong lệnh là đúng. Ví dụ, thư mục của người mua là "cgi-bin" (viết thường, không viết hoa), nhưng khí vào lệnh, các bạn lại viết là "Cgi-Bin" thì một số spider sẽ "bó tay".
- không cần tiêu dùng lệnh Allow trong file robots.txt, lý do là trong website site của khách hàng cứng cáp sẽ mang vài trang hoặc những thành phần khách hàng ko muốn bị người khác "nhòm ngó". ví như các bạn sử dụng lệnh Allow, tất cả gần như ngóc ngách trong website site của khách hàng sẽ bị index!
>>> tin tức thêm:Thiết kế website khách sạn
0 nhận xét:
Đăng nhận xét