TẦM QUAN TRỌNG VÀ CÁCH TẠO ROBOTS.TXT TRONG SEO

Cách tạo robots.txt 01

Cách tạo robots.txt và kiểm tra file robots.txt là điều mà một người thực hiện công việc SEO Website cần phải biết. Vậy thì robos.txt là gì? Và tầm quan trong của nó như thế nào trong công việc làm SEO? Thì ít có người biết cụ thể về nó. Trong bài viết này chúng tôi chia sẻ một số thông tin quan trọng về robots.txt như sau.

1. Robots.txt là gì? Tầm quan trọng của robots.txt là gì?

1.1. Robots.txt là gì?

Robots.txt là một tệp nằm trong thư mục gốc của website. Đây là một hướng dẫn sử dụng cho trình thu thập thông tin của các công cụ tìm kiếm. Các công cụ tìm kiếm thông qua hướng dẫn từ tệp này để quyết định thu thập các nội dung nào trên website.

Điều đầu tiên mà các công cụ tìm kiếm tìm kiếm khi truy cập một website. Là tìm kiếm và kiểm tra nội dung của tệp robots.txt. Tùy thuộc vào các hướng dẫn được chỉ định trong tệp mà công cụ tìm kiếm tạo một danh sách các URL khi thu thập thông tin và lập chỉ mục cho website đó.

Cách tạo robots.txt 01

1.2. Tầm quan trọng của tệp robots.txt.

Một website dù nhỏ hay lớn đều phải có tệp robots.txt. Nó cung cấp cho bạn quyền kiểm soát đối với chuyển động của các công cụ tìm kiếm trên website của bạn. Mặc dù một chỉ dẫn không cho phép ngẫu nhiên có thể khiến Googlebot thu thập dữ liệu toàn bộ nội dung trên website của bạn. Nhưng có một số trường hợp phổ biến mà nó thực sự có thể hữu ích.

♦ Ngăn chặn tình trạng quá tải của máy chủ.
♦ Ngăn thông tin nhạy cảm bị lộ.
♦ Ngăn thu thập thông tin nội dung trùng lặp
♦ Ngăn lập chỉ mục các tệp không cần thiết trên trang web của bạn (ví dụ: hình ảnh, video, PDF).
♦ Giúp giữ các phần của trang web của bạn ở chế độ riêng tư (ví dụ: trang web dàn dựng).
♦ Ngăn thu thập thông tin cho các trang kết quả tìm kiếm nội bộ.

1.3. Các thuật ngữ dùng trong robots.txt.

Thuật ngữ dùng trong robots.txt có thể được coi là ngôn ngữ của các tập tin robots.txt. Các thuật ngữ thường gặp trong cách tạo robots.txt bao gồm:

♦ User-agent: Trình thu thập dữ liệu web cụ thể mà bạn đang hướng dẫn thu thập thông tin (thường là công cụ tìm kiếm).
♦ Disallow: Lệnh được sử dụng để thông báo cho user-agent không thu thập dữ liệu URL cụ thể. Chỉ một dòng “Disallow:” được phép cho mỗi URL.
♦ Allow(Chỉ áp dụng cho Googlebot): Lệnh thông báo cho Googlebot rằng nó có thể truy cập một trang hoặc thư mục con mặc dù trang mẹ hoặc thư mục con của nó có thể không được phép.
♦ Crawl-delay: Cần bao nhiêu giây để trình thu thập thông tin trước khi tải và thu thập nội dung trang. Lưu ý rằng Googlebot không thừa nhận lệnh này, nhưng tốc độ thu thập dữ liệu có thể được đặt trong Google Search Console.
♦ Sitemap: Được sử dụng để gọi ra vị trí của bất kỳ (các) sơ đồ trang web XML nào được liên kết với URL này. Lưu ý lệnh này chỉ được hỗ trợ bởi Google, Ask, Bing và Yahoo.

Cách tạo robots.txt 02

3. Cách tạo robots.txt.

Cách tạo robots.txt rất đơn giản. Nó có thể được tạo bởi công cụ hoặc các trình soạn thảo như: Notepad, Notepad ++….. Sau khi được tạo, tệp robots.txt thường được lưu ở thư mục gốc trên Hosting. Nếu muốn kiểm tra nội dung bạn có thể dùng lệnh abc/robots.txt (abc là tên miền của bạn). Dưới đây là một số câu lệnh thường được dùng trong cách tạo robots.txt.

 Chặn tất cả các trình thu thập dữ liệu tất cả các nội dung trên website.
User-agent: *
Disallow: /
Sử dụng cú pháp này (Disallow: /) trong tệp robots.txt sẽ cho tất cả các trình thu thập dữ liệu web không thu thập dữ liệu bất kỳ trang nào trên website bao gồm cả trang chủ.

♦ Cho phép các trình thu thập dữ liệu tất cả các nội dung trên website.
User-agent: *
Disallow:
Sử dụng cú pháp này trong tệp robots.txt sẽ cho trình thu thập dữ liệu web thu thập dữ liệu tất cả các nội dung trên website gồm cả trang chủ.

♦ File robots.txt cho những website sử dụng WordPress như sau.
♦♦ User-agent: *
♦♦ Disallow: /
♦♦ Disallow: /wp-admin/
♦♦ Disallow: /feed/
♦♦ Disallow:  /images/ten-file-hinh.JPG
♦♦ Allow: /wp-admin/admin-ajax.php
Ý nghĩa các câu lệnh.
♦♦ User-agent: * : Cho tất các các loại bot truy cập vào website
♦♦ Disallow: / : Chặn không cho bot truy cập vào toàn bộ website
♦♦ Disallow: /wp-admin/ : Chặn không cho bot truy cập vào link /wp-admin
♦♦ Disallow: /feed/ : Chặn không cho bot truy cập vào link /feed
♦♦ Disallow: /images/ten-file-hinh.JPG: Chặn không cho bot truy cập vào file ảnh có tên ten-file-hinh.JPG
♦♦ Allow: /wp-admin/admin-ajax.php: cho phép bot truy cập vào link này /wp-admin/admin-ajax.php

3. Nơi cung cấp dịch vụ SEO Website Giá rẻ – Uy tín tại TP.HCM.

Là một đơn vị cung cấp dịch vụ SEO uy tín tại TP.HCM. Sago Marketing Online luôn cung cấp cho khách hàng những kế hoạch SEO phù hợp với từng sản phẩm, dịch vụ mà khách hàng đang kinh doanh. Đồng thời, với các công cụ SEO luôn được cập nhật giúp cho chúng tôi có thể thực hiện được các chiến dịch SEO với giá thấp nhất trên thị trường.

Đặc biệt, tại Sago Marketing Online chúng tôi luôn có các chương trình hổ trợ tư vấn miễn phí và đồng hành cùng doanh nghiệp trong quá trình thực hiện các chiến dịch SEO Marketing.

Liên lạc ngay với chúng tôi để có được những giải pháp SEO hợp lý cho website của bạn.

Đăng ký tư vấn miến phí.

Thông tin liên lạc với Sago Marketing Online.
Địa chỉ: 917 Nguyễn Trãi, Phường 14, Quận 5, Thành phố Hồ Chí Minh.
Hotline: 0917.906.491 – Zalo: 0917906491 – Sky: Sago Marketing Online
Email: info@marketingsaigon.vn – Website: https://marketingsaigon.vn
Fanpage:  https://www.facebook.com/Marketinghcm2020

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *