Google Index: Cách để trang web của bạn được Google lập chỉ mục

Chỉ mục của Google là gì?

Chỉ mục của Google là cơ sở dữ liệu của tất cả các trang web mà công cụ tìm kiếm đã thu thập dữ liệu và lưu trữ để sử dụng trong kết quả tìm kiếm.

Mỗi trang xuất hiện trong kết quả tìm kiếm của Google phải được lập chỉ mục trước tiên.

Vì vậy, nếu trang của bạn không được lập chỉ mục, nó sẽ không hiển thị trong kết quả tìm kiếm.

Đây là cách lập chỉ mục phù hợp với toàn bộ quá trình:

• Thu thập dữ liệu: Googlebot thu thập dữ liệu trang web và tìm kiếm các trang mới hoặc cập nhật
• Lập chỉ mục: Google phân tích các trang và lưu trữ chúng trong cơ sở dữ liệu khổng lồ
• Xếp hạng: Thuật toán của Google chọn các trang tốt nhất và phù hợp nhất từ chỉ mục của nó và hiển thị chúng dưới dạng kết quả tìm kiếm

Các thuật toán được xác định trước kiểm soát việc lập chỉ mục của Google. Tuy nhiên, bạn có thể tác động đến việc lập chỉ mục bằng cách quản lý cách các bot khám phá nội dung trực tuyến của bạn.

Làm cách nào để kiểm tra xem Google đã lập chỉ mục trang web của tôi chưa?

Google giúp dễ dàng tìm hiểu xem trang web của bạn đã được lập chỉ mục hay chưa—bằng cách sử dụng toán tử tìm kiếm “trang web:”.

Đây là cách kiểm tra:

• Đi đến google
• Trong thanh tìm kiếm, nhập toán tử tìm kiếm “site:”, theo sau là tên miền của bạn (ví dụ: site:yourdomain.com)
• Khi bạn nhìn vào thanh tìm kiếm, bạn sẽ thấy ước tính có bao nhiêu trang của bạn được Google lập chỉ mục

Nếu không có kết quả nào hiển thị, trang đó không được lập chỉ mục.



Nếu có các trang được lập chỉ mục, Google sẽ hiển thị chúng dưới dạng kết quả tìm kiếm.



Đó là cách bạn kiểm tra trạng thái lập chỉ mục của các trang của mình một cách nhanh chóng. Nhưng đó không phải là cách thực tế nhất, vì có thể khó phát hiện các trang cụ thể chưa được lập chỉ mục.

Cách khác (và phức tạp hơn) để kiểm tra xem Google đã lập chỉ mục trang web của bạn hay chưa là sử dụng Google Search Console. Chúng ta sẽ xem xét kỹ hơn về nó trong chương tiếp theo.

Làm cách nào để Google lập chỉ mục trang web của tôi?

Nếu bạn có một trang web mới, Google có thể mất một thời gian để lập chỉ mục cho trang web đó. Quá trình thu thập dữ liệu có thể mất từ vài ngày đến vài tuần. (Việc lập chỉ mục thường diễn ra ngay sau đó nhưng không được đảm bảo.)

Vì vậy, lập chỉ mục có thể mất thời gian. Tuy nhiên, bạn có thể tăng tốc quá trình.

Cách dễ nhất là yêu cầu lập chỉ mục trong Google Search Console.

Google Search Console (GSC) là bộ công cụ miễn phí của Google cho phép bạn kiểm tra sự hiện diện của trang web trên Google và khắc phục mọi sự cố liên quan.

Nếu chưa có tài khoản GSC, bạn cần:

• Đăng nhập bằng tài khoản Google của bạn
• Thêm thuộc tính mới (trang web của bạn) vào tài khoản của bạn
• Xác minh quyền sở hữu của trang web

Cần giúp đỡ? Đọc hướng dẫn chi tiết của chúng tôi sẽ giúp bạn từng bước thiết lập Google Search Console.

Tạo và gửi Sơ đồ trang web

Sơ đồ trang web XML là một tệp liệt kê tất cả các URL bạn muốn Google lập chỉ mục.

Nó cho Google biết rằng những trang này rất quan trọng. Điều này giúp trình thu thập thông tin tìm thấy các trang chính của bạn nhanh hơn.

Nó trông giống như thế này:




Bạn có thể sẽ tìm thấy sơ đồ trang web của mình trên URL này:

https://yourdomain.com/sitemap.xml

Nếu bạn chưa có, hãy đọc hướng dẫn của chúng tôi để tạo sơ đồ trang web XML (hoặc hướng dẫn này về sơ đồ trang web WordPress nếu trang web của bạn chạy trên WordPress).

Sau khi bạn có URL của sơ đồ trang web của mình, hãy chuyển đến bảng “Sơ đồ trang web” trong GSC. Bạn sẽ tìm thấy nó trong phần “Lập chỉ mục” ở menu bên trái.

Nhập URL của sơ đồ trang web của bạn và nhấn “Gửi”.

Có thể mất vài ngày để sơ đồ trang web của bạn được xử lý. Khi hoàn tất, bạn sẽ thấy liên kết tới sơ đồ trang web của mình và trạng thái “Thành công” màu xanh lục trong báo cáo.




Gửi sơ đồ trang web có thể giúp Google khám phá tất cả các trang mà bạn cho là quan trọng. Và có thể tăng tốc quá trình lập chỉ mục cho chúng.

Sử dụng Công cụ kiểm tra URL

Để kiểm tra trạng thái của một URL cụ thể, hãy sử dụng công cụ kiểm tra URL trong GSC.

Bắt đầu bằng cách nhập URL vào thanh tìm kiếm “Kiểm tra URL” ở trên cùng.



Nếu bạn thấy trạng thái “URL có trên Google”, điều đó có nghĩa là URL được kiểm tra đã được Google thu thập dữ liệu và lập chỉ mục.

Bạn có thể kiểm tra các chi tiết để xem nó được thu thập thông tin lần cuối khi nào, cũng như các thông tin hữu ích khác.

Nếu trường hợp này xảy ra, thì bạn đã sẵn sàng và không phải làm gì cả.

Nhưng nếu bạn thấy trạng thái “URL không có trên Google”, điều đó có nghĩa là URL được kiểm tra không được lập chỉ mục và không thể xuất hiện trong kết quả tìm kiếm của Google.

Có thể bạn sẽ thấy lý do tại sao trang chưa được lập chỉ mục. Và bạn sẽ cần giải quyết vấn đề (xem phần tiếp theo).

Khi đã xong, bạn có thể yêu cầu lập chỉ mục bằng cách nhấp vào liên kết "Yêu cầu lập chỉ mục".

Lưu ý: Nếu URL được kiểm tra là tương đối mới, thì có thể đơn giản là Google chưa phát hiện ra nó. Bằng cách nhấp vào “Yêu cầu lập chỉ mục”, bạn có thể tăng tốc quá trình.

Cách tìm và khắc phục sự cố lập chỉ mục

Đôi khi, có thể có vấn đề sâu hơn với SEO kỹ thuật trang web của bạn. Vì vậy, có khả năng trang web của bạn (hoặc một trang cụ thể) sẽ không được lập chỉ mục ngay cả khi bạn yêu cầu.

Điều này có thể xảy ra nếu trang web của bạn không thân thiện với thiết bị di động, trang web của bạn tải quá chậm, có vấn đề về chuyển hướng, v.v.

Thực hiện kiểm toán SEO kỹ thuật để tìm các vấn đề cơ bản có thể ngăn trang web của bạn được lập chỉ mục.

Bạn có thể sử dụng công cụ kiểm tra như Semrush's Site Audit.

• Tạo tài khoản Semrush miễn phí (không cần thẻ tín dụng)
• Thiết lập lần thu thập dữ liệu đầu tiên của bạn (Chúng tôi có hướng dẫn thiết lập chi tiết sẽ giúp bạn thực hiện điều đó.)
• Nhấp vào nút “Bắt đầu kiểm tra trang web”

Sau khi chạy kiểm tra, bạn sẽ có được cái nhìn chi tiết về tình trạng trang web của mình.



Kiểm tra tệp Robots.txt của bạn

Tệp robots.txt của bạn đưa ra hướng dẫn để các công cụ tìm kiếm không thu thập dữ liệu các phần nhất định của trang web. Nó trông giống như thế này:



Bạn sẽ tìm thấy tên miền của mình tại: https://yourdomain.com/robots.txt

(Làm theo hướng dẫn này về cách tạo tệp robots.txt nếu bạn chưa có.)

Bạn có thể muốn chặn Google thu thập dữ liệu các trang trùng lặp, trang riêng tư hoặc tài nguyên như PDF và video.

Nhưng nếu tệp robots.txt của bạn cho Googlebot (hoặc trình thu thập dữ liệu web nói chung) biết rằng toàn bộ trang web của bạn không được thu thập dữ liệu, thì có khả năng cao là nó cũng sẽ không được lập chỉ mục.

Mỗi lệnh trong robots.txt bao gồm hai phần:

• "Tác nhân người dùng" xác định trình thu thập thông tin được xử lý
• Hướng dẫn “Cho phép” hoặc “Không cho phép” cho trình thu thập thông tin biết rằng trang web (hoặc một phần của nó) có thể hoặc không thể được thu thập thông tin

Ví dụ:

User-agent: *
Disallow: /

Lệnh này cho biết mọi trình thu thập dữ liệu (được biểu thị bằng dấu hoa thị) không thể thu thập dữ liệu (không cho phép:) toàn bộ trang web (được biểu thị bằng ký hiệu dấu gạch chéo):

Kiểm tra tệp robots.txt của bạn và đảm bảo rằng không có lệnh nào có thể ngăn Google thu thập dữ liệu trang web của bạn hoặc các trang/thư mục mà bạn muốn lập chỉ mục.

Quản lý thẻ Noindex và Canonical của bạn

Một trong những cách để yêu cầu các công cụ tìm kiếm không lập chỉ mục các trang của bạn là sử dụng các thẻ meta rô bốt có thuộc tính “noindex”.

Nó trông như thế này:

<meta name="robot" content="noindex">

Nếu một trang chứa dòng mã này, bạn đang yêu cầu Google không lập chỉ mục cho nó.

Bạn có thể kiểm tra những trang nào trên trang web của mình có thẻ meta ngăn lập chỉ mục trong Google Search Console:

• Nhấp vào báo cáo “Trang” trong phần “Lập chỉ mục” ở menu bên trái
• Cuộn xuống phần “Tại sao các trang không được lập chỉ mục”
• Tìm “Bị loại trừ bởi thẻ ‘noindex’.” Nhấp vào nó.

Nếu danh sách URL chứa trang bạn muốn lập chỉ mục, chỉ cần xóa thẻ meta ngăn lập chỉ mục khỏi mã nguồn của trang đó.

Công cụ Kiểm tra Trang web cũng sẽ cảnh báo bạn về các trang bị chặn thông qua tệp robots.txt hoặc thẻ ngăn lập chỉ mục.

Nó cũng sẽ thông báo cho bạn về các tài nguyên bị chặn bởi cái gọi là thẻ X-Robots, thường được sử dụng cho các tài liệu không phải HTML (chẳng hạn như tệp PDF).

Một lý do khác khiến trang của bạn có thể không được lập chỉ mục là nó chứa thẻ chuẩn.

Các thẻ Canonical cho trình thu thập thông tin biết nếu một phiên bản nhất định của trang được ưu tiên. Chúng ngăn chặn các sự cố do nội dung trùng lặp xuất hiện trên nhiều URL.

Nếu một trang có thẻ chuẩn trỏ đến một URL khác, Googlebot sẽ giả định rằng có một phiên bản ưa thích khác của trang đó. Và sẽ không lập chỉ mục trang có thẻ chuẩn, ngay cả khi không có phiên bản thay thế.

Báo cáo “Trang” trong Google Search Console sẽ lại trợ giúp ở đây.

Chỉ cần cuộn xuống phần “Tại sao các trang không được lập chỉ mục” và nhấp vào lý do “Trang thay thế có thẻ chuẩn phù hợp”.

Bạn sẽ thấy một danh sách các trang bị ảnh hưởng. Đi qua danh sách.

Nếu có một trang mà bạn muốn lập chỉ mục (có nghĩa là trang chuẩn được sử dụng không chính xác), hãy xóa thẻ chuẩn khỏi trang đó. Hoặc đảm bảo rằng nó trỏ đến phiên bản của trang mà bạn muốn lập chỉ mục.
Tìm hiểu thêm Cách nghiên cứu từ khóa SEO website

Cải thiện liên kết nội bộ của bạn

Liên kết nội bộ giúp trình thu thập thông tin tìm thấy các trang web của bạn. Điều này có thể giúp tăng tốc quá trình lập chỉ mục.

Nếu bạn muốn kiểm tra các liên kết nội bộ của mình, hãy chuyển đến báo cáo chuyên đề “Liên kết nội bộ” trong Kiểm tra trang web.

Báo cáo sẽ liệt kê tất cả các vấn đề liên quan đến liên kết nội bộ.



Tất nhiên, nó sẽ giúp khắc phục tất cả chúng. Nhưng ba vấn đề này là quan trọng nhất khi thu thập dữ liệu và lập chỉ mục:

• Liên kết nội bộ đi chứa thuộc tính nofollow: Liên kết nofollow không vượt qua thẩm quyền. Nếu được sử dụng nội bộ, Google có thể chọn bỏ qua trang mục tiêu khi thu thập dữ liệu trang web của bạn. Đảm bảo rằng bạn không sử dụng chúng cho các trang mà bạn muốn lập chỉ mục.
• Các trang cần nhiều hơn 3 lần nhấp để truy cập: Nếu các trang cần nhiều hơn 3 lần nhấp để truy cập từ trang chủ, có khả năng chúng sẽ không được thu thập dữ liệu và lập chỉ mục. Thêm nhiều liên kết nội bộ hơn vào các trang này (và xem xét kiến trúc trang web của bạn).
• Các trang mồ côi trong sơ đồ trang web: Các trang không có liên kết nội bộ trỏ đến chúng được gọi là “trang mồ côi”. Chúng hiếm khi được lập chỉ mục. Khắc phục sự cố này bằng cách liên kết tới bất kỳ trang mồ côi nào.

Để xem các trang bị ảnh hưởng bởi một sự cố cụ thể, hãy nhấp vào liên kết cho biết số lượng sự cố đã tìm thấy bên cạnh nó.

Cuối cùng nhưng không kém phần quan trọng, đừng quên sử dụng liên kết nội bộ một cách chiến lược:

• Liên kết đến các trang quan trọng nhất của bạn: Google nhận ra rằng các trang quan trọng đối với bạn nếu chúng có nhiều liên kết nội bộ hơn
• Liên kết đến các trang mới của bạn: Biến liên kết nội bộ thành một phần trong quy trình tạo nội dung của bạn để tăng tốc độ lập chỉ mục cho các trang mới của bạn

Hãy xem hướng dẫn của chúng tôi về liên kết nội bộ để tìm hiểu thêm về các phương pháp và chiến lược tốt nhất.

Cải thiện chất lượng tổng thể của trang web của bạn

Các vấn đề về lập chỉ mục không phải lúc nào cũng liên quan đến các vấn đề kỹ thuật.

Ngay cả khi trang web của bạn đáp ứng tất cả các yêu cầu kỹ thuật để được lập chỉ mục, Google có thể không lập chỉ mục tất cả các trang của bạn. Đặc biệt là nếu Google không coi trang web của bạn có chất lượng cao.

Đây là một trích dẫn của John Mueller từ Google:

Nếu bạn có một trang web nhỏ hơn và bạn thấy một phần đáng kể các trang của mình không được lập chỉ mục, thì tôi sẽ lùi lại một bước và cố gắng xem xét lại chất lượng tổng thể của trang web và không tập trung quá nhiều vào các vấn đề kỹ thuật cho các trang đó.

Nếu đây là trường hợp của bạn, bạn có thể muốn bắt đầu làm việc như sau:

• Cải thiện chất lượng nội dung của trang web của bạn
• Xây dựng backlinks chất lượng cho trang web của bạn
• Cải thiện các tín hiệu về Chuyên môn, Tính có thẩm quyền và Độ tin cậy (EAT) trên trang web của bạn