Nhiệm vụ: Tìm hiểu nguyên nhân trang web được lập chỉ mục kém

Nhưng tình hình trên Google khả quan hơn, công cụ này đã nắm bắt các thay đổi mới nhất nhanh hơn và bắt đầu hiển thị các trang mới.

Hiện tại, tình hình trên Yandex như sau:

Nhân tiện, số lượng trang sẽ nhiều hơn. Google đã nuốt sitemap và chỉ riêng số trang tác vụ mà nó nhìn thấy đã là 90+.

Bây giờ điều quan trọng là phải tối ưu hóa trang tác vụ để nó cung cấp nhiều thông tin hơn (thuộc dự án nào, có những log nào, worklog chi tiết hơn (để nội dung hữu ích hơn, v.v.)). Nếu không có điều này, có nguy cơ bị phạt giảm thứ hạng (pessimization). Tức là, nếu có quá nhiều trang mẫu giống nhau với ít nội dung, thì cả Google và Yandex đều không thích điều đó.

Yandex, đánh giá qua mọi thứ, có vẻ vẫn tập trung nhiều hơn vào các trang cũ, mặc dù họ đã thấy các trang mới thông qua sitemap.

Ở đây, tất cả hàng ngàn trang này đều là trang cũ đã tồn tại trên một tài nguyên khác nhiều năm nay, và tôi đã thiết lập chuyển hướng ở đây từ một tuần trước.

Nhưng hiện tại, mỗi ngày nó vẫn thu thập lại khoảng một rưỡi đến hai nghìn trang, cụ thể là các trang cũ, mà không thèm nhìn đến các trang mới.

Tôi đã thêm các phần mới vào thủ công, hy vọng nó sẽ lập chỉ mục nhanh hơn.

Để đề phòng, tôi cũng đã thêm lệnh cấm đối với các phần cũ vào robots.txt.

Disallow: /comments
Disallow: /profile
Disallow: /templates