Спікер Павло Лисий розповідає у своїй відеодоповіді про проблеми в індексації великих сайтів, що можна імплементувати в цей процес, щоб покращити його.

Проблеми, з якими стикаються вебмайстри

Ця проблематика охоплює велику аудиторію і трапляється часто. Близько року втрата індексації стала загальною проблемою, тому це питання важливо детально розібрати. Починаємо з причин її появлення:

1. Сторінки малих і невеликих сайтів не індексуються.
2. Сайт довго не індексується після реновації.
3. Новий великий сайт з великою кількістю сторінок (понад 50 тис. сторінок) тяжко заходить в індекс.
4. Лістінги та великий єкомерс від 200 тис. до 2 млн. сторінок з надто повільною індексацією.

На нещодавній сеоконференціїї у США, “старійшини” так відгукнулися про цю проблему: довести пошуковій системі, що ваші сторінки цінні для неї. Іншими словами, є висока конкуренція, тому необхідно заслужити право знаходитися в цьому просторі — довести свою корисність.

Як виявити проблемну сторінку? Якщо є проблема зі сторінкою, то у консолі статус проблеми буде чітко визначений, за виключенням деяких випадків. 

Основні стани сторінок, що потребують уваги

Особливої уваги можна приділити чотирьом видам сторінок:

1. Проіндексовані, беруть участь у ранжуванні, завантажені у сайтмапах.
2. Проіндексовані, у ранжуванні, але не завантажені у сайтмапах.
3. Сторінка просканована, але не включена в ранжування, відсутня у кеші.
4. Виявлена, але не просканована.

Два статуси “Crawled – currently not indexed” і “Discovered – currently not indexed” схожі в тому, що обидва гуглом знаходяться та обидва не індексуються. Відрізняються тим, що до “Crawled” гугл може завітати, а до  “Discovered” — ні. 

Чому виникає статус сторінки “Crawled” і як це виправити

Основними причинами виникнення статусу  “Crawled – currently not indexed” можна назвати:

• Затримка індексації.
• Контент низької якості.
• Деіндексація через низьку якість.
• Погана архітектура сайту.
• Дубльований вміст, наприклад у тисячі сторінок авто згенерований контент.

Звернуть увагу, що список не вичерпний, можуть бути і інші проблеми.

Виправити цю проблему можна ручними методами або із залученням third party tools. Дієвим також можна назвати й впорядкування внутрішньої структури сторінки і її технічного боку (внутрішня перелінковка, наскрізні блоки тощо).

Ручна робота з сайтмапами — це не анахронізм, бо це дієво с великими сайтами. Якщо прочитати гуглдовідку, то там наголошена цінність багатокомпонентних сайтмапів для величезного ресурсу. Важливо, сповістити гугл, що він у вас є. 

Google Indexing API

Через Google Indexing API запускаємо процес визначення проблемних сторінок. Цей метод працює на 100%.

Google Indexing API дозволяє будь-якому власнику сайту безпосередньо повідомляти Google про додавання або видалення сторінок. Це дає змогу планувати пошуковій системі їх скасування, що сприяє підвищенню якості трафіку. Краще використовувати саме цей тул, бо він ініціює швидке індексування. Але при необхідності охопленні контенту в повному обсязі, то надсилайте файл Sitemap.

Робота з API має певну послідовність. Починати треба з розбивки на патерни і типології, а потім виокремлення кластеру сторінок, які являються крапками входу для органіки. Отримавши дані про статус індексу, статус щодо crawling, можна переходити до пошуку кореляцій щодо внутрішніх факторів.

Що можна зробити з боку технічки та внутрішньої структури:

1. Додатково перелінкувати на цільові типологічні сторінки. Нарощення internal page rank. Скомбінувати горизонтальну і вертикальну перелінковку.
2. Distance from the index. Має велике значення, яка у вас структура урла і кількість кліків від home page.
3. Генерація додаткових блоків зі змінною інформацією на типологічних посадкових сторінках з прив’язкою до змінної.
4. Кореляція зростання швидких URL адрес з зміною статусу сторінки.
5. Збільшення об’єму запитів щодо сканування.

Якщо звертатися по допомогу до сторонніх ресурсів, то тут є декілька варіантів:

• indexmenow.com — добре працює, легко завантажується, але дорого.
• linkbox.pro — дешевше, але має середню ефективність, дозволяє індексувати сторінки.
• indexinject.com — дешево, але малоефективно.

Найкращий варіант — це використання ресурсів у комплексі. У додатку до вище перерахованих методів ще можна застосувати деякі хитрощі. Верифікуйте домен з префіксом окремим URL проперті в консолі, щоб отримати окремий краулінг бюджет. Спробуйте налити дешевого рекламного трафіку. Використовуйте деякі вордпрес плагіни з фічами Indexing API (наприклад, Rank Math). При довгій відсутності індексації сайтмапи можна перевірити сам УРЛ мапи через Inspect tool в консолі з подальшою подачею її до індексації.