Генератор Robots.txt
Створіть файл robots.txt із правилами allow і disallow, адресою sitemap та crawl-delay. Генерується повністю у вашому браузері, нічого не завантажується.
🔒 Працює повністю у вашому браузері — нічого не завантажуєтьсяЩо робить Генератор Robots.txt
Генератор Robots.txt створює невеликий текстовий файл, який повідомляє пошуковим роботам, до яких частин вашого сайту вони можуть, а до яких не можуть звертатися. На основі рядка user-agent, списку шляхів disallow, необов'язкового списку винятків allow, необов'язкового crawl-delay та адреси вашого sitemap він формує правильно оформлений файл robots.txt, який можна скопіювати або завантажити. Файл відповідає протоколу виключення роботів (Robots Exclusion Protocol): кожна група починається з директиви User-agent, після якої йдуть правила Disallow і Allow, що стосуються цього агента.
Це перший файл, який запитує більшість роботів, коли відвідують сайт, тож його правильне налаштування суттєво впливає на те, наскільки ефективно знаходяться ваші сторінки. Блокування малоцінних розділів — результатів внутрішнього пошуку, URL із фасетними фільтрами, сторінок кошика й оформлення замовлення, адмін-панелей — допомагає роботам витрачати свій бюджет на контент, який ви справді хочете індексувати. Вказівка на sitemap у robots.txt також дає кожному роботу надійну карту важливих URL, зокрема й тих, до яких вони могли б не дістатися через внутрішні посилання.
Приватна робота в браузері
Файл генерується локально за допомогою клієнтського JavaScript. Жоден із введених вами шляхів, назв агентів чи адрес sitemap не завантажується — результат створюється в пам'яті й пропонується у вигляді текстового блоку для копіювання та завантаження. Так неопубліковані структури каталогів і тестові адреси залишаються приватними, поки ви готуєте файл.
Практичні поради
Пам'ятайте, що Disallow керує скануванням, а не індексацією: заблокований URL усе одно може з'явитися в пошуку, якщо на нього посилаються інші сайти, тому використовуйте мета-тег noindex або HTTP-заголовок, коли справді потрібно приховати сторінку з результатів. Ніколи не блокуйте каталоги CSS чи JavaScript, адже пошуковим системам вони потрібні, щоб відобразити й зрозуміти сторінку. Порядок важить менше, ніж конкретність — більшість роботів застосовує найдовше відповідне правило — а порожній рядок Disallow: означає «дозволити все». Завжди розміщуйте готовий файл у корені домену, перевіряйте його в тестері robots.txt у Google Search Console і перевіряйте знову після міграцій сайту, бо випадковий Disallow: / приховає весь ваш сайт.
Як користуватися
- Додайте правилаВкажіть user-agent і додайте шляхи allow або disallow.
- Додайте sitemap і crawl-delayЗа бажанням додайте адресу sitemap і crawl-delay.
- ЗавантажтеСкопіюйте або завантажте robots.txt і помістіть його в корінь свого сайту.