# ========================================
# 🔥 RENOVA - ROBOTS.TXT (ОПТИМИЗИРОВАННЫЙ)
# ========================================
# Дата: 14.10.2025
# Версия: 2.1 (SEO оптимизированный)
# ========================================

# ========================================
# 🌐 ОБЩИЕ ПРАВИЛА (все роботы)
# ========================================

User-agent: *
Allow: /

# 🔥 SEO: Внешние счетчики (Yandex Metrika, Mail.ru) блокируются
# Это нормально - они не нужны для индексации контента
# Googlebot может показывать предупреждения, но это не критично

# ========================================
# 🚫 БЛОКИРУЕМ СЛУЖЕБНЫЕ СТРАНИЦЫ
# ========================================

# Аутентификация и регистрация
Disallow: /login
Disallow: /register
Disallow: /reset
Disallow: /complete-registration

# Личный кабинет (приватные данные)
Disallow: /profile/
Disallow: /profile

# Процессы покупки/оформления (сессионные данные)
Disallow: /checkout
Disallow: /cart
Disallow: /fee-payment/
Disallow: /subscription/
Disallow: /purchase/
Disallow: /cancellation-request/

# Персональные карты и Telegram
Disallow: /personal-card/
Disallow: /app

# Админка и API (технические разделы)
Disallow: /admin/
Disallow: /api/
Disallow: /backend/
Disallow: /panel/

# Dev-версии и служебные роуты
Disallow: /catalogdev
Disallow: /seo

# ========================================
# 🔄 СТАРЫЕ ФОРМАТЫ URL (перенаправляются через canonical)
# ========================================

# 🔥 SEO FIX: Разрешаем /products/* для индексации
# Canonical теги указывают на /catalog/* как приоритетный вариант
# Это лучше чем блокировка, т.к. избегаем 404 ошибок
Allow: /products/

# ========================================
# 🧹 CLEAN-PARAM: Яндекс склеивает дубли
# ========================================
# Эти параметры НЕ создают уникальный контент:

# UTM метки и рекламные параметры
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term /
Clean-param: fbclid&gclid&yclid&_openstat /
Clean-param: ref&source&from /
# 🔥 Яндекс.Директ и Яндекс.Метрика параметры (не нужны для индексации)
Clean-param: etext&ybaip /

# 🔥 SEO FIX: Фильтры каталога НЕ создают уникальный контент
# Без этого Яндекс видит /catalog/holodilnik и /catalog/holodilnik?brand=Samsung как разные страницы
Clean-param: condition&brand&sort&page&price&search&q /catalog

# ========================================
# 🔍 GOOGLEBOT (специальные директивы)
# ========================================

User-agent: Googlebot
# 🔥 SEO КРИТИЧНО: Разрешаем доступ к API товаров
# React приложение загружает товары через API, без этого Googlebot видит 404!
Allow: /api/showcase/
Allow: /api/products/
# Блокируем остальные API endpoints
Disallow: /api/check-auth
Disallow: /api/admin/
Disallow: /api/telegram/
Disallow: /api/crm/
Disallow: /api/users/
Disallow: /api/orders/
Disallow: /api/sales/
Disallow: /api/deliveries/
Disallow: /api/subscriptions/
Disallow: /api/repairs/
Disallow: /api/analytics/
Disallow: /api/broadcasts/
Disallow: /api/avito/
Disallow: /api/sitemap/update

# ========================================
# 🔍 ЯНДЕКС.БОТ (специальные директивы)
# ========================================

User-agent: Yandex
# 🔥 SEO КРИТИЧНО: Разрешаем доступ к API товаров
Allow: /api/showcase/
Allow: /api/products/
# Блокируем остальные API endpoints
Disallow: /api/check-auth
Disallow: /api/admin/
Disallow: /api/telegram/
Disallow: /api/crm/
Disallow: /api/users/
Disallow: /api/orders/
Disallow: /api/sales/
Disallow: /api/deliveries/
Disallow: /api/subscriptions/
Disallow: /api/repairs/
Disallow: /api/analytics/
Disallow: /api/broadcasts/
Disallow: /api/avito/
Disallow: /api/sitemap/update
# Стандартные блокировки
Disallow: /login
Disallow: /register
Disallow: /profile/
Disallow: /checkout
Disallow: /cart
Disallow: /products/
# 🔥 Яндекс.Директ и Яндекс.Метрика параметры (склеиваем дубли)
Clean-param: utm_source&utm_medium&utm_campaign /
Clean-param: fbclid&gclid&yclid /
Clean-param: etext&ybaip /
Host: renova-shop.ru

# ========================================
# 🗺️ SITEMAP
# ========================================

Sitemap: https://renova-shop.ru/sitemap.xml

# ========================================
# ⏱️ CRAWL-DELAY
# ========================================
# 1 секунда между запросами (разумный баланс)

Crawl-delay: 1

# ========================================
# 📝 ВАЖНЫЕ ЗАМЕЧАНИЯ
# ========================================
#
# 1. Allow-директивы удалены (избыточны при наличии Allow: /)
# 2. Фильтры каталога (?brands=...) НЕ блокируются
# 3. Clean-param работает только для Яндекса
# 4. Для Google используем <link rel="canonical"> в HTML
# 5. Cache-Control настроен в nginx (см. nginx.conf)
# 6. 301-редиректы для старых URL настроены в Laravel
#
# ========================================