Итак, первый этап пройден, и я начинаю постепенно вносить улучшения в свой сайт. Для этого создаю файл robots.txt и карту сайта. Эти файлы помогут поисковым системам проиндексировать мой wordpress блог.Долго на этом процессе заморачиваться считаю не нужным и через несколько минут получился такой файлик для роботов:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: argo.6te.net
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://argo.6te.net/sitemap.xml
Решил, что не буду добавлять строчки allow — роботы и так проиндексируют всё, что не запрещено. К тому же проиндексируют и то, что запрещено, но об этом узнают только поисковые системы :)
Файл с картой сайта создам с помощью плагина Google XML Sitemaps. Сейчас допишу этот пост и прямиком отправлюсь в найстройки плагина, чтобы вручную создать карту сайта.
