Do czego służy plik robots.txt? Czym jest robots.txt? Plik robots.txt jest jednym z mechanizmów Robots Exclusion Protocol, który został stworzony w celu informowania automatów (botów) o tym, czego nie powinny […]
