Co to jest plik robots.txt?
Plik robots.txt jest przechowywany na serwerze w formacie tekstowym. Składa się on z łacińskich znaków i oznaczeń, które służą do tworzenia poleceń dla robotów dotyczących tego, które strony powinny być indeksowane, a które nie. Robots.txt jest tworzony przy użyciu standardowej składni, a jego dyrektywy są zrozumiałe dla robotów wszystkich wyszukiwarek. Jeśli ten...