Indexování složek v robot.txt

petas.ck

Ahoj,

rád bych se zeptal, jak by měl být v nette nastaven soubor robots.txt. Je mi jasné, že by neměl indexovat knihovny, css soubory apod kvůli hackingu robotů atd.. nicméně, nemam moc představu, jestli v nette by neměla být zakázaná například složka app, s tím, že povolím template…?

Mám toho:

{extends none}

User-Agent: *
Disallow: /css/
Disallow: /js/
Disallow: /lib/
Disallow: /app/
Allow: /app/templates/

Sitemap: http://www.example.cz/sitemap.xml

Děkuji moc radu. :-)

Michal Vyšinský

Roboti indexují jen to, kam se dostanou přes nějakou URL. Takže typicky jen obsah, co vidí uživatel. Do složky app se přes prohlížeč NESMÍ nikdo dostat. A to povolení app/templates je naprosto zbytečné. Roboti o žádných šablonách neví. Oni vidí jen HTML.

Editoval Michal Vyšinský (14. 6. 2014 13:51)

japlavaren

ako pise Michal Vyšinský, na servery by prehiadacom nemalo byt dostupne nic, okrem zlozky www.
k tvojmu dotazu – preco si myslis, ze by mala byt pristupna zlozka sablon?

petas.ck

Pravda, nette má zakázaný přístup do app. V tom případě je to vyřešené.

Pro japlavaren: Templates jsem chtěl povolit právě kvůli html obsahu, nicméně mi nedošlo, že šablona není pouze html, kterému by robot rozumněl.

Děkuji moc za pomoc.