GoPublic Robot.txt Tool

Analyse og optimering af robots.txt

Se hvilke sider fra jeres website der indgår i Common Crawl – og justér jeres robots.txt derefter.

Start med at analysere jeres domæne. Værktøjet viser, hvilke sider fra jeres site der findes i Common Crawl.

Hvis analysen viser irrelevante sider (fx nyhedsarkiver eller testsider), kan de begrænses via robots.txt-editoren – fx Disallow for AI-crawlere, men ikke for søgemaskiner.

Implementér den opdaterede robots.txt på jeres website via server eller CMS.

Kør analysen igen senere og se, om Common Crawl nu indeholder mere relevante sider. Hvis ikke, justér robots.txt yderligere.