如果网站没有 robots.txt 文件 谷歌搜索会直接清除网站所有搜索结果

https://www.landiannews.com/archives/111584.html

来自站长 Adam Coster 发布的消息，这个消息应该还是有些反直觉的，即网站如果没有添加 robots.txt 文件的话，谷歌搜索不会索引其内容，或者在此前有文件但后来删除的情况下，谷歌会从索引里删除该网站的所有搜索结果。