robots文件,这个东西应该怎么解除，教教我？

这是你所用电脑或网络的管理者设置的防火墙robots文件。重点是防止爬虫翻墙。主要有两个方法解除：

一、在网站管理工作中，robots文件常常是站长容易忽略的地方。如果robots限制生效了，那么，我们应该如何去解除robots限制呢？

1、修改robots限制语句，确认蜘蛛有权限访问网站内部路径，文档改成：

User-agent: *

Allow: /

2、登陆站长平台，手动更新robots文件，也就是通知蜘蛛，“我的robots文件修改啦，赶紧来看看！”

3、等待蜘蛛正式来访；实际上蜘蛛来过以后，得知了robots限制已经解除，但百度服务器很多，并没有那么快全部同步，需要等待一定实际的。

4、后续需要监控spider的访问情况，如果一两个月后还是没有动静，要注意了解还有没有其它地方有robots限制。

以上就是解除robots限制的具体流程。

二、在百度上输入你要打开网页的名称搜索后，

点了解详情进入站长工具，

在Robots工具下面点生成robots.txt 然后再空白处以/开头输入你要打开网页的网址点创建就OK了

网站的URL路径如何设置？

想要知道网站的URL路径如何设置，就必须要了解URL路径分类有哪些？网站技术人员一般会通过调用图片、CSS以及JS代码来对网站进行设计。而这种调用模式一般分为两种，一种是相对路径，另一种是绝对路径。用专业的话来说就是相对URL和绝对URL。

1、相对路径

我们都知道打开正确的网址才能获得想要的网站。同样，网站里的图片、样式以及特效也是正确的路径才能获取到。在新手学习前端代码的时候，往往会因为调用错误而导致图片不能显示、样式显示错误、特效无法显示等问题。而这个时候我们就要学会怎么设置路径了，路径对了，图片、样式、特效就能正常显示了。

优点：相对路径的优点就是容易移动，可以通过整个文件夹进行移动进行移动，测试本地网站也会更加方便。

缺点：相对路径的缺点就是如果代码不够严谨，当移动文件夹之后，部分页面可能会出现错乱现象，而且如果使用相对路径后，很容易被整站抄袭。

2、绝对路径

相对路径是相对某个文件夹下的单独调用，而绝对路径是指固定的某个文件夹下的调用。绝对路径调用起来与相对路径相比更加单一，也更加稳定，如果不单独修改这一路经下的资料，是绝对无法更改和使用该路径下的内容。

绝对路径使用的地方较少，没有特殊需求的情况下是不会使用的。但是这种绝对路径通常会出现在抄袭网站中，有些抄袭网站的人为了省事，所以会直接使用对方的网址。

优点：绝对路径的优点是，如果有人抄袭你的网站内容，里面的链接还会指向你的网站。有些抄袭者比较懒，根本不会修改里面的内容。其实也不局限于被抄袭，如果有人将你的网页保存到本地计算机中，里面的链接、图片、CSS以及JS仍然会连接到你的网站上。当网页内容被修改的时候，因为使用的是绝对路径，所以依然会指向正确路径。

缺点：绝对路径的缺点是在本地测试的时候，如果使用某一个地址的话，后期网站正式上线修改起来会非常麻烦的。

所以说想要知道网站的URL路径如何设置，就要详细了解URL的一些常识，这样才能对网站有所帮助。

网站不想让搜索引擎抓取怎么做？

操作方式有三种，一种是直接在网站后台进行设置（目前只有wordpress和Zblog程序才有这个功能），另一种就是通过上传robots文件即可，最后一种就是在服务器上面利用“网站安全狗”软件设置静止抓取的方式。一、wordpress在程序里面设置的方式1-登录wordpress网站后台2-进入wordpress后台后，点击“设置”按钮3-然后再点击“阅读”4-然后找到“建议搜索引擎不索引本站点”前面的框框，然后勾选这个框框，然后点击“保存更改”即可二、上传robots文件的方式1-先在本地创建一个robots文件：robots.txt2-然后在robots文件里面写入静止搜索引擎抓取的代码3-写入完成后，然后通过FTP文件上传工具将robots.txt文件上传到网站的根目录中三、利用服务器中的“网站安全狗”设置静止搜索引擎抓取1-登录Windows系统的服务器，链接方式（windows+r或者安装一个安全狗-服云客户端）2-进入Windows系统的服务器后，打开里面的“网站安全狗”软件，然后找到“IP黑白名单”，然后将“开启爬虫访问白名单”签名的勾去掉，然后点击保存即可！通过以上的步骤就可以让搜索引擎不抓取网站的方式