网站链接: 环球农商网
当前位置: 首页 > 资讯动态  > 平台资讯

解析如何避免让网站进入蜘蛛陷井

2019/3/22 13:48:33 人评论

站长们会考虑要如何给网站优化,往往有时网站在设计过程中,用到的一些技术方法不合理,这些方法又会影响到蜘蛛的抓取,对于这样的技术手段,我们要如何去避免,不让网站进入陷进。网站的设计过程中,要尽量避免对搜索引擎不友好的,提高网站的蜘蛛爬行速率,提高网站整体效果。

首先:避免flash。很多图片网站或是产品网站,需要用到flash的动画,动画产生的效果的确是可以提高用户体验,用户是可以读懂flash,但是对于蜘蛛来说是无法识别的,蜘蛛只能抓取html里面的代码,对于flash里面的文字信息是无法抓取的,也无法呈现给搜索用户。如果网站的首页一开始就是设置的flash动画,那蜘蛛是根本无法继续抓取网站其他内容,如果对于一些网站是必须要flash的,那我们只能在首页再设置指向html的链接,引导蜘蛛对其他内容进行抓取,否则网站就进入到蜘蛛的陷阱里面。可能近几年来蜘蛛在flash的抓取方面做了很多进步,但是对flash抓取仍然有障碍,站长们要想更长久的运营网站,还是尽量的少用到flash。

其次:避免欺骗跳转。很多网站为了谋取眼前的利益,给网站加上各种样式的跳转,可能是弹窗式的广告,可能是JS的跳转等,蜘蛛对这些跳转都是特别反感的。如果你的网站跳转是为了提高用户的体验,这时可以不用考虑到蜘蛛的抓取,如果不是那最好是不要采取这样的跳转方式,对搜索引擎来说是不友好的,对于你的用户来说更是不友好的。这样的做法往往会出现在资源下载站,或是一些垃圾的小说站点,用户点击去的都是其他站点的链接,或是欺骗的下载链接,这样会严重的影响用户的体验。对于网站的跳转来说,蜘蛛唯一认可的就是网站的301跳转,用来改变网站的权重,其他的跳转站长们还是要慎用的。

再次:避免frame结构。技术人员在设计网站时,会了能更好的管理网站的结构,会用到frame的框架,虽然这样的框架结构有利于管理,但是和flash一样,蜘蛛抓取时只能识别html的代码,其他的都是很难识别的。对于frame框架不是说网站不可有,这些技术可以用到网站不想被蜘蛛识别的地方,比如自己站点的一些广告链接,比如一些站群操作中的友链中,可以降低网站权重的流失,因为是自己的站点链接,别人也不会说你是不诚信的,但是这样的框架不要用到和外部的友情链接中,这种是很不诚信的,蜘蛛抓取不到,对别人来说也是很不好的,站长们要酌情考虑的去使用,别让网站进入陷进中。

最后:避免细节陷进。网站优化过程中需要注意的细节很多,这些细节中存在的陷进也是很多的,比如:图片的ALT属性,忘记添加就会导致蜘蛛无法抓取;网站的动态URL地址,带有问号、等号、参数的动态链接,对蜘蛛的抓取是不友好的;网站的JS跳转,很多时候会被用到导航上,但是蜘蛛的抓取就会产生一定的困难,何不用CSS代替;网站的内链结构,权重不高的站点,蜘蛛抓取的深度在3-4层,那这些网站就应该要建立网状的导航系统;还有就是网站一些作弊的手段,对网站来说这些作弊的手段都是陷进,是正规的网站想长期运营的网站,还是不要使用作弊的手段,网站进入审核期以后,就会很难出来,这是赔了夫人又折兵,得不偿失。

网站的设计要考虑到用户的体验,也要考虑到蜘蛛的抓取,不得不使用的一些设计,那就要想办法弥补,尽量能让蜘蛛能抓取到我们的信息,尽量提供蜘蛛对网站的友好程度,提高蜘蛛在网站的抓取次数,和抓取的数量,这样网站优化才会更友好。

相关资讯

  • document.cookie:客户端操作cookie

    我们已经知道,在 document 对象中有一个 cookie 属性。但是 Cookie 又是什么?“某些 Web 站点在您的硬盘上用很小的文本文件存储了一些信息,这些文件就称为 Cookie。”—— MSIE 帮助。一般来说,Cookies 是 CGI 或类似,比 HTML …

    2019/4/12 8:18:11
  • 用ASP实现分级权限控制

    本文实现的是一个帐务管理系统中分级权限的控制,程序使用ASP和JavaScript编写,在装有IIS4.0的win NT服务器上运行,速度快,易维护。  权限级别划分如下:  ①、院长和财务科长:不能输入,可以无限制查询、统计;  ②、副院长:不能输入,可以查询、统计其分管部…

    2019/4/12 8:18:11
  • ASP实现Rewrite模拟生成静态页效

    以前刚刚懂404.asp的时候,曾经幻想把所有程序代码写到404.asp中,实现一个模拟生成静态网页的站,如果程序小还可以,用404.asp实现Rewrite还是一个不错的选择,如果程序代码多达100000行,恐怕就要开始爬了  直到看到asp的Server.Transfer,用404模拟生成静态页的站的念…

    2019/4/12 8:18:11
  • ASP随机涵数生成100条8位字母和数字混合密码

    <%for i = 1 to 100%><%Randomizepass=""Do While Len(pass)<8 随机密码位数num1=CStr(Chr((57-48)*rnd+48)) 0~9num2=CStr(Chr((122-97)*rnd+97)) a~zpass=pass&num1&num2loop原创:www.devdao.com%><%=pass%><br><%next…

    2019/4/12 8:18:11

共有条评论 网友评论

验证码: 看不清楚?