当前位置:100EC>数字零售>浅析搜索引擎蜘蛛的抓取陷阱
浅析搜索引擎蜘蛛的抓取陷阱
中国B2B研究中心发布时间:2009年08月10日 10:54:27

(电子商务研究中心讯) 

  

    这张图很形象的说明了搜索引擎的Spider在抓取网页时,一些不友好的元素会对其形成较坏的影响(说明:本人离开英文环境已半年,如有解释错误,勿怪。

  Orphan Pages;Spider是根据链接抓取网页,没有链接的网页,自然使spider抓取困难。

  Unfriendly SEO-CMS System;CMS对SEO不友好的话,会对spider形成一定的干扰,比如js、ajax、链接分布、frame结构等等。

  Bad server Configuration;如阻止搜索引擎spider访问、302重定向、访问权限等等,以及服务器的稳定性,都有可能对spider造成致命的打击。

  Cloaking;比如隐藏文字、没有任何内外链的网页,都会使spider出现问题。

  Session Based Coding;URL根据访问者的cookie随机变换、html代码中大量的字符,这些session闯下的祸,对于一个不依赖SEO的网站来说可能没什么,但是对于一个基于SEO的网页来说可是致命的。(编选:中国B2B研究中心 张周平)

 

网经社联合A股上市公司网盛生意宝(002095.SZ)推出消费品在线供应链金融解决方案。该产品具有按需提款、按天计息、随借随还、专款专用、循环信用贷、全线上流程操作等特点,解决消费品供应链核心企业及下游经销商/网店因库存及账期造成的流动性差“痛点”。》》合作联系

网经社“电数宝”电商大数据库(DATA.100EC.CN,注册免费体验全部)基于电商行业12年沉淀,包含100+上市公司、新三板公司数据,150+独角兽、200+千里马公司数据,4000+起投融资数据以及10万+互联网APP数据,全面覆盖“头部+腰部+长尾”电商,旨在通过数据可视化形式帮助了解电商行业,挖掘行业市场潜力,助力企业决策,做电商人研究、决策的“好参谋”。

【关键词】 搜索引擎
【投诉曝光】 更多>

【版权声明】秉承互联网开放、包容的精神,网经社欢迎各方(自)媒体、机构转载、引用我们原创内容,但要严格注明来源网经社;同时,我们倡导尊重与保护知识产权,如发现本站文章存在版权问题,烦请将版权疑问、授权证明、版权证明、联系方式等,发邮件至NEWS@netsun.com,我们将第一时间核实、处理。

        平台名称
        平台回复率
        回复时效性
        用户满意度
        微信公众号
        微信二维码 打开微信“扫一扫”
        微信小程序
        小程序二维码 打开微信“扫一扫”