搜索引擎指纹算法汇总,帮助你网站内容收录更强

索引擎网页指纹技术在百度百科中的解释是:就是提取一个信息的特征,通常是一组词或者一组词+权重,然后根据这组词调用特别的算法,例如MD5,将之转化为一组代码,这组代码就成为标识这个信息的指纹。

搜索引擎在抓取内容之后,会首先剔除掉文章中的一些非特征信息关键词:我、你、他等称谓,而且、但是等连接词,了、么、呢、吧、啊等语气词。这些词 对于信息标识是没有帮助的。然后就是对文字信息的提取。文字信息的指纹信息提示是不容易的,而对于语音、图像指纹的提取就更加困难了,这也就是为什么搜索 引擎无法识别语音和图像的原因。

1383883389601.png

之前经常看到一些关于搜索引擎如何进行伪原创内容的文章,提到的方法主要有以下几种:

  1、修改标题,将标题中的相近词进行替换,或是文字排序等。例如:原标题为“如何判断伪原创内容”,可以修改为“怎样对伪原创内容进行判断”。

  根据信息指纹技术,这样的修改是无效的,我们要想让搜索引擎认为 我们的标题不同,则需要比较大的改动。例如我可以将原标题修改为“搜索引擎判断伪原创内容的标准”,这个标题就更容易被搜索引擎判定为原创。

  2、内容段落的错落排序,将别人的文章段落进行颠倒,或是文章中的一些文字结构进行颠倒。

  这样的方法其实是没用的,因为信息指纹技术提取的内容还是和原文章基本一样,搜索引擎能够在数据库中找到相同信息指纹的文章,所以会将你的文章判定为采集文章。

  3、文章拼合,将相同主题的不同文章进行段落的拼合。

  很多人想颠倒段落不行,那么多篇文章进行拼合总是可以的。但事实是这种方法同样是没有效果的,因为搜索引擎抓取信息指纹后与整个数据库进行比对,不同段落的信息指纹还是能够在数据库中找到相同的指纹。

  4、在文章中强行添加关键词,这一般是在一些相关性的文章,进行稍微的修改,然后强行添加关键词,这是比较早的一种伪原创内容方法。

  这个就要说到我们图片中的内容了,图片中前面一列的指纹是原来文章的指纹,而后一列是强行添加SEO关键词后的指纹,明显能够看到指纹出现很大的变 化,所以这种方法是有效的。所以有些时候,我们在下载的小说中加入关键词,最后却能够得到很好的收录,原因就在于其由于信息指纹的不同,被搜索引擎认为是 原创内容(站群网站可以这样操作!)。但是从用户体验的角度来说,这样的文章可读性不高。

  说到这里你是不是想到了如何才能做好伪原创呢?

一般来说,搜索引擎判断复制网页都基于这么一个思想:为每个网页计算出一组信息指纹(Fingerprint),若两个网页有一定数量相同的信息指纹,则认为这两个网页的内容重叠性很高,也就是说两个网页是内容复制的。

  很多搜索引擎判断内容复制的方法都不太一样,主要是以下两点的不同:

  1、计算信息指纹(Fingerprint)的算法;

  2、判断信息指纹的相似程度的参数。

  在描述具体的算法前,先说清楚两点:

  1、什么是信息指纹?信息指纹就是把网页里面正文信息,提取一定的信息,可以是关键字、词、句子或者段落及其在网页里面的权重等,对它进行加密,如MD5加密,从而形成的一个字符串。信息指纹如同人的指纹,只要内容不相同,信息指纹就不一样。

  2、算法提取的信息不是针对整张网页,而是把网站里面共同的部分如导航条、logo、版权等信息(这些称之为网页的“噪音”)过滤掉后剩下的文本——去噪过程。

4537095149616137651.jpg

分段签名算法

  这种算法是按照一定的规则把网页切成N段,对每一段进行签名,形成每一段的信息指纹。如果这N个信息指纹里面有M个相同时(m是系统定义的阙值),则认为两者是复制网页。这种算法对于小规模的判断复制网页是很好的一种算法,但是对于像google这样海量的搜索引擎来说,算法的复杂度相当高。

4569183296960961266.jpg

基于关键词的复制网页算法

  比如,Google这类搜索引擎,他在抓取网页的时候都会记下以下网页信息:

  1、网页中出现的关键词(中文分词技术)以及每个关键词的权重(关键词密度);

  2、提取meta descrīption或者每个网页的512个字节的有效文字。

  关于第2点,baidu和google有所不同,google是提取你的meta descrīption,而百度是直接提取后者。

  在以下算法描述中,我们约定几个信息指纹变量。Pi表示第i个网页;该网页权重最高的N个关键词构成集合Ti={t1,t2,...tn},其对应的权重为Wi={w1,w2,...wi}摘要信息用Des(Pi)表示,前n个关键词拼成的字符串用Con(Ti)表示,对这n个关键词排序后形成的字符串用Sort(Ti)表示。以上信息指纹都用MD5函数进行加密。

  MD5即Message-Digest Algorithm 5(信息-摘要算法5),用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一(又译摘要算法、哈希算法),主流编程语言普遍已有MD5实现。将数据(如汉字)运算为另一固定长度值,是杂凑算法的基础原理,MD5的前身有MD2、MD3和MD4。MD5的作用是让大容量信息在用数字签名软件签署私人密钥前被"压缩"成一种保密的格式(就是把一个任意长度的字节串变换成一定长的十六进制数字串)。

  基于关键词的复制网页算法有以下5种:

  1、MD5(Des(Pi))=MD5(Des(Pj)),就是说摘要信息完全一样,i和j两个网页就认为是复制网页;

  2、MD5(Con(Ti))=MD5(Con(Tj)),两个网页前n个关键词及其权重的排序一样,就认为是复制网页;

  3、MD5(Sort(Ti))=MD5(Sort(Tj)),两个网页前n个关键词一样,权重可以不一样,也认为是复制网页。

  4、MD5(Con(Ti))=MD5(Con(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a,则认为两者是复制网页。

  5、MD5(Sort(Ti))=MD5(Sort(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a,则认为两者是复制网页。

  关于第4和第5的那个阙值a,主要是因为前一个判断条件下,还是会有很多网页被误伤,搜索引擎开发根据权重的分布比例进行调节,防止误伤。

  当然这里只是一个简单的介绍,指纹本身的判断方法是很复杂的,大家如果能很好的知道搜索引擎这些指纹的计算原理和方法,那么针对搜索引擎的原创判断就很容易解决了,你只需要针对这些算法改变文章的某些内容,让计算结果不一样就行了,毕竟搜索引擎没有那么智能,它看到的只是结果看不到内容。当然我们不建议去过多的研究这些算法,想方设法的钻空子。真真正正的写原创才是是最好,SEO需要脚踏实地,坚持才能有收获。

预约SEO专家添加微信号:2277679694 免费领取SEOVIP试听教程

TAG标签: 搜索引擎 网站收录 指纹算法

文章标题:搜索引擎指纹算法汇总,帮助你网站内容收录更强

转载注明出处:http://www.iltyx.com/peixun/20180802738.html

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!