黑帽seo技术培训网是一个以黑帽seo优化手法实战培训教程为主的,全网最新最全的黑帽seo教程网站.本着开放、互助、分享的学习态度去更新维护交流本站.
关键词不能为空
当前位置:黑帽seo >黑帽seo教程 > 搜索指纹算法的原理文章原创度如何突破

搜索指纹算法的原理文章原创度如何突破

作者:shaoxiaoseo
来源:未知
日期:2019-12-12 20:37:29
阅读:
搜索引擎抓取网站页面后通过数据库的比对可以很快地识别到该文章的原创度。那么它是怎么识别的呢?
 
搜索指纹算法是一个很复杂的计算过程,本文只做大意概述。
 
1.剔除通用字比如:地、是、等连接词提取核心词然后进行比对。
 
2.转换成拼音后提取首字母进行快速比对重复率。
 
3.提取一句、整段、进行重复率比对。


搜索引擎判断原创内容的原理是怎样的?一般来说,搜索引擎判断复制网页都基于这么一个思想:为每个网页计算出一组信息指纹(Fingerprint),若两个网页有一定数量相同的信息指纹,则认为这两个网页的内容重叠性很高,也就是说两个网页是内容复制的。
 
很多搜索引擎判断内容复制的方法都不太一样,主要是以下两点的不同:
 
1、计算信息指纹(Fingerprint)的算法;
 
2、判断信息指纹的相似程度的参数。
 
在描述具体的算法前,先说清楚两点:
 
1、什么是信息指纹?信息指纹就是把网页里面正文信息,提取一定的信息,可以是关键字、词、句子或者段落及其在网页里面的权重等,对它进行加密,如MD5加密,从而形成的一个字符串。信息指纹如同人的指纹,只要内容不相同,信息指纹就不一样。
 
2、算法提取的信息不是针对整张网页,而是把网站里面共同的部分如导航条、logo、版权等信息(这些称之为网页的“噪音”)过滤掉后剩下的文本。
 
分段签名算法
 
这种算法是按照一定的规则把网页切成N段,对每一段进行签名,形成每一段的信息指纹。如果这N个信息指纹里面有M个相同时(m是系统定义的阙值),则认为两者是复制网页。
 
这种算法对于小规模的判断复制网页是很好的一种算法,但是对于像google这样海量的搜索引擎来说,算法的复杂度相当高。
 
基于关键词的复制网页算法
 
比如,Google这类搜索引擎,他在抓取网页的时候都会记下以下网页信息:
 
1、网页中出现的关键词(中文分词技术)以及每个关键词的权重(关键词密度);
 
2、提取meta descrīption或者每个网页的512个字节的有效文字。
 
关于第2点,baidu和google有所不同,google是提取你的meta descrīption,如果没有查询关键字相关的512个字节,而百度是直接提取后者。这一点大家使用过的都有所体会。
 
在以下算法描述中,我们约定几个信息指纹变量。Pi表示第i个网页;该网页权重最高的N个关键词构成集合Ti={t1,t2,……tn},其对应的权重为Wi={w1,w2,……wi}摘要信息用Des(Pi)表示,前n个关键词拼成的字符串用Con(Ti)表示,对这n个关键词排序后形成的字符串用Sort(Ti)表示。以上信息指纹都用MD5函数进行加密。
 
基于关键词的复制网页算法有以下5种:
 
1、MD5(Des(Pi))=MD5(Des(Pj)),就是说摘要信息完全一样,i和j两个网页就认为是复制网页;
 
2、MD5(Con(Ti))=MD5(Con(Tj)),两个网页前n个关键词及其权重的排序一样,就认为是复制网页;
 
3、MD5(Sort(Ti))=MD5(Sort(Tj)),两个网页前n个关键词一样,权重可以不一样,也认为是复制网页。
 
4、MD5(Con(Ti))=MD5(Con(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a,则认为两者是复制网页。
 
5、MD5(Sort(Ti))=MD5(Sort(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a,则认为两者是复制网页。
 
关于第4和第5的那个阙值a,主要是因为前一个判断条件下,还是会有很多网页被误伤,搜索引擎开发根据权重的分布比例进行调节,防止误伤。
 
如何应对搜索引擎的指纹算法:
 
1.翻译
 
2.插词
 
3.打乱重组
返回频道:

黑帽seo教程

本文链接:https://www.186seo.com/seojc/354.html

文章来源于黑帽seo,转载请注明来源及页面地址。

相关教程
  • 赣州seo培训:搜索引擎seo搜索参数快排

    搜索引擎seo搜索参数汇总 1.基础搜索 http://www.baidu.com/s?wd=少校seo 注释:wd(Keyword):查询的关键词 2.搜索类型搜索 http://www.baidu.com/s?wd=少校seocl=3 注释:cl(Class):搜索类型,cl=3为网页搜索

排名系统
排名系统
QQ客服
QQ:85444652
电话咨询
免费热线:暂不公开
打赏赞助
关键词不能为空