评价网 > 科教论文 > 工学毕业论文 > 计算机网络论文 > 正文

提高网站在Google中的排名（二)网络毕业论

2014-11-22 01:01 提高网站在Google中的排名（二) 
 
 
  
如何突出关键词：面向主题(Theme)的关键词匹配
 Theme Engine正在逐步超过PR，成为结果排序中更主要的因素，可以比较一下以下现象： 
为什么查“新闻”，“汽车”之类的文字，各种门户网站的首页不在第一位？要知道他们的页面中都有相应频道的链接文字的 
一篇新闻页面中，搜索引擎如何不通过模板匹配，自动将新闻的主体和页面中的页头，栏目导航条，页尾等部分的内容区分开的？ 
其实以上问题都可以归结为网页内容摘要的提取策略和关键词在其中的命中：
首先将能够描述一个页面内容的分成以下几种类型：

链入文字描述：inbound link text
http://www.searchenginedictionary.com/terms-inbound-link.shtml

HTML页面标题：title 好标题一般会将页面中最重要的关键词放在最前面，比如：ABC-10型吸尘器 - XX家电城 
HTML内容主体：content text 
链出文字：outbound link text

如果按照以下规则：
一个页面中关键词命中权重：链入文字 > HTML标题文字 > HTML页面主体内容 >> 出链文字，以上现象就比较好解释了。
链入文字是页面上看不见的，但链入文字对被链接页面有巨大的作用：在现代搜索引擎在关键词匹配的过程中，匹配的过程不只看当前页面的内容摘要：很大程度上，不只看这个网页自己说自己有什么内容，还要看别人如何链接时，如何描述你的网站别人怎么称呼你，比你自己说自己更重要。。
比如查：“世界卫生组织”，返回结果中有http://www.who.int/ 而这个页面中是没有中文的，之所以能匹配上，是因为很多链接它的中文网站使用了：<a href="http://www.who.int/">世界卫生组织</a>，所以，这个页面中不存在的中文关键词也成为了页面摘要的一部分。这样一想，就可以知道链出链接的文字其实是为被链接的子频道首页或者内容详情页服务的。对自身页面的关键词密度只有负面的影响，这也是Google建议一个页面中链接不要超过100个的原因：他根本不索引100个链接以后的内容。按照以上规则，搜索引擎将一篇新闻详情页中的新闻内容提取出来就是把页面上所有带HTTP链接的文字都去掉，就是新闻的内容部分了，更精确一些可以通过取最长文本段落等策略实现；而很多网站首页或频道首页中几乎全部都是链接，经过搜索引擎分析的结果就是：什么内容也没有，能够被命中的关键词仅仅是别人链接你用的“网站首页”和频道标题Title中的站点名称等的几个关键词，而页面中其他的文字则远远不如相应子频道和具体内容页面的匹配度高，而搜索引擎能够通过以上规则，让用户更快的直接定位到有具体内容的内容详情页面。因此希望通过一个首页，尽可能多的命中所有希望推广的关键词是不可能的。让网页尽可能多的进入搜索引擎的索引，然后把握好整个网站的主题风格是非常重要的，让网站的主题关键词能够比较均匀的按照金字塔模式分布到网站中可以参考：网站的主题金字塔设计          网站名称（用户通过1－2个抽象关键词） 大学排名
         /       \
    子频道1   子频道2 （用户通过2－3个关键词命中）
   /    \      /    \
产品1  产品2 文章1 文章2 (用户通过3－4个关键词命中：这种用户最有价值)


不要空着标题：空着<title></title>无异于浪费了最有价值的一块阵地；
传统的页面中，HTML页面中会有类似以下的隐含信息，用于说明当前网页的主要内容关键字：
<header>
    <meta name="keyword" content="mp3 download music...">
</header>
后来由于这种人工添加关键词的方式被滥用，大量网页中为了提高被搜索引擎命中的概率，经常添加一些和实际网页内容无关的热门关键比如：“music mp3 download”等，所以新一代的搜索引擎已经不再关心页面头文件中的人工meta keyword声明，而页面标题在搜索引擎的关键词的命中命中过程中往往有着更高的比重，如果一个关键词在标题中命中会比在页面中命中有更高的得分，从而在相应的搜索结果排名中更靠前。 

 
标题长度和内容：不要过长，一般在40个字符以内，并充分突出关键词的比重；
如果更长的标题搜索引擎一般会忽略掉，所以要尽可能将主要关键词放在标题靠前的位置。省略掉不必要的形容词吧，毕竟用户主要通过名词来找到需要的内容。标题内容：尽量用一些别人可以通过关键词找到的字眼（也别太过头，如果标题中的字眼超过1半内容中都没有，有可能被搜索引擎排除出索引），因此基于web日志中来自其他搜索引擎的关键词查询统计非常必要。 
如果网页很多的话，尽量使用不同的网页标题，争取让自己网站的内容更多的进入搜索引擎索引范围；
因为搜索引擎会根据页面内容的相似度把一些内容当成重复页面排除出索引范围；
http://www.chedong.com/phpMan.php是我的网站上的一个小应用：一个web界面的unix命令手册（man page），在以前的设计中所有动态页面使用的都是同样的标题："phpMan: man page /perldoc /info page web interface" ，Google索引了大约3000多个页面，后来我将页面标题改成了"phpMan:  [命令名]"这样的格式，比如："phpMan: ls"，这样大部分动态页面的标题就都不一样了，一个月后Google从这个页面入口索引了大约6000个页面。因此，如果网站中很多网页都使用相同的标题，比如：“新闻频道”，“论坛”，这些页面中很大一部分就会被排重机制忽略掉。 
除了<title></title>外，还可以用<h1></h1>标题行突出内容主题，加强标题的效果；
在我的网站设计中：我会把用<h1>[标题]</h1>这样的模板把标题突出显示，而不是通过改变字体的方式突出标题。 
其他网站设计提示
静态链接：Blog网站另外一个优势在于其网页是静态链接：动态网页占到整个互联网内容的90％以上。各个搜索引擎其实能够表现的都只不过是互联网的冰山一角(3-5%)，不同的只是谁让优质网页排名靠前的策略更优秀而已：大部分搜索引擎都认为静态链接的网页是优质网页，Google在优先抓取索引的网页中70%以上是不带参数链接的静态网页。而且即使同样的内容，静态网页也会比动态网页权重高：很容易理解：query?a=1&b=2这样的链接由于参数顺序颠倒的query?b=2&a=1完全相同。尽量使用静态网页：目前能够动态网页进行全面的索引还比较难，而即使是Google也更不会索引所有的内容，因此很少会对参数超过2个的动态网页进行进一步的抓取和分析。以下是一个phpBB论坛页面返回的HTTP头信息：  （科教范文网 fw.nseac.com编辑发布）
HTTP/1.1 200 OK Date: Wed, 28 Jan 2004 12:58:54 GMT Server: Apache/1.3.29 (Unix) mod_gzip/1.3.26.1a PHP/4.3.4 X-Powered-By: PHP/4.3.4 Set-Cookie: phpBB_data=a%3A0%3A%7B%7D; expires=Thu, 27-Jan-2005 12:58:54 GMT; path=/; Set-Cookie: phpBB_sid=09f67a83ee108ecbf11e35bb6f36fcec; path=/; Content-Encoding: gzip Cache-Control: private, pre-check=0, post-check=0, max-age=0 Expires: 0 Pragma: no-cache Connection: close Content-Type: text/html 

为了避免隐私问题：Googlebot可以通过对页面http header中的session id和session cookie进行一些甄别，这样很多需要认证信息的论坛内容就无法进入索引了。
总体上说Google喜欢新的，静态的内容。因此无论从效率上讲还是方便搜索引擎收录：使用内容发布系统将网站内容发布成静态网页都是非常必要的，从某种程度上说google friendly = anonymous cache friendly。
比如http://www.chedong.com/phpMan.php/man/intro/3
http://www.chedong.com/phpMan.php?mode=man&;parameter=intro§ion=3这样的链接更容易进入搜索引擎的索引。而且在URL中的命中也能突出关键词。 
能够进入Google索引的页面数量越多越好。用类似以下的脚本可以统计自己的网站被搜索引擎索引的情况。 

#!/bin/sh YESTERDAY=`date -d yesterday +%Y%m%d` # for FreeBSD: YESTERDAY=`date -v-1d +%Y%m%d` LOG_FILE='/home/apache/logs/access_log' grep -i Googlebot $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.googlebot.txt grep -i baiduspider $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.baiduspider.txt grep -i msnbot $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.msnbot.txt grep -i inktomi $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.inktomi.txt grep -i openbot $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort |uniq -c | sort -rn > spider/$YESTERDAY.openbot.txt 

网站目录结构要扁平，因为每深一级目录，PAGERANK降低1－2个档次。假设首页是3，其子可能目录就是1了，更深可能就无法列入评级范围了。

表现和内容的分离：“绿色”网页
网页中的javascript和css尽可能和网页分离，一方面提高代码重用度（也方便页面缓存），另外一方面，由于有效内容占网页长度的百分比高，也能提高相关关键词在页面中的比重也增加了。总之，应该鼓励遵循w3c的规范，使用更规范的XHTML和XML作为显示格式便于内容更长时间的保存。 
让所有的页面都有能够快速入口：站点地图，方便网页爬虫（spider）快速遍历网站所有需要发布的内容。如果首页就是用Flash或图片进入的话，无异于将搜索引擎拒之门外，除了UI设计的用户友好外，spider friendly也是非常重要的。 
保持网站自身的健康：经常利用坏链检查工具检查网站中是否有死链。 
保持网页内容/链接的稳定性和持久性：在搜索引擎索引中网页存在的历史也是一个比较重要的因素，而且历史比较久的网页被链接的几率越高。为了保证自己网页能够被比较持久的被其他网站的页面引用，如果自己网页中有链接更新时，最好能保留旧的页面并做好链接转向，以保持内容的连续性。要知道，把一个网站和内容在搜索引擎中的排名“培养”的很高是一件非常不容易的事情，谁都不希望好不容易自己的内容被别人找到了，点击却是“404 页面不存在”吧，因此站点管理员对自身站点error.log的分析也是非常必要的。 
文件类型因素：Google有对PDF, Word(Power Point, Excel), PS文档的索引能力，由于这种文档的内容比一般的HTML经过了更多的整理，学术价值一般比较高，所以这些类型的文档天生就比一般的HTML类型的文档 PageRank要高。因此，对于比较重要的文档：技术白皮书，FAQ，安装文档等建议使用PDF PS等高级格式存取，这样在搜索结果中也能获得比较靠前的位置。 

（科教范文网 fw.nseac.com编辑发布）

常常能发现门户站点的一条新闻往往比其他站点的首页排名还要靠前。因此一个站点总体PageRank提高了以后，往往自身一些并不重要的内容也会被同那些高PageRank的内容一起带入被搜索引擎优先查询的列表中。这样经常造成很多大的开发站点的邮件列表归档往往比其他站点的首页PageRank还要高。