一：当下以至未来，中小企业是一支最有生命力的市场主体。他们决策灵活，反应迅速。他们能渗透到市场的每一个缝隙，如水银泻地一样。我公司所服务的中小企业就明显反应出这一特征。让你想象不到他们的产品以及业务模式。但这些是大公司很难办到的，全世界能数得上的大公司也没有几个。所以，大公司虽大，他们对未来经济的整体贡献还远远不及中小企业。

　　二：与中小企业合作简单明了，决策迅速，我公司现在签的很多单，大都是在半个小时完成谈单到付款，开始操作。而且与客户都未曾谋面，彼此信任。甚至都不签协议。有人说，连协议都不签，是否有点太不正轨。我却认为这是新商业文明的体现。大家已经不受繁琐的合同条文束缚，彼此已经清楚的认识到信任，诚信。才是新商业文明的核心价值体现。与此相反，我公司签约的少数大公司，他们的办事效率，对合同的繁文缛节的教条与死板。只能用吐血来形容。

　　三：就是那条重要的定律，长尾效应。中小企业如同一条长长的尾巴延伸到你难以触及。阿里巴巴，谷歌，百度，他们的成就无一不是应证了这一定律。所以在阿里巴巴十周年，马云坚定地讲到，阿里把为中小企业服务作为自己的使命。因为大企业实在太少，没什么可做的。同样，做为我公司，也要紧紧抓住中小企业不放。因为中小企业才最具生命力。

第一种情况是禁止所有搜索蜘蛛抓取你网站的任何内容。

假如我的网站刚传到服务器上或者虚拟主机上调试，但是由于网站页面标题或者是关键词等还没有优化好，外面又有了网站的外链了，但是还不想让搜索引擎收录时，就可以禁止所有搜索引擎来收录你的任何页面。

在这里我举一个反面的例子，06我建了某个网站，使用了织梦的内容管理程序，第一次套用了一个模板，加了些内容就兴奋地向各搜索引擎提交了，第二天就被搜索引擎收录了，再过了几天也放出了几百篇内容，但是后来我又找了一套更漂亮清新的模板，改了下又重新生成了所有页面，如此地改动了好几次。由于各搜索的蜘蛛都是母的，网站页面经常改动，特别是title等重要属性的改动让她很没有安全感，对网站产生了严重的不信任，结果我的网站页面过了一两个月才恢复过来。所以各位站长在网站上线对搜索开放之前一定要找准了网站定位，并且在优化好了以后再向搜索引擎开放不迟。

又例如你的网站仅是你跟你恋人的恋爱家园，仅仅是你们自娱自乐的，而不想被抓取的，又例如你的网站是公司内部用的网站，是全隐秘的内容，不需要对任何蜘蛛抓取的，又或者任何其他的具体情况要禁止任何搜索引擎抓取的。

禁止所有搜索引擎收录网站任何页面的语法为：

User-agent: *
Disallow: / 

第二种情况是需要禁止所有搜索引擎抓取网站特定的一些目录。

（1）网站某些目录是程序目录，完全没有被抓取的必要，为了提高服务器性能，避免搜索抓取时消耗服务器资源，可以禁止所有搜索引擎抓取这些目录。（2）网站部分目录是一些会员信息或者是其实敏感，私密性的内容，禁止搜索引擎抓取的。（3）某些目录下的内容全是采集未作任何修改的内容，这部分内容仅是为了丰富内容，但是并不想被搜索引擎收录，这时就需要禁止搜索引擎抓取。（例如我以前做的一个网站，一部分是全原创的内容，用以被搜索抓取的。一部分内容是全采集而来仅为丰富网站内容，提高用户体验的，但是又不想让搜索引擎收录认为是垃圾信息而给网站降权，那么这部分目录我就要屏蔽搜索蜘蛛！）等等其他情况！

大家有兴趣的话，可以到竹影清风新上线的dianzhu2.com去查看下我的robots.txt，里面有一些具体的例子说明。

作用3：禁止某蜘蛛抓取你网站的所有内容。

这里有这么几种情况，（1）你曾严重被baidu降权过、鄙视过、羞辱过，又或者你是反百度联盟的成员，从而要跟它决裂的，要禁止它抓取你网站的任何内容。（2）你的网站已经NB得跟淘宝似的了，要全面禁止百度收录你的页面。大家可以查看下淘宝的robots.txt，淘宝因商业利益等因素已将baidu屏蔽掉，但是由于baiduspider是母的，见马云帅得跟个ET似的，还是厚着脸皮收录了淘宝1060篇左右的内容。大家可以在百度搜索栏里输入site：（taobao.com）验证下。（3）其他任何想禁止某搜索引擎收录你网站所有内容的情况。

作用4：仅允许指定的搜索蜘蛛抓取你网站的内容。

由于我们网站的流量主要来自几大主要的搜索引擎，你不想国外的或者是国内的其他搜索蜘蛛、流氓蜘蛛　来服务器抓取你网站内容，从而消耗服务器资源，那这个时候，这个语法就起

一：当下以至未来，中小企业是一支最有生命力的市场主体。他们决策灵活，反应迅速。他们能渗透到市场的每一个缝隙，如水银泻地一样。我公司所服务的中小企业就明显反应出这一特征。让你想象不到他们的产品以及业务模式。但这些是大公司很难办到的，全世界能数得上的大公司也没有几个。所以，大公司虽大，他们对未来经济的整体贡献还远远不及中小企业。

　　二：与中小企业合作简单明了，决策迅速，我公司现在签的很多单，大都是在半个小时完成谈单到付款，开始操作。而且与客户都未曾谋面，彼此信任。甚至都不签协议。有人说，连协议都不签，是否有点太不正轨。我却认为这是新商业文明的体现。大家已经不受繁琐的合同条文束缚，彼此已经清楚的认识到信任，诚信。才是新商业文明的核心价值体现。与此相反，我公司签约的少数大公司，他们的办事效率，对合同的繁文缛节的教条与死板。只能用吐血来形容。

　　三：就是那条重要的定律，长尾效应。中小企业如同一条长长的尾巴延伸到你难以触及。阿里巴巴，谷歌，百度，他们的成就无一不是应证了这一定律。所以在阿里巴巴十周年，马云坚定地讲到，阿里把为中小企业服务作为自己的使命。因为大企业实在太少，没什么可做的。同样，做为我公司，也要紧紧抓住中小企业不放。因为中小企业才最具生命力。

第一种情况是禁止所有搜索蜘蛛抓取你网站的任何内容。

假如我的网站刚传到服务器上或者虚拟主机上调试，但是由于网站页面标题或者是关键词等还没有优化好，外面又有了网站的外链了，但是还不想让搜索引擎收录时，就可以禁止所有搜索引擎来收录你的任何页面。

在这里我举一个反面的例子，06我建了某个网站，使用了织梦的内容管理程序，第一次套用了一个模板，加了些内容就兴奋地向各搜索引擎提交了，第二天就被搜索引擎收录了，再过了几天也放出了几百篇内容，但是后来我又找了一套更漂亮清新的模板，改了下又重新生成了所有页面，如此地改动了好几次。由于各搜索的蜘蛛都是母的，网站页面经常改动，特别是title等重要属性的改动让她很没有安全感，对网站产生了严重的不信任，结果我的网站页面过了一两个月才恢复过来。所以各位站长在网站上线对搜索开放之前一定要找准了网站定位，并且在优化好了以后再向搜索引擎开放不迟。

又例如你的网站仅是你跟你恋人的恋爱家园，仅仅是你们自娱自乐的，而不想被抓取的，又例如你的网站是公司内部用的网站，是全隐秘的内容，不需要对任何蜘蛛抓取的，又或者任何其他的具体情况要禁止任何搜索引擎抓取的。

禁止所有搜索引擎收录网站任何页面的语法为：

User-agent: *

Disallow: / 

第二种情况是需要禁止所有搜索引擎抓取网站特定的一些目录。

（1）网站某些目录是程序目录，完全没有被抓取的必要，为了提高服务器性能，避免搜索抓取时消耗服务器资源，可以禁止所有搜索引擎抓取这些目录。（2）网站部分目录是一些会员信息或者是其实敏感，私密性的内容，禁止搜索引擎抓取的。（3）某些目录下的内容全是采集未作任何修改的内容，这部分内容仅是为了丰富内容，但是并不想被搜索引擎收录，这时就需要禁止搜索引擎抓取。（例如我以前做的一个网站，一部分是全原创的内容，用以被搜索抓取的。一部分内容是全采集而来仅为丰富网站内容，提高用户体验的，但是又不想让搜索引擎收录认为是垃圾信息而给网站降权，那么这部分目录我就要屏蔽搜索蜘蛛！）等等其他情况！

大家有兴趣的话，可以到竹影清风新上线的dianzhu2.com去查看下我的robots.txt，里面有一些具体的例子说明。

作用3：禁止某蜘蛛抓取你网站的所有内容。

这里有这么几种情况，（1）你曾严重被baidu降权过、鄙视过、羞辱过，又或者你是反百度联盟的成员，从而要跟它决裂的，要禁止它抓取你网站的任何内容。（2）你的网站已经NB得跟淘宝似的了，要全面禁止百度收录你的页面。大家可以查看下淘宝的robots.txt，淘宝因商业利益等因素已将baidu屏蔽掉，但是由于baiduspider是母的，见马云帅得跟个ET似的，还是厚着脸皮收录了淘宝1060篇左右的内容。大家可以在百度搜索栏里输入site：（taobao.com）验证下。（3）其他任何想禁止某搜索引擎收录你网站所有内容的情况。

作用4：仅允许指定的搜索蜘蛛抓取你网站的内容。

由于我们网站的流量主要来自几大主要的搜索引擎，你不想国外的或者是国内的其他搜索蜘蛛、流氓蜘蛛　来服务器抓取你网站内容，从而消耗服务器资源，那这个时候，这个语法就起