对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被robots抓取而公开。为了解决这个问题robots开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。
一、 robots.txt
1、 什么是robots.txt？
robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
上海真是一人才济济的地方。人民的智慧真是伟大。不知道是现在的MBA太…了，还是人们的境界都提升了。
报贩赚钱经折服投资老总
草根MBA实例：报贩子也能月薪8000元
令我想起某日一想法。把老人院和幼儿园合并。让老人看小孩儿，再请几个年轻人看老人。这能节省一半的成本。而且老人还可以享受天伦之乐。绝对的创新，至少在中国目前还没有。要是有人这么做了，别忘了给我点好处。^_^
刚刚在网上逛,看到这么一个Taobao店,很有趣,他的店子说明是:
重新规整一下店铺。精简分类。现在呢，”疯狂的药”那个栏目卖一切不会成功的交易，各种幻想。
|设计师|电子工程师|厨师|医师|音乐家 这个分类里面是我提供的各种diy服务，以及相关商品。
流浪物品集散中心，收购并出售各种流浪物品。什么是流浪物品？流浪者使用的物品，还有流浪中的物品，总之都是不再流行的商品，它们寂寞的躺在储藏室的角落，盼望着再次被人宠爱。
