最近编写了一个程序专门检测搜索引擎蜘蛛机器人访问情况，经过多日的观察，发现美国一家名为Cuil的搜索爬虫和搜狗爬虫的访问量相当惊人，每天爬行次数几百倍于其他爬虫，但是来自于这些搜索引擎的访问却一个都没有！于是我毅然决定使用Robots.txt文件把这些爬虫干掉！

但是，要干掉多个搜索爬虫在Robots.txt里该怎么写呢？

禁止多个爬虫访问，可以用多组命令来实现，例如，禁止Cuil和搜狗：

# 完全禁止Cuil的爬虫
User-agent: Twiceler
Disallow: /
# 完全禁止搜狗的爬虫
User-agent:sogou spider
Disallow: /

Tags: 爬虫爬虫 蜘蛛蜘蛛 搜索引擎搜索引擎 RobotsRobots

英国卫报都报道了这个由三段视频组成的网站（searchenginerapbattle.com），三个穿着诡异的歌手分别代表三大搜索引擎Google、MSN、Yahoo以RAP说唱的方式互相对唱，你吹我弹，相当搞笑。而且个人觉得三人古怪的装扮更表现出这三个搜索巨头的风格，甚有讽刺的意思。网路上已有网友将说唱内容记录出来并翻译成中文，所以我们马上开始观赏吧！

MSN先出手： 计算机的世界我做主 跟独裁竞争你又何苦 我托起世界你可以问你妈妈 因为盖茨可能才是你的爸爸 我的成长用不着风投 记着点，有我PC才能出头 暴发户你还挺不要脸 就像橡皮的鸭子面对巨型战舰 仔细看看错乱的后台，我才会编码 他也好不到哪去，还抱着一堆ajax（我不懂编程，向各位请教了） 你的格调不入流，网站也一样 还好意思给人家做站长推广	Yahoo接招： 你的用户都是问题，我的强项之一：答疑 你就像是郁闷男的助威团之一 这么肥大的身躯你想飞是么？ 就有个热邮（Hotmail）还长得像鲍尔默 你太老太旧，你应该被时代淘汰 你的股票大涨那还是90年代 你的名字实在不知所谓 原来是个缩写，难道是微软宝贝？ 你到底是msn搜索还是msn live 不过你改了名字也不会进步 在这我就是最好的，听见没？ 400亿你买不到我一起喝咖啡
MSN: You aint intellectual, I own all the property your whole board walks, while I win at this monopoly I serve the world. you should ask ya momma cuz Bill Gates might have been your real founding father I'm blowin up, without the VC, Remember it was me who invented the PC Your just an upstart - you think you got smarts? But I'm the V12, you're just the spare parts Check out the stash - the dirty leg-chaps, You'd think he would be cleaner, with all that Ajax Your styles innappropriate, sites even more so Yahoo Hot Jobs sounds like a porno	Yahoo: Your users got questions - Yahoo's got answers You look like a blue-man group back-up dancer You can't fly, your design is so heavy, The only hotmail you got is when Ballmer gets sweaty Youre so old and slow, youre behind the times Your stock hasnt gone up since 99 You must wanna get hurt, huh M-S-N? Your name's an acronym, for S-N-M Are you MSN search? or MSN Live? It takes more than changing your name to survive I'm the best in the West, get it straight, ya see 40 billion couldnt buy you a date with me

(注：翻译部分，根据本人个人理解，对原文作了一小部分更改)

Tags: GoogleGoogle MSNMSN YahooYahoo 搜索引擎搜索引擎 RAPRAP

英国卫报都报道了这个由三段视频组成的网站（searchenginerapbattle.com），三个穿着诡异的歌手分别代表三大搜索引擎Google、MSN、Yahoo以RAP说唱的方式互相对唱，你吹我弹，相当搞笑。而且个人觉得三人古怪的装扮更表现出这三个搜索巨头的风格，甚有讽刺的意思。网路上已有网友将说唱内容记录出来并翻译成中文，所以我们马上开始观赏吧！

第二轮，Google Vs. Yahoo，Go～

Yahoo先出手： 他的皮肤是苍白 我的特色是多彩 他白的多么惹人怜惜 倒也确认了他和创始人的关系（说Sergei和Larry白） 听说你要拯救世界，厉害 听说你还不做坏事，女孩～ 比比目标我的宏大你的渺小 网路code看起来不错，其实投机取巧 网络引擎对影成三 难道你和Ask Jeeves在搞断背山？ 从92年来你就没有变过 脑袋里总会出现：yahoo的干活！	Google接招： 这个谁啊让我瞧瞧，这是不是天堂？ 我以为你早已经和AV（Alta Vista）和莱克（Lycros）并列死亡 我比你强这你自己也知道 于是你给我钱帮你投放广告 老的和雅达利（Atari，任天堂之前的游戏品牌）一样你没得玩了 我开你的网页结果失败，因为safari不耐烦了 说来听听牛仔，你也觉得爽么？ 我最好，他还成，你根本就是破烂 你设计的起劲还是这么混乱 天啊这家伙的名字里还带个惊叹！ 让你瞧瞧的股票价值连城 让你知道你的索引根本不行
Yahoo: His skin is so pale, he's already fatigued The only sports you play are in my fantasy league Look at this guy, hes so white that its scary This guy is whiter than Sergei and Larry I heard your new motto for saving the world You do no evil, if evil's a girl My design is the biggest, yours is much smaller That rainbow is fruity, like your free Odwalla Uh, and who's countin too? You asked Jeeves for a brokeback mountain view You haven't changed your style since 1992 You cant get my name out your head, Ya-hoo!	Google: Who is this guy? is he still alive folks? I thought he died with Alta Vista and Lycos Im smarter than you, and you know it, its sad Thats why you pay me to serve all your ads You got no game, youre old like Atari, I tried to load his homepage - it broke on Safari Tell me cowboy, do you feel lucky? Im the good, hes the bad, youre just the ugly Trying too hard, your design is insane This guy has an exclamation point in his name! You wanna test my manhood? you'll see my stock rise Lets both lift our hoods and compare index size

(注：翻译部分，根据本人个人理解，对原文作了一小部分更改)

Tags: GoogleGoogle MSNMSN YahooYahoo 搜索引擎搜索引擎 RAPRAP

英国卫报都报道了这个由三段视频组成的网站（searchenginerapbattle.com），三个穿着诡异的歌手分别代表三大搜索引擎Google、MSN、Yahoo以RAP说唱的方式互相对唱，你吹我弹，相当搞笑。而且个人觉得三人古怪的装扮更表现出这三个搜索巨头的风格，甚有讽刺的意思。网路上已有网友将说唱内容记录出来并翻译成中文，所以我们马上开始观赏吧！

Google先出手： 你的新系统实在无人问津 仅有的用户还是电脑自带更新 跟我比你就是郁闷的蓝色 我的死忠粉丝叫我Google Yes Sir 我连接网络，我有的是链接 S-E-O给我带来n多津贴 聪明的人愿意跟我干 被挖墙角与我何干 我的邮箱敢比美女的引力 6G容量你只能给我垫底 搜索市场你占四点我六十八 引擎说唱已经结束咯～	MSN接招： 你桶（Youtube）花了你二十亿美子 搜索方面还是个跛子 你的标志真丑 还不如幼童随手 你的名字像山歌（原文是poddle，卷毛狗） 你的网络app根本不工作 没有人关心没有人用 你只是搜索才有用 我有平台我有IE 我有3-60岁人玩的游戏 挖我的角哈？这有个消息 我买下FB（facebook）他挖你的小秘 你的用户迅速离你而去你知为何？ 因为搜索结果显示维基百科！
Google: Your new system hasnt gotten many users They only use Vista cuz it came on their computers Step to me - Ill wrestle you blue My dyslexic fans, they call me "El Goog" Well connected - i got crazy links S-E-O just means what google thinks Smart people, they wanna work for me That's why I jack you for your employees Gmails got females - on fire like foxes i'm six gigs deep, up in their inboxes Search market share: 4% you 68 me. this battle rap is through	MSN: You bought Youtube for 2 billion bucks He bought Youtube, the search still sucks Your icon's a joke - it's just a doodle Your name sounds like a baby retard poodle Youre net apps - they're slow- they dont work, nobody uses them, they go for the search I own your platform, I own IE, I own all degrees of the game, 3-60 You steal my people? heres the stor-y I buy Facebook and jack your employees You might have users, but they'll soon be leavin ya cuz your search results say search Wikipedia

(注：翻译部分，根据本人个人理解，对原文作了一小部分更改)

Tags: GoogleGoogle MSNMSN YahooYahoo 搜索引擎搜索引擎