如何吃荔枝不上火?
作者:edwin 日期:2010-05-24
很感动!母亲为给儿子省路钱徒步18日回家
作者:edwin 日期:2010-05-06
晨报讯 (记者 杜海)52岁的大娘沈孝莲第一次从涪陵到重庆探望收破烂为生的儿子,临走时为给儿子节约车费她不辞而别。其实沈孝莲身上也没有钱,短短一两个小时的车程, 她却徒步走了18天,晚上住涵洞,饿了到农户家讨点稀饭吃。
前天上午,高速路执法队员把她送到了涪陵。
心 疼儿子 母亲徒步上路
家住涪陵马武乡兴隆二组的大娘沈孝莲今年52岁,4月初到她到重庆去看望25岁的儿子。这是 她第一次离开涪陵到重庆主城。沈孝莲住了几天发现,主城生活成本太贵,吃一顿饭的钱,够她在老家生活好几天。
用Robots.txt禁止多个爬虫/蜘蛛访问
作者:edwin 日期:2010-05-06
最近编写了一个程序专门检测搜索引擎蜘蛛机器人访问情况,经过多日的观察,发现美国一家名为Cuil的搜索爬虫和搜狗爬虫的访问量相当惊人,每天爬行次数几百倍于其他爬虫,但是来自于这些搜索引擎的访问却一个都没有!于是我毅然决定使用Robots.txt文件把这些爬虫干掉!
但是,要干掉多个搜索爬虫在Robots.txt里该怎么写呢?
禁止多个爬虫访问,可以用多组命令来实现,例如,禁止Cuil和搜狗:
# 完全禁止Cuil的爬虫 User-agent: Twiceler Disallow: / # 完全禁止搜狗的爬虫 User-agent:sogou spider Disallow: /