灵感点滴

看图不说话。

今天登录Adsense查看近期的收入情况，突然发现修改付款方式的页面已经多了一项：

当月 15 日之后对这些设置的改动则可能在当前付款周期生效，也可能在下一个付款周期生效。

以前中国的Adsense用户只能通过支票的方式获得付款，周期长，费用高，手续麻烦，一直都是设置付款保留，等有了电子转账或者其它更快捷的支付方式了再兑现。期待了好久的功能，终于等到了，赶紧取消保留付款。

根据Adsense的付款周期，到下个月中旬(15日)修改才会生效，得到下个月底(10月底)才会支付9月份的收入，预计11月初可以拿到款项。

在校内的邮局就有西联汇款业务，相当方便呀。

使用了Adsense的国内用户，并且收入已经过100美元的，赶紧去看看吧。

Google 实验室列出了员工所发表的文章。为了方便自己和其他有兴趣的人阅读，将它们都收集起来做了一个镜像，在 http://www.daviesliu.net/GooglePapers/ 。欢迎一起交流学习心得:-)

也可以一起打包下载：http://www.daviesliu.net/GooglePapers/GooglePapers.zip

绝大部分文章都找到了其 pdf 版本，少数几篇缺失，保留了原来的链接。

光缆断了，使用 Gmail 实在痛苦，半天没动静，好在今天在 Google 版看到 kxn 提供的方案：光缆故障期间访问Gmail等Google产品的方法，具体方法就是将mail.google.com解析为66.249.89.83，原来是解析为 209.85.139.18，通过在文件windows/system32/drivers/etc/hosts中加入一行 66.249.89.83 mail.google.com 来实现。

试用了一下，效果明显。为什么会这样呢？看一下访问这两个IP的路由就清楚了。新的路由过程为：
Tracing route to mail.google.com [66.249.89.83]
over a maximum of 30 hops:
  1    <1 ms    <1 ms    <1 ms  th124001.ip.tsinghua.edu.cn [59.66.124.1]
  2    <1 ms    <1 ms    <1 ms  th003137.ip.tsinghua.edu.cn [59.66.3.137]
  3     9 ms    10 ms    10 ms  th002025.ip.tsinghua.edu.cn [59.66.2.25]
  4    18 ms    19 ms    16 ms  qhu0.cernet.net [202.112.38.69]
  5    19 ms    19 ms    19 ms  202.112.53.178
  6     *      445 ms   434 ms  219.158.28.25
  7   428 ms   436 ms   427 ms  219.158.11.57
  8   418 ms   407 ms   400 ms  219.158.3.30
  9     *        *        *     Request timed out.
 10     *        *      439 ms  72.14.239.142
 11   415 ms   429 ms   398 ms  216.239.47.74
 12   390 ms   390 ms   395 ms  216.239.47.54
 13     *      412 ms   413 ms  mail.google.com [66.249.89.83]

原来的路由过程：
Tracing route to pr-in-f18.google.com [209.85.139.18]
over a maximum of 30 hops:
  1    <1 ms    <1 ms    <1 ms  th124001.ip.tsinghua.edu.cn [59.66.124.1]
  2    <1 ms    <1 ms    <1 ms  th003137.ip.tsinghua.edu.cn [59.66.3.137]
  3    10 ms    10 ms    11 ms  th002025.ip.tsinghua.edu.cn [59.66.2.25]
  4    26 ms    24 ms    25 ms  qhu0.cernet.net [202.112.38.69]
  5    34 ms    34 ms    32 ms  202.112.36.250
  6    36 ms    37 ms    36 ms  202.112.36.254
  7    30 ms    29 ms    30 ms  202.112.53.202
  8     *        *      129 ms  219.158.32.97
  9     *      135 ms   128 ms  219.158.21.253
 10   171 ms   178 ms   175 ms  219.158.4.105
 11   170 ms   170 ms   168 ms  219.158.3.118
 12     *        *      617 ms  219.158.25.118
 13     *        *      628 ms  219.158.25.61
 14     *        *        *     Request timed out.
 15   444 ms     *      431 ms  66.249.94.2
 16   437 ms     *      433 ms  66.249.95.135
 17   453 ms   452 ms     *     72.14.233.37
 18   446 ms     *        *     72.14.233.27
 19   457 ms   450 ms   452 ms  72.14.239.190
 20     *        *      448 ms  pr-in-f18.google.com [209.85.139.18]

在过了qhu0.cernet.net 后，它们所走的线路不一样了，可能新的路由线路正好避开了受损的海底光缆。听说使用了游戏版教育网直通车的用户访问国外的网络还比较正常，估计也是同样的原因。

两者时延差不多，但是后者丢包率很高(高于50%):
Pinging 209.85.139.18 with 32 bytes of data:
Request timed out.
Request timed out.
Request timed out.
Reply from 209.85.139.18: bytes=32 time=437ms TTL=237
Reply from 209.85.139.18: bytes=32 time=437ms TTL=237
Reply from 209.85.139.18: bytes=32 time=435ms TTL=237
Request timed out.
Request timed out.
Reply from 209.85.139.18: bytes=32 time=434ms TTL=237
Request timed out.
Request timed out.
Request timed out.
Reply from 209.85.139.18: bytes=32 time=449ms TTL=237
Reply from 209.85.139.18: bytes=32 time=436ms TTL=237
Request timed out.
Request timed out.
Reply from 209.85.139.18: bytes=32 time=434ms TTL=237
Reply from 209.85.139.18: bytes=32 time=439ms TTL=237
Request timed out.
Request timed out.
Request timed out.

Gmail 的反垃圾邮件系统是目前我所见过的效果最好的，基本上所有垃圾邮件都被顺利地扔到了垃圾箱，误判率很低。

之前一直意味它是基于文本对比和分析实现的，与网页的相适度分析类似，大量相似的邮件判为垃圾邮件。这种方法是很难做到现在这样的效果的，“道高一尺，魔高一丈”，碰到将邮件内容放到图片里的垃圾邮件就没辙了。

其实与很多邮件系统的反垃圾策略类似，Gmail 也是通过白名单和黑名单对邮件发送者进行过滤，同时用基于内容的分析方法辅助判断，只是这个系统级别的黑白名单建立过程不一样。垃圾邮件可定义为用户不期望收到的邮件，垃圾邮件发送者会发送大量用户不想要的邮件，这一行为特征就是反垃圾邮件的依据。

第一步是要正确识别邮件发送者，Gmail 采用域名(不同于以往的IP)为识别单位，通过 SPF 和 DomainKey 等方式来识别邮件来源的域，分析各个域的邮件行为建立信用制度，来自信用度高的域的邮件被认为是正常邮件，放进收件箱；来自信用度的域的邮件则被认为是垃圾邮件，扔进垃圾箱而不是拒绝接收。对于不能判定域的邮件，或者该域的信用度处于中间模糊状态的邮件，则用基于内容的方式做分析，以此作为下一步学习的基础。

域的信用度是通过来自该域的正常邮件所占的百分比来定义，它的值通过用户不断提交误判的垃圾邮件来修正，逐渐趋于合理。训练良好的信用度一般趋于两个极端：极好和极差，通过设定不同信用阈值对邮件是否是垃圾作出判断。

这种以域为单位的信用评判方式，基于一个假定：即来自于同一个域的用户具有相似的行为。这就要求邮件服务提供商对垃圾邮件进行严格的管制，否则部分用户的垃圾行为会影响到正常用户的使用。比如以前163，sina，sohu等免费邮箱经常被人用来发送垃圾邮件，结果很多国外的邮件服务商直接拒绝它们的信件。Gmail 对用户的邮件发送频率进行了限制，似乎是每天300封，限制了被用来发送垃圾邮件的程度。Gmail 的注册也是受限的(目前在大部分地区仍是这样)，需要邀请才行，也一定程度上抵制了垃圾邮件。hotmail 等只提供web界面，同样可以限制垃圾邮件的发送。目前的域的判定方法不能很好地区分转发邮件，Gmail 对被判为垃圾邮件的不进行转发，也是在保护它的信用度。

Gmail凭借稳定增长的用户量，以及用户的积极配合区分垃圾邮件，通过对海量数据的合理分析，已经建立起了合理的信用体系，才做到了现在这样的反垃圾效果。

同一封邮件，对不同的用户会有不同的效果，是否为垃圾邮件不能一概而论，因而还需要对每个用户建立特殊的白名单和黑名单，白名单通常是通讯录(被回复的地址会自动加入)，黑名单通常是被举报的地址，这个功能在大多数邮件系统里都有了。

理论上，精确到邮件地址的信用制度效果会更好，但是目前来说这个太难实现，邮件帐号实在太多了，现在一个互联网用户经常会有多个邮箱，全世界的邮件地址多大几十亿，对这么大的对象建立信用度是很难的，或许以后可以实现。另一方面，信用度的建立依赖于对大量数据的统计熟悉，而大部分用户的邮件比较少难以获得好的统计效果。

以上只是我个人对 Gmail 的反垃圾系统的理解，更详细的内容请查看 Sender Reputation in a Large Webmail Service

第 1 / 3 页 | 下一页