福建电脑2009年第12期垃圾邮件的检测分析技术郭剑平渊集美大学诚毅学院福建厦门361021冤揖摘要铱院本文讨论了垃圾邮件的特点尧存在的危害及目前的常用的几种检测方法遥在垃圾邮件检测技术方面袁广泛使用的是基于各种规则的过滤技术袁如黑白名单尧内容过滤尧贝叶斯过滤等;还有基于行为的检测技术遥在反垃圾邮件方面好传奇,还有基于发件方的认证技术袁如挑战应答技术尧DomainKeys系统尧CallerID计划等遥揖关键词铱院垃圾邮件反垃圾邮件检测技术一尧引言随着互联网的快速发展,人与人的交往更加快捷方便袁电子邮件渊E-mail冤以其快捷低廉的特性日益成为人们信息交互的重要工具遥伴随着互联网的发展袁垃圾邮件也孕育而生并且近年来有着日益泛滥的趋势袁垃圾邮件不仅占用了大量网络带宽资源袁浪费邮件接收者的大量时间袁干扰正常的信息传递袁而且垃圾邮件中载有不健康的尧危害社会稳定与安全的信息对社会产生许多负面影响遥垃圾邮件中带有的恶意代码袁对计算机数据或网络安全造成很大威胁遥二尧什么是垃圾邮件及其危害垃圾邮件定义为包括下述属性的电子邮件院渊一冤收件人事先没有提出要求或者同意接收的广告尧电子刊物尧各种形式的宣传品等宣传性的电子邮件曰渊二冤收件人无法拒收的电子邮件曰渊三冤隐藏发件人身份尧地址尧标题等信息的电子邮件曰渊四冤含有虚假的信息源尧发件人尧路由等信息的电子邮件遥垃圾邮件所带来的危害是相当大的袁它不仅会占用人们大量处理邮件的时间袁降低工作效率曰还会占用用户宝贵的网络带宽资源袁阻碍正常的关键网络业务运行曰并且袁邮件用户为了阻止垃圾邮件的不断增长袁不得不投入额外的垃圾邮件过滤硬件或软件来应对袁这要花费用户大量的金钱和管理开销袁以及增加企业原本已经相当复杂了的IT安全基础架构和安全防范策略的复杂性遥对于企业邮件用户来说袁其雇员数量越多袁为每个雇员所花费的垃圾邮件过滤费用就会不断的提高遥根据中国互联网协会反垃圾邮件协调小组2007年第四季度报告袁网民收到的垃圾邮件总量为694亿封袁个人邮箱平均每周收到垃圾邮件的数量为16.71封袁网民收到垃圾邮件的比例为55.65%遥2007年垃圾邮件给中国造成的损失达188.4亿人民币遥这一增长水平是中国开展反垃圾邮件工作五年来的最大增幅遥三尧主流垃圾邮件用来的躲避追踪的发送技术如今袁有着高超技术的发送者使用了许多相当有效的方法来躲避被过滤袁其技术还要领先于反垃圾邮件技术袁这也是为什么垃圾邮件不能完全被过滤的主要原因遥垃圾邮件发送者一般会通过下列方式中的一种或几种来达到目的院1尧修改垃圾邮件头中与发送者相关的所有域的内容袁使这些内容与自己无任何联系遥2尧使用第三方可以匿名转发邮件的邮件服务器来发送垃圾邮件遥3尧自建邮件服务器袁并使用代理服务器进行网络连接遥4尧通过控制正常的邮件服务器来发送垃圾邮件袁通过Rootkit隐藏在服务中的痕迹遥5尧通过控制僵尸网络中的主机来发送垃圾邮件遥6尧通过自己的多台邮件服务器袁设置按某个时间间隔袁一次只发送十到二十封垃圾邮件袁让反垃圾邮件产品不能通过行为检测方式来判断这些主机为垃圾邮件服务器遥一段时间后袁也能达到相当大的垃圾邮件发送数量遥四尧主流垃圾邮件编写技术垃圾邮件发送成功的关键在于如何突破反垃圾邮件产品的重重封锁遥各种常见的垃圾邮件编写技术有院1尧通过修改邮件头中的IP地址或域名袁来躲过以黑白名单方式的垃圾邮件过滤遥2尧将垃圾邮件中每个单词的字母或汉字之间用空格或一些特殊字符(如"-"或"+"号)隔开袁这样就能轻易躲过基于关键字和文本内容分析技术的过滤遥3尧用数字替换垃圾邮件中英文单词中的某些字母袁例如使用"1"数字替换"i"袁用"0"替换"o"等袁这样也能够躲过基于文本分析的内容过滤遥4尧用ASCII码来代替字母袁例如字母B用ASCII码66来代替袁而在邮箱用户端却可以正常显示为单词袁并构成完整的句子遥可以用此来躲过基于内容和统计概率的检测过滤遥5尧将垃圾邮件文本内容嵌入到图片当中袁并对图片进行降噪处理袁但以不影响阅读为底线袁然后作为附件发送遥6尧将垃圾邮件做成PDF文件袁然后以附件的方式发送遥7尧将垃圾邮件内容做成MP3或视频文件袁然后作为邮件附件发送遥现在垃圾邮件发送者发送垃圾邮件袁不是只使用上述列出的编写方法中的某一种袁而是会同时使用多种方法来组合使用袁这样能提高发送的成功率遥并且袁垃圾邮件发送者会不断地开发出新的编写技术袁以应对不断推陈出新的垃圾邮件过滤技术遥五尧当前反垃圾邮件技术1尧基于规则的检测技术黑名单尧白名单尧基于规则的过滤技术和Bayesian过滤技术是目前对付垃圾邮件的几种技术遥1.1尧黑名单黑名单技术的原理是确定已知垃圾邮件制造者及其ISP的域名或IP地址袁然后将其整理成黑名单遥用户将黑名单部署在网关处袁就可以拒绝任何来自黑名单上的垃圾邮件制造者的邮件遥黑名单技术可能会阻止正常用户的邮件袁如果这位用户碰巧使用了与垃圾邮件制造者相同的ISP袁或者陨孕地址与垃圾邮件制造者的IP地址在同一范围内遥受到人为因素影响袁黑名单技术可能会将一些正常邮件地址列入其中遥并且当垃圾邮件制造者快速改变其邮件地址时袁黑名单技术的整体效力将大幅下降袁放过垃圾邮件尧过滤掉正常邮件的误报率大大增加遥尽管如此袁谨慎使用黑名单技术能够帮助用户有效阻止垃圾邮件侵入遥1.2尧白名单白名单的原理是拒绝接收来自名单外的任何邮件袁除非用户在白名单上允许接入遥白名单提供两种使用方式院一种方法是用户阻止不在名单上的信件曰另一种方式是系统邮件发送者发送信件袁要求其回复袁以证实确有邮件发送者其人袁经过确认后将其列入白名单遥白名单技术并不总是有效遥如果用户希望收到来自某一地址的电子邮件袁用户必须事先设置允许接收这一地址邮件的规59福福建电脑脑2009年第12期渊上接第81页冤缓存则可以缓存ViewState遥由于一个ViewState可能只有几千字节大小袁因此这样还可以节省大量带宽遥随着ASP.NET越来越受开发人员的欢迎袁出现了支持.NET的商业Web缓存方案遥不过袁在撰写本文时袁大多数Web缓存产品支持Java和PHP遥在您决定选择何种方案时袁网站作为考量标准遥例如网站的动态程度如何钥网站拥有多少用户钥您需要多少缓存来帮助您解决问题钥然后袁请考虑需要哪些缓存功能遥我们已在上文讨论过袁缓存可加快处理速度并增强可伸缩性遥但有时它会为用户提供过时的信息遥在您考虑各种解决方案时袁请注意权衡利弊遥则遥如果以前获得批准的客户改变了邮件地址袁用户必须将新地址写入白名单袁否则就收不到来自这位客户的电子邮件遥在理论上袁白名单是不错的解决方法袁但是它会产生大量要求垃圾邮件制造者回复的邮件袁因此有可能造成更多的垃圾邮件遥1.3尧基于规则的过滤器基于规则的过滤器对邮件标题和信件内容等进行多项过滤遥在这种方法中袁过滤软件寻找关键词袁然后在邮件服务器上删除它们遥这一工作原理决定了基于规则的过滤技术总是落后于垃圾邮件一步遥例如袁我们知道带有标题"ILOVEYOU"的信件是垃圾邮件袁但是基于规则的过滤器可能由于字母之间的空格而放过它遥保持规则的准确和最新状态是一项永无止境的工作遥另外袁基于规则的过滤器越面面俱到袁其运行速度就会越慢遥尽管如此袁基于规则的方法仍不失为一种有效的方法遥1.4尧Bayesian过滤器Bayesian(贝叶斯)过滤器是基于贝叶斯定理遥Bayesian(贝叶斯)公式为院Bayesian过滤技术与基于规则的过滤技术类似袁但是Bayesian过滤器不需要预先设定规则袁不用分析邮件句法和内容含义遥Bayesian过滤器采用启发式智能学习的方法袁使垃圾邮件过滤系统可以自动学习并自动适应垃圾邮件的变化手段袁达到智能过滤的效果遥Bayesian过滤器在使用之前要对正常邮件和垃圾邮件进行学习袁对两类邮件中出现的词汇的频率进行概率统计分析袁确定正常邮件与垃圾邮件之间的差异遥Bayesian过滤器让用户根据自己所收到的垃圾邮件和非垃圾邮件的统计数据来创建袁这意味着垃圾邮件发送者无法猜测出过滤器是怎样配置的袁这样可以有效阻止垃圾邮件遥Bayesian过滤器能够学习分辨垃圾邮件与非垃圾邮件之间的差别袁差别是用概率来表示的袁并且自动应用到以后的检测中遥在收到一定量的邮件后袁一个好的Bayesian过滤器就可以自动识别各种垃圾邮件遥2尧基于行为检测的过滤技术渊CBD冤通常袁邮件传输都会遵循SMTP协议袁其命令交互过程都有一定的格式袁如果不满足这种格式的就可能是垃圾邮件遥对垃圾邮件行为识别技术主要是研究其发送行为遥首先从垃圾邮件样本入手袁对其行为特征进行数据预处理袁把非结构化数据转换为结构化数据袁记录邮件通信过程中的各类行为要素袁如时间尧频度尧发送IP尧协议声明特征等袁并在每一条记录后标注为垃圾邮件或正常邮件袁然后从中抽取出垃圾邮件发送行为的特征属性袁为模式挖掘做准备遥利用数据挖掘相关技术袁提取出垃圾邮件行为判定规则袁实现了从原始数据到判别规则的转换遥最后袁对垃圾邮件行为判定行为进行模式分析袁并建立基于通信行为检测渊CBD冤技术反垃圾邮件安全服务模型遥3尧基于发送方认证技术3.1尧挑战-响应渊Challenge-Response冤技术挑战-响应系统保留着许可发送者的列表遥一个新的邮件发送者发送的邮件将被临时保留下来而不立即被传递遥然后向这个邮件发送者返回一封包含挑战的邮件渊挑战可以是连接URL或者是要求回复冤遥当完成挑战后袁新的发送者则被加入到许可发送者列表中遥对于那些使用假邮件地址的垃圾邮件来说袁它们不可能接收到挑战袁而如果使用真实邮件地址的话袁又不可能回复所有的挑战遥目前MailBlocks尧SpamArrest等公司都采用了这一技术遥3.2尧DomainKeys系统Yahoo公司开发了这套系统袁声称将有效的阻止垃圾邮件遥该系统基于公开密钥密码理论袁通过对邮件发送者所在的域进行认证袁防止垃圾邮件制造者的欺骗行为袁如改变电子邮件的标题或者冒充别人发送等遥DomainKeys的实现过程院渊一冤发送服务器经过两步1尧建立遥域所有者需要产生一对公/私钥用于标记所有发出的邮件渊允许多对密钥冤袁公钥在DNS中公开袁私钥在使用Do鄄mainKey的邮件服务器上遥2尧签名遥当每个用户发送邮件的时候袁邮件系统自动使用存储的私钥来产生签名遥签名作为邮件头的一部分袁然后邮件被传递到接收服务器上遥渊二冤接收服务器通过三步来验证签名邮件1尧准备遥接收服务器从邮件头提取出签名和发送域渊From:冤然后DNS获得相应的公钥遥2尧验证遥接收服务器用从DNS获得的公钥来验证用私钥产生的签名遥这保证邮件真实发送并且没有被修改过遥3尧传递遥接收服务器使用本地策略来作出最后结果袁如果域被验证了袁而且其他的反垃圾邮件测试也没有决定袁那么邮件就被传递到用户的收件箱中袁否则袁邮件可以被抛弃尧隔离等遥3.3尧CallerID计划CallerID是微软公司提出的基于对发送方进行验证的一个技术袁其基本原理是院在DNS上发布每个域内的有以发送电子邮件服务器的IP地址袁供其它邮件服务器查询遥当接收方邮件服务器收到新邮件时袁查询DNS记录袁比较邮件中的源IP地址是否与其该域公布的某个发送服务器地址相匹配袁以保证该邮件确实从该服务器发出袁防止假冒发件方地址的垃圾邮件遥六尧结束语由于垃圾邮件技术日新月异尧层出不穷袁单一的检测技术存在漏判尧误判袁效率低下等问题袁所以要的解决垃圾邮件的问题任重道远袁必须多种检测技术综合应用袁加上推广发送方认证技术袁另一个是在法律上加以打击袁才有可能最大程度上打击垃圾邮件遥参考文献院1.仇小锋,陈鸣,贾永兴.垃圾邮件及其防范技术[A].第九届全国青年通信学术会议论文集[C],20042.黄诠.垃圾邮件过滤技术研究与发展[J].电脑知识与技术,2008,(16)3.时红梅,高茂庭.垃圾邮件过滤技术及发展[J].计算机与数字工程,2008,(06)4.耿玉波荆继武.现有反垃圾邮件技术综述.第十九次全国计算机安全学术交流会论文(|)()(|)()(|)PBAjPAjjPBAiPAiPAB=∑60垃圾邮件的检测分析技术作者：郭剑平作者单位：集美大学诚教学院,福建交流,厦门日志,361021刊名：福建电脑英文刊名：FUJIANCOMPUTER年，卷(期)：2009(12)参考文献(4条)1.耿玉波;荆继武现有反垃圾邮件技术综述2.时红梅;高茂庭垃圾邮件过滤技极及发展[期刊论文]-计算机与数字工程2008(06)3.黄诠垃圾邮件过滤技术研究与发展[期刊论文]-电脑知识与技术2008(16)4.仇小锋;陈鸣;贾永兴垃圾邮件及其防范技术2004。