帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
向垃圾郵件說“不”
 

【作者: 王正豪】   2004年12月01日 星期三

瀏覽人次:【4865】

隨著電子郵件的廣泛使用,垃圾郵件(E-mail Spam)的問題日益嚴重,美國雖於2004年一月一日正式通過反制非法散佈不請自來商業郵件的CAN-SPAM Act S.877聯邦法案,然而這些日子以來,垃圾郵件的產生速度並沒有減緩的趨勢。根據反垃圾郵件廠商Brightmail在2004年7月的統計,垃圾郵件的比例已高達65%以上;另外,反毒及反垃圾郵件廠商Sophos統計,垃圾郵件的最大宗來源,43%來自美國,16%來自南韓,而11%來自中國大陸,其中大陸逐漸成為最大的垃圾郵件轉寄國。


在對抗垃圾郵件的解決方案上,雖然各家廠商都有不同的提案,然而目前仍未制定出一套業界的統一標準。目前最常見的作法是透過郵件過濾軟體,即在伺服器端及用戶端進行垃圾郵件的過濾,然而過濾只是其中一種作法而已,對郵件使用者並無多大助益。


為此,驗證E-mail發信端的功能則受到矚目,最主要的有Microsoft的Sender ID - 寄件人身份、AOL的SPF、Cisco的Identified Internet Mail,以及Yahoo的Domain Keys,但目前仍是百家爭鳴、各持己見的局面,能否產生整合仍有待觀察。


另一方面在研究課題上,繼MIT所主辦2003及2004 年的Spam Conference之後,今年在2004反垃圾郵件研討會(Conference on E-mail and Anti-Spam,CEAS)會議中發表了29篇論文,在此類的議題上可說是盛況空前,也顯示出垃圾郵件問題的嚴重性。各篇論文分別從各式各樣不同的角度來思考如何解決這個問題,不難看出目前仍有許多的困難有待突破。


本文以下即針對業界標準及研究議題這兩部分,分別深入探討目前的發展以及未來的趨勢。


業界目前發展及標準制定

解決垃圾郵件日益嚴重的問題,網際網路研究任務小組(Internet Research Task Force,IRTF)於2003年3月成立了一個反垃圾郵件研究組織(Anti-Spam Research Group,ASRG),其任務在於專門探討垃圾郵件問題的各種工具及解決方案,以提供網際網路工程工作特別小組(The Internet Engineering Task Force,IETF)制定標準時的參考。它們的定位主要是在分析垃圾郵件的問題,改進目前的解決方案,並研擬出新的方案。目前ASRG包括了以下八個群組,分別就郵件的來源、傳送,以及身份認證等問題詳加討論:


  • 1.Abuse reporting standards:主要討論E-mail Spam或網路濫用回報的標準格式及通訊協定,包括裡面應含有哪些資訊,及回報者的標準程序等。主要對Internet Service Providers(ISPs),郵件伺服器管理者,以及管理黑名單的單位,如:The Spam Haus Project有幫助。


  • 2.Analysis & characterization(A&C):主要討論如何應用實驗或量化的方法來分析Spam相關的問題。例如,Spam從何而來?特徵是什麼?要如何解決?主要牽涉的問題有:資料如何取得?以及如何設計實驗來進行資料的分析。


  • 3.Best Current Practices(BCP):主要規範目前Spam管理最好的方法及習慣,分別為使用者、ISP、黑名單管理者,及MTA(mail transfer agent,即mail server,郵件伺服器)等提供最佳建議。


  • 4.Filtering Standards(FILTERING):主要制定郵件過濾的標準,包括filter或MTA間如何自動更新或分享過濾資訊,以及header格式的標準。


  • 5.Identity,Authentication,and Reputation:主要探討寄件者身份的確認,寄件者或網域的驗證,以及供收件者來評估的reputation systems。


  • 6.Inventory of Problems:主要研究造成Spam氾濫的原因,包括為何E-mail傳送機制(特別是SMTP)容易造成Spam。並且與其他資訊安全問題,如virus,DDoS(Distributed Denial of Service)攻擊等,加以比較。


  • 7.Message Verification(MSG-VERIFY):主要探討郵件內容及header的檢驗及驗證。著重在不同的message verification方法的比較,包括Project Lumos、TEOS,及PKI等。


  • 8.SMTP Session Verification(SMTP-VERIFY):主要研究SMTP session的檢驗及驗證。這個小組合併了先前的兩個副群組,即CRI(ChallengE-Response Internetworking),及LMAP(Lightweight MTA Authentication Protocol)。而在DNS加入MTA註冊記錄的方法,如SPF、LMAP、RMX(Reverse Mail eXchanger)、DMP(Designated Mailers Protocol)等,則改由IETF 的MARID (MTA Authorization Records in DNS)工作小組進行。



目前在業界有許多不同層次的解決方案被提出,例如:在client-level及server-level有不勝枚舉的商業及開放資源郵件過濾軟體,如SpamAssassin等。在router-level有TurnTide Inc.的antiSpam router,直接在layer 3和layer 4攔截packet加以分析並阻擋可疑郵件;然而目前在ASRG mailing list上最熱烈討論的議題,莫過於在server-level對於SMTP session以及mail header的檢查及驗證,以進行郵件寄件者的驗證,因為如此可以有效在伺服器就攔截下所有可疑的訊息,減少mail傳送到個人端的overhead,又不須檢查郵件內容,不至於造成侵犯私人的問題。目前有幾家大廠各自推動其解決方案,如SPF、DomainKeys,及Sender ID等機制,以下就針對這些方案加以詳細說明。


伺服器端寄件者驗證的業界標準

由於垃圾郵件、病毒、或詐欺的郵件主要是以偽造寄件者身份來達成其欺騙的目的,而現有的驗證方法如PGP(Pretty Good Privacy)等,又只包含了信件內容的驗證,對於header欄位如寄件者,並無法確保其真實性。因此,在伺服器端驗證的機制,主要目的在找出真正的寄件者身份。目前主要提案如Sender Permitted From(AOL)、Sender ID(Microsoft)、DomainKeys(Yahoo),以及Identified Internet Mail(Cisco)。


其中Microsoft雖然向IETF提出Sender ID成為Internet標準的申請,然而由於授權簽署的限制條件相當嚴格,使得Open Source族群(如:Apache Foundation)不願支持,在九月初被IETF投票否決,原因是微軟將其專利部分的技術細節保密,隨後AOL也表示不支持微軟的提議。這些事件連帶使得IETF決定解散MARID工作小組。因此,在這種群龍無首,誰也不願屈服的情形下,要如何找出最佳的解決之道,恐怕已不單純是技術的問題了。以下我們分別就這幾種提案加以說明。


AOL提出的SPF方案

SPF(Sender Permitted From)方案,相當於是網域伺服器上的reverse Mail exchanger record。一般的MX record所儲存的是這個網域有哪些合法的收件MTA,而SPF則可以讓網域管理者用來指定哪些IP address才是該網域合法的寄件MTA。當收到一封新信件時,mail 伺服器經由DNS查詢即可得知該信件是否確實由信件中所宣稱的網域寄出。


由於IETF的MARID工作小組解散,各家依然堅持自己的提案,Meng Weng Wong重提了一個之前被忽略的折衷方案,Unified SPFii,可整合各種不同的寄件者驗證方法,系統管理者可採用一個或多個不同的驗證方法,保持最大的彈性,但究竟能否一統天下仍有待觀察。


Microsoft提出的Sender ID方案

Sender ID的架構是一種hybrid的架構,主要來自Microsoft的Caller ID for E-mail,前面所提的Sender Policy Framework,以及submitted optimization。如(圖一)所示,基本上它是一種domain-based的架構,所有E-mail只能從擁有正確IP address的 mail servers寄出,因此,未經合法驗證許可的mail server所寄出的E-mail則被認為是不合法的。


《圖一 Microsoft 的 Sender ID 運作原理》
《圖一 Microsoft 的 Sender ID 運作原理》

目前Sender ID已被UNIX系列伺服器最廣為使用的mail server sendmail所初步採用測試,初步的測試結果對於整體的伺服器流出與流入封包的處理速度分別減慢了8%與15%。


Yahoo所提出的Domain Keys

Domain Keys目前也是IETF的Internet draft,它的想法也很類似,為了有效分辨哪些郵件是假造身份發出的,它採用了數位簽章(digital signature)的方法來驗證寄件者domain。


如(圖二)所示,網域管理者會產生一對公鑰放在DNS伺服器上,用來驗證郵件的網域,而私鑰放在郵件伺服器上用來將寄出的郵件加以簽章。寄出信件時,合法的使用者所寄出的信會被郵件伺服器以私鑰簽章,附在信件上,當收件者的郵件伺服器收到時,會先從信上所宣稱的網域的DNS伺服器取得公鑰並驗證簽章,證明信件的確是從該網域所寄出而且途中未經竄改。同樣地,這樣的做法也只能驗證寄件網域。


《圖二 Domain Keys(Yahoo)的運作原理》
《圖二 Domain Keys(Yahoo)的運作原理》

Cisco提出的Identified Internet Mail方案

Identified Internet Mail目前也是IETF的Internet Draft,與前者不同的是,它同時支援了user-level及domain-level 簽章,可做到更細部的確認寄件者身份,而不只是寄件的網域而已,因此可以彌補Sender ID等方法之不足。與前述的Domain Keys不同的是,它的公鑰和簽章皆是以header的形式包含在訊息中。


目前主要研究方向

雖然E-mail Spam的研究自從1998年之後陸陸續續有人在進行,然而真正大規模在國際會議上從各種不同觀點來探討,則首推MIT 2003及2004的Spam Conference,以及今年第一屆的CEAS,共有180人與會29篇論文發表,創下這方面議題的記錄,可見問題的迫切性。探討的主題層面相當廣,包括E-mail本身的問題、垃圾郵件的過濾問題、網路層的解決方法、身分認證,以及法律與政策面的問題,分述如下:


  • 1.Email(非垃圾郵件):E-mail本身的研究,例如:有人提出如何從E-mail及Web擷取出social network與contact information。另外有人提出將E-mail分群(clustering)來推導出使用者目前進行中的活動。雖然不是與垃圾郵件直接相關,卻十分有趣。


  • 2.垃圾郵件過濾器(統計方法):以統計方法過濾垃圾郵件,主要是以Naive Bayes的方法為主。另外也有提出以Support Vector Machine及Random Forests來做垃圾郵件偵測。因此,目前以統計方法來分辨垃圾郵件是最有效的方法之一,也是目前各郵件過濾軟體所採用最主要的方法之一。


  • 3.垃圾郵件過濾器(非統計式方法):主要以一些經驗法則,如:關鍵詞比對,黑名單等綜合判斷為主。一般過濾時,要計算出一封郵件是垃圾郵件的可能性,但有人提出不同的思考方向,即以名聲網路來分析每個人的信用與名聲分數,強調提高好人的名聲。


  • 4.識別:一般而言,在郵件伺服器要得知寄件者身份及IP address是很容易的,但是現有的架構下,在用戶端要取得這類資訊卻很困難。因此須要採用新的標準,如SPF等機制加以驗證。


  • 5.法律面:由於許多垃圾郵件寄發者是從網站大量收集E-mail address,因此有人提出一套機制,在網站加入"no-email-collection" flag以及版權宣告來限制自動擷取電子郵件的機器人,同時並設下E-mail honey pot,以便追蹤違反規定者,搭配如CAN-SPAM Act的法律,依法制裁。


  • 6.網路技術:有人提出TCP damping的方式,在TCP level增加垃圾郵件寄發者的延遲,並且消耗他的資源。另外有人提出extrusion detection的方法,從mail server log分析流量,經由適當的規納整理如delivery failure來偵測垃圾郵件。


  • 7.垃圾郵件寄發者技術:最後有人分析垃圾郵件寄發者的常見手法,例如:詐欺,或是網路釣魚騙術郵件,並將大量收集來的垃圾郵件加以分析,找出垃圾郵件寄發者所廣告的產品,以及所利用的系統或網路漏洞,是不斷在改變的。


  • @大標:良好電郵使用習慣,才能徹底打敗垃圾郵件



E-mail已經成為日常生活中主要溝通工具之一,垃圾郵件所影響的層面可說越來越廣,因此,垃圾郵件不只是郵件過濾的問題而已,必須從全面的解決方案來著手。雖然在垃圾郵件的這場攻防戰中,有越來越多的專家投入,目前也正努力使得原有的電子郵件傳送機制(SMTP)更加健全。然而,在整體架構尚未健全之際,仍然會有許多不法的垃圾郵件寄件者藉由種種漏洞,大量寄發廣告信件,賺取非法的利益。因此,除了法律的約束及制裁外,如何教育一般民眾使用電子郵件時的正確認知,養成良好的習慣,例如:不隨便開啟、轉寄或回覆陌生寄件者的信,也是非常重要的。與其他資訊安全問題同樣的,唯有全方位的整體思考從各種角度同時著手,才有可能真正徹底將垃圾郵件的問題解決。


延 伸 閱 讀
本文統計出前12大垃圾郵件的產出國:美國佔42.53%、南韓15.42%、中國與香港11.62%、巴西6.17%、加拿大 2.91%、日本2.87%、德國1.28%、法國1.24%、西班牙1.16%、英國1.15%、墨西哥0.98%、台灣0.91%、其他11.76%,同時提出其他的分析報告。相關介紹請見「垃圾郵件出口國比一比  」一文。
根據調查顯示,全球每分鐘有1040萬封垃圾郵件(SPAM)在流通,美國的企業花在處理垃圾郵件的時間,加上網路頻寬被垃圾郵件佔據,導致生產效率下降,一年損失超過百億美元。你可在「垃圾郵件手法日益翻新 網路病毒搶搭順風車」一文中得到進一步的介紹。
大陸從2002年起,信誓旦旦的要清除「垃圾郵件」以保護收信人的權益,對外宣稱是為保護收件人不被干擾。北京防的「垃圾」郵件,真相是什麼?在「 反垃圾郵件?中國醉翁之意不在酒」一文為你做了相關的評析。
相關組織網站
sophos官方網站
spamhaus官方網站
spamassassin官方網站
相關文章
汽車微控制器技術為下一代車輛帶來全新突破
擺明搶聖誕錢!樹莓派500型鍵盤、顯示器登場!
Arduino新品:UNO SPE擴充板,隨插即用UNO R4實現超高數據傳輸、即時連結
以馬達控制器ROS1驅動程式實現機器人作業系統
推動未來車用技術發展
相關討論
  相關新聞
» 施耐德電機響應星展銀行ESG Ready Program 為台灣打造減碳行動包
» 台達推出5G ORAN小型基地台 實現智慧工廠整合AI應用
» 歐洲航太技術展在德國盛大展開,全球吸睛 鐳洋推出衛星通訊整合方案,目標搶佔龐大的歐洲衛星商機
» 經濟部促成3GPP大會來台爭話語權 大廠共商5G/6G技術標準
» 經濟部支持跨國研發有成 台歐雙方分享B5G~6G規劃


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.3.149.29.209
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw