火熱之外，為什么人工智能很容易上當受騙？

    騙子是世界上最古老、最具創(chuàng )新性的“職業(yè)”之一，它可能很快就會(huì )有一個(gè)新的目標。研究表明，人工智能可能會(huì )很容易受到騙子影響，而且隨著(zhù)它在現代世界中的影響力不斷增長(cháng)，針對它的攻擊可能會(huì )變得越來(lái)越普遍。

    問(wèn)題的根源在于，人工智能算法能以與人類(lèi)極為不同的方式來(lái)了解這個(gè)世界，因此，對這些算法數據的細微調整就可能令其徹底報廢，但對人類(lèi)來(lái)說(shuō)卻沒(méi)什么影響。

    該領(lǐng)域的很多研究都是在圖像識別系統上進(jìn)行的，特別是那些依賴(lài)于深度學(xué)習神經(jīng)網(wǎng)絡(luò )的系統。通過(guò)向這些系統展示數千個(gè)特定物體的圖像來(lái)訓練它們，直到它們能夠提取出這些圖像共同的特征，從而能夠在一群新圖像中識別這一物體。

    但他們提取的特征不一定是人類(lèi)想要的那種高級特征，例如示意牌上的“停止”字樣，或是狗身上的尾巴。這些系統分析單個(gè)像素級別的圖像，以檢測它們之間共有的模式。這些模式可以是像素值的模糊組合，人類(lèi)不可能識別出來(lái)，但在預測一個(gè)特定的物體時(shí)卻非常準確。

    這意味著(zhù)，通過(guò)識別這些模式，并將它們應用到不同的圖像上，攻擊者可以令對象識別算法上當，讓它看到一些實(shí)際上不存在的東西，而這些東西對人類(lèi)來(lái)說(shuō)也不太明顯。這種操縱被稱(chēng)為“敵對攻擊”。

    早期嘗試以這種方式欺騙圖像識別系統時(shí)，需要有權限訪(fǎng)問(wèn)算法的內部工作機制來(lái)破譯這些模式。但在2016年，研究人員展示了一種“黑匣子”式的攻擊模式，使系統能夠在不知道其內部工作原理的情況下受騙。

    通過(guò)給系統輸入篡改過(guò)的圖像，并觀(guān)察它的分類(lèi)方式，他們能夠計算出系統所關(guān)注的內容，從而生成一些可以欺騙系統的圖像。重要的是，這些被篡改過(guò)的圖像在人眼看來(lái)也沒(méi)有明顯的不同。

    對這些方法的測試通過(guò)直接在算法中輸入經(jīng)過(guò)修改的圖像數據來(lái)進(jìn)行的，但在最近，類(lèi)似的方法已經(jīng)在現實(shí)世界中得到了應用。去年，有研究顯示，將修改過(guò)的圖像用智能手機拍下來(lái)后，成功地騙過(guò)了圖像分類(lèi)系統。

    另一組研究表明，戴著(zhù)特殊設計的、能讓人產(chǎn)生錯覺(jué)的眼鏡會(huì )讓面部識別系統誤以為某些人是明星。今年8月，科學(xué)家們發(fā)現，在特定配置中添加標簽來(lái)阻止信號出現，可能會(huì )導致人們設計出一個(gè)新的神經(jīng)網(wǎng)絡(luò )，以便對這些信號進(jìn)行識別及分類(lèi)。

    最后兩個(gè)例子強調了這項技術(shù)的一些潛在的灰色應用。讓自動(dòng)駕駛汽車(chē)錯過(guò)停車(chē)標志可能會(huì )引發(fā)事故，既可能是保險欺詐也可能對人造成傷害。如果面部識別技術(shù)在生物識別安全應用中變得越來(lái)越流行，那么對騙子來(lái)說(shuō)就很有必要學(xué)會(huì )如何假裝成他人。

    意料之中的是，人們已經(jīng)采取了一些措施來(lái)抵御敵對攻擊的威脅。特別是研究已表明，深層神經(jīng)網(wǎng)絡(luò )可以被訓練來(lái)探測上述提到的假圖像。根據博世研究中心的一項研究提出了探測器的策略，敵對攻擊可以騙過(guò)探測器，而探測器的訓練機智能讓攻擊失效，未來(lái)可能會(huì )出現相應的軍備競賽。

    雖然圖像識別系統的受騙過(guò)程可以作為簡(jiǎn)單直觀(guān)的演示，但它們并不是唯一存在風(fēng)險的機器學(xué)習系統。用于擾亂像素數據的技術(shù)也可以應用于其他類(lèi)型的數據。

    中國研究人員發(fā)現，在句子中加入特定的詞語(yǔ)或拼錯一個(gè)單詞，可以完全干擾到那些用于分析文本的機器學(xué)習系統。另一組實(shí)驗表明，在揚聲器中播放的聲音失真，可以令運行谷歌Now語(yǔ)音指令系統的智能手機去訪(fǎng)問(wèn)特定的網(wǎng)址，下載惡意軟件。

    最后一個(gè)例子是一個(gè)更令人擔憂(yōu)的應用，或許也是近期會(huì )發(fā)生的：繞過(guò)網(wǎng)絡(luò )安全防御。該行業(yè)正越來(lái)越多地使用機器學(xué)習和數據分析來(lái)識別惡意軟件及其入侵，但這些系統也非常容易受騙。

    在今年夏天的黑客大會(huì )上，一家安全公司演示了他們如何繞過(guò)反惡意軟件的人工智能，其方法與黑匣子攻擊圖像分類(lèi)器的方法類(lèi)似，但使用的是自己的人工智能系統。

    他們的系統會(huì )將惡意代碼輸入到反病毒軟件中，然后記下系統給出的分數。然后，它用遺傳算法反復修改代碼，直到能夠繞過(guò)防御，同時(shí)保持其功能。

    目前為止所提到的所有方法都集中在對預先訓練的機器學(xué)習系統進(jìn)行“欺騙”，但網(wǎng)絡(luò )安全行業(yè)的另一個(gè)主要關(guān)注點(diǎn)是“數據中毒”。這一觀(guān)點(diǎn)認為，將錯誤數據引入機器學(xué)習系統的訓練集將導致它開(kāi)始對事物進(jìn)行錯誤分類(lèi)。

    這對于反惡意軟件系統來(lái)說(shuō)尤其具有挑戰性，這些系統會(huì )不斷更新，以納入新的病毒數據。一種相關(guān)的方法用數據對系統進(jìn)行了轟炸，這些數據被設計用來(lái)做出錯誤判定，這樣一來(lái)，防御者將能夠重新調整自己的系統，攻擊者就可以進(jìn)入了。

    這些方法在自然狀況下能夠被使用的可能性有多大，取決于潛在的回報以及攻擊者的熟練程度。上面描述的大多數技術(shù)都需要高水平的專(zhuān)業(yè)知識，但獲取培訓材料和機器學(xué)習工具卻變得越來(lái)越容易。

    多年來(lái)，簡(jiǎn)單版本的機器學(xué)習一直是垃圾郵件過(guò)濾器的核心技術(shù)，而垃圾郵件發(fā)送者們已經(jīng)開(kāi)發(fā)出了一系列的創(chuàng )新解決方案來(lái)繞過(guò)它們。隨著(zhù)機器學(xué)習和人工智能越來(lái)越多地融入我們的生活，欺騙它們的回報很可能會(huì )超出成本。