千年以來，人類一直在思考如何構(gòu)建智能機(jī)器。從那時(shí)起，人工智能 (ai) 經(jīng)歷過高潮與低谷，既展現(xiàn)了成功的一面，也有許多潛力有待發(fā)掘。時(shí)至今日，采用機(jī)器學(xué)習(xí)算法來解決新問題屢屢見諸報(bào)端。從癌癥檢測與預(yù)測到圖片理解與匯總及自然語言學(xué)習(xí)，ai 為人類提供了諸多便利，也在改變著我們的世界。

現(xiàn)代 ai 的歷史涵蓋了一部“大戲”的全部要素。ai 第一次出現(xiàn)在歷史舞臺是在上世紀(jì) 50 年代，當(dāng)時(shí)的 ai 專注于會思考的機(jī)器，也出現(xiàn)了一些有趣的人物，比如：艾倫·圖靈、馮紐曼·諾伊曼等。經(jīng)過數(shù)十年的“浮浮沉沉”，人們對 ai 的期望幾乎降到了低谷，但不可否認(rèn)的是，ai 一直都在無數(shù)先鋒者的推動下向前發(fā)展。時(shí)至今日，ai 已開始發(fā)揮它的真正潛力，專注于應(yīng)用并交付了深度學(xué)習(xí)與認(rèn)知計(jì)算等技術(shù)。

本文將帶您探索 ai 及其子領(lǐng)域的一些重要方面。首先我們來了解一下 ai 發(fā)展的時(shí)間表，然后深入了解各個(gè)要素。

現(xiàn)代 ai 的發(fā)展時(shí)間表

現(xiàn)代 ai 的歷史可以追溯到上世紀(jì) 50 年代，當(dāng)時(shí)它主要專注于所謂的強(qiáng)人工智能 (ai)，是指能夠廣泛地執(zhí)行人類可執(zhí)行的任何智能任務(wù)的 ai。由于強(qiáng)人工智能沒有太多進(jìn)展，最終導(dǎo)致出現(xiàn)了弱人工智能，即運(yùn)用 ai 技術(shù)來解決更小范圍內(nèi)的問題。在上世紀(jì) 80 年代之前，ai 研究一直都分為強(qiáng)人工智能和弱人工智能兩個(gè)領(lǐng)域。不過，大約在 1980 年前后，機(jī)器學(xué)習(xí)開始成為 ai 研究的主導(dǎo)領(lǐng)域，其目的在于讓計(jì)算機(jī)具備學(xué)習(xí)并構(gòu)建模型，進(jìn)而執(zhí)行預(yù)測等特定領(lǐng)域內(nèi)活動的能力。

圖 1. 現(xiàn)代人工智能發(fā)展時(shí)間表

大約在 2000 年，在 ai 與機(jī)器學(xué)習(xí)研究成果的基礎(chǔ)上，開始出現(xiàn)深度學(xué)習(xí)。計(jì)算機(jī)科學(xué)家開始通過新的拓?fù)浜蛯W(xué)習(xí)方法在多個(gè)層上采用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的這種演變成功解決了多個(gè)領(lǐng)域的許多復(fù)雜問題。

在過去十年里，認(rèn)知計(jì)算開始出現(xiàn)，該技術(shù)旨在構(gòu)建可以學(xué)習(xí)且能夠與人類進(jìn)行自然交互的系統(tǒng)。在電視競賽節(jié)目jeopardy!上，ibm watson™ 擊敗了世界級的對手，展示了認(rèn)知計(jì)算的獨(dú)特能力。

在本文中，我將逐一為大家介紹這些領(lǐng)域，并解釋推動實(shí)現(xiàn) ai 成功的一些重要算法。

基礎(chǔ)性 ai

1950 年之前的研究引入了一種概念，即：大腦是由一個(gè)電脈沖網(wǎng)絡(luò)構(gòu)成的，該網(wǎng)絡(luò)能夠激發(fā)并以某種形式統(tǒng)籌安排思想和意識。艾倫·圖靈向我們展示了任何計(jì)算均可通過數(shù)字化的方式實(shí)施。之后，這種構(gòu)建能夠模擬人類大腦的理念并未有太大發(fā)展。

較早期的研究主要專注于強(qiáng)人工智能，但在這一時(shí)期所引入的概念構(gòu)成了當(dāng)今所有機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法的基礎(chǔ)概念。

圖 2. 1980 年之前的人工智能方法時(shí)間表

ai 即搜索

ai 領(lǐng)域的許多問題都可以通過暴力搜索（比如深度或服務(wù)優(yōu)先的搜索）的方法解決。不過，考慮到中等難度問題的搜索空間，基本搜索很快就會遭遇瓶頸。出現(xiàn)最早的 ai 即搜索示例之一是國際跳棋程序的開發(fā)。arthur samuel 在 ibm 701 電子數(shù)據(jù)處理機(jī)上構(gòu)建了第一款此類程序，對被稱作“貝塔剪枝算法”的決策樹實(shí)施了優(yōu)化。該程序還能夠記錄特定下法的獎勵，使得應(yīng)用能夠從每次棋局中進(jìn)行學(xué)習(xí)（該程序也因此成為首個(gè)能夠自學(xué)習(xí)的程序）。為了提升該程序的學(xué)習(xí)速度，samuel 對其進(jìn)行了編程了，使其能夠自己完成對局，進(jìn)而提升了該程序的對局和學(xué)習(xí)能力。

盡管您可以成功運(yùn)用搜索解決許多簡單的問題，但隨著大量新選擇的出現(xiàn)，這種方法很快被淘汰。我們以簡單的井字棋為例，在棋局開始時(shí)，共有 9 種可能的下法。每一種下法對手都有 8 種應(yīng)對下法，如此等等。井字棋的完整下法樹（未經(jīng)過旋轉(zhuǎn)優(yōu)化去除重復(fù)的情況下）共包含有 362,880 個(gè)節(jié)點(diǎn)。如果您將這種思維實(shí)驗(yàn)延伸到國際象棋或圍棋領(lǐng)域，很快就會發(fā)現(xiàn)搜索的缺點(diǎn)。

感知機(jī)

感知機(jī)是一種用于單層神經(jīng)網(wǎng)絡(luò)的早期監(jiān)督式學(xué)習(xí)算法。在給定的輸入特征向量下，感知機(jī)算法能夠通過學(xué)習(xí)對屬于特定類別的輸入進(jìn)行分類。網(wǎng)絡(luò)的權(quán)重和偏執(zhí)可通過訓(xùn)練集進(jìn)行更新，進(jìn)而實(shí)現(xiàn)線性分類。感知機(jī)首次是為 ibm 704實(shí)現(xiàn)的，之后是在用于圖像識別的定制硬件上實(shí)現(xiàn)的。

圖 3. 感知機(jī)與線性分類

作為一個(gè)線性分類器，感知機(jī)能夠解決線性可分割問題。感知機(jī)的一個(gè)關(guān)鍵局限性在于它無法學(xué)習(xí)專用的or(xor) 函數(shù)。多層感知機(jī)能夠解決這一問題，也為更復(fù)雜的算法、網(wǎng)絡(luò)拓?fù)浜蜕疃葘W(xué)習(xí)鋪平了道路。

集群算法

通過感知機(jī)，對該方法進(jìn)行監(jiān)督。用戶提供數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)，然后通過新數(shù)據(jù)來測試網(wǎng)絡(luò)。集群算法采用了一種不同的方法，即無監(jiān)督式學(xué)習(xí)。在該模型中，算法會基于數(shù)據(jù)的一個(gè)或多個(gè)屬性將特征向量組織到一個(gè)特征向量集中。

圖 4. 二維特征空間中的集群

可以在少量代碼中實(shí)施的最簡單算法之一是 k 均值算法。在該算法中，k是指您可以向其中分配樣本的集群數(shù)量。您可以通過隨機(jī)特征向量對集群進(jìn)行初始化，然后將所有其他樣本添加到最近的集群（假定每個(gè)樣本都代表一個(gè)功能向量，并采用歐氏距離來識別“距離”）。在樣本被添加到集群之后，集群的質(zhì)心（即集群的中心）也會重新進(jìn)行計(jì)算。之后，該算法會再次對樣本進(jìn)行檢查，確保它們均位于最近的集群中；當(dāng)任何樣本的成員關(guān)系都不再發(fā)生變化時(shí)，算法結(jié)束。

k 均值算法是一種比較高效的算法，不過您必須事先指定k值。因此，層級式集群或基于分布的集群等其他方法可能會更加高效，具體視所用的數(shù)據(jù)而定。

決策樹

決策樹與集群算法密切相關(guān)。決策樹是針對可得出結(jié)論的多個(gè)觀察結(jié)果而構(gòu)建的一個(gè)預(yù)測模型。結(jié)論以決策樹上樹葉的形式呈現(xiàn)，而節(jié)點(diǎn)即為觀察結(jié)果發(fā)散所處的決策點(diǎn)。決策樹根據(jù)決策樹學(xué)習(xí)算法而構(gòu)建，其中會根據(jù)屬性值集合將數(shù)據(jù)集拆分為多個(gè)子集（通過遞歸分區(qū)來實(shí)現(xiàn)）。

我們來看一下下圖中的示例。在該數(shù)據(jù)集中，我們可以根據(jù)三個(gè)因素來觀察某個(gè)人在何時(shí)的效率最高。借助決策樹算法，我們可以通過指標(biāo)（比如信息增益）來識別屬性。在本示例中，情緒是影響效率的一個(gè)關(guān)鍵因素，因此，我們基于“情緒是否良好”這一指標(biāo)的值（“是”或“否”）來拆分該數(shù)據(jù)集。值為“否”的情況很簡單：這表示效率較低。但如果是值為“是”的情況，就需要基于另外兩個(gè)屬性再次對數(shù)據(jù)集進(jìn)行拆分。在圖中，我對數(shù)據(jù)集進(jìn)行了顏色區(qū)分，以便讀者了解觀察結(jié)果分散到樹葉節(jié)點(diǎn)的位置。

圖 5. 簡單的數(shù)據(jù)集與生成的決策樹

決策樹的一個(gè)優(yōu)勢在于其固有的組織性，這使您能夠輕松地（以圖形化的形式）解釋某個(gè)項(xiàng)目的分類情況。主流的決策樹學(xué)習(xí)算法包括 c4.5、分類與回歸樹。

基于規(guī)則的系統(tǒng)

dendral 是第一個(gè)基于規(guī)則和界面而構(gòu)建的系統(tǒng)，該系統(tǒng)開發(fā)于 1965 年，不過，直到上世紀(jì) 70 年代，這種所謂的“專家系統(tǒng)”才實(shí)現(xiàn)了重大進(jìn)展?；谝?guī)則的系統(tǒng)是指將知識與規(guī)則存儲在其中并使用推理系統(tǒng)得出結(jié)論的系統(tǒng)。

基于規(guī)則的系統(tǒng)一般由一個(gè)規(guī)則集、一個(gè)知識庫、一個(gè)界面引擎（使用正向或反向規(guī)則鏈條）和一個(gè)用戶界面構(gòu)成。在下圖中，我使用了一個(gè)知識條目（“socrates 是人類”）、一條規(guī)則（“如果是人類，就會死亡”），以及針對會死亡的人類的一個(gè)交互。

圖 6. 基于規(guī)則的系統(tǒng)

在語音識別、規(guī)劃與控制及疾病識別等多個(gè)領(lǐng)域都曾運(yùn)用過基于規(guī)則的系統(tǒng)。在上世紀(jì) 90 年代，開發(fā)出了一種用于監(jiān)測和診斷大壩穩(wěn)定性的系統(tǒng)，即 kaleidos；該系統(tǒng)到今天仍舊在使用。

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是 ai 和計(jì)算機(jī)科學(xué)的一個(gè)子領(lǐng)域，其根本在于統(tǒng)計(jì)與數(shù)學(xué)優(yōu)化。機(jī)器學(xué)習(xí)涵蓋了監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)的技術(shù)，可用于預(yù)測、分析和數(shù)據(jù)挖掘等領(lǐng)域。機(jī)器學(xué)習(xí)并不僅限于深度學(xué)習(xí)，在本節(jié)中，我將介紹該領(lǐng)域中幾種非常高效的算法。

圖 7. 機(jī)器學(xué)習(xí)方法時(shí)間表

反向傳播

神經(jīng)網(wǎng)絡(luò)的真正價(jià)值在于其多層變體。單層感知機(jī)的訓(xùn)練很直接，但據(jù)此構(gòu)建的網(wǎng)絡(luò)并不強(qiáng)大。那么擺在我們面前的問題就是“如何訓(xùn)練多層網(wǎng)絡(luò)？”這就是反向傳播算法所針對的領(lǐng)域。

反向傳播是一種用于訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的算法。該算法分為兩個(gè)階段。第一個(gè)階段是通過神經(jīng)網(wǎng)絡(luò)將輸入傳播到最后一層（即前饋）。在第二個(gè)階段，算法會計(jì)算出錯(cuò)誤，然后從最后一層到第一層反向傳播該錯(cuò)誤（調(diào)整權(quán)重）。

圖 8. 反向傳播簡介

在訓(xùn)練過程中，網(wǎng)絡(luò)的中間層會自己進(jìn)行組織，將輸入空間的部分映射到輸出空間。通過監(jiān)督式學(xué)習(xí)，反向傳播算法能夠識別輸入到輸出映射中的錯(cuò)誤，然后相應(yīng)地調(diào)整權(quán)重（通過學(xué)習(xí)率）來糾正該錯(cuò)誤。在將來，反向傳播在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)領(lǐng)域仍將會發(fā)揮著重要作用。隨著計(jì)算資源的速度越來越快、成本越來越低，反向傳播將會繼續(xù)被運(yùn)用到更大、密度更高的網(wǎng)絡(luò)中。

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò) (cnn) 是指受動物視覺皮層的啟發(fā)而構(gòu)建的多層神經(jīng)網(wǎng)絡(luò)。這種架構(gòu)適用于圖像處理等各種應(yīng)用。第一個(gè) cnn 由 yann lecun 創(chuàng)建；當(dāng)時(shí)，該架構(gòu)以手寫字符識別為重點(diǎn)，比如郵政編碼讀取等。

lenet cnn 架構(gòu)由若干層組成，這些層實(shí)現(xiàn)特征提取，然后進(jìn)行分類。圖像被分為接收字段，接收字段饋入卷積層，然后卷積層從輸入圖像中提取特征。下一步是池，不僅減少了提取特征的維數(shù)（通過向下采樣），還保留了最重要的信息（通常通過最大池）。再就是執(zhí)行另一個(gè)卷積和匯集步驟，將數(shù)據(jù)輸入到完全連接的多層感知機(jī)中。此種網(wǎng)絡(luò)的最后一個(gè)輸出層是一組節(jié)點(diǎn)，能夠標(biāo)識圖像的特征（在本例中，每個(gè)標(biāo)識的數(shù)字對應(yīng)一個(gè)節(jié)點(diǎn)）。用戶可以通過反向傳播訓(xùn)練網(wǎng)絡(luò)。

圖 9. lenet 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

對于神經(jīng)網(wǎng)絡(luò)的各種新應(yīng)用來說，深層處理、卷積、池和完全連接分類層的運(yùn)用可以說是一大突破口。除圖像處理外，cnn 還成功地運(yùn)用于視頻識別和自然語言處理范疇內(nèi)的各種任務(wù)中。再者，cnn 也在 gpu 中得以有效實(shí)施，使其性能得以大大提升。

長短期記憶

我們回想一下，在討論反向傳播時(shí)，接受訓(xùn)練的網(wǎng)絡(luò)是前饋網(wǎng)絡(luò)。在此架構(gòu)中，用戶將輸入信息饋送到網(wǎng)絡(luò)中，通過隱藏層將其向前傳播到輸出層。但是，也還有很多其他神經(jīng)網(wǎng)絡(luò)拓?fù)?。其中之一，也是我們研究的對象，支持通過節(jié)點(diǎn)之間的連接形成一個(gè)定向循環(huán)。這些網(wǎng)絡(luò)稱為遞歸神經(jīng)網(wǎng)絡(luò)，可以向后反饋到前些層或其所在層中的后續(xù)節(jié)點(diǎn)。由于具備這樣的屬性，此等網(wǎng)絡(luò)成為了時(shí)間序列數(shù)據(jù)的理想選擇。

1997 年，創(chuàng)建了一種特殊的循環(huán)網(wǎng)絡(luò)，稱為長短期記憶 (lstm)。lstm 由內(nèi)存單元組成，這些網(wǎng)絡(luò)內(nèi)的內(nèi)存單元可以在短時(shí)間或長時(shí)間內(nèi)記住值。

圖 10. 長短期記憶網(wǎng)絡(luò)和內(nèi)存單元

內(nèi)存單元包含有多個(gè)用于控制信息如何從內(nèi)存單元流入或流出的門。輸入門控制新信息何時(shí)流入內(nèi)存。忘記門控制現(xiàn)有信息塊在內(nèi)存中的維持時(shí)間。最后，輸出門控制單元中包含的信息何時(shí)用于內(nèi)存單元的輸出。該單元還包含有控制每個(gè)門的權(quán)重。訓(xùn)練算法往往通過時(shí)間反向傳播（反向傳播的一種變體），能夠根據(jù)產(chǎn)生的錯(cuò)誤優(yōu)化相應(yīng)的權(quán)重。

lstm 已應(yīng)用于語音識別、手寫識別、文本到語音合成、圖像字幕處理以及其他各種任務(wù)。不久，我就會重新訪問 lstm。

深度學(xué)習(xí)

深度學(xué)習(xí)是一種相對較新穎的方法集，正在從根本上改變著機(jī)器學(xué)習(xí)。從本質(zhì)上來說，深度學(xué)習(xí)并非一種算法，而是通過非監(jiān)督式學(xué)習(xí)實(shí)施深度網(wǎng)絡(luò)的一系列算法。鑒于這些網(wǎng)絡(luò)的深度，我們需要采用 gpu 等新的計(jì)算方法才能進(jìn)行構(gòu)建。

本文探討了現(xiàn)有的兩種深度學(xué)習(xí)算法：cnn 和 lstm。這些算法已相互結(jié)合，能夠完成一些令人驚訝的智能任務(wù)。如下圖所示，cnn 和 lstm 已用于識別圖片或視頻，然后用自然語言描述。

圖 11. 結(jié)合運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶網(wǎng)絡(luò)進(jìn)行圖像描述

另外，深度學(xué)習(xí)算法還用于面部識別，識別肺結(jié)核的準(zhǔn)確率高達(dá) 96%，還包括解決自動駕駛車輛和很多其他復(fù)雜的問題。

盡管深度學(xué)習(xí)算法的運(yùn)用取得了一定的成效，但仍舊存在許多我們尚無法解決的問題。就近期深度學(xué)習(xí)在皮膚癌檢測方面的運(yùn)用效果來看，這種算法的確比獲得經(jīng)過認(rèn)證的專業(yè)醫(yī)師更加準(zhǔn)確。但專業(yè)醫(yī)師能夠列舉出他們作出診斷的依據(jù)，而深度學(xué)習(xí)程序在進(jìn)行分類時(shí)所用的依據(jù)，我們卻無法識別。這便是深度學(xué)習(xí)的黑匣子問題。

再看另一個(gè)應(yīng)用，deep patient，它能夠依據(jù)病患的病歷成功地預(yù)測疾病。經(jīng)過驗(yàn)證，該應(yīng)用在疾病預(yù)測方面要遠(yuǎn)遠(yuǎn)優(yōu)于醫(yī)師，甚至是對于普遍認(rèn)為難以預(yù)測的精神分裂癥而言，該應(yīng)用也能成功預(yù)測。因此，盡管深度學(xué)習(xí)模型的效果很好，但沒有人能夠深入到其中的廣泛神經(jīng)網(wǎng)絡(luò)找到背后的原因所在。

認(rèn)知計(jì)算

ai 和機(jī)器學(xué)習(xí)可以說是生物領(lǐng)域的新沃土。雖然早期 ai 以制造人腦模擬機(jī)器為遠(yuǎn)大目標(biāo)，但認(rèn)知計(jì)算在這一方向上走的更遠(yuǎn)。

認(rèn)知計(jì)算是基于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的計(jì)算，是運(yùn)用認(rèn)知科學(xué)的知識來構(gòu)建模擬人類思維過程的系統(tǒng)。不過，認(rèn)知計(jì)算并非僅僅專注于單個(gè)技術(shù)集，而是涵蓋了多個(gè)學(xué)科，包括機(jī)器學(xué)習(xí)、自然語言處理、視覺和人機(jī)交互等等。

認(rèn)知計(jì)算的一例是 ibm watson，展示了有關(guān)jeopardy!的最新問答互動，但亮點(diǎn)在于 ibm 的web 服務(wù)。這些服務(wù)揭示了用于視覺識別、語音到文本和文本到語音功能的應(yīng)用編程接口；語言理解和翻譯；以及用于構(gòu)建強(qiáng)大虛擬代理的會話引擎。

未來展望

本文僅為人工智能的發(fā)展史拋磚引玉，淺顯介紹了最新的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方法。盡管人工智能和機(jī)器學(xué)習(xí)有其起伏波折的發(fā)展過程，但像深度學(xué)習(xí)和認(rèn)知計(jì)算這樣的新方法已經(jīng)大大提高了這些領(lǐng)域的鉆研難度。可以說，一臺有意識的機(jī)器仍舊遙不可及，但我們已經(jīng)看到了有助于改善人們生活的系統(tǒng)。

要深入了解如何運(yùn)用深度學(xué)習(xí)來開發(fā)針對異常檢測的認(rèn)知 iot 解決方案，請參閱引入深度學(xué)習(xí)和長短期記憶網(wǎng)絡(luò) (introducing deep learning and long-short term memory networks)。