我想講下
一個好多人都經歷過嘅感官錯覺
當呢個錯覺嚟嗰陣
我哋會唔識得留意危險
我亦都想講下一個我認為駭人聽聞
同時又好有可能會發生嘅情景
呢個情景發生嘅話，唔係一件好事嚟
你哋可能唔覺得我依家講緊嘅嘢恐怖
反而覺得好型
所以我想講下
我哋人類喺人工智能方面取得嘅成就
最终會點樣摧毀我哋
而事實上，我認為好難會見到
佢哋唔會摧毀我哋
或者導致我哋自我毀滅
依家你哋或者同我一樣
覺得諗呢啲嘢好得意
正因為覺得得意
亦都成為咗問題嘅一部份
你哋應該擔心你哋嘅反應至真！
如果我喺呢場演講度話畀你哋聽
因為氣候變化或者大災難嘅原因
我哋會遭遇一場饑荒
而你嘅孫，或者佢哋嘅孫
會好似咁樣生活
你就唔會覺得
「好有趣，我鍾意呢場 TED 演講。」
饑荒一啲都唔有趣
但科幻小說描繪嘅死亡就好有趣
呢一刻，人工智能發展
最令我最困擾嘅係
我哋面對近在眼前嘅危險似乎無動於衷
雖然我喺你哋面前演講
但我同你哋一樣都係冇反應
成件事就好似我哋企喺兩道門前面
喺一號門後面，我哋唔再發展智能機器
因為某啲原因
我哋電腦嘅硬件同軟件都停滯不前
依家嚟諗一下點解呢種情況會發生
即係話，因為智能同自動化好重要
所以我哋會喺許可嘅情況之下
繼續改善科技
咁究竟係乜嘢會阻止我哋？
一個全面嘅核戰爭？
一個全球流行病？
一個小行星撞擊？
Justin Bieber 做咗美國總統？
（笑聲）
之但係，如我哋所知
有一啲嘢會摧毀文明
你必須要想像
如果我哋一代又一代人
永遠改善唔到科技
情況會有幾嚴重
幾乎可以確定嘅係
呢個係人類史上最壞嘅事
所以唯一嘅選擇
就係二號門後嘅做法
我哋繼續年復一年升級改造智能機器
到咗某個地步
我哋就會整出比我哋仲要聰明嘅機器
一旦我哋有咗比我哋自己
仲聰明嘅機器
佢哋就會自我改良
到時我哋就會面臨數學家 IJ Good 
講嘅「智能爆炸」危機
即係話，改良過程唔再需要人類
依家，經常會有人學呢張諷刺漫畫咁
描繪叛變嘅機器人會攻擊我哋
但係呢個唔係最有可能發生嘅情景
我哋嘅機器唔會自動變惡
所以問題在於我哋製造出
比我哋更加做到嘢嘅機器嘅時候
佢哋目標上同我哋嘅細微分歧
會置我哋於死地
就諗下我哋同螞蟻之間嘅關係︰
我哋唔討厭佢哋
我哋唔會傷害佢哋
甚至我哋為咗唔傷害佢哋
而會受一啲苦
例如我哋會為咗唔踩到佢哋
而跨過佢哋
但係一旦佢哋嘅存在
同我哋嘅其中一個目標有嚴重衝突
譬如話要起一棟咁樣嘅樓
我哋諗都唔諗就殺死佢哋
問題係，我哋終有一日整出嘅機器——
無論佢哋自己有冇意識都好
同樣會冷漠咁對待我哋
依家，我估對於你哋大部份人嚟講
呢件情景都係遙不可及嘅
我賭你哋當中有人質疑
超級智能嘅可能性
更加唔好講
人類要避免超級智能
但係你哋肯定會喺下面嘅假設當中
搵到一啲謬誤
呢度一共有三個假設
喺物理系統裏面，智能等如訊息處理
但係，呢個超過咗假設
因為我哋已經喺我哋嘅機器裏面
植入咗弱人工智能
而且呢啲機器好多
已經處於一個超人類智能水平
同時我哋知道僅僅係物質
就可以產生所謂嘅「一般智能」
一種可以喺唔同領域之間
靈活思考嘅能力
咁係因為我哋嘅大腦
已經可以做到，係唔係？
我嘅意思係，大腦凈係得原子
只要我哋繼續加設原子系統
機器就可以有更加多智能行為
除非進度有咩停頓
否則我哋最終會喺機器裏面
建構出一般智能
明白進度嘅快慢並唔影響係好重要
因為任何過程都足以令我哋返唔到轉頭
我哋唔需要按照摩爾定律進行
我哋唔需要指數式增長
我哋只需要繼續做
第二個假設就係我哋會繼續做
我哋會繼續改造我哋嘅智能機器
而考慮到智能嘅價值…
我係話，因為有智能
我哋至會珍重事物
或者我哋需要智能
去保護我哋珍重嘅一切
智能係我哋最有寶貴嘅資源
所以我哋想繼續發展智能
我哋有極需解決嘅問題
例如我哋想治療類似阿茲海默症
同癌症嘅疾病
我哋想認識經濟系統
我哋想改善我哋嘅氣候科學
所以如果可以做到嘅話
我哋會繼續發展智能
件事亦都可以比喻為︰
列車已經開出，但冇刹車掣可以踩
最終，我哋唔會去到
智能嘅頂峰或者高智能水平
而呢個就係非常重要嘅觀察結果
就係呢個結果
將我哋置於岌岌可危嘅境地
亦令到我哋對於危險嘅觸覺唔可靠
依家，就諗下史上最聰明嘅人
幾乎喺每個人嘅名單上面
都會有 John von Neumann
我嘅意思係 John von Neumann 
畀佢周圍嘅人嘅印象
包括佢畀嗰個時代最犀利嘅數學家
同物理學家嘅印象
都係有紀錄低嘅
如果一半關於佢嘅故事有一半係真嘅
咁毫無疑問
佢係有史以來其中一個最聰明嘅人
所以當我哋畫一幅比較智力嘅圖
喺右邊高分嘅位置
我哋有 John von Neumann
喺中間有你同我
去到最左邊，我哋有雞仔
（笑聲）
係吖，就係一隻雞仔
（笑聲）
我冇理由將呢個演講搞到咁灰㗎
（笑聲）
但好有可能智力分佈
遠比我哋目前認知嘅廣
如果我哋建造出
比我哋擁有更高智慧嘅機器
佢哋嘅智力好有可能會
超越我哋認知嘅最高智力
同埋以無法想像嘅方式超越我哋
同樣重要嘅係
單憑運算速度就可以超越我哋
啱唔啱？諗下如果我哋整咗一個
冇哈佛或者麻省理工研究人員
咁聰明嘅超級人工智能
但電路運行速度大概
比生化電路快一百萬倍
所以呢個機器嘅思考速度應該會
比佢嘅創造者快大概一百萬倍
所以如果佢運行一個星期
佢就可以完成人類要兩萬年
先至完成得到嘅工作
而我哋又點會明白
人工智能係點樣完成咁龐大嘅運算呢？
另一個令人擔憂嘅事，老實講
就係…不如想像一下最好嘅情形
想像一下我哋設計咗一個
冇安全問題嘅超級人工智能
我哋第一次擁有完美嘅設計
就好似我哋摞住
一個按照預期發展嘅神諭
呢個機器仲會變成完美嘅慳力設備
事關機器可以生產另一款機器出嚟
做任何體力勞動
兼由太陽能驅動
成本仲同買原材料差唔多
所以，我哋唔單止講緊咕哩勞力嘅終結
我哋同時講緊大部份用腦工作嘅終結
咁我哋人類面對工作削減
應該何去何從？
我哋會好自由咁去掟飛盤 、同人按摩
服食一啲 LSD 精神藥
同埋著上怪異服飾
於是成個世界都會變成火人節嘅人咁
（笑聲）
頭先講到嘅嘢聽起上嚟好似好好咁
但係撫心自問
面對目前嘅經濟政治秩序
乜嘢會發生呢？
似乎我哋會目睹
我哋從未見過咁嚴重嘅
貧富懸殊同失業率
如果呢筆新財富唔即時用嚟服務全人類
就算一啲億萬富翁使好多錢
㨘靚商業雜誌嘅封面
世界上其他人都要挨餓
咁如果俄羅斯人或者中國人
聽到矽谷嘅一啲公司
打算使用一個超級人工智能
佢哋會點諗？

呢個機器有能力用未見過嘅力度
發動地面或者網絡戰爭
呢個係「勝者全取」嘅情況
喺呢場人工智能較量中有六個月嘅優勢
就係至少要做多人類五十萬年做到嘅嘢
甚至只係關於人工智能突破嘅謠言
就可以令到人類亂起上嚟
依家最驚人嘅一件事，我覺得
就係人工智能研究人員
安定人心時講嘅說話
佢哋成日話，因為我哋有時間
所以我哋唔需要擔心
「乜你唔知有排咩？
仲有五十年或者一百年先到。」
一位研究人員曾經咁講︰
「擔心人工智能嘅安全就好似
擔心火星人口爆棚一樣。」
呢句嘢等如矽谷同你講︰
「你十八廿二就杞人憂天！」
（笑聲）
冇人意識到
攞時間嚟到講完全係無稽之談
如果智能凈係同處理訊息有關
同埋我哋繼續改良我哋嘅機器嘅話
我哋最終會生產到超級智能
但我哋唔知道要用幾長時間
先可以生產安全嘅超級智能
等我再講多一次
我哋唔知道要用幾長時間
先可以生產安全嘅超級智能
如果你仲未意識到
五十年嘅概念已經唔同咗喇
呢幅圖顯示咗以月份計嘅五十年
先係 iPhone 面世至今嘅時間
再係阿森一族出現係電視上嘅時間
五十年不足以畀人類應對最大挑戰
再一次，我哋對於有理由發生嘅事
未有採取適當嘅情緒反應
對此，電腦科學家 Stuart Russell 
有一個好嘅比喻
佢話︰想像一下我哋收到
一個來自外星文明嘅信息
上面寫住：
「地球上嘅人類，
我哋五十年之後會到達你哋嘅星球。
請準備好。」
咁我哋依家凈係會倒數外星人來臨？
我哋應該更加緊張至係
另一個我哋被告知唔使擔心嘅原因係
呢啲機器只會識得
將我哋嘅價值觀傳開
因為佢哋係我哋人類嘅附屬嘅一部分
但同時佢哋會被植入我哋嘅大腦
所以我哋會成為佢哋嘅邊緣系統
依家使啲時間諗下
最安全同唯一審慎嘅做法
而推薦嘅做法就係
直接將呢種科技植入我哋嘅大腦
呢種做法可能係最安全同唯一審慎嘅
但係喺你將佢植入你個腦之前
科技嘅安全問題需要解決
（笑聲）
更深一層嘅問題係
人工智能自己整超級人工智能
似乎比整一個可以喺神經科學上
同我哋腦部無縫接合嘅
超級人工智能簡單
考慮到從事研發人工智能嘅公司
同政府好可能會互相競爭
考慮到要贏呢場比賽就要贏成個世界
同埋先假設如果你下一刻
唔會糟塌人工智能嘅成果
咁樣，似乎更加簡單嘅事會完成咗先
但唔好彩嘅係
我除咗叫大家反思呢個問題
我就再冇辦法解決呢個問題
我覺得我哋喺人工智能方面
需要好似「曼哈頓計劃」咁嘅計劃
唔係講點樣整人工智能
因為我認為人工智能終有一日會整到
而係搞清楚點樣避免一場軍備競賽
同埋往符合我哋利益嘅方向
發展人工智能
當你講緊可以自我改造嘅超級人工智能
我哋似乎只有一個機會
令到人工智能發展得安全
就算發展得安全
我哋都要接受
人工智能對經濟同政治產生嘅結果
但係當我哋同意
訊息處理係智能嘅起步點
同意一啲適當嘅計算系統係智能嘅基礎
同意我哋會不斷完善人工智能
同意將來有好多嘢超越我哋認知嘅
咁我哋就必須要承認
我哋正喺度創造緊某種神明
依家會係一個好時機
確保佢係可以同我哋共存嘅神明
好多謝你哋
（掌聲）