人類要擔心機器人太聰明？
電影常有機器人大軍企圖殲滅人類的情節， 專家說，免驚啦！但如果人類掉以輕心，未來可能會與執意完成任務的智慧機器發生衝突。
撰文／羅素（Stuart Russell）
翻譯／周坤毅
我們很難不擔心，創造出比人類更聰明的機器可能會產生問題。畢竟如果當初是大猩猩意外創造了人類，現在這種瀕臨滅絕的靈長類大概會後悔曾這麼做。但為何先進的人工智慧（AI）可能造成麻煩？好萊塢電影中邪惡的機器突然覺醒並指揮機器大軍屠殺人類的情節實在太扯，真正的問題是AI變得超級聰明，但其目標並非我們想要的。創立控制論的數學家維納（Norbert Wiener）在1960年說：「如果無法有效干預執行特定任務的機器，那最好確定當初交付它的目標是我們想要的。」
執意完成任務的機器還具有一種特性：試圖維護自身的存在。這是生物的本性，但機器有這種特性既非與生俱來，也非人類所賦予，而是簡單邏輯演算的結果：如果機器壞掉了，便無法達成原本設定的任務。如果我們單純派機器人去拿咖啡，它可能會有強烈的動機去破壞使自己停止的開關，甚至消滅任何妨礙它的人，以確保能成功完成任務。因此如果人類掉以輕心，未來可能會與執意完成任務的智慧機器發生衝突。
人類可能與機器發生衝突而成為輸家，這項隱憂讓電腦科學家寢食難安。有些研究人員建議我們不妨把機器鎖在某種防火牆內，需要時再利用它來回答困難的問題，但絕不允許機器影響真實世界。（當然，這就意味我們必須放棄擁有超級聰明的機器人！）不幸的是這項計畫註定會失敗，畢竟我們連建立阻擋一般人的防火牆都做不到，遑論超級聰明的機器了。
但如果我們記取維納的警告，設計出任務目標與人類一致的AI系統呢？這種想法說得比做得容易。畢竟在神燈精靈與三個願望的故事中，許願者最後一個願望通常是設法復原前兩個願望帶來的問題。但我相信如果遵守以下三項核心原則，便有可能成功：
●機器的任務目標必須是實現人類的價值觀。特別是機器不會擁有自己的目標，或自我防護的欲望。
●機器不能完全確知人類真正的價值觀為何。這是避免維納難題的關鍵。機器能學習越來越多的人類價值觀，但永遠無法完全確知人類真正的價值觀為何。
●機器必須藉由觀察人類的選擇來學習人類價值觀。
