先前有一篇以落合陽一口吻寫成的文章,現在我們該順著deep research最後的警告繼續往下看,
像落合陽一這樣將 AI技術神聖化、並提倡讓人類「融入」計算機自然生態系的觀點,潛藏著嚴重的倫理危機。當人們被教導要去適應一個由不可解釋的黑盒子演算法所構成的「新自然」時,這實際上可能是一種新的宗教迷信;
它會麻痺大眾的批判意識,導致人類在面對系統性的數位壓迫、演算法偏見、或是極權平台的不合理統治時,放棄了抵抗、反思與追求政治權利的意志
他說,技術的終極形態是魔法化——介面隱形於無形,長者「甚至不需要意識到自己正在使用 AI」,技術就作為環境的一部分為他服務。
這句話單獨看很溫柔。但它會引出一個不太禮貌的問題:
照這個標準,共產黨的統治算不算一種魔法?
科幻作家 Arthur C. Clarke 的第三定律:任何足夠先進的技術,都與魔法無異。 落合陽一把它推進一步——他說二十世紀是「影像的世紀」,二十一世紀是「魔法的世紀」,因為科技高度化的結果,反而讓事物的運作機制黑箱化,變成人們無法理解的東西。
他舉的例子就是機器學習:深度學習靠統計處理解決問題,但內部過程的細節與合理理由,對人類而言並不明朗。你知道它有效,你不知道它為什麼有效。
所以「魔法」在他的定義裡有兩個條件:
運作機制對使用者不可理解
使用者只接觸到結果,並且被鼓勵不去追問
現在把這兩條,套到一個跟 AI 無關的系統上。
你活在中國,你在微博打了一句話,送出,畫面顯示成功,但沒有人看得到。你不知道是哪個詞觸發的,因為關鍵詞清單從來沒有公布過,也永遠不會公布。你只能從結果反推,換一個諧音字再試一次。
第一條,符合。運作機制對你完全不可理解。
第二條,符合得更徹底。你不但無法追問,追問本身就是危險的——你甚至不會收到一封「你的貼文因違反第幾條規定被移除」的通知。沒有通知,就沒有可以申訴的對象。
再往上一層。中南海怎麼做決策?政治局的人事怎麼決定的?「清零」為什麼在那一天開始、又為什麼在那一天結束?這些問題沒有可追溯的理由,只有可觀察的結果。十四億人活在一個只能看到輸出、看不到函式的系統裡。
這就是黑箱。而且是比任何演算法都更古老、更完整的黑箱。
如果一套用來描述先進技術的概念,套在極權統治上嚴絲合縫,那出問題的不是被套的對象。
「魔法」這個框架只有一根座標軸:可不可理解。它精準地描述了「使用者無法看穿機制」這件事,然後就停了。
它沒有第二根軸。它不問:這個黑箱是誰造的?出錯的時候誰負責?你能不能不用它?你不服的時候可以去哪裡申訴?
Google 的排序演算法是魔法,保險公司的核保模型是魔法,網路長城也是魔法——三者在「你不懂它怎麼運作、你只能接受結果」這一點上,完全同構。
「讓長者不需要意識到自己正在使用 AI」——這個設計目標,和「讓網民不需要意識到自己正在被審查」,是同一個目標。
最成功的審查,正是讓你不知道有東西被拿走了。
2022 年 4 月,東浩紀在《文藝春秋》五月特別號寫了一篇〈哈拉瑞與落合陽一——奇點批判〉。他的火力集中在落合陽一 2018 年那本《デジタルネイチャー》(數位自然)。
那本書描繪的未來是這樣的:AI 高度發展之後,人的生存方式會分岔成兩種——靠無條件基本收入過活的一類,和追逐創投、持續擴張市場的一類。落合陽一把這個分岔寫成正面的,說它讓人類「從舊的道德觀中解放」。
東浩紀的評語是「夢想而危險」。他說得更重的一句是:這不外乎是一幅把人類分成選良與其餘的社會圖像。
而最讓東浩紀不安的,是落合陽一書裡的另一句話。據東浩紀引述,落合陽一寫過:「透過全體最佳化而達成的全體主義,不會讓任何人不幸。」 東浩紀的回應是——作為一個實際參與行政事務的人所抱持的思想,這令人不安。
這句話值得停一下。「共產黨算不算魔法」看起來像是外部硬拗出來的角度,結果落合陽一自己早就把「全體主義」放進了他的正面願景,還附上一句保證:不會有人不幸。
(東浩紀的批判在先,兩人後來在《Weekly Ochiai》有過一場直接對談。落合陽一也從來沒有主張過政治上的極權。這裡要指出的不是他的立場,是他那套語彙沒有能力區分他的立場和它的反面。)
如果不能用「懂不懂」當標準,那憑什麼一邊按讚一邊警戒?
多數人不懂飛機引擎的運作原理,但搭飛機的時候完全不焦慮。所以「不可理解」顯然不是恐懼的來源——真正讓人安心的是另外三件事,而它們一個字都沒出現在「魔法」的定義裡。
第一,能不能不用。 你可以卸載 Instagram,可以不搭飛機。這叫退出權。你不能不住在你的國家——這是演算法和政權最根本的差別,也是「使用者體驗」這個詞永遠涵蓋不到的地方。
第二,出錯的時候誰負責。 飛機掉下來會有事故調查委員會,會有人被追究,會有適航指令發出去改所有同型機。而一則被消失的貼文,沒有事故編號。
第三,有沒有人被授權去看懂,而且他看懂的結論對你有效。 這一條最重要。現代社會處理複雜性的方式,從來不是要求每個人都理解,而是建立可信的代理理解——獨立的審查機構、公開的試驗數據、可調閱的黑盒子、能傳喚人的委員會。
你不需要懂,但必須有人懂,而且那個人不能是黑箱的所有者。
「魔法」問的是「你懂不懂」。該問的其實是「有沒有人被授權去懂」。這兩個問題長得很像,答案卻決定了你是使用者還是奴隸。
這個問題的解方就在與唐鳳那場對談的結尾,唐鳳寫下了一個帶斜線的 0——∅,象徵零知識與零信任。落合陽一把它讀成東方哲學的「空性」與「妙有」,讀成事事無礙、圓融無礙。
但零知識證明在密碼學裡的意思,跟「無礙」正好相反。
它不是拆掉障礙。它是保留了驗證這道關卡,同時免除了揭露的必要。證明的一方不必把底牌攤開,驗證的一方仍然可以嚴格確認其中沒有說謊。零知識證明的精神不是要求信任,是**「不必相信,但可以驗證」**。
零信任講得更白。這個資安術語的設計前提就是:不預設任何節點可信,每一次存取都重新驗證一遍。它是一種被制度化的疑心病。
∅ 在數學裡是空集合。落合陽一讀成空性。
但也可以就照字面讀它:一個被劃掉的零。不是「什麼都沒有」,而是「有東西被刻意標記為不予揭露」。那一道斜線不是天生的,是有人畫上去的,是一個決定。
「魔法的世紀」最危險的地方,不在於它說黑箱會愈來愈多——那是事實。危險在於它管這個叫「新的自然」。
自然是不能抗議的。沒有人會對颱風提告,不會要求梅雨季說明理由。把一個人造的權力結構命名為「自然」,等於預先取消了針對它的政治行動——剩下的只有適應它、共生於它、學會在裡面舒服地活著。
東浩紀擔心的「人們放棄抵抗」,根子就在這個命名上。不是誰下令禁止抵抗,是這個詞讓人想不起來還有抵抗這個選項。
所以回到最初那個問題:共產黨的統治算不算一種魔法?
照落合陽一的定義,算,而且是模範生。它機制不可見、只輸出結果、鼓勵你不要追問,連被統治者自己都說跳不出去。
但這個答案沒有讓人對共產黨多理解一分,它讓人對「魔法」這個詞多警惕了一分。
一個能同時精準形容 OpenAI 和網路長城的詞,叫魔法。
