https://softwareengineeringdaily.com/podcasts/cory-doctorow-on-ai-work-and-power/
Cory Doctorow 帶著新書《The Reverse Centaur’s Guide to Life After AI》上 Software Engineering Daily,跟主持人 Josh Goldberg 談同一套 AI 為什麼有人愈用愈起勁、有人覺得自己被榨乾。Doctorow 寫科幻、寫報導,在電子前線基金會 EFF 待了將近二十五年,現在是特別顧問。非虛構《Enshittification》談為什麼一切突然變糟、又能做什麼。新書把職場上的 AI 收成一個老問題:自動化由誰推動,流程由誰做主。
五歲那年,家裡的電腦是硬紙板
1976 年他五歲,父親是電腦科學家。家裡第一台電腦不通電,叫 CARDIAC,貝爾實驗室的硬紙板圖靈完備機器,用來教邏輯閘:寫組合語言,再照查找表把標記挪進暫存器和加法器。1977 年,聲耦合器接上電傳打字終端,連多倫多大學的 VAX。終端沒有螢幕。母親在幼稚園教書,從廁所帶捲筒衛生紙回來當紙,一面約一千英尺,另一面再一千英尺。
1979 年,蘋果把 Apple II Plus 借給安大略省各校電腦科學系主任過暑假。父親在多倫多外圍 Scarborough 一所學校當系主任。1980 年有了數據機,插槽卻只夠插數據機,或插能顯示小寫的 80 欄卡。他說接下來大約四年沒見過小寫,因為自己該待在有數據機的那一側。十七歲賣掉第一篇科幻。四個大學學程都沒讀完,最後離開滑鐵盧,當時做細胞自動機,今天會叫機器學習。接著去紐約 Voyager 寫 CD-ROM。公司垮了,他接 Gopher,把廣告公司的第一張合約改成網站。後來跟合夥人與鄰居在泡沫裡募資,搬到舊金山,進 EFF。
Goldberg 問,從細胞自動機看到現在的 Agent 工作流,是什麼感覺。Doctorow 說這種起落以前就有過。父親在滑鐵盧的應用數學碩士,也就是那所學校還沒把這門叫電腦科學的年代,做的同樣是細胞自動機,載體是打孔卡。AI 過過不只一個冬天。科技業高度金融化,有一種他稱為熱詞合規的習慣:什麼熱,簡報就改叫什麼。Push、metaverse、Web 2.0、Web 3.0 都來過。公司若已經有人在用的產品,常常栓上一個多餘的附加功能,用的人受害,有時公司自己也垮。
他沒有電腦科學學位,但有英國開放大學的榮譽博士。他看這十年,認為機器學習裡有扎實的東西。大約十年前,有人對演算法做一點小改動,以為輸出只會小變,結果進步很大。低垂的果子變成一整座果園,招式重複,輸出非線性上升。金融界的 Stein's law:不能永遠持續的事,終究會停。報酬遞減之後,沒有長出猜字猜成超級智能、再把人變成迴紋針的結局。跟其他突破一樣,做出一些很能看的東西,然後得再想別的。
人在上面叫半人馬,人被用到乾叫反向半人馬
別的,就是這本書。勞工和資本為了自動化吵架,老觀察是:勞工來推,通常是為了把產出做好。網路泡沫時的商業媒體在問,執行長要拿那些在大學用過網路、進公司也想要的年輕人怎麼辦。今天問的是反面:怎麼讓覺得 AI 是狗屁的員工,在工作上使用 AI。
資本推動的自動化,通常是拉高吞吐。品質和工作者的日子常常排在後面。市場若已經卡特爾化或壟斷,做出較差的東西也不掉銷售,這件事就特別划算。這差不多就是 enshittification。競爭被挪開,主管機關被俘獲,勞工被馴服,靠互通進來的新進者又被擴張的智財權弄成違法。公司是鎮上唯一的店,非市場的手段也罰不到它,東西就可以做爛,客人還在。
自動化理論裡的半人馬,是人被機器幫忙。他舉 IDE、拼字檢查,還有騎腳踏車,騎起來也像一隻真的半人馬。人頭、馬的身子:身子又強又快、耐力比你高,沒有辨別、沒有判斷、不決定方向。人在上面,身體聽令。反向半人馬把方向倒過來。機器驅使人,把人徵去當周邊,照機器的速度和耐力把人用到乾。他描述的畫面是,九十九個同事被開除,你得替 AI 批完全部人的作業,出事還算你的。工時長,條件糟,做的是工作裡最爛的那一段,而且幾乎不可能不出錯。大部分是對的,你就看不出錯。真的錯的時候,錯法可以害死人。他稱這個自動化盲。
這個區分拿來解一個說不攏的矛盾,尤其在寫程式的人身上。一邊技術純熟、講自己的經驗也靠得住,說 AI 放進工作之後,產出好到以前不敢想。另一邊同樣熟練,說技術債的規模難以置信。有人在民航業工作,說天空被塞滿解不開的技術債,叫人以後別再搭飛機。Doctorow 不把這當成一邊說謊,也不當成一邊受過訓練、另一邊不會用。一邊是半人馬,自己決定流程裡哪一段該用 AI。另一邊是反向半人馬,在更差的條件下、用更快的速度,交出更差的產出。科幻裡他認為最要緊的那句就落在這裡:要緊的不是裝置做了什麼,是它為誰做、對誰做。
股價要的是成長故事
Goldberg 問,書裡寫到亞馬遜這類公司,為什麼還是把人推進生產垃圾的工廠。Doctorow 說,若你相信客戶接受得了較差的產出,壓低薪資、拉高吞吐,經營者就有順的誘因。AI 泡沫要放回這一串科技泡沫裡看。這些公司成長到跑道用完。Google 搜尋市占約九成,再長不容易。養十億個客戶,Google Classroom 要十五年。故事一種是變成彼此:Google 做 Google Plus 去當 Facebook,Facebook 轉向影片去當 YouTube。另一種是征服還不存在的市場,NFT、區塊鏈、metaverse、Web3。現在輪到 AI 和超級智能。
他自己這種進步派有時會講,無止盡的成長是腫瘤的意識形態。節目裡他把這句放下。要緊的是物質現象。公司在成長,股價就高,因為一股是對未來盈餘的請求權。成長停了,未來盈餘跟今年一樣或更低,股價就偏貴,上市櫃公司會出現恐慌性拋售。要擋住拋售,得靠真的成長。找不到成長,就靠一個成長故事。
主要拿股票計酬的高階主管,公司市值掉五成、七成、八成,淨值就掉同樣的比例。沒有人像 Mark Zuckerberg 那樣曝險在 Meta 的股價上。他不想明天變窮八成。公司本身也一樣。股票有流動性的時候,可以拿去買別的公司,也可以拿去挖人。Meta 宣布 AI 超級智能計畫時,說要付一位程式設計師一億美元。付的是價值一億的股票。一百萬張百元鈔得向客戶、債權人或投資人拿。股票在自己場子裡做,試算表上打幾個零就是一億。自己印百元鈔,會被銬走。成長停住,會開飛機的人抓起降落傘就跳,把公司拉出尾旋的工具也跟著沒了。
AI 是最新的成長故事,而且還告訴別的公司怎麼成長:不必做出更好的產品或流程,把員工開除、換成聊天機器人,省下的薪資跟 Sam Altman 分。成長不必靠多賣幾件,靠每一筆交易多抽出一點,把單位經濟做好看。講故事的人興奮,聽故事的老闆也興奮。
Goldberg 用超市問,勞工怎麼多一點力量。連鎖店拿自助結帳換掉收銀員。若每顆蘋果便宜一分錢,好像就有競爭優勢,大家都得去試被說成更有效率的工具。Doctorow 說明路是工會,帳卻不乾淨。蘋果每顆多賺一分錢,偷竊可能讓每顆多掉三分錢,因為擋小偷的人沒了。店家要公眾出錢請警察,要客人用時間付錢:東西鎖在壓克力後,剩下兩個員工,你等其中一個來開門。管理時尚假設現金會變好,然後對預見得到的偷竊表示驚訝。他說決策者有時像會輸躲貓貓。
你要去那裡,不會從這裡出發
Goldberg 問軟體工程師能做什麼。這行組不出音樂人那種跨產業大工會。主管盯著你用 AI,還用程式行數打考績。Doctorow 先講自己是加拿大人。東部有一句笑話,重點是:你要去那裡,我不會建議從這裡出發。
曾經有過另一個起點。Google 解雇一萬兩千人之前,做過一次股票回購,那筆錢夠付這些人未來二十七年的薪水。矽谷工程師曾稀缺到握有權力。免費的康普茶、按摩,還有外科醫師幫你凍卵,好讓你把生育年齡拿去工作。這些對應的是底線:工程師平均每人為公司加上約一百萬美元,人又不夠。你走出門,一百萬跟著走,門口有十個老闆等著聘你。
現在供給追上需求。公司願意交出較差的產出,忍受更多停機和缺陷,因為他們認為客戶不會那麼在意。這是程式這一層的 enshittification。AWS 和其他理論上大到不能倒、該照公用事業來營運的平台,出現系統性當機,SRE 的承諾卻照新創在跑。這個產業裁了大約五十萬人之後,你一辭職,工廠門口有另外十個人願意接位子。
音樂人組工會,是因為被剝削得很慘,然後打出來。工程師若想知道老闆做得到什麼,去看那些不稀缺的人。亞馬遜倉庫工人的受傷率,是其他倉庫工人的三倍。中國組裝 iPhone 的廠房外圍有防跳網。肯亞做 AI 資料清理的人,因為要標記極端和血腥內容,留下終身的心理創傷。那就是老闆若做得到、會對你做的事。
人還是在這裡。有 Tech Workers Coalition,有 Tech Solidarity。EFF 自己有工會,屬於 Communications Workers of America。有的科技職場在組,有的正在試。議價位置不好。美國想加入工會的勞工,比記憶中任何時候都多。支持鄰居組工會的人,也比好幾代以來都多。工會的現金儲備是勞工運動史上最大的,現在沒花在組織上。他認為該花。已經組好的人,不該把儲備只留給自己,該拿去把還沒組的人加進來。他要人去那兩個組織,弄清楚自己的職場怎麼組,先開始談。
指望不組工會就有更好的職場,像指望一種加密:好人用就有效,壞人拿去藏兒童性虐待影像或恐怖計畫就失效。很想要,不夠。歷史上勞工取得權力,可靠又耐久的機制是團結。
做錯得比做對更不賺錢
Goldberg 接到加密這句。柯林頓政府試過把加密擺成只有好人用得了。Doctorow 說,英國和歐盟眼下也有一大股力量,以國家安全、打兒童性虐待影像為名,逼公司把使用者的通訊解密。打兒童性虐待影像,他認為顯然正當。禁掉還能用的加密,到不了那裡。附帶損害是災難性的。EFF 的講法還是:很想要,不夠。
個人和新創做得到最佳做法。Signal 把資料收到極小,往抗量子加密走,政策鬥爭不妥協,也指出禁止越獄會讓安全變脆弱。蘋果和 Google 若要求後門才上架,多數人就失去可用的加密。隱晦之中沒有安全。Bruce Schneier 的講法是,連自己都想不出怎麼打破的系統,只對比你笨的人有效。這些做法看過很多年。兩家公司若決定誰都不該有端到端加密,就沒有人有。政策環境讓做爛有利可圖。
西方到目前大致還好。在中國,蘋果把 iOS 上還能用的加密工具關掉。平台鎖死,逆向工程違法,使用者拿到的就是這個:雲端儲存有後門,能用的 VPN 不進 App Store,靜態的全碟加密和傳輸中的加密都被故意做壞。一個人可以決定幾十億人有沒有隱私,政府能不能找出異見者、抓走、送進營區。他說美國人現在也得擔心。
主管機關被俘獲、市場壟斷、勞工幾乎沒有議價力量,著作權又禁止逆向工程,你就不能越獄去裝製造商不喜歡的軟體。他描述一個很容易自我說服的場景。一百五十個最好的朋友辭職,拿小孩的大學基金和房貸來冒險,產品讓幾百萬人開心。投資人說,讓百分之五的使用者活在地獄裡,不然案子抽掉。你告訴自己,毀了那百分之五,保住一百五十個人的收入,和百分之九十五的人得到的好處。大家以為你是混蛋,只有你知道自己撲在劍上。進了大公司,只要顯然更賺,道德傷害改變不了決定。
Google 在 2019 到 2020 年就是這樣。材料出在司法部打贏的搜尋反托拉斯案。市占到九成之後,他們把搜尋做差,讓人得多搜一次、多看一次廣告。營收部門說,會更賺,而且沒有別的地方可去。每年付蘋果兩百億美元,換蘋果不進搜尋。每個瀏覽器、每個製造商、每個電信商,接上伺服器的都是 Google 的搜尋框。變差又怎樣,難不成去用 Bing。技術部門有人回:「我缺席母親的喪禮,不是為了把搜尋做爛。」吵架輸的是這個人。
資料保護要做對,知道什麼是對的還不夠。你得活在做錯比做對更不賺錢的環境裡。這個環境可以部分自己搭。他用《奧德賽》的尤利西斯之約:未來的自己會軟弱,現在的自己還強,就把自己綁上桅杆。不可撤銷的開源授權,投資人怎麼施壓,程式也不能收回專有。公司做成 B Corp、S Corp,或工作者合作社。API 讓使用者容易離開。聯邦式平台讓人走到別的站,仍聯絡得上原本的朋友。背叛因此變貴。
Goldberg 說自己喜歡 Atproto、開源和開放 API,問這在資本市場裡是不是劣勢。Doctorow 把劣勢算在同一套政策上。1998 年 Bill Clinton 簽署數位千禧年著作權法的第 1201 條,越獄可罰五十萬美元、坐五年牢。Facebook 對一般大眾開放是 2006 年,用得了它的人當時已經在 MySpace。Facebook 給那些人一隻 bot:你不必先把 MySpace 帳號註銷,把登入憑證交給 bot,它假裝是你,把等著的訊息抓進 Facebook 信箱,你回了再推回去。Jeff Bezos 老講,你的利潤就是我的機會。MySpace 靠廣告和操弄抽出的那一塊,成了 Facebook 的機會。
後來梯子被抽掉。Facebook 用第 1201 條擋住對抗式互通,也就是不經它同意,自己把兩邊接起來。人因為愛朋友多過恨 Mark Zuckerberg 而留下,朋友又因為自己的朋友留下而留下,集體行動把朋友變成人質。把那扇門撬開,他們可以來用你的平台,同時聯絡得上卡在 Facebook 的人。那塊利潤可以再變成後來者的機會。
他說二十五年前這一行令人興奮,是因為公司一大、一腫、一蠢,就有人來拆。現在只被允許拆窮人和弱者的東西。他的說法是 move fast and break kings:該拆的是國王,是科技巨頭。資產負債表上有幾千億的時候,他們會做股票回購,也會做 AI 資料中心,一年花一兆美元,去賺五百億。這些錢該在他們傷害自己和別人之前,被有更好主意的人拿走。
一千個爛補丁裡,只留下那個真的在癢的
Goldberg 做過獨立的開源維護者,被 AI 垃圾洗版推走。書裡也寫到文學雜誌 Clarkesworld 收到多到離譜的垃圾稿。Doctorow 說這是文化問題。拿垃圾去灌 pull request 的人,分不出有用的程式和沒用的程式。自由軟體的倫理變成開源的倫理,又變成履歷名片。有人覺得 GitHub 上對重要專案累積兩萬五千筆貢獻,就能找到好工作,或至少有得吹。他們懂程式怎麼運作,不懂程式怎麼失敗。
他自己大約二十五年沒寫過程式,但是 Ubuntu 的使用者,會從 Quora 複製指令,想改選單就去重編譯,坐在那裡敲 make、make install。模型糊出的補丁若只修好他自己的機器,壞了就下載官方版。若補丁在另外百分之五的人身上壞掉,例如非羅馬字母,或一個他從不用的表情符號,維護者會頭痛,他自己感覺不到。責罵修不了這個。
他在節目裡說這段還沒想完,是邊講邊想。平常一個想法行不通的人送上一個補丁,維護者告訴他為什麼不行,他可能跟著學會。寫好補丁得學,跟寫好錯誤回報一樣。現在的能力是一次做一千個爛補丁。也許刪掉九百九十九個,叫他挑出自己認為重要的那一個:哪裡癢、哪裡壞了、想不想參與這個專案。維護者可以跟他一起改,需要的話連程式助理一起用,待遇比照剛起步的人。對方若只想把一千個補丁貼上履歷,就請他出門。
vibe coding 該待的地方,是一個 HomeKit 小裝置加一塊 Raspberry Pi,兩邊要黏起來。糊一個程式,能用到不能用,再糊一個。像有人寫 Visual Basic 或 HyperCard,解決店裡一個很小的需求,不必雇人、還得把需求講清楚。它失敗得很不優雅,但剛好抓到那個人的癢。大型開源專案很多人依賴,停了會直接找上維護者,不該收這種補丁。
做軟體工程的人知道,工作的大塊是想系統怎麼運作。寫程式是其中一段,而且很好玩。EFF 第一位專職技術專家 Seth Schoen 把當時散布即為重罪的 DeCSS,改寫成圖靈完備的俳句。節目裡他說作者是 Schoen,當事人不承認,因為寫這首詩技術上是重罪,等於把文學定成重罪。《Communications of the ACM》近作在算這個比例,他說寫程式排不到最主要。大型語言模型讓那一段變快,其餘沒有。量一大,除錯、品管、code review 就跟不上。
這又是自動化盲。機器大多時候是對的,你被派去盯極少數出錯的時候,警覺維持不住。美國運輸安全管理局養出很會盯水瓶的人,紅隊把假槍送過 X 光,他們大約百分之九十五的時候還是看不出來。
他拿放射科當兩種安排的對照。一種是醫師看 X 光,AI 不同意時叫他再看一次。人還在做自己的工作,只是準一點,能讓人不要死於癌症。另一種是十分之九的同事被開除,剩下的人要覆核一百倍、而且 AI 已經標成沒有癌症的片子。AI 若有百分之三是錯的,這個人大概會全部漏掉,然後有人死。兩種診間用的可以是同一類機器。差別在社會怎麼安排它。
Goldberg 問模型算不算言論。Doctorow 不願放寬對程式的禁令。DeCSS 俳句按第 1201 條可能仍是重罪。一位他稱為很蠢的法官放過 Sackler 家族,也裁定《2600》不能刊,說那不算文學。John Gilmore 的 Deep Crack 花二十五萬美元、兩個半小時破解 56 位元 DES。Cindy Cohn 在《Privacy’s Defender》寫 Bernstein 案:程式是言論,大約 1993 年起能用的加密合法。Git 伺服器不會一起把模型程式下架。
每多一個使用者,帳上就多一個洞
Goldberg 問他所謂的 dogshit unit economics:多做成一筆、或多拿到一個客戶時,邊際上發生什麼,以及他為什麼覺得這個泡沫撐不住。
早期網路在虧錢,AI 也在虧。有人拿前者證明後者以後會賺。大致上,虧錢預測的是繼續虧。例外裡排第一的是好的單位經濟,那也只提高翻正的機會。網路虧錢那些年,每多一個使用者、每一次造訪、每一代技術,都讓整個產業更有機會賺錢。AI 相反。每多一個使用者,資產負債表就多一個洞。人每回來,赤字再擴大。每一代都更虧。他說這是做過最會虧錢的東西。
標普五百裡七家公司占了百分之三十五,所謂七巨頭。六家在虧幾千億美元。賺錢的是 Nvidia。錢進了 Nvidia,再借回另外六家,好讓他們買更多 Nvidia 的產品。這個產業賺的遠比不上花的,花得更多,盈餘沒有跟上。
Anthropic 曾主張已獲利,前提是不理一般公認會計原則 GAAP。他說這等於宣稱一種普通數學表達不了的獲利,又不肯說是哪一種。另一則宣布一邊說快上市,一邊拿出一種強到不準你看的安全稽核工具。東西可以有用,獲利那句仍可以不真。五萬美元的 token 去做一次兩萬美元的稽核,很能看,也是破產的路。不給看,就無法下判斷。
他們說推論成本在下降,內部數字對不上。鐵路是先砸資本鋪軌、買車廂,之後營運費用低,破產也有人接手硬資產、用長周期攤提。AI 公司對不上這套算法。Ed Zitron 拿到 OpenAI 的財務,推論那一列很低,行銷那一列卻聲稱花得跟可口可樂一樣多。可口可樂有三家幾乎只服務自己的全球廣告公司,看板數得出來。OpenAI 沒有這類證據。他認為 Zitron 說得對:百元鈔被一張賣一美元,便宜的推論記成行銷。
就算照他們的話相信,推論變便宜、模型的資本支出也做完了,轉換成本仍然很低。新的 Claude 明顯比 ChatGPT 好的時候,大量使用者流過去。OpenAI 不能做完一個模型就停。他們做出下一個的那天,Anthropic 也得做出 Claude 的後繼者。他問,一兆美元的支出配上五千萬美元的營收,要怎麼轉成獲利。資產每三到五年就得換。營運費用降不下來。以他們現在的跑法,他看不到這門生意的未來。
他要人從 eff.org 看起,EFF 靠會員。書由 Macmillan 出版,三十幾本。有聲書 Amazon 不上,因為沒有 DRM,可到 craphound.com/shop。買了就是你的,轉賣、送人、出借都可以,別違反著作權法。Pluralistic 一週四到六篇,做法是 POSSE,先放自己的站再轉出去。他用開放的 Mailman,不做分析,不知道訂閱人數和開信率,網站不追蹤。授權是創用 CC 姓名標示。