〈YouTube〉-EP-把 AI 推進現場:從 Forward Deployed Engineering 到 ElevenLabs 的高速成長

在 BlackRock 的第一個月,Mati Staniszewski 要寄一封對外的信,得先讓團隊審過一輪才送得出去。換到 Palantir 之後,入職才幾週,公司就叫他飛到北海邊的 Aberdeen,坐在客戶旁邊把現場發生的事看清楚,再帶回來。這個落差他一直記著。

後來,他成了 ElevenLabs 的共同創辦人。而 Palantir 當年那套把人送到前線的做法,如今有了一個正式的名字:Forward Deployed Engineering,簡稱 FDE。

Kevin Bai 在另一場演講上,把這個職能講成一門入門課。他現在掛在 Anthropic 的 applied AI 團隊,公司裡技術上不太有職稱這種東西;再之前,他到 Rippling 從零開始建 FDE 團隊,是第一個加入的人,一年內把隊伍帶到二十五人左右;更早,他在 Palantir 待過一段時間。他一開口就說,履歷上的公司名單不是重點,因為這門課要談的是一個職能。

買方是誰,決定你需要不需要這種人

Palantir 做的是 Foundry 這套平台,讓各種規模的組織把資料集中到一處,整理出一套本體論;用 Kevin 的說法,就是把資料變成專有名詞。倉庫就只有「倉庫」那一張表,不必再讓表一、表二、表三分別代表倉庫。有了這層整理,客戶才能在上面蓋應用。

但把這段介紹講給一位產業主管聽,對方通常只會回一句:我的資料是整齊了,然後呢?只賣技術,話就講不下去。Foundry 還附帶一筆隱形稅,客戶付了平台的錢,還要把自己的人訓練到會用,才蓋得出東西。Kevin 說,這是很糟的做生意方式。

Palantir 後來的選擇是兩件事一起賣。客戶買的不是一套軟體,也不是某個工程師的工時,而是一個結果。公司把一批很會寫程式的人送到客戶那裡,先弄懂對方生意的形狀,再在平台上把解法拼出來。一家消費品公司的主管在意的是貨架位置、是銷售周轉,不是資料怎麼被組織起來。

什麼樣的生意需要這樣一支部隊?Kevin 畫了一張二乘二的表,一邊是「你賣的東西有多技術」,另一邊是「買方有多技術」。賣技術產品給技術買方,例如 GitHub 或 Datadog,對方是 CTO、CIO,使用者本來就是工程師,這種複雜度是他們工作的一部分,不需要 FDE。賣可配置、但不是拿來開發的東西,例如 Rippling、Jira、Slack,買方不技術也沒關係。真正需要 FDE 的只剩一個角落:你賣的東西非常技術,買方卻非常不技術。

Palantir 也會遇到財星五百大裡做石油天然氣的客戶。他們的工程深度不是 Google、Meta 那種等級,那些公司的工程師要什麼應用自己蓋就好,不會來買一套蓋應用的平台。而石油公司的 pipeline 不是資料管線,是碳氟化合物。你也沒辦法期待這些客戶自己養出一支能把 Foundry 用到極致的團隊。於是有兩條路:相信客戶會花力氣自己搞懂,或者借一批他們不必招募、不必管理、也不必留下來的人。Palantir 選了後者,讓自家訓練過的工程師進駐,貼著客戶的需求,先把問題解開,再把軟體蓋出來。

這套做法後來被換成數字。把財星五百大裡的上市 SaaS 公司按平均合約價值(ACV)排開,Palantir 以四百萬美元排第一,第二名 ServiceNow 一百二十萬,第三名 Workday 六十萬;再往下,沒有一家上市 SaaS 公司跨過五十萬美元。而 Palantir 的員工數只有幾千人。

沒有平台的 FDE,叫做 dev shop

FDE 聽起來像新發明,Kevin 說它其實只是把新創早期的設計夥伴關係放大到企業規模。公司還不知道自己產品是什麼、客戶也還不知道自己買了什麼的階段,雙方會貼得很近,把產品市場適配磨出來。Palantir 當年的問題是:誰說設計夥伴關係只能發生在早期?

聽起來很浪漫,但馬上會撞到一個現實問題。如果每一位 FDE 都從零開始替客戶刻一套東西,你要維護的是一堆沒人想學的專案,程式碼品質會往下走,工程師也會先跑掉,公司的損益表則會被維護成本吃光。

Kevin 把這條線畫得很清楚:如果你讓 FDE 各自從零開始蓋,你手上就沒有一個 FDE 職能,而是一家外包工作室。外包工作室沒什麼不好,那是很賺錢的生意。差別在於 FDE 永遠站在平台上蓋,不是從零寫軟體。平台上已經有一組現成的原語,FDE 的工作是把這些原語拼成客戶真正要用的應用、流程或解法。少了這一層,你只是一次又一次重新發明輪子。

所以他在演講裡要大家先問自己兩個問題,而且問的是「需不需要」,不是「想不想要」。第一,你手上是不是真的有一個非得把複雜技術賣給不技術買方的角落?沒有的話,DevRel、開發者關係或傳統的銷售驅動流程,可能才是你要的。第二,你有沒有一個平台,或者你願不願意投資做一個?他補了一句:就算平台很強,維護負擔都已經重到很難形容,更不用說沒有平台。

原語要多細,取決於你的使用者長什麼樣。有些產業可以接受應用本身已經蓋好六成,客戶只調剩下的四成;有些場景非得給到非常細緻的設定與工具不可,不能一概而論。Kevin 拿 AWS 當例子:你當然可以自己買機櫃、自己上線、自己維護,但 1990 年代之後就沒什麼人在做這件事了;AWS 給你的是 DynamoDB 這類共用原語,讓你不必再發明一次資料庫。

接下來是分流的問題。任何只屬於某一位客戶的客製,就應該只為那位客戶存在;任何可以一般化的東西,長期來說就該被一般化。Kevin 也提醒,剛開始做 FDE 的時候,平台上的原語本來就不多,這不是問題,因為 FDE 本身就是往前偵察的角色,他們會先看到下一個該被收進平台的產品或服務長什麼樣。另外,同一個專案最好有兩個以上的 FDE 一起做,免得所有資訊壓在一個人身上,他一請假就出事;如果找外部夥伴一起做,管理的邏輯就跟你管理任何一個承包商一樣。

那 2026 年的 AI 改變了什麼?Kevin 的答案不是「大家終於發現 Palantir 那套很好」。他的假設比較根本:變的是軟體業做生意的本質。AI 讓寫程式、讓客製化軟體變得容易,於是幾乎每一個平台都變得 agentic,也就幾乎每一個平台都變得可客製。當客戶根本不知道你買到的東西能幹嘛,而你把產品成敗交到客戶的實作能力上,這樣要往高階市場賣、要往橫向或縱向擴,都會很辛苦。

同一組問題,ElevenLabs 兩題都答了

ElevenLabs 有 FDE,但 Mati 把他們放在一個不太一樣的位置:FDE 屬於產品團隊,不屬於 go-to-market 團隊。他給了兩個理由。第一,你要讓 FDE 真的去解客戶的問題,把產品往那個方向拉。第二,也是最常被漏掉的一步,你要讓他們把現場學到的東西帶回產品,讓下一個客戶拿到的版本更好。

如果只做了前半段,把力氣都花在替客戶解整合問題,卻沒有把專業知識收回產品,那本質上就只是服務而已。

Mati 對這件事的描述是拿客戶當研發。一家公司的問題很少是專屬於那一家公司的。你跟第一個客戶做完,把學到的東西放進產品體驗;第二個客戶進來時起點就不同了,而前面那個客戶也跟著受益。客戶在自己領域的專業還是他們的,那是他們贏的地方;但「怎麼把那份專業變成可用的產品體驗」這件事可以被抽象出來,可以被重複使用。

他對 Palantir 的印象,有一部分也來自這種距離感。他在 BlackRock 待過,寄信要過審;到了 Palantir,入職幾週就被送到 Aberdeen,跟客戶並肩,再把理解帶回來。他形容那種文化是:每個人預設都要站到前線一點的位置,弄清楚什麼是真實的資料問題、什麼是修得動的問題,然後把它修掉。這套想法他帶進了 ElevenLabs,連「客戶」這個詞他都用得不情願,因為在他看來,多數時候雙方是在同一個問題上一起工作的夥伴。

其他被他搬過來的還有幾件事:小隊作戰、最好的想法勝出、沒有頭銜、層級很少。他在 Palantir 的時候,自己跟 C 字輩之間只隔了三、四步;ElevenLabs 現在把層級上限訂在五層,而且他希望未來是更少,不是更多。

研究跟交付,擺在同一個屋簷下

ElevenLabs 在 2022 年成立。那時每天被談論的主題還是加密貨幣和元宇宙,AI 反而沒什麼人搶,對兩個第一次創業的人來說是難得的好時機。他們推出第一版產品的時候,ChatGPT 的第一個版本還沒問世。Mati 的搭檔 Piotr 是他認識十五年的好朋友,在 Google 做過知識圖譜的文字模型,更早在學校做影像與視覺模型的研究。Mati 自己念數學,做的是最佳化模型,曾幫英國國民保健署在 COVID 期間算疫苗怎麼配送,也待過油氣產業做能源最佳化,後來在 BlackRock 與 Pantheon 把風險模型帶到客戶端。用他的話說,他一路都站在「把東西做出來」和「把它交到客戶手上」的交界。

公司從第一天就想解一道題:研究跟產品交付,能不能放在同一個屋簷下?

觸發點來自波蘭。波蘭的電影長年只用一個聲音配整部片,不管角色是男是女,全部由同一個人唸完,情緒跟語調當場消失。Mati 從小看這種片長大。2021 年他發現這個現象還在,而且跟他小時候一模一樣。他認為未來這件事一定會被改掉:每個人聽到的是原音,帶著原本的情緒與語調。

但要解配音,得先拆解配音。整條流程有三步:轉錄、翻譯、用另一種語言重新生成。當時的技術每一個零件都不夠好,聲音一聽就知道是機器人,還沒有跨過恐怖谷。開源圈有一份還不錯的成果,可是很不穩定,生成一次要等很久;NVIDIA 在語音轉文字那一塊有一些好研究;翻譯端 DeepL 和 Google 的版本還算堪用。也就是說,沒有一條現成的路可以走,他們得自己解掉其中一步,Piotr 就是那個把研究團隊組起來的人。

真正把事情推到另一個方向的,是創作者的回饋。他們拿配音的點子去問創作者,對方說配音很好,可是今天有別的問題:錄壞的那一句能不能改掉、錄之前能不能讓腳本先唸一遍聽聽看、或者畫面上乾脆不要我出聲,讓 AI 念就好。於是他們先把語言切換放到一邊,回頭解語音生成,讓人能把內容配上有品質的聲音。2022 年,他們做出第一個跨過人聲品質門檻的模型;到今天,研究範圍已經涵蓋整個音訊:文字轉語音、語音轉文字、在地化,以及讓語音代理能對話的編排層。

訪談裡有人拿本田來對照。那段故事說,本田的創辦人認為本田不是車廠,而是一個研究引擎的實驗室,甚至把研發切成獨立公司,用銷售額的一個比例去養;只要讓工程師和研究員一直實驗,東西就會一直長出來,製造端再想辦法把它變成產品。Mati 說,這跟今天的 ElevenLabs 沒有差太遠:一個專注的研究實驗室、研究工程、產品工作,再加上很多支小隊去追特定的產品問題。

研究端只做音訊,是一個刻意的選擇。他們認為自己在音訊架構上有一批世界上最好的人,而音訊這種東西一半是科學、一半是藝術,生成出來的聲音好不好聽帶有主觀成分,所以更需要聚焦。資料、算力、架構這三件事裡,他們認為還有很多問題卡在架構上,他們想專心解那一塊。

那這份聚焦能不能擋住更大的實驗室?Mati 說他們內部確實會談這件事。他的判斷是:長期來看,純研究上的領先不一定能維持同樣的差距,所以產品和生態系變得很重要。生態系在他口中包含品牌與信任,也包含一個市集:人可以把聲音放上去、平台認證、被人使用就分潤。現在市集上有兩萬個聲音,涵蓋不同口音、風格、語言、年齡與性別;有些缺口沒人補,ElevenLabs 就自己去找人來補。

產品線有三條核心,外加三個還在發展的賭注;核心底下大約六個應用,再往下可以延伸出二、三十件事。營收最大的兩塊是語音代理與創作工具。Eleven Reader 可以把文件變成用聽的內容,Eleven Productions 處理真人在迴圈裡校正與在地化。至於知識工作與 coding,他們講得很白:那不是他們的強項,也不是他們的領域,那個戰場太兇,他們不碰。Mati 想看的是未來幾年裡,大概會有三個平台承載大部分的互動,而他們要當其中專門處理溝通的那一個。

有一條線他們沒有跨過去

這個「不碰」不是空話,兩年前他們真的試過另一個方向。當時他們想做對嘴與虛擬人像:切換語言的時候把嘴型也換掉,或者讓一個虛擬人像替你把內容唸出來。但那一邊的模型品質還不夠,問題出在影片,不在音訊。就算把最好的音訊放進去,體驗也不會好。Mati 說,在那個時間點硬做下去,對公司是一次嚴重的失焦,因為音訊在那個產品裡不會變成超能力。所以他們把那個方向停住。

現在情況變了。開源社群在影片與影像這一端出現了幾組夠好的模型,讓音訊、影像、影片可以合起來交付一個結果,他們也開始回頭看這個交集,最近的例子是把一支廣告帶到國際市場。不過這次有一條線畫得很清楚:他們不從零開始做真正的文字轉影片模型。他們要站的位置是,你手上已經有一個素材,需要有人幫你改,把音訊那一層加上去,再把它帶回家。

他們判斷一個新產品要不要做的問法也很一致:把我們的音訊模型放進這個產品體驗裡,我們有沒有獨特的優勢?如果這個體驗的瓶頸不在音訊、不在語音溝通,那就不值得做。

從一份 podcast,到一通客服電話

Deutsche Telekom 是最能說明「同一組產品能長到多深」的例子。他們用 ElevenLabs 的音訊做 podcast、做 Magenta 應用裡的內容,也用來做廣告,再把廣告鋪到受眾面前。客服中心用的是語音代理,接上知識庫:有人打進來想了解產品,很快就拿到答案;要退款、要處理最近的帳單問題,也走同一條流程。更近一步,他們把代理放進網路裡:T-Mobile 的用戶打電話時,可以請一個代理加入通話,幫忙安排預約,或者把對話即時翻譯給另一頭的人聽。

這條路是從行銷開始的。兩年前,語音代理還不夠可靠,反應也不夠快,行銷是當時最明顯可以用的場景。Deutsche Telekom 先做每日 podcast,用 ElevenLabs 的聲音把世界正在發生的事唸給客戶聽。等到價值被證明,才往客服走。

往客服走,真正難的變成整合。要接上客戶用的 CRM,要接上電話系統,可能是 SIP trunking,也可能是 Twilio;要讓代理在接起電話的那一刻,照著客戶自己的邏輯走。ElevenLabs 的 FDE 會跟對方的團隊一起在德國波昂工作,把整合做完,確定代理照流程走、有該有的知識。Mati 說,語音代理最硬的一段其實是上線測試:先用模擬通話驗證,再縮小規模試跑,然後才部署、放大。部署完也不是結束,還要持續評估、監看、修正行為。

他們把這件事的順序講得很清楚:不要只做概念驗證,要把效益驗出來,才談擴大合作。同一套邏輯也用在自家網站上。訪客可以像以前一樣填下拉式表單,也可以直接用語音跟代理講。Mati 說選語音的人不只手續比較快,留下來的資訊也更多:他們會講出問題、講出更多使用場景,公司也更容易把人接到對的地方。這個 AI SDR 由總部開發,交給各地團隊調整當地的語感。

目前跑最快的產業是金融科技,Revolut、Klarna、PagBank、Customers Bank 都在名單上;再來是醫療與電信;零售電商是今年才開始動起來。

組織這一端,ElevenLabs 的做法是很多支小隊,通常不到十個人,各自追一個產品問題。非技術團隊裡也放工程師,人才、營運、法務都有,一部分原因是把重複的工作自動化,另一部分是拉高整隊人用 AI 的水準。法務這種一定要中央化的功能還是在中央,另外還有一支團隊專門把「怎麼賣 ElevenLabs」整理成別人可以照著做的教材,畢竟產品線太多,客戶很容易被搞混。營收工程是他們花最多力氣的地方之一:對話被記錄、被教練、被整理,業務不必再手動填欄位。

透明是另一個刻意的選擇。公司裡幾乎所有文件都對所有人開放,這件事讓 AI 有東西可以彙整:現在每個團隊在幹嘛、哪些事有效、哪些沒效、缺口在哪裡,管理層看得到訊號,就能提早介入,而不是等人來報告。Mati 在乎的是資訊的顆粒度:你要聽到的是最靠近問題的那個人怎麼說,而不是經過主管轉述的版本。多數人的直接下屬接近十個,層級上限五層。還有一個他期待的方向:如果 AI 真的能改變組織的運作方式,他希望未來層級是更少,而不是更多。

這中間也有人來敲門。具體的收購提案有三、四次,最近一次在去年六月。他們沒賣。Mati 的說法是,這大概是他們最好的想法配上最好的時機,繼續自己蓋下去比較合理;Piotr 也一樣,只是他不喜歡露面。

讓機器聽起來不像機器

ElevenLabs 最初想做一個「完美」的語音代理:不該有的停頓不要有,聽起來要像人。結果是不像。後來他們加了那些該有的東西,語助詞、猶豫、停頓,跟代理講話的體驗突然跳了一個檔次,大家開始覺得可以接受。Mati 說,不完美本身就是關鍵。

這件事放在語音上會更有感。文字要靠讀者自己想、自己詮釋,但文字沒有情緒、沒有語調、沒有那些講不好的地方,也沒有停頓。語音是身分的一部分:你聽到一個人的聲音,就知道那是誰。

所以語音模型的難,有一半來自這件事。文字模型的資料再多,維度還是相對單純;語音不一樣,每一個聲音都不同,而且對每個人聽起來都不一樣。光是文字轉語音的評測就非常難做,因為不同模型生成的是不同的聲音,本身就沒辦法直接比較。

另外一條線是找回聲音。有人因為 ALS 或喉癌失去聲音,ElevenLabs 陪他們把聲音重建起來,這樣的人到現在超過一萬個。有一位音樂家失去聲音之後想繼續演出,他們重建了他的聲音,他與老團員開了一場演唱會,現在正在巡迴。一位女議員去年失去聲音,仍然想繼續鼓舞別人,第一次帶著 AI 聲音進了議場。還有一位叫 Tim Green 的人,曾是暢銷作家、也是頂尖的 NFL 球員,後來得了 ALS,他選擇開一個 podcast,今年拿到一座 Emmy,用的就是 ElevenLabs 替他重建的聲音。消息出去之後,從幾百人到幾千人寫信來問,怎麼把自己的聲音拿回來。合作對象則有大約八百個組織,分布在無障礙、教育、文化這些領域。

Mati 對 AI 的立場講得很直:這件事要為人工作,要放大人的可能,而不是取代人。同時他也知道語音可以偽造,所以防護與安全是同一條線上的事。

他們的北極星是《銀河便車指南》裡的翻譯魚:塞在耳邊,就能聽懂身邊所有語言。那張投影片在很早的簡報裡就出現過。但他們沒有打算自己造出那條魚;他們想讓每個人在自己手上的裝置、既有的工作與生活裡就有這條魚。

順著這個邏輯,Mati 把下一個瓶頸指向人跟智慧溝通的方式,裝置的重要性反而排到後面。十二個月之後,語音一定會是其中一個主要方式,而且它會懂你:把 IQ 和 EQ 接在一起,知道你現在的感覺,跟著調整,懂得停下來想一下,再重新接回對話。過去幾十年是我們在學技術的語言,鍵盤、螢幕、程式語言,都是為了控制它才學的。現在可以把方向翻回來,用人最原始的方式講話,讓技術來配合人。他拿電話與電報比喻:電報要學它的語言才會用,電話拿起來就講,講的就是你本來就會的事。

三個問題

把兩邊放在一起看,Kevin 的問題其實就是 ElevenLabs 每天的日常:你有沒有一個非得把複雜技術賣給不技術買方的場景?你有沒有一個平台,讓前線的人不必從零開始?再加上 Mati 補的第三題:現場學到的東西,有沒有回到產品裡?第三題沒答,前面兩題答得再漂亮,做的還是服務。

AI 讓「蓋東西」變便宜之後,會蓋的人變多了,但知道該蓋什麼、並且把學到的東西收回產品,這件事沒有跟著變便宜。平台的價值是把一次解過的問題變成下一次的原語;FDE 的價值是走進客戶的場景,把沒人寫得出來的規格帶回來。兩者缺一,產品就會停在展示。

Kevin 留給聽眾的定義還是最短的那一句:FDE 就是一個面向客戶的軟體工程師。你會願意把他當一般的軟體工程師招進來,同時也敢把他放到客戶面前。剩下的邊做邊學,因為這行是手藝。