TODAY’S MENU
🗞️|OpenAI 狗血劇情時間軸
🗞️|Meta 解散 Responsible AI 團隊
🚀|Deerpark AI 推出佛經 GPT
📊|排行榜:目前 GPTs 使用量排名
🔬|重新思考注意力機制
🔍|深度文章:OpenAI 的分歧與微軟的收穫(Stratechery)
🗞️
NEWS
閱讀時間:6 分鐘
全世界最狗血的劇情持續推進,昨天 Sam Altman 以「訪客」的名義回到 OpenAI 總部談判,結果仍舊無法重返 OpenAI CEO 的職位。
也同時宣布 Twitch 的共同創辦人 Emmett Shear 將成為臨時 CEO,Sam Altman 聽說知道無法恢復職位時,十分震驚。
但過沒多久,Microsoft CEO Satya Nadella 就宣佈 Sam Altman 和 Greg Brockman 將加入微軟,其他 OpenAI 的員工也歡迎加入。
最扯的來了,這次參與罷免 Sam Altman 的 OpenAI 首席科學家 Ilya Sutskever 昨天晚上後悔這次的行動:
同時,OpenAI 內部流出了員工將集體辭職的申明,除非董事會辭職並重新任命 Sam Altman,目前 OpenAI 770 名員工已經超過 700 名簽署。(包括 Ilya Sutskever 😅)

目前根據 The Verge 的報導,Sam Altman 加入 Microsoft 可能還有變數,Sam Altman 和 Greg Brockman 都對重返 OpenAI 保持開放態度。
剛剛 Microsoft CEO Satya Nadella 接受了 Bloomberg 的訪問提到,目前無法確定 Sam Altman 是會回到 OpenAI 還是加入 Microsoft,但如果 Sam 和他的團隊決定加盟 Microsoft,他們已具備所有必要的智慧財產和法律資源來支持這一合作。
閱讀時間:4 分鐘
根據 The Information 的報導,Meta 已經解散了專門負責「AI 安全發展」的 Responsible AI 團隊,大部分成員都被分配到開發生成式 AI 產品的團隊。
感覺如果其他 AI 公司要做出一些低調的行動,這週就是最好的時機,全世界的注意力都在 OpenAI 跟 Sam Altman 身上。(我想讀者也不會讀到這篇吧😂)
🚀
LAUNCH
閱讀時間:1 分鐘

昨天在網路上看到了一個超有趣的 AI 應用:佛經 GPT,可以用 GPT-4 輔助閱讀 14,000 卷佛典。
Deerpark AI 用 AI 將文言文的佛經翻譯成了白話文的解釋,還能用 GPT-4 來詢問不懂的地方,剛好解決我之前想看佛經,但讀不懂的窘境。
👨🏻🏫 AI 流行術語解釋
GPT
GPT 全名:Generative Pre-trained Transformers,屬於 AI 模型的一種。透過「Transformers 架構」來理解及產生人類的語言,這種技術是 AI 發展中的一項重大進展,被廣泛應用在眾多先進的 AI 模型與應用中,包括了 GPT-4 和 ChatGPT。
📊
CHART
閱讀時間:3 分鐘

GPTs 已經推出 2 個禮拜,不知道大家平常都使用什麼 GPTs?
這張圖是透過 SimilarWeb 提供的網站訪問資料,來分析目前 GPTs 的使用狀況,使用量前五名分別為:DALL-E、Data analysis、ChatGPT Class、Creartive writing coach、Hot mods。
大家可以按照排行榜,來找找看有沒有適合自己使用的 GPTs。
🔬
RESEARCH
論文長度:7 頁
這篇論文提出使用簡單的前饋神經網路(Feed-forward Neural Network)來模擬 Transformer 模型中的注意力機制(Attention Mechanism),並證明了這種方法可以達到與原始 Transformer 模型相近的翻譯品質。
研究人員模擬 Transformer 中的注意力機制,並使用知識蒸餾(Knowledge Distillation)的方式來訓練這些前饋神經網路。
結果發現,前饋神經網路可以成功學習自注意力的行為,但在學習更複雜的交叉注意力上表現較差。
使用簡單的前饋神經網路可以有效模擬 Transformer 的注意力機制,甚至在某些程度上可以完全替換注意力機制,而且翻譯品質不會受到太大影響。
(這次的專有名詞有些多,我找了幾篇介紹比較清楚的文章給大家參考,如果有興趣的可以點擊連結進入閱讀!)
🔍
INSIGHT
閱讀時間:17 分鐘
最近 Ben Thompson 的文章都是 AI 相關的,所以都能分享給大家,一起看看這位世界知名的科技商業分析師的觀點。
Ben Thompson 也說這週是他職業生涯中最不尋常的周末,原因就是 OpenAI 董事會開除了自己的 CEO Sam Altman(懶人包可以看第一篇 News 的時間軸)
文章前情提要了 OpenAI 這個非營利組織、又能募資的奇怪組織架構,讓大家可以大概了解 Sam Altman 為什麼那麼容易被拔掉。
後面也提到了 Microsoft 在這次混亂中的影響以及 Sam Altman 可能存在的問題疑慮。
現在很明顯的是,Microsoft 和 Sam Altman 現在主導著 AI 領域,在短期至中期內,AI 技術更多是一種進步性創新而非革命性創新,AI 技術更可能受益大型公司,而不是新創公司。



