TODAY’S MENU

  • 🗞️|OpenAI 狗血劇情時間軸

  • 🗞️|Meta 解散 Responsible AI 團隊

  • 🚀|Deerpark AI 推出佛經 GPT

  • 📊|排行榜:目前 GPTs 使用量排名

  • 🔬|重新思考注意力機制

  • 🔍|深度文章:OpenAI 的分歧與微軟的收穫(Stratechery)

🗞️

NEWS

閱讀時間:6 分鐘

全世界最狗血的劇情持續推進,昨天 Sam Altman 「訪客」的名義回到 OpenAI 總部談判,結果仍舊無法重返 OpenAI CEO 的職位

也同時宣布 Twitch 的共同創辦人 Emmett Shear 將成為臨時 CEO,Sam Altman 聽說知道無法恢復職位時,十分震驚。

但過沒多久,Microsoft CEO Satya Nadella 就宣佈 Sam AltmanGreg Brockman 將加入微軟,其他 OpenAI 的員工也歡迎加入。

最扯的來了,這次參與罷免 Sam Altman OpenAI 首席科學家 Ilya Sutskever 昨天晚上後悔這次的行動:

同時,OpenAI 內部流出了員工將集體辭職的申明,除非董事會辭職重新任命 Sam Altman,目前 OpenAI 770 名員工已經超過 700 名簽署。(包括 Ilya Sutskever 😅

目前根據 The Verge 的報導Sam Altman 加入 Microsoft 可能還有變數,Sam Altman 和 Greg Brockman 都對重返 OpenAI 保持開放態度

剛剛 Microsoft CEO Satya Nadella 接受了 Bloomberg 的訪問提到,目前無法確定 Sam Altman 是會回到 OpenAI 還是加入 Microsoft,但如果 Sam 和他的團隊決定加盟 Microsoft,他們已具備所有必要的智慧財產法律資源來支持這一合作。

閱讀時間:4 分鐘

根據 The Information 的報導Meta 已經解散了專門負責「AI 安全發展」Responsible AI 團隊,大部分成員都被分配到開發生成式 AI 產品的團隊。

感覺如果其他 AI 公司要做出一些低調的行動這週就是最好的時機,全世界的注意力都在 OpenAI 跟 Sam Altman 身上。(我想讀者也不會讀到這篇吧😂

🚀

LAUNCH

閱讀時間:1 分鐘

昨天在網路上看到了一個超有趣的 AI 應用:佛經 GPT,可以用 GPT-4 輔助閱讀 14,000 卷佛典

Deerpark AI 用 AI 將文言文的佛經翻譯成了白話文的解釋,還能用 GPT-4 來詢問不懂的地方,剛好解決我之前想看佛經,但讀不懂的窘境。

👨🏻‍🏫 AI 流行術語解釋

GPT

GPT 全名:Generative Pre-trained Transformers,屬於 AI 模型的一種。透過「Transformers 架構」來理解及產生人類的語言,這種技術是 AI 發展中的一項重大進展,被廣泛應用在眾多先進的 AI 模型與應用中,包括了 GPT-4 和 ChatGPT。

📊

CHART

閱讀時間:3 分鐘

GPTs 已經推出 2 個禮拜,不知道大家平常都使用什麼 GPTs?

這張圖是透過 SimilarWeb 提供的網站訪問資料,來分析目前 GPTs 的使用狀況,使用量前五名分別為:DALL-E、Data analysis、ChatGPT Class、Creartive writing coach、Hot mods

大家可以按照排行榜,來找找看有沒有適合自己使用的 GPTs。

🔬

RESEARCH

論文長度:7 頁

這篇論文提出使用簡單的前饋神經網路(Feed-forward Neural Network)來模擬 Transformer 模型中的注意力機制(Attention Mechanism),並證明了這種方法可以達到與原始 Transformer 模型相近的翻譯品質。

研究人員模擬 Transformer 中的注意力機制,並使用知識蒸餾(Knowledge Distillation)的方式來訓練這些前饋神經網路。

結果發現,前饋神經網路可以成功學習自注意力的行為,但在學習更複雜的交叉注意力上表現較差

使用簡單的前饋神經網路可以有效模擬 Transformer 的注意力機制,甚至在某些程度上可以完全替換注意力機制,而且翻譯品質不會受到太大影響

(這次的專有名詞有些多,我找了幾篇介紹比較清楚的文章給大家參考,如果有興趣的可以點擊連結進入閱讀!)

🔍

INSIGHT

閱讀時間:17 分鐘

最近 Ben Thompson 的文章都是 AI 相關的,所以都能分享給大家,一起看看這位世界知名的科技商業分析師的觀點。

Ben Thompson 也說這週是他職業生涯中最不尋常的周末,原因就是 OpenAI 董事會開除了自己的 CEO Sam Altman(懶人包可以看第一篇 News 的時間軸

文章前情提要了 OpenAI 這個非營利組織又能募資奇怪組織架構,讓大家可以大概了解 Sam Altman 為什麼那麼容易被拔掉。

後面也提到了 Microsoft 在這次混亂中的影響以及 Sam Altman 可能存在的問題疑慮

現在很明顯的是,MicrosoftSam Altman 現在主導著 AI 領域,在短期至中期內,AI 技術更多是一種進步性創新而非革命性創新,AI 技術更可能受益大型公司,而不是新創公司