TODAY’S MENU

  • 🗞️|OpenAI 內部開發出 AGI?

  • 🚀|Infection AI 推出 Inflection-2

  • 🚀|ElevenLabs 推出語音轉換工具

  • 🔬|壓力測試:GPT-4-128K

  • 📊|Claude-2.1-200K vs. GPT-4-128K

  • 🔍|深度影片:Andrej Karpathy 1 小時講座「LLMs 簡介」

🗞️

NEWS

閱讀時間:6 分鐘

雖然 Sam Altman 已經回到 OpenAI,但陸續有更多的內幕被爆出。根據 Reuters 的報導,Sam Altman 是因為一封 OpenAI 內部研究人員發送給董事會的信件才被開除的。

這封信警告董事會,他們發現了一種可能對人類造成威脅的 AI 技術 Q*,這可能是通用人工智慧(AGI)的重大突破

Reddit 上也已經開始出現猜測、爆料: Q* 可能已經具備自主學習自我修正的能力,可以自主決策,甚至已經擁有輕微自我意識

Sam Altman 上週還在舊金山舉行的 APEC 高峰會上說,他相信 AGI 即將迎來重大進展,過了一天他就被開除了。😂

🚀

LAUNCH

閱讀時間:3 分鐘

打造「個人陪伴 AI:Pi.ai的新創 Infection AI 昨天推出了新一代的模型 Inflection-2,認為是世界上計算能力最好綜合能力第二強的大型語言模型

Inflection-2 在各種性能測試中,與 LLaMA-2、Grok-1、PaLM-2、Claude-2 GPT-4 等模型進行比較。

結果發現,Inflection-2 是除了 GPT-4 以外表現最好的模型,甚至在推理能力方面優於 Claude 2

閱讀時間:5 分鐘

專門開發 AI 語音產品 ElevenLabs 推出了最新的語音轉換工具(Speech to Speech,STS),可以保留你的語調、口氣、發音轉換成另一種聲音

雖然文字轉語音(Text to Speech,TTS)已經有加入語調,但如果想要調整 AI 輸出的語調,就能透過 STS 作為示範,讓 AI 按照你的語調說話。

可以參考這部影片,進到 ElevenLabs 網站自己嘗試看看!

🤝

PARTNERSHIP

合作夥伴:beehiiv

beehiiv 是一個電子報平台,由知名電子報 Morning Brew 早期員工創立,他們清楚知道如何將電子報從零擴展到數百萬粉絲

beehiiv 內建了發送電子報所有必備的工具,包含訂閱數成長電子報客製化數據分析工具。後續也不斷推出專為電子報經營設計的功能,包含:內建表單、反饋投票、推薦計畫、SEO 網頁優化…等。

beehiiv 提供免費方案,如果你也想要開始經營電子報,現在就是最好的時機。

👨🏻‍🏫 AI 流行術語解釋
LLMs(Large Language Models)

大型語言模型(Large Language Models,LLMs)是一種超大型的深度學習模型,核心功能在於理解和生成人類語言。LLMs 會接受大量的文字資料訓練,包括書籍、網頁內容、新聞文章等,從中學習語言的結構、含義和使用語境,從而能夠進行各種語言處理任務,例如回答問題、寫作、翻譯等。

🔬

RESEARCH

閱讀時間:4 分鐘

昨天看完 Greg Kamradt 測試了 Anthropic 最近推出 Claude 2.1 模型 200K 上下文表現,今天來看他先前測試 GPT-4 128K 的結果(還沒看過的讀者可以回去看昨天的電子報

他使用完全相同的測試方法,一樣使用 Paul Graham 的文章作為背景資料,並在文件中不同地方插入隨機的事實陳述,然後要求 GPT-4 回答問題

他將不同位置(從頂部到底部)不同文字長度(從 1K 到 128K token)各分為 15 等份,結果發現(參考上圖):

  • 當文本超過 73K token 時,GPT-4 記憶特定資訊的能力就會開始下降。

  • 需要回憶的資訊落在文本長度的 7% 50% 之間時,記憶表現較差

  • 若資訊落在文本開頭,無論文本有多長,GPT-4 都能夠準確記憶

📊

CHART

閱讀時間:3 分鐘

經過昨天今天 🔬RESEARCH 介紹測試 Claude-2.1-200K GPT-4-128K 的表現,這邊來做一個總結,究竟要如何使用哪個模型表現比較好

  • 2 種模型的「回憶特定資訊能力」都會隨著「文本長度增加」而下降,但都是文本「前半部分」會比較容易被忘記。

  • 2 種模型測試中,文本「開頭」「結尾」不管文本長度多長都不會被忘記

  • Claude-2.1-200K 長度超過 24K 時表現就會開始下滑,但 GPT-4-128K 要到 73K 後表現才會開始下滑

如果是超長文章,還是建議分割後再依序輸入,不然「前半部分」容易被忘記GPT-4處理長文(73K 以內)的表現還是比較好。

🔍

INSIGHT

觀看時間:60 分鐘

這部影片是 Andrej Karpathy 昨天剛上傳的影片,用短短 1 個小時的時間,就幫一般人科普「大型語言模型(LLMs)」,真的是超級乾貨!

如果你不知道 Andrej Karpathy 是誰?我來簡單介紹一下:

Standford 博士OpenAI 創始員工,後來到 Tesla 擔任 AI 部門總監,領導 Tesla 自動駕駛視覺團隊,就是一個 AI 領域不能不關注的人,YouTube 分享的都是超級乾貨的 AI、深度學習技術教學影片

這部影片分為三個部分,分為:LLMs 的運作模式介紹LLMs 應用及工具LLMs 安全問題,他還把簡報公開給大家,超級佛心 👉 Slide

如果你除了使用 AI,還想更了解 LLMs,這部影片推薦給大家,等等要來開始認真上課了!