TODAY’S MENU
🗞️|OpenAI 內部開發出 AGI?
🚀|Infection AI 推出 Inflection-2
🚀|ElevenLabs 推出語音轉換工具
🔬|壓力測試:GPT-4-128K
📊|Claude-2.1-200K vs. GPT-4-128K
🔍|深度影片:Andrej Karpathy 1 小時講座「LLMs 簡介」
🗞️
NEWS
閱讀時間:6 分鐘
雖然 Sam Altman 已經回到 OpenAI,但陸續有更多的內幕被爆出。根據 Reuters 的報導,Sam Altman 是因為一封 OpenAI 內部研究人員發送給董事會的信件才被開除的。
這封信警告董事會,他們發現了一種可能對人類造成威脅的 AI 技術 Q*,這可能是通用人工智慧(AGI)的重大突破。
Reddit 上也已經開始出現猜測、爆料: Q* 可能已經具備自主學習和自我修正的能力,可以自主決策,甚至已經擁有輕微自我意識。
Sam Altman 上週還在舊金山舉行的 APEC 高峰會上說,他相信 AGI 即將迎來重大進展,過了一天他就被開除了。😂
🚀
LAUNCH
閱讀時間:3 分鐘
打造「個人陪伴 AI:Pi.ai」的新創 Infection AI 昨天推出了新一代的模型 Inflection-2,認為是世界上計算能力最好,綜合能力第二強的大型語言模型。
Inflection-2 在各種性能測試中,與 LLaMA-2、Grok-1、PaLM-2、Claude-2 和 GPT-4 等模型進行比較。
結果發現,Inflection-2 是除了 GPT-4 以外表現最好的模型,甚至在推理能力方面優於 Claude 2。

閱讀時間:5 分鐘
專門開發 AI 語音產品的 ElevenLabs 推出了最新的語音轉換工具(Speech to Speech,STS),可以保留你的語調、口氣、發音,轉換成另一種聲音。
雖然文字轉語音(Text to Speech,TTS)已經有加入語調,但如果想要調整 AI 輸出的語調,就能透過 STS 作為示範,讓 AI 按照你的語調說話。
可以參考這部影片,進到 ElevenLabs 網站自己嘗試看看!
🤝
PARTNERSHIP
合作夥伴:beehiiv
beehiiv 是一個電子報平台,由知名電子報 Morning Brew 早期員工創立,他們清楚知道如何將電子報從零擴展到數百萬粉絲。
beehiiv 內建了發送電子報所有必備的工具,包含訂閱數成長、電子報客製化和數據分析工具。後續也不斷推出專為電子報經營設計的功能,包含:內建表單、反饋投票、推薦計畫、SEO 網頁優化…等。
👨🏻🏫 AI 流行術語解釋
LLMs(Large Language Models)
大型語言模型(Large Language Models,LLMs)是一種超大型的深度學習模型,核心功能在於理解和生成人類語言。LLMs 會接受大量的文字資料訓練,包括書籍、網頁內容、新聞文章等,從中學習語言的結構、含義和使用語境,從而能夠進行各種語言處理任務,例如回答問題、寫作、翻譯等。
🔬
RESEARCH
閱讀時間:4 分鐘

昨天看完 Greg Kamradt 測試了 Anthropic 最近推出 Claude 2.1 模型的 200K 上下文表現,今天來看他先前測試 GPT-4 128K 的結果(還沒看過的讀者可以回去看昨天的電子報)
他使用完全相同的測試方法,一樣使用 Paul Graham 的文章作為背景資料,並在文件中不同地方插入隨機的事實陳述,然後要求 GPT-4 回答問題。
他將不同位置(從頂部到底部)和不同文字長度(從 1K 到 128K token)各分為 15 等份,結果發現(參考上圖):
當文本超過 73K token 時,GPT-4 的記憶特定資訊的能力就會開始下降。
需要回憶的資訊落在文本長度的 7% 至 50% 之間時,記憶表現較差。
若資訊落在文本開頭,無論文本有多長,GPT-4 都能夠準確記憶。
📊
CHART
閱讀時間:3 分鐘

經過昨天與今天 🔬RESEARCH 介紹測試 Claude-2.1-200K 和 GPT-4-128K 的表現,這邊來做一個總結,究竟要如何使用、哪個模型表現比較好?
2 種模型的「回憶特定資訊能力」都會隨著「文本長度增加」而下降,但都是文本「前半部分」會比較容易被忘記。
2 種模型測試中,文本「開頭」及「結尾」不管文本長度多長都不會被忘記。
Claude-2.1-200K 長度超過 24K 時表現就會開始下滑,但 GPT-4-128K 要到 73K 後表現才會開始下滑。
如果是超長文章,還是建議分割後再依序輸入,不然「前半部分」容易被忘記,GPT-4 在處理長文(73K 以內)的表現還是比較好。
🔍
INSIGHT
觀看時間:60 分鐘
這部影片是 Andrej Karpathy 昨天剛上傳的影片,用短短 1 個小時的時間,就幫一般人科普「大型語言模型(LLMs)」,真的是超級乾貨!
如果你不知道 Andrej Karpathy 是誰?我來簡單介紹一下:
Standford 博士,OpenAI 創始員工,後來到 Tesla 擔任 AI 部門總監,領導 Tesla 自動駕駛視覺團隊,就是一個 AI 領域不能不關注的人,YouTube 分享的都是超級乾貨的 AI、深度學習技術教學影片!
這部影片分為三個部分,分為:LLMs 的運作模式介紹、LLMs 應用及工具、LLMs 安全問題,他還把簡報公開給大家,超級佛心 👉 Slide
如果你除了使用 AI,還想更了解 LLMs,這部影片推薦給大家,等等要來開始認真上課了!




