TODAY’S MENU
🗞️|Sam Altman 恢復 CEO 職位
🚀|Stability AI 推出影片生成模型
🚀|Microsoft 推出 SLMs:Orca 2
📊|2023 LLMs 上下文長度排名
🔬|壓力測試:Claude 2.1 200K
🔍|深度採訪:Y Combinator 的 AI 創業家怎麼看待 AGI?
🗞️
NEWS
閱讀時間:4 分鐘
昨天下午 OpenAI 宣佈 Sam Altman 「原則上」恢復 OpenAI CEO 職位,並重組 OpenAI 董事會,結束了五天來的鬧劇,新的董事會初始成員,包括:
Salesforce 前 CEO Bret Taylor(主席)
前美國財政部長、前哈佛校長 Larry Summers
Quora CEO Adam D'Angelo(原來董事會成員)
這個 3 人初始董事會將會審查及任命其他董事會成員,擴大成最多 9 人的董事會,最大股東 Microsoft 和 CEO Sam Altman 可能也會成為董事會成員。
🚀
LAUNCH
閱讀時間:2 分鐘
製作 AI 生成圖片模型 Stable Diffusion 的 Stability AI,在陸續推出圖片、聲音模型後,也推出了影片生成模型:Stable Video Diffusion(Huggingface|論文)
這次的模型能夠適用於眾多領域的實際應用,模型性能方面也追平甚至領先其他競爭對手。(參考下圖)

閱讀時間:5 分鐘
Microsoft 在前幾天推出了他們第二代的小型語言模型(SLMs)Orca 2,這是一個比一般模型參數更少,卻能達到與大型語言模型類似水準的模型。
根據測試高級推理能力的複雜任務評估,Orca 2 明顯超越了類似參數大小的模型,甚至比大 5-10 倍的模型有更好的性能。(參考下圖)

🤝
PARTNERSHIP
合作夥伴:凱茜女孩 Cathy Girl
身為忙碌、需要吸收大量專業資訊的科技業上班族&理科生,能把英文表達學好的時間真的很少。當過台積電工程師&科技新創 PM 的 Cathy 理解大家的辛苦。
為了解決這個問題,Cathy 專為科技業上班族&理科生設計了一套「針對工作、產業實際應用場景」、「觀察+公式拆解+套用」 的學習法,幫助大家馬上上手英文。
歡迎免費訂閱《七點半學英文電子報》, Cathy 每週都會寄給你用心準備的英文學習內容,幫助你用日積月累的方式培養英文表達力!
參考過往電子報內容,感受 Cathy 的教學方法:
👨🏻🏫 AI 流行術語解釋
AGI (Artificial General Intelligence)
通用人工智慧(Artificial General Intelligence,AGI)指的是一種具有廣泛學習和理解能力的 AI 系統,其智慧與人類相當或超越。不同於目前常見的專門化AI(如用於特定任務的機器學習模型),AGI 能夠在各種不同領域內進行學習、推理、解決問題,並能夠適應新環境。
📊
CHART
排行榜:2023 大型語言模型上下文長度排名
閱讀時間:1 分鐘

除了由 MIT、Meta AI 研究人員最新發表的 StreamingLLM (之後再來介紹)能夠處理無限長度的文本外,
目前能夠輸入最長上下文的普通大型語言模型,就是昨天 Anthropic 推出的Claude 2.1 模型,200K 的上下文長度,大約能處理 300 頁(作者實測)的資料。
緊接著是 GPT-4 的 128K,大約能處理 192 頁的資料,那究竟這些長上下文模型的表現如何,今、明兩天的🔬RESEARCH 會來分別介紹。
🔬
RESEARCH
閱讀時間:4 分鐘

Salesforce 前策略成長總監 Greg Kamradt 測試了 Anthropic 最近推出 Claude 2.1 模型的 200K 上下文表現。
他使用 Paul Graham 的文章作為背景資料,並在文件中不同地方插入隨機的事實陳述,例如:「在舊金山最棒的活動是在晴朗的日子裡,在 Dolores 公園享用三明治。」然後要求 Claude 2.1 根據所提供的文字背景回答問題。
他總共在不同位置(從頂部到底部)和不同文字長度(從 1K 到 200K token)進行了 35 次的測試,結果發現(參考上圖):
當文字長達 200K token 時,Claude 2.1 模型能在特定位置記住某些資訊。
文件「開頭」和「結尾」的資訊幾乎都能被完全記住。
但是記憶效果「開頭」比「結尾」稍差,與 GPT-4 的測試相似。
隨著文字量增加到 90K token 以上,文件底部資訊的記憶能力會開始明顯下降。
就算在較短的文字長度下,模型的表現也不是絕對穩定。
🔍
INSIGHT
觀看時間:6 分鐘
昨天只看到 Ilya Sutskever 一個人對 AGI 的看法,今天來看全世界最知名的新創加速器 Y Combinator(YC)採訪了 33 位他們的 AI 創業家,看看他們是如何看待 AGI。
YC 這次採訪 AI 新創的創辦人,最主要的問題就是:「根據你對目前 AI 的認識,AGI 會在什麼時候出現?」不同創辦人都有不同的看法。
我自己最認同的應該是 AGI 的出現不會是一個時間點,而是一段連續的時間段,也或許廣義來看現在的 GPT-4 已經是 AGI 了,不知道你怎麼想?




