你知道嗎?

2004 年 1 月 4 日,NASA 火星探測漫遊者計劃中的「精神號」火星探測車在火星表面成功著陸。

TODAY’S MENU

  • 🗞️|美國大法官:AI 改變法院

  • 🚀|Samsung 自家 AI 將登場

  • 📊|2023 AI 影片生成時間線

  • 📚|Prompt 策略 3-3:逐段總結

  • 🔬|新 AI 架構:Mamba

  • 🔍|深度文章:狀態空間 LLMs,我們還需要注意力機制嗎?

🗞️
NEWS

閱讀時間:3 分鐘

美國最高法院首席大法官 John Roberts 在最近的年終報告中,談到了 AI 在法律領域中的潛力與風險

他認為 AI 在未來法律世界極具潛力,AI 有助於提高窮困訴訟人的司法途徑,革新法律研究方式,並協助法院更快速、低成本地解決案件。

AI 的普及將無論是律師還是普通民眾,都更容易獲得重要的法律訊息。但同樣的,它也存在「侵犯隱私權」和讓「法律失去人性」的風險。

他預測人類法官還會存在一段時間,法律判斷常涉及灰色地帶,還是需人類來判斷。

🚀
LAUNCH

閱讀時間:5 分鐘

兩個月前 Samsung 就釋出即將在 2024 年推出自家的 AI:Galaxy AI,昨天他們正式公佈了官方預告片Galaxy AI 將會在 1 月 18 日凌晨 2 點Galaxy Unpacked 發佈會登場。

Galaxy AI 的一大亮點就是在語音通話中整合了「AI 即時翻譯功能」,能夠在用戶進行語音通話時提供即時的語音和文字翻譯

Samsung 的目標是通過 Galaxy AI 改變大家對手機的看法,讓它不僅僅是一個通訊工具,而是一個能夠促進連接、生產力、創造力的全面智慧平台

🤝

PARTNERSHIP

beehiiv:專為經營電子報打造的平台

合作夥伴:beehiiv

beehiiv 是一個電子報平台創辦人 Tyler Denk 是知名電子報 Morning Brew 的第一個員工從 2021 年成立到現在,已經募集了 1,670 萬美元的資金。

beehiiv 內建了發送電子報所有必備的工具,包含訂閱數成長電子報客製化數據分析工具。後續也不斷推出專為電子報經營設計的功能,包含:內建表單反饋投票推薦計畫SEO 網頁優化…等。

beehiiv 也提供免費方案,如果你也想要開始經營電子報,現在就是最好的時機我在 Facebook 有寫一篇關於 beehiiv 的長文,大家可以參考看看!

🤝 商業合作 PARTNERSHIP
與 11,000+ 位知識工作者分享您的產品與服務

《Brief AI 電子報》是繁體中文圈最具影響力且成長速度最快的「AI 電子報」。讀者多為企業家、經理人、投資人、高階主管、工程師、分析師、創作者…等專業知識工作者。提供 PARTNERSHIP 欄位協助企業品牌推廣產品、服務、活動、工作職缺...等等 👉 了解更多

📊
CHART

閱讀時間:4 分鐘

如果說 2022 年「AI 圖片生成」的一年,2023 年就是「AI 影片生成」爆發的一年。

去年一月時,還沒有太多公開的「文字轉影片模型」。但現在, AI 影片生成的產品已經達數十種,用戶超過數百萬人

這張圖為去年所有「AI 影片生成產品」的時間軸,可以讓讀者輕鬆回顧 2023 年「AI 影片生成」的發展。

📚
TUTORIAL

閱讀時間:2 分鐘

策略 3-3:長篇文章逐段總結

除了昨天談到的長對話,需要先行摘要外。我們也常常會遇到長篇文章無法一次完全處理的情況。

這也是因為 AI 模型上下文的長度有限,所以無法一次處理整篇長文。

如果要處理一整本書長篇的文件,可以採用「分段逐步總結」的方式,對每一章節進行總結,再將每一個總結連接起來,形成更高層次的總結

這就是「策略 3:分解複雜任務」的三項應用方式,這邊再幫大家簡單複習概念:

  1. 遇到各種複雜任務:先分類處理,再逐一處理任務。

  2. 遇到長時間對話:適時總結前面對話,避免模型遺忘。

  3. 遇到長篇文章:分段逐步總結。

🔬
RESEARCH

論文長度:37 頁

我們都知道現在目前主流的 AI 模型應用、演算法,都是源自 2017 年 Google 8 位研究員發表《Attention Is All You Need》中的 Transformer 架構

但上個月 Carnegie Mellon University Albert Gu Together.AI 首席科學家 Tri Dao,提出了一個新架構 Mamba,有機會改變 6 年來 Transformer 的主導地位

雖然 Transformer 很強大,可以幫助模型專注在序列中最重要的部分,但它在處理「很長的數據序列」時會遇到效率問題

為了解決這個問題,他們改良了狀態空間模型(State Space Models,SSM),打造了新的架構 Mamba ,讓參數能夠根據輸入數據動態變化,從而更有效地處理和傳遞訊息。

Mamba 在推理速度上比 Transformer 快 5 倍,Mamba 在多模態(語言、音訊)上也實現了最先進的性能,現在許多研究員都認為 Mamba 很有機會成為未來 AI 模型的新基礎。

👨🏻‍🏫 AI 流行術語解釋
State Space Models(SSM)

狀態空間模型(State Space Model,SSM)是一種通用序列模型,用來分析和預測隨時間變化的數據。它將一個系統分成內部狀態(我們無法直接觀察到的)和外部觀測(我們可以測量的),透過數學方程描述這些狀態和觀測之間的關係,幫助我們理解系統的運作並預測未來的變化。

🔍
INSIGHT

閱讀時間:19 分鐘

最近在研究 Mamba 時找了非常多的資料,發現有很多人開始注意到了不是用 Transformer 這類「非注意力架構」的語言模型。

艾倫人工智慧研究所的研究員 Nathan Lambert 在他最近的 Blog 文章中,為大家解釋了「注意力架構」及其他像是上面提到的「狀態空間模型(SSM)」的差異。

也詳細解釋新型的狀態空間模型 Mamba,如果 Mamba 的論文看不太懂,可以參考看看這篇文章!

文章大綱

  • 為什麼我們可能不需要依賴注意力機制,並介紹遞歸神經網路(RNN)的概念。

  • Mamba 模型:這是一種新的狀態空間模型,為未來的語言模型帶來新的特性和硬體加速功能。

  • StripedHyena 模型:由 Together AI 開發的新型 7B 模型,這個模型融合了近期對 RNN Transformer 的研究成果。

  • Monarch Mixers 研究:這篇最新的研究論文很好地展示了如何在不依賴注意力機制 MLPs 的情況下運作。

🙏 贊助者專屬方案 Br!ef+
成為 Br!ef 贊助者!解鎖「專注模式」電子報

  1. 平日收到贊助者專屬的「Br!ef 專注模式電子報」

  2. 年度贊助者加入「Br!ef 年度贊助者專屬交流社群」

  3. 最低每日 12 元新台幣就能行動支持 Br!ef

  4. 未來將推出更多贊助者專屬福利..(Br!ef GPT..🤫