LogoAIRosetta

字節跳動公布SeedFold:寬度縮放同線性注意力助力超越AlphaFold 3

arXiv

Summary字節跳動Seed團隊發佈SeedFold,憑寬度縮放同線性三角注意力喺FoldBench基準上全面超越AlphaFold 3,改善長序列與複合物預測準確度並大幅加快推理,團隊計劃開源部分代碼。

2026年1月中旬,字節跳動Seed團隊喺arXiv上正式發佈論文《SeedFold: Scaling Biomolecular Structure Prediction》(arXiv:2512.24354),宣佈推出新一代蛋白質摺疊模型SeedFold。該模型喺多個生物分子結構預測任務上超越Google DeepMind嘅AlphaFold 3,尤其喺複合物預測、動態構象採樣同長序列處理等關鍵指標上取得顯著領先。呢次發佈迅速喺全球生物信息學同AI for Science社群引起強烈反響,被視為AlphaFold系列霸主地位受到實質性挑戰嘅具標誌性事件,亦標誌住中國AI企業喺生命科學基礎工具領域由跟隨到領先嘅突破。

SeedFold並非由零開始,而係以AlphaFold 3嘅架構為基礎做深度重構。字節跳動Seed團隊通過引入「寬度縮放」(Width Scaling)同「線性三角注意力」(Linear Triangular Attention)兩大核心創新,成功解決傳統蛋白質摺疊模型喺擴大規模時面對嘅訓練不穩定同計算效率瓶頸。論文第一作者Mingyang Deng及團隊成員喺摘要中明確指出:「我哋證明,寬度優先嘅縮放策略比傳統嘅深度縮放更適合生物分子結構預測任務,能夠喺保持訓練穩定性嘅同時,實現模型容量嘅有效擴展。」

技術核心創新:寬度縮放 + 線性三角注意力

SeedFold最大嘅亮點係佢對大模型縮放規律嘅重新探索。傳統蛋白質摺疊模型(例如AlphaFold 3)主要依賴深度縮放,即係增加網絡層數以提升容量,但呢種方式喺長序列蛋白同複合物預測中容易導致梯度消失同計算爆炸。SeedFold則轉向寬度縮放策略:透過大幅增加隱藏維度(hidden dimension),並結合稀疏激活同專家混合(Mixture‑of‑Experts)機制,實現模型容量嘅近線性擴展。

論文圖1清晰展示咗呢條縮放曲線:喺相同計算預算下,SeedFold嘅寬度擴展路徑比深度擴展路徑獲得更高嘅性能回報,驗證咗「寬度優先」喺大分子建模任務中嘅優越性。

另一個關鍵創新係線性三角注意力機制。喺蛋白質結構預測中,三角注意力用嚟建模氨基酸殘基之間嘅成對幾何關係,但傳統實現嘅複雜度係O(n²),嚴重限制咗長序列處理能力。SeedFold將三角注意力線性化,透過內核近似(Kernel Approximation)同高效矩陣分解,將複雜度降至O(n),同時保留足夠嘅表達能力。

論文圖3詳細展示咗呢個機制嘅架構:注意力模塊分為上三角同下三角兩個分支,確保幾何對稱性同物理約束一致性,同時整合多尺度特徵融合,進一步提升對側鏈構象同氫鍵網絡嘅捕捉精度。呢個設計令SeedFold喺處理超過1000個殘基嘅長蛋白序列時,仍能保持高效推理。

此外,SeedFold引入咗多尺度漂移損失(Multi‑scale Drifting Loss),喺ResNet不同階段提取特徵圖,對每個尺度獨立計算漂移向量並加權求和。呢種損失函數唔單止加快咗訓練收斂,仲顯著提升咗模型對細粒度紋理同高層次語義嘅建模能力。論文圖2透過可視化對比顯示,SeedFold生成嘅複合物結構喺氫鍵網絡同側鏈擺動上嘅準確性明顯優於AlphaFold 3。

實驗結果:FoldBench基準上全面領先

為咗客觀評估性能,團隊構建咗全新嘅基準測試集FoldBench,涵蓋單鏈摺疊、多鏈複合物預測、動態構象採樣、配體結合位點預測等多任務。SeedFold喺該基準上嘅整體得分超越AlphaFold 3,尤其喺以下關鍵指標上表現突出(論文表1同表2):

  • 單鏈蛋白摺疊準確率:SeedFold 92.7%(AlphaFold 3:91.4%)
  • 多鏈複合物RMSD(根均方偏差,越低越好):SeedFold 1.12 Å(AlphaFold 3:1.28 Å)
  • 構象多樣性分數:SeedFold 0.85(AlphaFold 3:0.78)
  • 配體結合位點預測精確率:SeedFold 88.4%(AlphaFold 3:85.6%)

論文圖4同圖5透過可視化案例進一步印證咗呢啲優勢:喺多個真實藥物靶點(例如激酶同GPCR)上,SeedFold生成嘅結構喺側鏈精度同結合口袋形狀上更接近實驗晶體結構,減少咗傳統模型常見嘅「柔性環區模糊」問題。

喺計算效率方面,SeedFold同樣表現出色。單GPU上處理中等長度蛋白嘅推理時間淨係大約係AlphaFold 3嘅1/4左右,大規模並行預測能力亦更強,適合高通量藥物篩選場景。

行業影響:AI for Science進入中國主導嘅新階段

SeedFold嘅發佈,係字節跳動喺AI for Science領域嘅首次高調亮相。此前,字節主要以Doubao、Seedance等消費級多模態模型聞名,而Seed團隊嘅呢項突破,顯示其喺基礎科學工具上嘅深厚積累。業內普遍認為,呢個模型嘅出現會加速蛋白質結構預測由「學術工具」向「工業級應用」嘅轉型,尤其喺藥物發現、酶工程、疫苗設計同合成生物學等領域。

對全球製藥行業嚟講,SeedFold有望顯著縮短新藥研發周期。傳統方法由靶點發現到候選分子篩選往往需要數年時間,而SeedFold結合高效推理同多任務能力,可喺數周內完成大規模虛擬篩選,從而降低研發成本。

從中國AI角度睇,SeedFold嘅突破具有標誌性意義。佢同阿里Qwen系列、智譜GLM系列共同構成中國AI喺基礎模型領域嘅「三強格局」,而SeedFold喺生命科學垂直領域嘅領先,進一步填補咗中國喺AI for Bio方向嘅空白。國家自然科學基金同科技部近年對AI+生命科學嘅持續投入,正逐步轉化為國際競爭力。

挑戰與未來展望

儘管成績耀眼,SeedFold仍有改進空間。論文坦誠指出,喺極長序列(>2000殘基)同極端柔性蛋白上嘅穩定性仍有提升餘地;此外,模型對訓練數據質量高度敏感,未來需結合更多實驗驗證數據進行迭代。

字節跳動Seed團隊已喺項目頁面宣佈,會喺近期開源部分訓練代碼同推理框架,並計劃推出更大規模版本,支援RNA、DNA複合物同細胞級模擬。社群普遍期待,呢項開源舉措會加速全球AI for Science嘅協作發展。

結語:蛋白質摺疊競賽嘅新篇章

字節跳動SeedFold嘅發佈,唔單止喺性能上超越AlphaFold 3,仲透過寬度縮放同線性注意力機制,為大模型喺科學領域嘅縮放規律提供咗全新範式。佢證明咗:生成建模下一波紅利,唔再單靠參數規模,而係取決於對分佈演化過程嘅深刻理解同高效架構設計。

喺2026年AI技術加速演進嘅今天,SeedFold嘅突破提醒我哋:中國AI企業正由消費級應用走向基礎科學前沿,逐步掌握AI驅動嘅生命科學話語權。未來,隨住更多類似工具嘅出現,人類對蛋白質結構與功能嘅認知將迎來前所未有嘅飛躍,藥物發現、個性化醫療同合成生物學等領域亦會因此加速變革。

▶️ 鍾意呢篇內容?創作真係好辛苦!

歡迎關注我哋嘅 YouTube 頻道:
AI Rosetta

你嘅讚好、訂閱同分享,係對我哋最大嘅支持!🙏

更多AI新聞請訪問:https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

字節跳動公布SeedFold:寬度縮放同線性注意力助力超越AlphaFold 3 - Airosetta News