3
文章目錄
據《The Elec》報導,韓國科學技術院(KAIST)金正鎬教授指出,**HBF(High Bandwidth Flash,高頻寬快閃記憶體)**可能成為未來 AI 的關鍵推手。HBF 在結構上類似 HBM(High Bandwidth Memory),同樣透過矽穿孔(TSVs)堆疊晶粒,不同之處在於其核心材料換成 NAND Flash,而非 DRAM。這項創新概念,或許能在記憶體帶寬與容量的拉鋸戰中,提供新的解決方案。
記憶體瓶頸成AI發展痛點
金教授直言,當前 AI 的最大挑戰之一就是記憶體帶寬不足。以 Transformer 為基礎的大模型在處理序列時,往往需處理長達百萬 tokens 的資料,動輒需要數 TB 級容量,且必須每秒進行數千次讀寫操作。這對記憶體帶寬提出了極大壓力,直接影響到大型語言模型(LLM)如 ChatGPT、Gemini 的服務效率。
他強調,瓶頸源於現有 馮紐曼架構(von Neumann architecture) 的限制:處理器(CPU/GPU)與記憶體分離設計,使得資料傳輸速度成為運算效能的關鍵瓶頸。換言之,運算單元愈強大,記憶體壓力愈沉重。
從DRAM走向NAND的可能性
展望未來,AI 的需求將更加驚人。若要生成「電影長度」的影片,所需記憶體容量可能比現今大幅增加 1,000 倍。僅靠 DRAM 顯然無法滿足這樣的規模。金教授提出,儘管 NAND 的速度比 DRAM 慢,但其容量可達 DRAM 的 10 倍以上,若能透過 HBF 技術提升帶寬,就能在高效能與大容量之間取得平衡。
這意味著,HBF 不一定是用來取代 DRAM,而是成為關鍵的「補充選項」,在 AI 記憶體階層中扮演後盾角色。若技術成熟,它將可能改變產業格局,讓 NAND 從「儲存」跨界到「運算支援」。(原文出處)