1989年科幻電影「親愛的，我把孩子縮小了」，2015年「蟻人」，2017年「縮小人生」，以及我們從小看到大的多啦A夢「縮小燈」、「縮小隧道」，都不約而同的提到一個概念，就是可以透過一種神奇的機器，就能把人的體積大幅縮小但生理機能完全不減。這裡姑且不論是否符合物理定律，但如果真的能實現，就會像「縮小人生」中所提到的，可大幅減少地球資源的浪費，大幅改善人類的生存環境。雖然以上提及的技術可能我們這輩子都難以看到實現的一天，但把超巨大的AI模型縮小但仍保持推論精度不變，還是有很多方法可以達到的。接下來我們就來幫大家簡單介紹一下幾種常見技術。

1. AI模型組成元素

回顧一下本專欄三月份文章[1]第1小節提及的神經網路架構，其組成內容主要包括神經元內容（包含數量）、網路結構（神經元連接拓撲）及每個連結的權重值，如Fig. 2所示。簡單的卷積神經網路(CNN)如LeNet-5，就有約6萬個權重，而大型模型VGG16則有約1.38億個權重，到了現在流行的大型語言模型GPT-3已激激增到1750億個權重，更不要說像GPT-4已有超過一兆個權重。
...
...