人類與機器間如何打交道？這個介面就稱為人機介面（Human Machines Interface；HMI），人機介面有許多種，例如人跟電視機打交道，一開始頻道數少時只要一個旋鈕即可，之後變成按鈕，更之後乾脆用遙控器。本文將以人與電腦、資訊裝置、新興消費性電子等的互動為主來討論，至於人與其他機器的互動介面，暫不在討論之列。

《圖一　最早的電腦無論執行程式的輸入、運算資料的輸入、運算結果的輸出，都透過打孔紙片進出。》

人機介面的過往發展

在了解新的人機介面前，先讓我們了解過往的發展歷程，多數計算機概論課本，認定1946年ENIAC（Electronic Numerical Integrator And Computer）為第一部電腦，這部電腦用打孔卡片輸入程式，也用打孔卡片輸入資料，之後運算出的結果，也用打孔卡片輸出。

之後程式的輸入改用磁帶，電腦操作與資料輸入改用打字機鍵盤，而運算結果則用印表機印於紙上，60年代的大型主機（Mainframe）多如此運作。而這時，電腦也從批次（Batch）處理執行，改成互動（Interactive）處理，過往用孔卡、磁帶的輸入運算，運算過程中不容打斷，直到一筆結果運算完後，才能進行另一筆新運算。

《圖二　打孔紙之後是電傳機，稱為Electromechanical Teleprinter或TeleTYpewriter（簡稱：TTY，電傳打字機），輸入用打字，輸出用列印，以此與電腦溝通。》 圖片來源：tpsoft.com

相對的，互動處理允許人跟機器用類似人類的對話交談方式運作，即隨時一來一往，人運用鍵盤向機器發話，機器將其反應與結果列印到紙上，人看了紙張結果後，再次用鍵盤打字發話，如此往返，比批次執行直覺、便利許多。

更之後，由於每有結果就要列印過於麻煩，而70年代CRT陰極射線管（俗稱：映像管）開始普及運用，因此將列印改成螢幕輸出，便利性再提升。

《圖三　IBM 2260，使用CRT映像管的影像顯示終端機（Video display terminal），用螢幕輸出取代列印輸出。》 圖片來源：columbia.edu

在這個階段，由於運算仍集中在大型主機、迷你電腦（70年代開始發跡）上，鍵盤、螢幕只是輸入、輸出工具，自身沒有運算力，因此稱為終端機（Terminal），一部電腦可連接多部終端機，並可同時服務多台終端機，但同時服務多台終端機，每部終端機的使用者會明顯感受到電腦反應變慢，因為運算力被瓜分、稀釋。

同樣是70年代，開始有微電腦的興起，所謂微電腦是與過往需要整個機房、整個機櫃的體積相比，微電腦只佔一個桌面的大小，所以相對為「微，Micro」，事實上迷你電腦的「迷你，Mini」也要機櫃大的體積。

《圖四　1983年推出，具備GUI圖形化使用者介面的個人電腦：Apple Lisa。》 圖片來源：wiki.ubuntu.org.cn

微電腦最初的人機介面相當簡單，輸入透過開關的扳動，輸出則透過燈號的亮滅顯示，能進行的應用有限，之後開始有人將打字機鍵盤、電視螢幕與微電腦連結，這個嘗試連結中，以Steve Wozniak開發出的Apple II最知名，並造成轟動。

Apple II以大幅提升微電腦的人機介面親和性而轟動，之後1983年Apple公司的Lisa電腦、1984年的Macintosh麥金塔電腦，更引進全錄實驗室（Xerox PARC，Palo Alto Research Center）的圖形化使用者介面（Graphics User Interface；GUI）而再造話題。微電腦的操作從純打字輸入、文字輸出，變成用滑鼠操作畫面上的游標，輸出也完全改成圖形化顯示，親和性再躍進。

在具備滑鼠、鍵盤、圖形化介面後，電腦的人機介面已趨向成熟穩定，少有改變，在後續的發展歷程中，雖有人提出用滾珠取代滑鼠，或提出手寫繪圖板等，但均未成為主流，或者提出多螢幕輸出，或掃瞄器影像輸入等，也都限定在特有應用領域，未成主流。

《圖五　滾珠球於90年代初開始興起，但因球縫容易積塵、滾動時手指不易按鈕等缺點而無法普及，然在TouchPad未出現前，仍普遍用於筆電上。》 圖片來源：hubpages.com

不過，仍有一些強化值得一提，例如過往的筆電多使用滾珠（Scroll Ball）來操控螢幕游標，然1994年Apple推出PowerBook 500型筆電，用觸控板（TouchPad）取代滾珠，成為今日每部筆電的基本配備。

又如90年代中期Internet開始興起，人們開始頻繁瀏覽網頁，因而要大量垂直移動頁面，這時滑鼠加設一個上下滾動的滾輪（Scroll Wheel），以便加速瀏覽，今日也為基本配備。

值得一提的是，滑鼠之後又有許多創新用法，例如Apple於2005年推出Mighty Mouse，將過往的滾珠縮小、放置於滑鼠的滾輪位置，使滾動從垂直向變成全向，但因故障率過高與少有應用支援，而未能普及，之後2009年推出觸控按鈕式的滑鼠Magic Mouse，以取代Mighty Mouse，也未能普及。

由此可知，Apple自發跡來的傳統與方向，即是積極革新資訊產品的人機介面技術，但並不表示次次都成功。類似的，IBM特別為其ThinkPad系列筆電發展的指向裝置：軌跡點（Track Point，俗稱：中原一點紅），也僅限IBM或Toshiba等筆電使用，未能普及。

另外，隨著網頁瀏覽的增多，人們發創滑鼠的新操作法，稱為「滑鼠手勢，Mouse Gesture」，例如按著滑鼠右鈕進行拖曳，即代表瀏覽上一頁或下一頁，加速瀏覽速度，此用法雖有趣，但普及性仍待提升。

《圖六　因GUI而讓PC普遍使用滑鼠；因Web而讓滑鼠普遍具有滾輪。》 圖片來源：totalofficesupplies.co.uk

遊樂器互動的創新

了解電腦的人機互動介面後，近年來電視遊樂器（Game Console，或稱：遊戲主機）的人機互動方式也大幅改變，若以1983年任天堂FC（Family Computer，俗稱：紅白機）起算，一直到2006年任天堂Wii出現，至少20年以上的時間，遊樂器都是以遊戲板（Gamepad）來遊玩，只有賽車遊戲、戰機遊戲，為求玩樂逼真性，而用方向盤、搖桿（Joystick）遊玩。

在長達20年以上的日子中，雖在90年代後期開始提倡動力回饋（Force Feedback）的Gamepad、方向盤，但未能興盛。而Wii出現後，用手握著Wii Remote手把，做出各種手勢就能遊玩，以及2007年推出踏板遊玩的Wii Fit，使遊樂器玩法產生重大變革、激盪。

更之後，2010年Microsoft推出供Xbox 360遊樂器擴充的Kinect套件，用視訊攝影機鏡頭辨識玩家的肢體動作就可進行遊玩，讓人機介面技術再提升。除遊樂器外，如Panasonic也發展手勢操作的電視遙控器，Hitachi也發展用光學、影像辨識觀賞者手勢，就可以調整電視音量、切換電視頻道的技術。

《圖七　今日筆電上普遍使用的座標指向裝置：TouchPad。》 圖片來源：t-x-2.com

手持式裝置的互動創新

如前所述，Apple向來積極於人機介面的互動創新，因此在iPod、iPhone等產品上，均有提出新穎性的互動作法。

例如一般MP3隨身聽多使用按鈕，而iPod則使用自創的點按式選盤（Click Wheel），可讓選曲格外方便。又如iPhone使用投射式電容觸控技術，可用多點觸控（Multi-Touch）方式，讓智慧型手機的畫面縮放格外方便，此一操作方式一經展示，即造成業界話題。

《圖八　IBM專利指向裝置：TrackPoint。》 圖片來源：codinghorror.com

此外，iPhone內建加速度感測器，在iPhone的X、Y軸角度變化時，顯示畫面的角度也會因應變化，此點一樣帶來新奇。iPhone帶來的新奇性，造成iPhone的暢銷，也使產業開始正視觸控技術、加速度感測控制技術的發展，新款的智慧型手機均以支援多點觸控、加速度感測為基本設定。

除了多點觸控、加速度感測器等新奇操控外，後續的新款iPhone也加入了與Android手機相同的數位指南針（磁阻感測器）技術，或陀螺儀等，讓方位感測更靈敏。

《圖九　今日多數Web Brower均支援滑鼠手勢好加速瀏覽速度，按住滑鼠右鈕後，依據紅色箭頭方向拖曳出軌跡，即功效等同於往常一般的網頁瀏覽操作。》 圖片來源：wiki.maxthon.com

新人機介面所用的技術

了解近年來的人機互動技術發展後，其主要構成技術如下：

觸控螢幕技術

觸控技術實現方式眾多，如電阻式觸控、電容式觸控、電感式（亦稱：電磁式）觸控、光學式觸控、聲波式觸控等，各類型的觸控又有更多細分，如4線式電阻式觸控、5線式電阻式觸控，電容也有投射式電容、表面式電容，光學觸控亦有紅外線觸控，或影像感測式觸控。

由於電容式感應的壽命較電阻式為長，在價差逐漸拉近下，未來趨勢為電容式，而為了實現多點觸控，亦多使用投射式電容，而非表面式電容，然中大尺寸仍以表面式電容，或光學、聲波為多，原因是投射式電容因現今技術之限（線路阻值因素致雜訊過大，SNR噪訊比不佳），難用於大尺寸螢幕上。

《圖十　Nintendo Wii之前，多數遊樂器均採行Gamepad為遊戲操控工具。》 圖片來源：imperioomega.com

微機電系統（MEMS）技術

Wii Remote手把內的加速度感測器、iPhone機內的加速度感測器等，今日多以微機電系統技術生產。另外Wintel於2005年提出HD Audio技術時，順帶提出運用陣列式麥克風（Array MIC，MIC=Microphone）技術來提升錄音品質，進而增強語音辨識能力。

之後Apple於第3代iPod shuffle上也採行語音辨識技術，以及iPhone 4手機也跟進採行陣列式麥克風，陣列式麥克風可用傳統電子技術實現，然未來趨勢上也傾向用MEMS技術實現。此外同樣具方位感應效果的陀螺儀，也同樣傾向用MEMS技術實現。

光電半導體技術

在此主要指影像感測器（Image Sensor），今日滑鼠多已揚棄滾珠感測，而改採光學式感測，另外Wii Remote手把內不僅用加速度感測器感應方位變化，也用光學感測器感測來自Wii主機掃描條（Scan Bar）所送出的紅外線，使方位感應更準確。

此外，也有以光學感測為主的觸控技術，或諸多手機以光學感測來調整螢幕背光亮度，或用光學感測來實現Xbox 360 Kinect的遊玩方式，Hitachi的手勢操控電視亦需用及光學感測技術。

《圖十一　Hitachi展示只要在影像感測器前揮舞手，就可以切換電視頻道、調整電視機音量的技術。》 圖片來源：techtree.com

傳統感測器技術

一般駐極式麥克風、磁阻式感測器（感應地磁，即：數位化指南針效果）等，仍屬傳統電子技術製造出的感測器，在新的人機互動介面上亦有運用、發揮空間。

軟體發展也不容小覷

上述所言，多為實體互動性的介面，但其實有部份人機互動屬偏重於軟體面，如語音辨識、手寫辨識，在今日的諸多電子產品運用中也逐漸普及，例如車內導航機直接透過語音辨識來輸入路名，進而導航，或多數的手持式裝置均已具備手寫辨識功效，且辨識成功率已達高水準。這些辨識的更前端倚賴麥克風、手寫觸控，但後端則需要軟體辨識引擎。

除手寫辨識、語音辨識外，近年來也開始提倡擴展實境（Augmented Reality；AR，日本稱為：擴張現實），此為另一種人機互動方式，最初用在戰機、戰車等軍事用途，即是螢幕投射出實景實地畫面，但除此之外螢幕上還額外顯現出對該景該地的相關解說資訊，如顯示一座山時，順便加註該山的方位與高度等。類似的技術，也用於博物館的文物導覽、戶外名勝導覽等。

上述的AR應用屬唯讀性質，更進一步的也發展出互動性質的AR遊戲，如螢幕上出現一個實景鐘塔，只要用手指觸碰該鐘塔的尖端，就可以得分500，時限內達到目標積分即可過關，或要求時間內到達定點等。

《圖十二　Microsoft Xbox 360 Kinect影像感測器，可感應玩家肢體動作，再經辨識運算，進而操控遊戲中的主人翁。》 圖片來源：guardian.co.uk

未來的新發展

人機互動的未來，必然朝更直覺方便的路線發展，在Wii推出用手把玩遊戲後，Xbox則推出連手把都不需要的肢體辨識，未來則可能直接辨識眼球移動來進行各種操控。

不過，隨著資訊、電子裝置從「固接，Fixed」往「移攜，Mobile」路線發展，單純的「人機互動外」技術已漸顯不足，逐漸的，人們將加強對適地（Location Based）、適境技術的技術，例如在戶外使用液晶螢幕會自動關閉背光亮度，或在暗處會自動增強亮度，以及到某處會自動提示附近店家有優惠活動等。在機器與人的互動外，機器與環境的自動感測因應，以及人、機、地三者的串連，將是新方向所在。