TTQS教育訓練成果評估之探討

勞委會職訓局TTQS輔導顧問 柯振南

前言:

在變動快速的環境與競爭下，「人才」變成為組織經營成敗的關鍵所在，因此企業內員工的教育訓練變成為了企業要邁向成功不可或缺的要務，行政院勞工委員會職業訓練局於2005年推動訓練品質評核系統（TTQS）就是要協助企業及組織機構，就訓練之規劃(Plan)、設計(Design)、執行(Do)、查核(Review)、成果(Outcome)等五大訓練流程構面擬訂完善的訓練品質評核系統，以確保訓練流程之可靠性與正確性。

雖然TTQS對於教育訓練有一完整的架構，但是企業或訓練機構在辦理教育訓練時卻很少人會把PDDRO這五大流程做得完善，本文就以教育訓練之成果來進行探討。

每家企業都知道人才很重要，也知道員工的教育訓練是很有需要，但是每當經濟景氣不佳，營運環境困難時第一個想到的就是裁減教育訓練經費、甚至裁員，這對於口口聲聲大喊人才重要，教育訓練重要的企業來說是相當的諷刺。

探究其原因，筆者認為主要的因素之一是教育訓練的承辦人員對於耗費如此大的金錢成本與時間，結果是否有效，成果如何評估，對組織是否真正有效，他們無法提出具體的成效說明或者以數據來佐證，以致一些主管始終都會心存一個大問號？
茲將企業辦訓時常見的主要問題說明如下：

1. 辦訓前的教育訓練規劃，人資單位常於每年底時提出一大堆的課程，給各單位/部門的主管填寫明年度所需求的課程名稱，而不是從公司的整體營運策略計畫及員工的職能差異上去尋求員工應該要接受那些訓練對組織的績效是會有幫助的。
2. 在訓練時辦訓單位與受訓學員之單位主管並沒有做好密切的聯繫，以致受訓員工在訓練時常易遭工作上的干擾而無法專心上課，影響學員學習成效。
3. 辦訓後的成效評估一般都只填填問卷調查，也就是Kirkpatrick訓練評估的「反應層次」，至於其他的三個層次，從學習到成果層次，就越來越少公司執行。依照筆者多年的教育訓練經驗觀察，一般公司的教育訓練成果評估，都會做到L1反應評估之意見調查，但對於L2的學習層次之評估就不到50%，L3的行為層次之評估更不到10%，而能有L4績效層次評估的更是鳳毛麟角，而訓練機構對於L3及L4的評估更是少之又少。
4. 許多企業在進行教育訓練成果評估時大部分都會設計教育訓練記錄與成效評估表，當員工受訓完畢後會在此表格上進行填寫成效評估，有的以符號、有的以數字來代表說明成效，其成效評估如下說明：

(1).訓練後還無法在工作上應用，完全不懂。
(2).訓練後在工作上僅部份符合要求，部分懂得運用，但還不完全。
(3).訓練後能在工作上符合要求，完全懂且也完全會運用。
(4).訓練有成效，能在工作上有效的發揮，完全懂且運用效果良好。
(5).訓練成效佳，不但能運用於工作上且能於公司內擔任講師或指導員。

但以上的評估方式是需要經過一段時間才能看出成效，且也無法與公司的營運績效做具體的連結。

基於上述的一些問題，筆者認為除了訓前要有嚴謹的教育訓練規劃，課程中應該如何避免外在環境的干擾影響訓練品質外，最重要的是應該將教育訓練後之成效如何來展現與評估才是主要重點。

一個完善的教育訓練體制一定要有評鑑這項功能，否則難以評估訓練的成效，若無法評估訓練成效就無法做好後續的回饋與改善，企業的經營者就沒有理由說服他投入更多的資源來訓練員工。

而評估模式一般都會運用Kirkpatrick的訓練評估四個層次，而TTQS訓練品質評核表-企業機構版評核指標第14項及訓練機構版第13項成果評估的多元性和完整性，其評估方式就是以Kirkpatrick的訓練評估四個層次，其等級分為Level1(L1) 反應評估、Level2(L2) 學習評估、Level3(L3) 行為評估、Level4(L4) 成果評估。
在L1層次中的問卷調查反映常會視當時的環境氣氛及個人感受而影響(相同的授課及相同的場地與行政但不同梯次所反映出來的就會不一樣)，如，調查表發放的時間是否恰當(太早發有人會在課程中就寫好了)，有人是被逼來上課就會有不好的評價反應，也有些學員上課前對於課程主題內容的認知與實際有落差而半途離開..等，所以要培養學員有正確的填寫課後滿意度或意見調查表的觀念與態度，以真誠的心態來填寫，此問卷調查表才具有一定程度的參考價值。

問卷調查的優點是簡單方便，但也隱含著上述的一些缺點，因為不能客觀的反應出學員的能力變化與需求是否真正滿足。對於講師的教學品質與授課是否符合當初開課目標等也不一定能正確反應，。此一部份應該由辦理訓練單位指派有經驗的課堂觀察人員，全程、專注、專業的進行評估，再來參考問卷調查表之反應，針對未來的教育訓練提出客觀優質的具體改善報告。

在L2的層次一般都會要求受訓員工提出心得報告或者也會請求老師進行考試測驗。心得報告一般是在課程結束後幾天繳交，以了解受訓員工對於課程的吸收程度，而考試是可以在課程結束後馬上進行是最為不浪費大家的時間，也最為能馬上測出學習成效，唯最好是講義教材能事先給學員預習，如此學員才能反映吸收講師所教的內容，當然有些實作上的教導也可以請學員自己實作一次以了解實務上是否能完全吸收。

L3及L4層次的評估是無法於訓練後馬上可以測出效果，應於適當時機進行再評估，L3層次的評估可以請受訓學員在上完課程後提出相關的改善計畫及措施，主管隨時進行觀察並追蹤其計畫執行狀況，以了解訓練後是否能提升其行為能力。
在各層次中，以L4成果層次的評估困難度最高；其原因是由於影響組織效能的因素非常多，因此無法明確地分辨出造成組織效能改善的因素有多少是肇因於訓練的成效、多少是由於其他因素所造成，其中的關係為何、其間交互影響的程度如何，實在很難加以明確地分辨與釐清，但是我們可以設定容易評估的具體績效指標如: 增加產量、提升品質、降低成本、訂單增加..等或可提升公司良好形象及獲利能力之指標，再去連結相關的訓練項目。

對組織辦理教育訓練之建議：

1. 可以參考政府推動的TTQS架構來強化組織策略與年度計畫關聯性，向下展開，結合公司可運用的資源與職能瓶頸差異，擬訂出年度教育訓練計畫。
2. 教育訓練的受訓人選應該先設定好哪些人應該受那些訓練，確認後再來開出需要的課程，而不是先開出課程名稱在來找人來上課。
3. 課程規畫須考量訓練成果的評估，其評估方式可以依照L1(反應層次評估)、L2(學習層次評估) 、L3(行為層次評估) 、L4(績效層次評估)，其中績效評估須設定績效指標以便能回饋訓練ROI(投資報酬率)，這點是公司必須要重視的，所以說訓練後並不是填填問卷或考試就結束了，而必須持續觀察員工的行為是否有改變了，績效是否有出來了。
4. 上課只是一個開端，未來必須落實行動，建議各受訓學員的部門/單位須有後續提升績效的行動計劃與方案，選定指標與定出目標持續來進行。
5. 每年檢討修正教育訓練品質系統，結合績效考核晉升制度，可提升人員士氣並可持續培養出優秀的人才，留住可用的人才。

結論:

教育訓練後的評估應依照一定的標準，透過一系列有系統、有程序的調查、分析與檢討，使教育訓練能達到組織績效帶來更高價值。

L1及L2可視為訓練的績效，而L3及L4則是訓練成效的移轉，公司所在意的是訓練後員工行為如何移轉到工作上使績效能提升，但一般的訓練單位就會常以他們的任務只是辦教育訓練，只要完成辦訓課程就算完成。而這就是產業界的主管或經營者會常覺得員工的教育訓練很重要，但是到底對公司有多少貢獻？沒有一個具體的數字可以評估，而久而久之就對員工的教育訓練不那麼熱衷，這也是身為人資主管或辦理訓練機構所必須正視的問題。