\chapter{การทบทวนวรรณกรรมที่เกี่ยวข้อง}
\label{chapter:literature-review}

\section{ทฤษฎีที่เกี่ยวข้อง}
\subsection{การเรียนรู้เชิงลึก (Deep Learning)}

\subsection{การเรียนรู้เชิงลึกแบบผสม (Hybrid Deep Learning)}
ไม่มีนิยามที่แน่นอนสำหรับแบบจำลองการเรียนรู้เชิงลึกแบบผสมว่าเป็นแบบจำลองที่มีลักษณะอย่างไร จากการศึกษาพบว่า แบบจำลองที่เกิดจากการผสมผสานกันของแบบจำลองการเรียนรู้เชิงลึกหลายสถาปัตยกรรม หรือแม้กระทั่งแบบจำลองที่มีการการคิดค้น หรือดัดแปลงฟังก์ชันสูญเสีย (Loss Function) เพื่อใช้ในการเรียนรู้ ก็สามารถเรียกได้ว่าเป็นแบบจำลองการเรียนรู้เชิงลึกแบบผสม เมื่อไม่นานมานี้ได้มีงานวิจัยพยายามคิดค้นแบบจำลองการเรียนรู้เชิงลึกแบบผสมมาเพื่อแก้ไขปัญหาต่าง ๆ และได้แสดงให้เห็นว่าแบบจำลองการเรียนรู้เชิงลึกแบบผสมนั้นมีลักษณะที่หลากหลาย Haixia Long et al. \cite{Long:2018} ได้นำเสนอสถาปัตยกรรมการเรียนรู้เชิงลึกแบบผสมสำหรับการระบุไฮดรอกซีโพรลีน (Hydroxyproline) และไฮดรอกซีไลซีน (Hydroxylysine) ในโปรตีน โดยการนำโครงข่ายประสาทแบบคอนโวลูชัน (Convolutional Neural Network: CNN) มาผนวกกับโครงข่ายประสาทแบบลองชอร์ตเทอมเมมอรี (Long Short-Term Memory: LSTM) ที่ซึ่ง CNN ถูกใช้ในการสกัดคุณลักษณะของปฏิกิริยาของกรดอะมิโน และ LSTM ถูกใช้ในการสกัดการคงอยู่ของความสัมพันธ์กันระหว่างกรดอะมิโน ผลการทดลองแสดงให้เห็นว่าสถาปัตยกรรมการเรียนรู้เชิงลึกแบบผสมนี้สามารถปรับปรุงประสิทธิภาพของแบบจำลองได้ Y. Sun et al. \cite{Sun:2016} ได้ใช้แบบจำลอง CNN หลายตัวในการสกัดคุณลักษณะสำหรับการยืนยันตัวตนด้วยใบหน้า ซึ่งคุณลักษณะของแต่ละพื้นที่ของใบหน้าจะถูกสกัดด้วยแบบจำลอง CNN ที่ต่างกัน และคุณลักษณะของแต่ละพื้นที่จถูกนำมารวมกันเพื่อจัดกลุ่ม และยืนยันตัวตนด้วยเครื่องจักรโบลทซ์มันท์แบบจำกัด (Restricted Boltzmann Machine: RBM) Jin-Young Kim et al. \cite{Jin-Young:2018} ได้คิดค้นการผสมผสานกันระหว่างโครงข่ายการสร้างข้อมูลแบบควบคุมความจริงทีแอบแฝง (Latent Semantic Controlling Generative Adversarial Network: LSC-GAN) กับตัวเข้ารหัสอัตโนมัติแบบแวริเอชัน (Variational Autoencoder: VAE) ที่ซึ่ง LSC-GAN ถูกใช้ในการสร้างข้อมูลมัลแวร์โดยอ้างอิงการแจกแจงปกติ (Gaussian Distribution) ของข้อมูลมัลแวร์จริง โดยข้อมูลจริงจะถูกนำไปแปลงให้อยู่ในรูปแบบแอบแฝง (Latent Space) ด้วย VAE เพื่อการสกัดคุณลักษณะและถูกนำไปใช้ต่อโดย LSC-GAN

งานวิจัยดังกล่าวข้างต้นแสดงให้เห็นว่าแบบจำลองการเรียนรู้เชิงลึกแบบผสมนั้นมีความหลากหลาย และมีประสิทธิภาพที่ดีกว่าแบบจำลองธรรมดา ดังนั้น ผู้จัดทำจึงเกิดความคิดที่จะคิดค้นแบบจำลองการเรียนรู้เชิงลึกแบบผสมมาเพื่อแก้ปัญหาการจัดกลุ่มข้อมูลที่ไม่มีความสมดุล

\subsection{งานวิจัยที่เกี่ยวข้อง}
เมื่อเทคนิคการจัดกลุ่มข้อมูลที่ประกอบด้วยโครงข่ายประสาทแบบคอนโวลูชันถูกใช้กับชุดข้อมูลที่มีความไม่สมดุลกัน อัตราการพยากรณ์ผิดพลาดจะมีค่าสูงเมื่อเทียบกับการเพิ่มขึ้นของจำนวนรอบของการเรียนรู้ของแบบจำลอง กล่าวคือ ยิ่งจำนวนรอบของการเรียนรู้สูงขึ้น จะทำให้อัตราการพยากรณ์ผิดพลาดสูงขึ้นด้วย \cite{Yan:2015} เบื้องหลังของสาเหตุที่ทำให้เป็นเช่นนั้น คือ ในเสตจของการเรียนรู้ของแบบจำลองการเรียนรู้เชิงลึก ข้อมูลจะถูกแบ่งออกเป็นกลุ่ม ๆ ซึ่งทำให้แต่ละกลุ่มมีความไม่เท่าเทียมกันเมื่อข้อมูลไม่สมดุลกัน อีกทั้งบางกลุ่มอาจจะมีแค่ตัวอย่างของกลุ่มข้อมูลที่เป็นส่วนมาก หรือกลุ่มข้อมูลที่เป็นส่วนน้อยเท่านั้น เมื่อแบบจำลองได้เรียนรู้ข้อมูลจากกลุ่มเหล่านั้นในทุก ๆ รอบ จึงทำให้เกิดอัตราการพยากรณ์ผิดพลาดที่สูง

เมื่อไม่นานมานี้ได้มีงานวิจัยที่พยายามจัดการกับปัญหาการเรียนรู้ของแบบจำลองการเรียนรู้เชิงลึกเมื่อต้องเรียนรู้ข้อมูลที่มีความไม่สมดุลกัน ดังต่อไปนี้

\begin{itemize}
  \item <NAME> et al. \cite{Wang:2016} ได้ทำการดัดแปลงฟังก์ชันสูญเสียอย่าง ค่าเฉลี่ยของกำลังสองของความคลาดเคลื่อน (Mean Square Error: MSE) เพื่อทำให้การเรียนรู้ของแบบจำลองกาเรียนรู้เชิงลึกไม่มีความลำเอียงในการจดจำข้อมูลที่เป็นกลุ่มส่วนมากเกินไป โดยฟังก์ชันสูญเสียใหม่นี้มีชื่อว่า ค่าเฉลี่ยของความคลาดเคลื่อนของความผิดพลาด (Mean False Error: MFE) แต่ประสิทธิภาพของฟังก์ชันสูญเสียนี้ยังไม่เป็นที่น่าพอใจ ผู้จึงได้นำเสนอ ค่าเฉลี่ยของกำลังสองของความคลาดเคลื่อนของความผิดพลาด (Mean Square False Error: MSFE) ที่ซึ่งเนการปรับปรุงความสามารถของ MFE อย่างไรก็ตามฟังก์ชันสูญเสียดังกล่าวยังไม่สามารถประยุกต์ใช้ได้กับ โครงข่าวความเชื่อแบบลึก (Deep Belief Network) และโครงข่ายประสาทแบบคอนโวลูชัน
\end{itemize}