ระบบอำนวยความสะดวกในการจดบันทึกทางการแพทย์และการจดบันทึกทางการพยาบาลบูรณาการร่วมกับการรู้จำเสียงพูดสำหรับการถอดรหัสทางการแพทย์ภาษาไทย: เฟสที่ 1

Abstract

งานวิจัยนี้พัฒนาการทําหมายเหตุแพทย์และพยาบาลอย่างอัตโนมัติจากเสียงพูดบนสมาร์ตโฟน โดยใช้ เทคนิคการเรียนรู้เชิงลึกสําหรับสร้างแบบจําลองรู้จําเสียงพูด โดยพัฒนา 4 ส่วนที่สําคัญ ได้แก่ 1) การพัฒนาแอปพลิเคชันสําหรับเก็บข้อมูลสําหรับเก็บเสียงพูดบนสมาร์ตโฟนด้วยวิธีการส่งข้อมูลต่อเนื่อง ให้สามารถรองรับหลายคน เก็บบันทึกเสียงข้อมูล และแสดงผลการถอดความได้อย่างต่อเนื่องและทัน ท่วงที 2) การเก็บรวบรวมข้อมูลเสียงพูดจากแพทย์และพยาบาลที่ปฎิบัติงานในโรงพยาบาลมะเร็งอุดรธานี จากข้อมูลทั้งหมดที่เก็บรวบรวมได้จะมีเวลาของข้อมูลเสียงทั้งสิ้น 233 ชั่วโมง 1 นาที 33 วินาที แบ่งเป็นเสียงพูดแพทย์ในบริบทการทําหมายเหตุแพทย์ 90 ชั่วโมง 59 นาที 33 วินาที และเสียงพูดพยาบาลในบริบทการทําหมายเหตุพยาบาล 142 ชั่วโมง 2 นาที 4 วินาที 3) การสร้างผลเฉลยจริงจากข้อมูลเสียงพูดโดยนักภาษาศาสตร์ ซึ่งถอดความโดยใช้กฎเกณฑ์ที่ออกแบบขึ้นเฉพาะ สําหรับการระบุผลเฉลยจริง และนํามาจัดตําแหน่งเสียงพูดกับผลเฉลยจริงให้สอดคล้องกัน ปัจจุบันสามารถสร้างผลเฉลยจริงได้จํานวนทั้งสิ้น 22 ชั่วโมง 49 นาที 8 วินาที และ 4) การพัฒนาแบบจําลองรู้จําเสียงพูดโดยใช้ซอฟต์แวร์ Kaldi พัฒนาแบบจําลองรู้จําเสียงพูดแบบสองภาษา (ภาษาไทยและอังกฤษ) จากโรงพยาบาลมะเร็งอุดรธานีในบริบทการทําหมายเหตุแพทย์และพยาบาล ข้อมูลเสียงพูดในบริบท ทั่วไปจากแหล่งข้อมูลสาธารณะ ได้แก่ ข้อมูลอื่น ๆ ภายนอก และมอซิลลา จากนั้นนําข้อมูลมาประมวลผลข้อมูลก่อน โดยการสกัดลักษณะเด่น และการทํานอร์มัลไลเซชัน จากนั้นจึงนํานข้อมูลมาฝึกฝน ด้วยแบบจําลองการเรียนลําดับถึงลําดับ หรือโครงข่ายประสาทเทียมแบบวนซํ้าเข้ารหัส−ถอดรหัส ผลการทดสอบแบบจําลองรู้จําเสียงพูดพบว่า ค่าร้อยละอัตราความผิดพลาดของคําศัพท์โดยใช้ชุดทดสอบ ที่เก็บรวบรวมจากโรงพยาบาลมะเร็งอุดรธานีในบริบทการทําหมายเหตุแพทย์และพยาบาลมีค่าเท่ากับ 23.68 และสําหรับส่วนต่อประสานประยุกต์ของกูเกิลมีค่าร้อยละอัตราความผิดพลาดของคําศัพท์เท่ากับ 51.13 จากผลการทดลองแสดงให้เห็นว่าการพัฒนาแบบจําลองรู้จําเสียงพูดที่มีลักษณะเฉพาะสําหรับการทําหมายเหตุแพทย์และพยาบาลมีความแม่นยําสูงกว่าแบบจําลองที่เหมาะสําหรับการใช้งานทั่วไป ทั้งนี้การเก็บข้อมูลและการจัดเตรียมผลเฉลยที่มีจํานวนมากขึ้นจะช่วยให้แบบจําลองมีประสิทธิภาพเพิ่มมากขึ้นและสามารถนําไปประยุกต์ใช้ได้จริงตามสถานพยาบาลตต่าง ๆ ภายในประเทศไทย The purpose of this study is to develop a doctor and nurse note application that employs deep learning techniques for automatic speech recognition. The processes were divided into four stages: The first stage involved developing a data collecting application with real-time streaming pipelines. The application was designed to support several sessions and users at the same time, as well as to generate real-time speech transcriptions. The next stage was to collect speech data from the medical professionals at Udonthani Cancer Hospital using a data collection application. Total accumulated speech data was 233 hours 1 minute and 33 seconds, divided into 90 hours 59 minutes and 33 seconds of doctor note and 142 hours 2 minutes and 33 seconds of nurse note. In the third stage, professional linguists annotated and adjusted the ground truth of the speech transcript to have the same alignment. A total of 22 hours, 49 minutes, and 8 seconds of speech data were annotated as ground truth transcription for training session. The final stage was to use Kaldi to develop bilingual automatic speech recognition models for doctor and nurse notes. The model was developed using speech data from Udonthani Cancer Hospital as well as other datasets. All speech data was preprocessed using feature extraction and speech normalization techniques before being used to train a sequence-to-sequence model or a recurrent neural network encoder–decoder. The findings of hold-out testing data from Udonthani Cancer Hospital demonstrate that our developed model has a word error rate of 23.68 percent, which is significantly better than Google speech recognition’s word error rate of 51.13 percent. The results show promising performance for developing an end-to-end speech recognition system for Thai doctors and nurses note, with higher accuracy than a general-purpose model. The model will be more effective and can be used in practice in various hospitals in Thailand if more data is collected and a larger amount of ground truths speech data are prepared.