Báo cáo Đề tài Nghiên cứu ứng dụng công nghệ nhận diện giọng nói vào việc xây dựng phần mềm hỗ trợ luyện tập phát âm tiếng Anh trên thiết bị di động
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU
BÁO CÁO
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƯỜNG
Nghiên cứu ứng dụng công nghệ nhận diện giọng nói vào
việc xây dựng phần mềm hỗ trợ luyện tập phát âm tiếng
Anh trên thiết bị di động
Chủ nhiệm đề tài: TS. Phan Ngoc Hoàng
BÀ RỊA - VŨNG TÀU 02/2020
Tên đề tài: Nghiên cứu ứng dụng công nghệ nhận diện giọng nói vào việc
xây dựng phần mềm hỗ trợ luyện tập phát âm tiếng Anh trên thiết bị di động
Mã số: 10201
Chủ nhiệm đề tài: TS. Phan Ngọc Hoàng, Phó trưởng Khoa, Khoa CNTT –
Điện – Điện tử
Danh sách cán bộ tham gia chính:
TS. Phan Ngọc Hoàng, Phó trưởng Khoa, Khoa CNTT – Điện – Điện tử
TS. Bùi Thị Thu Trang, Phó trưởng ngành CNTT, Khoa CNTT – Điện – Điện
tử
Nội dung chính:
Nhóm nghiên cứu là mong muốn tạo ra một giải pháp thực sự phù hợp để có
thể hỗ trợ người học là sinh viên, giảng viên Trường Đại học Bà Rịa-Vũng Tàu nói
riêng, cũng như người học trong cộng đồng nói chung, giải quyết những vấn đề khó
khăn trong việc luyện tập phát âm Anh.
Với sự phát triển nhanh chóng và vượt bậc của công nghệ nhận diện giọng nói
cũng như sự tiện lợi mang lại của thiết bị di động, giải pháp của nhóm nghiên cứu
hướng tới việc ứng dụng công nghệ nhận diện giọng nói vào việc xây dựng phần
mềm hỗ trợ phát âm tiếng Anh trên thiết bị di động. Mục đích cuối cùng của giải
pháp là tạo ra được phần mềm trên thiết bị di động có thể hỗ trợ người học tiếng
Anh.
Kết quả đạt được:
+ Nhóm nghiên cứu đã hoàn thiện việc xây dựng phần mềm ứng dụng hỗ trợ
luyện tập phát âm trên thiết bị di động áp dụng công nghệ nhận diện giọng nói.
+ Phần mềm ứng dụng được xây dựng trên nền tảng iOS và được tích hợp
công nghệ nhận diện giọng nói nổi bật đang được sử dụng hiện nay trong trợ lý ảo
thông minh Siri của Apple.
+ Sản phẩm phần mềm ứng dụng của nhóm tác giả đã được đánh giá cao và
đạt giải nhì cuộc thi Sáng tạo khoa học kỹ thuật tỉnh Bà Rịa-Vũng Tàu năm 2018-
2019.
2
+ Kết quả nghiên cứu đã được công bố thông qua 01 bài báo trên 01 tạp chí
khoa học thuộc danh mục ISI/SCOPUS như sau: Lecture Notes of the Institute for
Computer Sciences, Social Informatics and Telecommunications Engineering, Vol
298, pp. 157-166, Springer, 2019, (SCOPUS – Q4), ISSN 1867-8211.
Thời gian nghiên cứu: từ 11/2018 đến 11/2019
Phòng KHCN & HTQT
Trưởng Khoa/
HĐKH Khoa
Chủ nhiệm đề tài
3
MỤC LỤC
1. ĐẶT VẤN ĐỀ ................................................................................................................. 5
2. GIẢI QUYẾT VẤN ĐỀ................................................................................................... 8
3. THỰC HIỆN GIẢI PHÁP ............................................................................................. 10
3.1. Thiết kế xây dựng CSDL ....................................................................................... 10
3.1.1. Bài học (Lesson)............................................................................................. 10
3.1.2. Cách phát âm (Pronunciation)........................................................................ 13
3.1.3. Bài tập phát âm (Practice) .............................................................................. 14
3.1.4. Từ tiếng Anh dùng để luyện tập (Word) ........................................................ 15
3.1.5. Xây dựng CSDL trên Core Data .................................................................... 15
3.2. Thiết kế xây dựng phần mềm trên nền tảng iOS.................................................... 16
3.2.1. Chức năng xem danh sách bài học ................................................................. 17
3.2.2. Chức năng xem cách phát âm......................................................................... 20
3.2.3. Chức năng xem danh sách bài luyện tập ........................................................ 21
3.2.4. Chức năng chọn chế độ luyện tập................................................................... 22
3.2.5. Chức năng luyện tập với từ đơn ..................................................................... 23
3.2.6. Chức năng tổng hợp kết quả luyện tập........................................................... 26
3.2.7. Chức năng thiết lập lại luyện tập.................................................................... 27
4. KẾT QUẢ ĐẠT ĐƯỢC ................................................................................................ 29
5. TÀI LIỆU THAM KHẢO ............................................................................................. 33
4
1. ĐẶT VẤN ĐỀ
Trước xu thế hội nhập và toàn cầu hóa, tiếng Anh được xem là ngôn ngữ sử
dụng phổ biến nhất thế giới. Trong đó gần 60 quốc gia sử dụng tiếng Anh là ngôn
ngữ chính, ngoài ra bên cạnh tiếng mẹ để có gần 100 quốc gia sử dụng tiếng Anh
như ngôn ngữ thứ hai. Vì vậy ngoại ngữ chính là chìa khóa quan trọng trong thời kỳ
hội nhập và toàn cầu hóa hiện nay.
Trong bối cảnh đó, mối quan hệ của con người cũng như sự hợp tác, đầu tư
trong bất kỳ lĩnh vực nào từ kinh doanh, thương mại, giao thông, công nghệ, truyền
thông, du lịch, ... cho đến những cơ hội trong học tập, làm việc đã mở rộng ra trong
phạm tất cả các nước trên toàn thế giới. Tiếng Anh chính là một công cụ hữu hiệu
và đóng vai trò quan trọng trong thành công của nhiều cá nhân và doanh nghiệp.
Đối với tiếng Anh cũng như mọi ngôn ngữ khác, phát âm là một trong những
kỹ năng cơ bản đóng vai trò nền tảng và quyết định cho những người bắt đầu học
tiếng Anh. Phát âm chính là yếu tố có ảnh hưởng tới việc học tất cả các kỹ năng còn
lại như: từ vựng, nghe, nói, đọc, viết, ...
Phát âm chuẩn giúp người nghe dễ hiểu hơn, mặc dù người phát âm chưa được
chuẩn lắm thì người nghe vẫn có thể hiểu, nhưng đôi khi họ cũng phải cố gắng hết
sức mới hiểu được người nói muốn diễn đạt gì.
Ngoài ra phát âm chuẩn có nghĩa là người nói biết được cách phát âm như thế
nào, điều này rất hữu ích cho kỹ năng nghe hiểu của người phát âm chuẩn. Từ đó có
thể giúp người đó nghe hiểu dễ dàng hơn các đoạn video, radio hay các đoạn hội
thoại. Trong trường hợp người nói phát âm sai từ nào đó, chắc chắn sẽ không thể
hiểu khi nghe người khác nói chính từ mà mình phát âm sai.
Người học tiếng Anh có rất nhiều phương pháp tự học cũng như công cụ hỗ
trợ đắc lực trong việc luyện phát âm chuẩn. Chẳng hạn người học có thể dùng
phương pháp cổ điển là phát âm và nhìn vào gương để nhận biết chuyển động của
môi và miệng một cách chính xác nhất trong việc phát âm.
Hiện nay có rất nhiều phần mềm ứng dụng luyện tập phát âm tiếng anh trên
thiết bị di động. Bằng việc sử dụng các công cụ hỗ trợ này, người học có thể ghi âm
lại tất cả những gì họ nói và so sánh với phát âm mẫu để chỉnh sửa lỗi sai. Các ứng
5
dụng phần mềm hỗ trợ học phát âm tiếng Anh hiện tại đều hướng đến những chức
năng chung này, cụ thể các ứng dụng sẽ hiển thị cách phát âm của từ, cho phép người
học nghe đoạn phát âm mẫu, sau đó người học sẽ ghi âm lại nội dung phát âm của
mình và tự so sánh với đoạn phát âm mẫu. Hoặc người học nghe/nhìn từ và gõ lại
từ/phiên âm của từ để phần mềm đánh giá sự đúng sai.
Hình 1. Ví dụ các phần mềm luyện tập phát âm trên thiết bị di động
Các ứng dụng hầu hết chưa tích hợp được tính năng nhận diện giọng nói vào
phần mềm để kiểm tra phát âm của người học. Hoặc có một số ít ứng dụng tích hợp
nhưng chưa dùng để kiểm tra và tổng hợp mức độ hoàn thành của người học đối với
một âm cần học.
Hình 2. Ví dụ các phần mềm luyện tập phát âm trên thiết bị di động
6
Với cách học này người học sẽ rất khó khăn và hầu như ít có khả năng để nhận
biết cách phát âm của cá nhân đúng hay sai, đặc biệt đối với người mới bắt đầu học
tiếng Anh. Để giải quyết được vấn đề này, thông thường người học phải có sự hướng
dẫn trực tiếp từ những giáo viên tiếng Anh bản địa hoặc các giáo viên tiếng Anh
giàu kinh nghiệm trong các khóa học. Vì vậy người học sẽ tốn kém không ít chi phí,
đồng thời sẽ có ít cơ hội trau dồi phát âm tiếng Anh hằng ngày.
7
2. GIẢI QUYẾT VẤN ĐỀ
Mục đích của nhóm nghiên cứu là mong muốn tạo ra một giải pháp thực sự
phù hợp để có thể hỗ trợ người học là sinh viên, giảng viên Trường Đại học Bà Rịa-
Vũng Tàu nói riêng, cũng như người học trong cộng đồng nói chung, giải quyết
những vấn đề khó khăn trong việc luyện tập phát âm nêu trên.
Với sự phát triển nhanh chóng và vượt bậc của công nghệ nhận diện giọng nói
cũng như sự tiện lợi mang lại của thiết bị di động, giải pháp của nhóm nghiên cứu
hướng tới việc ứng dụng công nghệ nhận diện giọng nói vào việc xây dựng phần
mềm hỗ trợ phát âm tiếng Anh trên thiết bị di động. Mục đích cuối cùng của giải
pháp là tạo ra được phần mềm trên thiết bị di động có thể hỗ trợ người học tiếng
Anh:
1.
kiểm tra việc phát âm tiếng Anh của bản thân và sẽ có sự điều chỉnh phù hợp.
2. Cung cấp cho người học các chức năng vốn có của một công cụ hỗ trợ
Thụ hưởng công nghệ nhận diện giọng nói để giúp người học có thể tự
luyện phát âm tiếng Anh, cụ thể là danh sách từ vựng luyện theo âm, phiên âm và
phát âm mẫu của mỗi từ.
3.
toàn miễn phí.
Để thực hiện mục tiêu nêu trên nhóm phát triển sẽ tiến hành nghiên cứu xây
Hỗ trợ người học luyện phát âm tiếng Anh mọi lúc, mọi nơi và hoàn
dựng phần mềm ứng dụng trên thiết bị di động hỗ trợ luyện tập phát âm tiếng Anh
sử dụng công nghệ nhận diện giọng nói dựa vào các nguồn sau:
+ Nghiên cứu các phương pháp, tài liệu, nội dung liên quan đến việc luyện
tập phát âm tiếng Anh để đưa vào phần mềm cho phù hợp.
+ Nghiên cứu các công nghệ nhận diện giọng nói đã phát triển, khả năng phù
hợp để tích hợp chúng vào phần mềm.
+ Nghiên cứu thiết kế giao diện, ngôn ngữ lập trình liên quan để xây dựng
phần mềm;
Phần mềm ứng dụng hỗ trợ luyện tập việc phát âm tiếng Anh sử dụng công
nghệ nhận diện giọng nói phải đảm bảo thực hiện được những nhiệm vụ chính như
sau:
8
+ Chuyển đổi nội dung luyện tập phát âm từ các nguồn sang dạng hệ thống
thông tin.
+ Cho phép người dùng xem danh sách các bài học của từng âm trong tiếng
Anh và lựa chọn bài học tương ứng.
+ Dựa vào âm được lựa chọn, cho phép người dùng xem lại cách phát âm của
âm.
+ Dựa vào âm được lựa chọn, cho phép người dùng xem danh sách các bài
luyện tập tương ứng và lựa chọn bài tập để luyện tập.
+ Cho phép người dùng lựa chọn chế độ luyện tập các từ chưa hoàn thành
hoặc luyện tập tất cả các từ trong bài tập.
+ Đối với từng từ luyện tập:
- cho phép người dùng xem phiên âm của từ;
- nghe cách phát âm mẫu của người nói tiếng Anh bản địa;
- kiểm tra việc phát âm từ đúng hay sai dựa vào công nghệ nhận diện
giọng nói.
+ Dựa vào kết quả phát âm của các từ trong bài tập, phần mềm tự động tổng
hợp và cho phép người dùng biết được kết quả chung về mức độ phát âm đối với
bài tập.
+ Dựa vào kết quả của các bài tập, phần mềm tự động tổng hợp và cho phép
người dùng biết được kết quả chung về mức độ phát âm đối với bài học của từng
âm.
+ Cho phép người dùng thiết lập lại kết quả bài tập để luyện tập bài tập lại từ
đầu.
+ Cho phép người dùng thiết lập lại kết quả bài học của từng âm để luyện tập
bài học lại từ đầu.
9
3. THỰC HIỆN GIẢI PHÁP
3.1. Thiết kế xây dựng CSDL
Công việc chính của phần thiết kế xây dựng CSDL nhằm thực hiện nhiệm vụ
chuyển đổi những thông tin, tài liệu liên quan đến việc luyện tập phát âm tiếng Anh
sang hệ thống CSDL phục vụ cho việc xây dựng phần mềm ứng dụng.
3.1.1. Bài học (Lesson)
Để phát âm được 1 từ đúng, chúng ta sẽ cần phát âm dựa vào phần phiên âm
của từ chứ không nhìn vào mặt chữ của từ đó. Trong ví dụ hình 3, chúng ta có thể
thấy, mặc dù 2 từ đều được viết là wind, tuy nhiên cách phát âm của 2 từ này lại
hoàn toàn khác nhau. Từ thứ nhất, là 1 danh từ, được phát âm là /wɪnd/, từ thứ 2 là
1 động từ, được phát âm là /waɪnd/.
Hình 3. Ví dụ về sự quan trọng của phát âm dựa vào phiên âm
Chính vì vậy, muốn phát âm chính xác được 1 từ, chúng ta cần phát âm dựa
vào phần phiên âm của từ. Để hiểu được phần phiên âm tiếng Anh này, chúng ta sử
dụng bảng mẫu tự ngữ âm quốc tế IPA (International Phonetic Alphabet) cho tiếng
Anh.
Bảng IPA tiếng Anh chứa 44 âm (sounds) được biểu diễn trong hình 4. Trong
đó, có 20 nguyên âm (vowel sounds) và 24 phụ âm (consonant sounds). Các âm kết
hợp với nhau hình thành cách phát âm của từ.
10
Hình 4. Danh sách 44 âm trong bảng IPA của tiếng Anh
Danh sách các nguyên âm (vowel sounds) và một số ví dụ của nó được liệt kê
như sau:
/iː/ – như trong từ sea /siː/, green /ɡriːn/
/ɪ/ – như trong từ kid /kɪd/, bid, village /ˈvɪlɪdʒ/
/ʊ/ – như trong từ good /ɡʊd/, put /pʊt/
/uː/ – như trong từ goose /ɡuːs/, blue/bluː/
/e/ – như trong từ dress /dres/, bed /bed/
/ə/ – như trong từ banana /bəˈnɑːnə/, teacher /ˈtiːtʃə(r)/
/ɜː/ – như trong từ burn /bɜːn/, birthday /ˈbɜːθdeɪ/
/ɔː/ – như trong từ ball /bɔːl/, law /lɔː/
/æ/ – như trong từ trap /træp/, bad /bæd/
/ʌ/ – như trong từ come /kʌm/, love /lʌv/
/ɑː/ – như trong từ start /stɑːt/, father /ˈfɑːðə(r)/
/ɒ/ – như trong từ hot /hɒt/, box /bɒks/
/ɪə/ – như trong từ near /nɪə(r)/, here /hɪə(r)/
/eɪ/ – như trong từ face /feɪs/, day /deɪ/
11
/ʊə/ – như trong từ poor /pʊə(r)/, jury /ˈdʒʊəri/
/ɔɪ/ – như trong từ choice /tʃɔɪs/, boy /bɔɪ/
/əʊ/ – như trong từ goat /ɡəʊt/, show /ʃəʊ/
/eə/ – như trong từ square /skweə(r)/, fair /feə(r)/
/aɪ/ – như trong từ price /praɪs/, try /traɪ/
/aʊ/ – như trong từ mouth/maʊθ/, cow /kaʊ/
Danh sách các phụ âm (consonant sounds) và một số ví dụ của nó được liệt
kê như sau:
/p/ – như trong từ pen /pen/, copy /ˈkɒpi/
/b/ – như trong từ back /bæk/, job /dʒɒb/
/t/ – như trong từ tea /tiː/, tight /taɪt/
/d/ – như trong từ day /deɪ/, ladder /ˈlædə(r)/
/ʧ/ – như trong từ church /ʧɜːʧ/, match /mætʃ/
/ʤ/ – như trong từ age /eiʤ/, gym /dʒɪm/
/k/ – như trong từ key /ki:/, school /sku:l/
/g/ – như trong từ get /ɡet/, ghost /ɡəʊst/
/f/ – như trong từ fat /fæt/, coffee /ˈkɒfi/
/v/ – như trong từ view /vjuː/, move /muːv/
/θ/ – như trong từ thin /θɪn/, path /pɑːθ/
/ð/ – như trong từ this /ðɪs/, other /ˈʌðə(r)/
/s/ – như trong từ soon /suːn/, sister /ˈsɪstə(r)/
/z/ – như trong từ zero /ˈzɪərəʊ/, buzz /bʌz/
/ʃ/ – như trong từ ship /ʃɪp/, sure /ʃɔː(r)/
/ʒ/ – như trong từ pleasure /’pleʒə(r), vision /ˈvɪʒn/
/m/ – như trong từ more /mɔː(r)/, room /ruːm/
/n/ – như trong từ nice /naɪs/, sun /sʌn/
/ŋ/ – như trong từ ring /riŋ/, long /lɒŋ/
/h/ – như trong từ hot /hɒt/, behind /bɪˈhaɪnd/
/l/ – như trong từ light /laɪt/, feel /fiːl/
12
/r/ – như trong từ right /raɪt/, sorry /ˈsɒri/
/w/ – như trong từ wet /wet/, win /wɪn/
/j/ – như trong từ yes /jes/ , use /ju:z/
Với thông tin về các âm ở trên, các âm trong bảng IPA của tiếng Anh có thể
được biểu diễn bằng một bảng trong CSDL với tên LESSON (bài học) như trong mô
tả tại bảng 1:
Bảng 1. Bảng LESSON (bài học) trong CSDL
LESSON
PK lessonId
name
Mô tả
Mã bài học
Tên bài học
sound
Âm được sử dụng trong bài học
Mô tả bài học
description
photo
Hình đại diện của bài học
Mức độ hoàn thành bài học
completion
3.1.2. Cách phát âm (Pronunciation)
Đối với mỗi âm trong tiếng Anh sẽ có những cách phát âm cụ thể, trong đó có
nhiều thành phần liên quan tác động đến cấu thành một âm như môi, lưỡi, miệng, độ
dài hơi, ... Các cách phát âm liên quan đến một âm tiết có thể phân thành các mục
như sau.
+ Âm thanh được tạo ra như thế nào (How the sounds are made), đây là phần
hướng dẫn cách âm thanh của một âm trong tiếng Anh được tạo ra như thế nào.
+ Âm thanh được tạo ra từ đâu (Where the sounds are made), phần này sẽ
hướng dẫn người học biết được âm thanh của âm được tạo ra từ đâu, cách phối hợp
các bộ phận như môi, miệng, lưỡi, răng, ... để tạo ra âm thanh.
+ Thanh âm và độ dài của hơi (Voicing and length), sẽ cho biết độ dài/ngắn
của âm và việc phát ra thanh âm sử dụng dây thanh âm.
+ Độ mạnh (Aspiration), phần này cho biết việc phát ra âm thanh có tạo ra
thêm không khí đẩy ra ngoài không.
13
+ Đánh vần (Spelling), phần này cho biết âm được dùng để phát âm tương
ứng với các ký tự nào trong tiếng Anh.
+ Lưỡi (The tongue), phần này sẽ hướng dẫn người học điều khiển lưỡi chính
xác để đọc một âm tương ứng.
+ Môi và miệng (The lips and mouth), phần này sẽ hướng dẫn người học điều
khiển môi và miệng chính xác để đọc một âm tương ứng
Với thông tin về các thành phần ảnh hưởng đến cách phát âm các âm trong
tiếng Anh, có thể thấy một âm (Lesson) sẽ có rất nhiều hướng dẫn phát âm
(pronunciation). Những hướng dẫn này có thể biểu diễn trong bằng một bảng của
CSDL như sau (bảng 2):
Bảng 2. Bảng cách phát âm (PRONUNCIATION) trong CSDL
PRONUNCIATION
Mô tả
PK
pronunciationId
title
Mã hướng dẫn phát âm
Tiêu đề hướng dẫn phát âm
Nội dung hướng dẫn phát âm
Âm tiếng Anh tương ứng với hướng dẫn phát âm
description
lessonId
3.1.3. Bài tập phát âm (Practice)
Đối với mỗi âm hay mỗi bài học, sẽ có nhiều bài luyện tập phát âm tương ứng
với vị trí hay tính đặc biệt của âm ở trong từ. Thông thường các bài luyện tập phát
âm được chia ra làm các loại sau:
+ Bài luyện tập chứa các từ trong đó âm cần luyện tập nằm đầu từ;
+ Bài luyện tập chứa các từ trong đó âm cần luyện tập nằm giữa từ;
+ Bài luyện tập chứa các từ trong đó âm cần luyện tập nằm cuối từ;
+ Bài luyện tập chứa các từ trong đó âm cần luyện tập nằm trước hay sau một
hay nhiều nguyên âm khác;
+ Bài luyện tập chứa các từ trong đó âm cần luyện tập nằm trước hay sau một
hay nhiều phụ âm khác.
14
Với thông tin về các dạng bài luyện tập ở trên, chúng ta thấy các âm hay bài
học sẽ có nhiều bài luyện tập phát âm khác nhau. Bài luyện tập phát âm có thể được
biểu diễn bằng một bảng của CSDL như sau (bảng 3):
Bảng 3. Bảng bài luyện tập phát âm (PRACTICE) trong CSDL
PRACTICE
PK practiceId
Mô tả
Mã bài luyện tập phát âm
name
Tên bài luyện tập phát âm
description
completion
lessonId
Thông tin mô tả về bài luyện tập phát âm
Mức độ hoàn thành bài luyện tập phát âm
Âm tiếng Anh tương ứng với bài luyện tập phát âm
3.1.4. Từ tiếng Anh dùng để luyện tập (Word)
Mỗi bài luyện tập phát âm sẽ chứa nhiều từ tiếng Anh tương ứng phù hợp với
nội dung bài luyện tập. Mỗi từ tiếng Anh dùng để luyện tập có thể được biểu diễn
bằng một bảng của CSDL như sau (bảng 5):
Bảng 5. Bảng từ luyện tập (WORD) trong CSDL
WORD
PK wordId
Mô tả
Mã của từ dùng để luyện tập
Nội dung từ
text
pronunciation
isCompleted
practiceId
Phiên âm của từ
Từ đã được phát âm đúng
Bài luyện tập phát âm tương ứng với từ
3.1.5. Xây dựng CSDL trên Core Data
Tất cả các bài học luyện tập trong giải pháp được trích chọn và tổng hợp tữ
những giáo trình chuyên dùng để luyện tập phát âm tiếng Anh, ví dụ trong hình 5(a).
Mọi thông tin về bài luyện tập được số hóa và lưu trữ dưới dạng cơ sở dữ liệu như
trong hình 5(b).
15
(a)
(b)
Hình 5. Số hóa bài học
Các bài học luyện tập phát âm trong ứng dụng đã được trích chọn kỹ lưỡng,
không thay đổi nên trong giải pháp này sử dụng công nghệ Core Data cho nền tảng
di động iOS. Công nghệ Core Data cho phép lưu trữ cơ sở dữ liệu dễ dàng mà không
cần quản trị cơ sở dữ liệu trực tiếp như hình 6(a). Đồng thời Core Data cho phép
theo dõi các thay đổi và có thể khôi phục dữ liệu riêng lẻ, theo nhóm hoặc tất cả
cùng một lúc, giúp dễ dàng hỗ trợ các chức năng undo hoặc redo trong ứng dụng
như hình 6(b).
(a)
(b)
Hình 6. Công nghệ Core Data
3.2. Thiết kế xây dựng phần mềm trên nền tảng iOS
Công việc chính của phần này là thiết kế và xây dựng phần mềm ứng dụng
trên nền tảng iOS tích hợp công nghệ nhận diện giọng nói đang được sử dụng trong
trợ lý ảo thông minh Siri của Apple. Phần mềm ứng dụng này dùng để hỗ trợ luyện
tập phát âm trên thiết bị di động với các chức năng chính như sau:
+ Chuyển đổi nội dung luyện tập phát âm từ các nguồn sang dạng hệ thống
thông tin.
16
+ Cho phép người dùng xem danh sách các bài học của từng âm trong tiếng
Anh và lựa chọn bài học tương ứng.
+ Dựa vào âm được lựa chọn, cho phép người dùng xem lại cách phát âm của
âm.
+ Dựa vào âm được lựa chọn, cho phép người dùng xem danh sách các bài
luyện tập tương ứng và lựa chọn bài tập để luyện tập.
+ Cho phép người dùng lựa chọn chế độ luyện tập các từ chưa hoàn thành
hoặc luyện tập tất cả các từ trong bài tập.
+ Đối với từng từ luyện tập:
- cho phép người dùng xem phiên âm của từ;
- nghe cách phát âm mẫu của người nói tiếng Anh bản địa;
- kiểm tra việc phát âm từ đúng hay sai dựa vào công nghệ nhận diện
giọng nói.
+ Dựa vào kết quả phát âm của các từ trong bài tập, phần mềm tự động tổng
hợp và cho phép người dùng biết được kết quả chung về mức độ phát âm đối với
bài tập.
+ Dựa vào kết quả của các bài tập, phần mềm tự động tổng hợp và cho phép
người dùng biết được kết quả chung về mức độ phát âm đối với bài học của từng
âm.
+ Cho phép người dùng thiết lập lại kết quả bài tập để luyện tập bài tập lại từ
đầu.
+ Cho phép người dùng thiết lập lại kết quả bài học của từng âm để luyện tập
bài học lại từ đầu.
3.2.1. Chức năng xem danh sách bài học
Màn hình chào của phần mềm hỗ trợ luyện phát âm tiếng Anh như hình 7. Sau
khi thoát khỏi màn hình chào người dùng sẽ được tiếp cận chức năng xem danh sách
bài học được cung cấp bởi phần mềm ứng dụng.
17
Hình 7. Màn hình chào của phần mềm
Bảng IPA tiếng Anh chứa 44 âm (sounds) được biểu diễn trong hình 2. Trong
đó, có 20 nguyên âm (vowel sounds) và 24 phụ âm (consonant sounds). Khi người
dùng bắt đầu mở ứng dụng, màn hình ứng dụng sẽ phải cung cấp cho người dùng
khả năng lựa chọn bài học tương ứng với từng âm.
Trước khi lựa chọn âm luyện tập, người dùng có thể lựa chọn ngôn ngữ để
luyện tập bao gồm tiếng Anh – Anh và tiếng Anh – Mỹ như hình 8.
Hình 8. Giao diện chọn lựa ngôn ngữ
Đây cũng là bước đầu tiên người dùng cần thực hiện vì âm được lựa chọn
quyết định các thông tin tiếp theo của ứng dụng. Hình 9 biểu diễn trang giao diện
18
ứng dụng cho phép người dùng lựa chọn bài học tương ứng với 44 âm trong tiếng
Anh.
Hình 9. Ứng dụng cho phép người dùng lựa chọn bài học từ danh sách tương ứng
44 âm trong tiếng Anh
Trong màn hình này, ứng dụng sẽ hiển thị danh sách các bài học cùng với
những thông tin liên quan đến bài học như: âm trong tiếng Anh của bài học; hình đại
diện bài học; từ liên quan; mức độ hoàn thành của người học đối với bài học (lúc
mới dùng các mức độ hoàn thành được thiết lập 0%).
19
3.2.2. Chức năng xem cách phát âm
Sau khi người dùng chọn bài học, dựa vào âm tiếng Anh tương ứng của bài
học được lựa chọn, ứng dụng tự động chuyển người dùng đến màn hình có chức
năng xem cách phát âm. Tùy theo mỗi âm tiếng Anh sẽ có những hướng dẫn cách
phát âm cụ thể, trong đó có nhiều thành phần liên quan tác động đến cấu thành một
âm như môi, lưỡi, miệng, độ dài hơi, ... Tùy theo mức độ thông thạo cách phát âm
đối với âm trong tiếng Anh, người học có thể đọc kỹ hoặc bỏ qua phần hướng dẫn
phát âm này.
Ví dụ trong hình 10(a) hiển thị các cách phát âm của phụ âm /p/ mà ứng dụng
cung cấp cho người dùng. Đối với phụ âm /p/ sẽ có những hướng dẫn phát âm liên
quan như: cách tạo ra âm thanh như thế nào; âm thanh được tạo ra từ đâu; thanh âm
và độ dài của hơi; độ mạnh và cách đánh vần.
(a)
(b)
Hình 10. Ứng dụng hiển thị danh sách cách phát âm đối với: (a) - phụ âm /p/
và (b) - nguyên âm /ɔː/
Mặt khác đối với nguyên âm /ɔː/ sẽ có những hướng dẫn phát âm liên quan
như: vị trí và cách chuyển động của lưỡi, môi và miệng; độ dài của âm và cách đánh
vần. Ví dụ trong hình 10(b) hiển thị các cách phát âm của nguyên âm /ɔː/ mà ứng
dụng cung cấp cho người dùng.
20
Tải về để xem bản đầy đủ
54 trang
30/03/2022
8560
Bạn đang xem 20 trang mẫu của tài liệu "Báo cáo Đề tài Nghiên cứu ứng dụng công nghệ nhận diện giọng nói vào việc xây dựng phần mềm hỗ trợ luyện tập phát âm tiếng Anh trên thiết bị di động", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- bao_cao_de_tai_nghien_cuu_ung_dung_cong_nghe_nhan_dien_giong.pdf
