Luận văn Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình Bert
HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------
NGUYỄN DIỆU LINH
PHÂN LOẠI CÂU HỎI PHÁP QUY TIẾNG VIỆT
SỬ DỤNG MÔ HÌNH BERT
LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)
HÀ NỘI – 2021
HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------
NGUYỄN DIỆU LINH
PHÂN LOẠI CÂU HỎI PHÁP QUY TIẾNG VIỆT
SỬ DỤNG MÔ HÌNH BERT
Chuyên ngành
: Khoa học máy tinh
: 8.48.01.01
Mã số
LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)
NGƢỜI HƢỚNG DẪN KHOA HỌC:
PGS. TS. NGÔ XUÂN BÁCH
HÀ NỘI – 2021
ii
LỜI CẢM ƠN
Em xin chân thành cảm ơn PGS.TS.Ngô Xuân Bách, bộ môn Khoa học máy
tính, Khoa Công nghệ thông tin đã tận tình chỉ dạy và hướng dẫn cho em trong việc
lựa chọn đề tài, thực hiện đề tài và viết báo cáo luận văn, giúp cho em có thể hoàn
thành tốt luận văn này.
Em xin chân thành cảm ơn các thầy cô giáo Khoa Công nghệ thông tin là
những người giảng dạy em, đặc biệt các thầy cô trong khoa Sau đại học đã tận tình
dạy dỗ và chỉ bảo em trong suốt 2 năm học .
Em xin chân thành cảm ơn em Nguyễn Thị Minh Phương đã tham gia xây
dựng kho ngữ liệu cho bài toán.
Cuối cùng em xin cảm ơn gia đình, bạn bè, những người đã luôn bên cạnh
động viên em những lúc khó khăn và giúp đỡ em trong suốt thời gian học tập và
nghiên cứu, tạo mọi điều kiện tốt nhất cho em để có thể hoàn thành tốt luận văn của
mình.
Mặc dù đã cố gắng hoàn thành nghiên cứu trong phạm vi và khả năng cho
phép nhưng chắc chắn sẽ không tránh khỏi những thiếu sót. Em kính mong nhận
được sự thông cảm của thầy cô và các bạn.
Em xin chân thành cảm ơn!
Hà Nội, 12/2020
Nguyễn Diệu Linh
iii
MỤC LỤC
LỜI CAM ĐOAN .......................................................................................................i
LỜI CẢM ƠN............................................................................................................ii
MỤC LỤC................................................................................................................ iii
DANH MỤC HÌNH VẼ ...........................................................................................vi
DANH MỤC BẢNG BIỂU.....................................................................................vii
MỞ ĐẦU ....................................................................................................................1
1.1 Giới thiệu bài toán phân loại câu hỏi..................................................................................4
1.2 Đặc điểm dữ liệu câu hỏi pháp quy.....................................................................................5
1.3 Một số nghiên cứu liên quan ...............................................................................................6
1.3.1 Một số nghiên cứu cho phân loại đa nhãn...................................................................6
1.3.2 Một số nghiên cứu cho phân loại câu hỏi tiếng Việt ...................................................7
1.4 Các phƣơng pháp phân loại câu hỏi...................................................................................8
1.4.1 Phương pháp học máy truyền thống ............................................................................9
1.4.2 Phương pháp sử dụng mạng nơ-ron ..........................................................................11
1.5 Kết luận chƣơng..................................................................................................................16
MÔ HÌNH BERT ....................................................................................................17
2.1 Bài toán phân loại đa nhãn câu hỏi tiếng Việt.................................................................17
2.2 Giải pháp cho bài toán phân loại đa nhãn .......................................................................18
2.2.1 Giải pháp theo phân loại nhị phân.............................................................................19
2.2.2 Giải pháp theo phân loại đa nhãn ..............................................................................21
2.3 Một số mô hình học sâu .....................................................................................................24
2.4 Giới thiệu phƣơng pháp BERT.........................................................................................31
2.5.1 Biểu diễn đầu vào ........................................................................................................33
iv
2.5.2 Mô hình huấn luyện....................................................................................................35
2.6 Kết luận chƣơng .................................................................................................................37
3.1 Xây dựng kho ngữ liệu.......................................................................................................38
3.1.1 Thu thập dữ liệu .........................................................................................................39
3.1.2 Tiền xử lý.....................................................................................................................39
3.1.3 Gán nhãn.....................................................................................................................39
3.1.4 Thống kê kho ngữ liệu................................................................................................42
3.2 Thiết lập thực nghiệm........................................................................................................45
3.3 Công cụ thực nghiệm .........................................................................................................45
3.4 Các mô hình thực nghiệm..................................................................................................46
3.5 Kết quả thực nghiệm..........................................................................................................47
3.5.1 Phân loại binary.............................................................................................................47
3.5.2 Phân loại đa nhãn.........................................................................................................53
3.6 Kết luận chƣơng .................................................................................................................61
v
DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT
Viết tắt
Tiếng Anh
Tiếng Việt
Bidirectional Encoder Representations Biểu diễn mã hóa hai chiều từ
BERT
CNN
GRU
LSTM
MLM
RNN
SRM
SVM
from Transformers
Transformer
Convolutional Neural Network
Gated Recurrent Units
Mạng nơ-ron tích chập
Cổng tái Unit
Long-Short Term Memory
Masked language modeling
Recurrent Neural Network
Structural rRisk rMinimization
Support Vector machine
Mạng bộ nhớ dài-ngắn
Mô hình ngôn ngữ bị che
Mạng nơ-ron hồi quy
Cực tiểu hóa rủi ro có cấu trúc
Máy vector hỗ trợ
vi
DANH MỤC HÌNH VẼ
Hình 1-1 Mô hình giai đoạn huấn luyện ..................................................................9
Hình 1-2 Mô hình giai đoạn phân lớp ....................................................................10
Hình 1-3 Siêu phẳng phân chia dữ liệu học thành 2 lớp (+) và (-) với khoảng cách
biên là lớn nhất. Các biên gần nhất (điểm được khoanh tròn) là các
Support Vector.........................................................................................11
Hình 1-4 Mô hình giai đoạn huấn luyện sử dụng mạng nơ-ron..............................12
Hình 1-5 Mô hình giai đoạn phân lớp sử dụng mạng nơ-ron. ................................12
Hình 1-6 Tế bào trang thái LSTM giống như một băng chuyền ...........................13
Hình 1-7 LSTM focus f ..........................................................................................14
Hình 1-8 LSTM focus I ..........................................................................................14
Hình 1-9 LSTM focus c .........................................................................................15
Hình 1-10 LSTM focus o ........................................................................................15
Hình 2-1 Mô hinh giải pháp phân loại theo phân loại nhị phân .............................19
Hình 2-2 Mô hình giải pháp phân loại theo phân loại đa nhãn...............................22
Hình 2-3 Mô hình một mạng nơ-ron hồi quy..........................................................25
Hình 2-4 Vanilla RNN, LSTM, GRU.....................................................................26
Hình 2-5 Các bước của bài toán phân loại văn bản sử dụng mạng nơ-ron RNN. ..27
Hình 2-6 Bên trái: Mạng nơ-ron ba lớp thông thướng. Bên phải: Một CNN sắp xếp
theo nơ-ron của nó theo ba chiều ............................................................28
Hình 2-7 Kiến trúc mô hình CNN dùng trong phân loại văn bản...........................30
Hình 2-8 Kiến trúc của mô hình BERT .................................................................33
Hình 2-9 Mô hình đại diện đầu vào của BERT .....................................................34
Hình 2-10 Mô hình huấn luyện phân loại đa nhãn sử dụng mô hình Bert................35
Hình 3-1 Mô hình xây dựng kho ngữ liệu. .............................................................38
Hình 3-2 Biểu đồ kết quả thực nghiệm phân loại binary của 3 mô hình. .................48
Hình 3-3 Biểu đồ kết quả thực nghiệm phân loại đa nhãn của 3 mô hình................54
vii
DANH MỤC BẢNG BIỂU
Bảng 3-1 Bảng nhãn và ví dụ ..................................................................................39
Bảng 3-3 Thống kê câu hỏi theo lượng nhãn ..........................................................44
hình SVM.................................................................................................56
hình BERT...............................................................................................57
1
MỞ ĐẦU
Ngày nay công nghệ thông tin phát triển mạnh mẽ, hầu như đã xâm nhập
toàn bộ các lĩnh vực đời sống xã hội. Xã hội ngày càng phát triển thì nhu cầu áp
dụng các tiến bộ của công nghệ thông tin vào cuộc sống ngày càng cao để giải quyết
những vấn đề phức tạp như y tế, giáo dục, pháp luật.
r
Với
tin tràn
của mạng Internet,
Những hỏi đáp của người
ngắn gọn, súc tích, chính
đáp tự động ra đời
r
nhu
r
cầu
trên
hằng
dùng
xác
đáp
r
trao
mọi
ngày
dưới
nhất
ứng
r
đổi
phương
con
r
và
r
tìm
r
r
r
r
r
r
kiếm
tiện truyền
người phải
dạng truy vấn
những gì mà họ
nhu cầu này.
Hệ thống
việc tìm kiếm
cách chính xác.
ngôn ngữ tự nhiên
Retrieval) và rút trích
Phân loại câu hỏi là pha đầu tiên trong kiến trúc chung của một hệ thống hỏi
r
thông
r
tin
r
của
r
con
r
người
r
ngày
r
càng
r
cao,
r
thông
r
r
r
ngập
r
r
r
r
r
thông,
r
đặc
r
biệt
r
là sự
r
r
phát
r
triển
r
rộng
r
rãi
r
r
r
r
r
r
r
r
xử
r
lý
r
một
được
mong
r
lượng
tìm kiếm
muốn. Vì
r
thông
và
vậy,
r
tin
r
khổng
về một
hệ
r
lồ.
r
r
r
r
r
r
r
r
r
r
sẽ
r
r
r
r
r
trả
r
r
r
cách
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
thống
r
hỏi
r
r
r
r
r
r
nhằm
r
r
r
r
r
r
hỏi-đáp
tự động
Hệ
r
tự
r
động
r
là
r
hệ
r
thống
một tập
động
r
được
r
xây
các
quan
tìm kiếm
r
dựng
tài liệu
đến lĩnh
thông
r
nhằm
r
mục
r
đích thực
r
r
r
r
r
hiện
một
r
r
r
r
r
r
câu
r
trả
r
lời
r
từ
r
r
r
lớn
r
r
r
r
cho
r
câu
vực
tin
r
hỏi
lớn
r
đầu
r
vào
lý
r
r
r
r
r
thống
r
hỏi-đáp
r
tự
r
r
liên
r
r
r
3
r
r
r
r
là xử
r
r
r
r
r
r
(Natural
thông
r
Language
r
Processing),
r
r
r
r
r
(Information
r
r
r
r
r
tin (Information
r
r
Extraction).
đáp, có nhiệm vụ tìm ra các thông tin cần thiết làm đầu vào cho quá trình xử lý của
các pha sau (trích chọn tài liệu, trích xuất câu trả lời, v.v). Vì vậy phân loại câu hỏi
là một bước quan trọng trong hệ thống hỏi đáp, ảnh hưởng trực tiếp đến hoạt động
của toàn bộ hệ thống. Nếu phân loại câu hỏi không tốt thì sẽ không thể tìm ra được
câu trả lời.
Văn
nước,
phương ban
quan trọng trong
r
bản
trung
hành
r
pháp
r
quy
r
là
r
văn
cơ quan
thẩm quyền
r
bản
quyền
lập
r
có
r
các
lực
quy
r
quy
nhà
của
r
phạm
r
pháp
r
luật
r
do
r
các
r
cơ
r
quan quản
r
r
r
r
lý
r
nhà
r
r
ở
r
r
ương,
r
r
r
r
r
r
nước,
r
cơ
r
quan
r
quản
r
lý
r
nhà
r
nước
r
ở
địa
r
r
r
r
theo
r
r
r
r
r
r
mình.
r
Văn bản
r
r
pháp
r
quy
r
có vai
r
trò
r
r
r
r
cuộc sống. Muốn hỏi đáp một vấn đề pháp luật cần phải tra cứu
r
tìm kiếm rất nhiều tài liệu văn bản pháp luật liên quan. Vì vậy, để giúp cho việc rút
ngắn thời gian tìm kiếm thì cần phân loại câu hỏi pháp quy theo các lĩnh vực pháp
luật.
2
Phân loại đa nhãn là phân loại văn bản, trong đó mỗi văn bản có thể thuộc
một số chủ đề được xác định trước cùng một lúc. Một câu hỏi pháp quy thông
thường có thể sẽ liên quan đến nhiều loại lĩnh vực pháp luật. Việc phân loại câu hỏi
pháp quy tiếng Việt đặt ra là mỗi câu hỏi có thể thuộc một số lĩnh vực. Vì vậy, bài
toán phân loại câu hỏi pháp quy tiếng Việt là bài toán phân loại đa nhãn câu hỏi
pháp quy tiếng Việt.
Các phương pháp phổ biến hiện nay có rất nhiều phương pháp và cách tiếp
cận để giải quyết bài toán phân loại câu hỏi. Gần đây có nhiều phương pháp học sâu
sử dụng mạng nơ-ron phổ biến như mạng nơ-ron nhân chập (Convolutional Neural
Network – CNN), mạng nơ-ron hồi quy (Recurrent Neural Network –RNN) cùng
các biến thể của nó như LSTM (Long-Short Term Memory) và mô hình BERT.
Mạng nơ-ron có ưu điểm là có thể tự động trích chọn được những thông tin
cần thiết và học được ngữ nghĩa từ dữ liệu. Thông thường các mô hình truyền thống
phải trích chọn đặc trưng một cách thủ công, mạng nơ-ron sẽ thực hiện tự động
chọn ra các đặc trưng cần thiết. Điều này giúp việc chọn được các đặc trưng tốt hơn
và đưa ra được kết quả tốt hơn.
Mô hình BERT bản chất là một dạng mô hình huấn luyện trước, tận dụng các
nguồn dữ liệu không có nhãn để học, sau đó dùng vào các bài toán khác.
r
Mô
việc tìm
hiểu được)
r
hình
r
r
r
BERT
đại diện
thông qua
r
đã
r
thành
r
công
trong
cảnh của
r
trong
r
việc
r
cải
r
thiện
r
những
r
công
r
việc
r
gần
r
đây
r
trong
thể
r
r
r
ra
r
r
của
r
từ
r
r
không
r
gian
r
số
r
(không
r
gian
r
mà
r
máy
r
tính
r
có
r
r
r
r
r
ngữ
r
r
r
nó.
Với mục đích đưa những tiến bộ công nghệ vào phục vụ cho cuộc sống,
chúng tôi xin chọn đề tài nghiên cứu “Phân loại câu hỏi pháp quy tiếng Việt sử
dụng mô hình BERT”. Phân loại câu hỏi pháp quy tiếng Việt là bài toán phân loại
câu hỏi về pháp luật thành các lĩnh vực pháp lý, được phân vào một số loại ví dụ
như: Công chứng, Dân sự, Hôn nhan và gia đình, Quốc tịch Việt Nam, v.v.
Luận văn thực hiện mô hình hóa bài toán dưới dạng một bài toán phân lớp đa
nhãn. Trong đó mỗi câu hỏi có thể thuộc một hoặc nhiều lĩnh vực khác nhau. Luận
văn thực hiện phân loại câu hỏi sử dụng cách tiếp cận học máy giám sát, cụ thể là sử
3
dụng một số mô hình truyền thống SVM và mô hình BERT[18, 6]. Kết quả thực
nghiệm tốt nhất đạt được khi sử dụng mô hình BERT là 89,47% (độ đo F1).
Nội dung chính của luận văn được trình bày trong ba chương như sau:
Chƣơng 1: Giới thiệu bài toán phân loại câu hỏi pháp quy tiếng Việt :
Trong chương này, luận văn giới thiệu bài toán phân loại câu hỏi, đặc điểm
dữ liệu câu hỏi pháp quy, một số nghiên cứu liên quan, các phương pháp
phân loại câu hỏi và kết luận chương.
Chƣơng 2: Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình
BERT : Trong chương 2, luận văn giới thiệu về bái toán phân loại đa nhãn
câu hỏi tiếng Việt, giới thiệu một số mô hình học sâu, giới thiệu phương
pháp BERT và trình bày mô hình phân loại câu hỏi pháp quy tiếng Việt sử
dụng mô hình BERT.
Chƣơng 3: Thực nghiệm đánh giá : Chương này, luận văn trình bày tổng quan
về kho ngữ liệu, cách thu thập, tiền xử lý, xây dựng tập nhãn và thống kê kho
ngữ liệu; sử dụng các thư viện có sẵn cài đặt hệ thống phân loại câu hỏi và áp
dụng phương pháp được đề xuất ở Chương 2; thực hiện huấn luyện hệ thống với
bộ dữ liệu và tập nhãn đã xây dựng và tthống kê và đánh giá kết quả thực
nghiệm.
4
CHƢƠNG 1: BÀI TOÁN PHÂN LOẠI CÂU HỎI
Trong chương 1, luận văn trình bày cái nhìn tổng quan về bài toán phân loại
câu hỏi, bao gồm giới thiệu cơ bản về bài toán phân loại câu hỏi; đặc điểm của dữ
liệu câu hỏi pháp quy; các nghiên cứu liên quan về phân loại câu hỏi; các phương
pháp phân loại câu hỏi.
1.1 Giới thiệu bài toán phân loại câu hỏi
Hệ thống hỏi đáp là một hệ thống đóng vai trò phổ biến trong việc tìm kiếm
thông tin nhanh chóng, chính xác và hiệu quả.
r
Nhiệm
muốn của người
nhiên. Một trong các yếu tố đóng vai trò quan trọng trong
r
vụ
r
của
r
nó
r
là
r
đưa
r
ra
r
câu
r
trả lời
r
r
đầy
thể
r
đủ
r
và
r
chính
r
xác
r
ứng
r
với
r
yêu
r
cầu
r
mong
r
r
r
r
dùng
r
và
r
câu
r
trả
r
lời
r
được
r
r
hiện
r
bằng
r
ngôn
r
ngữ
r
tự
r
hệ thống hỏi đáp là phân loại câu hỏi.
Trước khi tìm ra được câu trả lời cho câu hỏi, hệ thống cần phải xác định
được câu hỏi đó thuộc loại nào, hỏi về cái gì.
Ví dụ:
Câu hỏi “Ai là chủ tích nước Việt Nam năm 2010” là câu hỏi về
“người” hay câu “Việt Nam có bao nhiêu người mặc bệnh covid-19”
là câu hỏi về số lượng.
Câu hỏi “ uy nh của pháp luật v ngh a vụ tài n của v ch ng ối
với người thứ ba khi ly hôn?” là câu hỏi về “hôn nhân và gia ình”.
Xác
kiếm cần
lớn các ứng
các ứng viên
kiểm tra toàn bộ các
Vì vậy, phân loại câu
r
định
tìm
viên
là tên
đoạn
hỏi đóng
r
được
r
loại
trả lời,
trả lời.
các
văn
r
câu
nó
Như
thực
bản
vai trò
r
hỏi
r
không
có thể
dụ trên,
“người”
đâu
r
chỉ
r
có
r
thể
r
thu
r
gọn
r
phạm
r
vi
r
được
r
không gian
r
r
r
r
r
r
tìm
r
r
r
r
câu
r
r
r
r
còn
r
r
r
tìm
r
kiếm
r
chính
r
xác
r
câu
có
r
trả
r
lời
r
trong
quan
r
một
tâm
tập
r
r
r
r
r
r
r
r
ở
r
ví
r
r
r
hệ thống
r
r
trả
r
lời
r
r
thể
r
chỉ
r
r
đến
r
r
r
r
r
r
r
r
thể
r
là
r
r
r
hay
r
“số
r
lư ng”
r
mà
trả
r
không
r
cần
r
phải
r
r
r
r
r
r
r
r
để
r
tìm
r
ở
r
có thể
r
r
chứa
r
câu
r
r
lời hoặc
r
r
không.
r
r
r
r
r
r
r
r
r
quan
r
trọng
r
trong
r
hệ
r
thống
r
trả
r
lời
r
tự động.
r
Bài toán phân loại câu hỏi thực chất có thể xem là bài toán phân lớp. Phân
loại câu hỏi là việc gán các nhãn phân loại cho các câu hỏi dựa trên mức độ tương
tự của câu hỏi đó so với các câu hỏi đã được gán nhãn trong tập huấn luyện. Nó ánh
xạ một câu hỏi vào một chủ đề đã biết trong một tập hữu hạn các chủ đề dựa trên
5
các đặc trưng của câu hỏi. Phân loại câu hỏi[1] nhận đầu vào là câu hỏi dưới dạng
ngôn ngữ tự nhiên của người dùng, đưa ra nhãn phân loại cho câu hỏi đó, xem câu
hỏi đó thuộc loại nào. Việc phân loại câu hỏi thường được thể hiện bằng cách gán
cho câu hỏi một nhãn có sẵn theo tập nhãn cho trước.
Bài toán phân loại câu hỏi có thể được mô tả như sau:
Input:
- Cho trước một các câu hỏi q.
- Tập các chủ đề (phân loại) được định nghĩa .
Tìm câu hỏi q thuộc chủ đề nào?
Ví dụ: đối với tiếng Việt: “Cơ sở Học viện Công nghệ Bưu Chính Viễn
Thông ở Hà Nội nằm ở đâu?” và tập nhãn đã có.
Output:
- Nhãn của câu hỏi
Ví dụ: Địa điểm
Có rất nhiều kỹ thuật học máy và khái phá dữ liệu đã được áp dụng vào bài
toán phân loại câu hỏi như: cây quyết định (decision tree)[19], Naïve Bayes[20], K-
láng giềng gần nhất (KNN)[21], mạng nơron (neural network)(như mạng thần kinh
tích chập Convolutional Neural Networks (CNNs)[7], mạng nơ-ron hồi quy
Recurrent Neural Network (RNN)[17], v.v), v.v.
1.2 Đặc điểm dữ liệu câu hỏi pháp quy
Văn bản pháp quy là văn bản có các quy phạm pháp luật do các cơ quan quản
lý nhà nước, ở trung ương, cơ quan quyền lực nhà nước, cơ quan quản lý nhà nước ở
địa phương ban hành theo thẩm quyền lập quy của mình. Văn bản pháp quy có vai trò
quan trọng trong cuộc sống. Muốn hỏi đáp một vấn đề pháp luật cần phải tra cứu tìm
kiếm rất nhiều tài liệu văn bản pháp luật liên quan. Vì vậy, để giúp cho việc rút ngắn
thời gian tìm kiếm thì cần phân loại câu hỏi pháp quy theo các lĩnh vực pháp luật.
Câu hỏi pháp quy có đặc điểm ý hỏi có thể liên quan đến một hoặc nhiều điều
luật. Thông thường, câu hỏi chỉ phân theo một nhãn nhất định, nhưng với câu hỏi
6
pháp quy thì một câu hỏi có thể có một hoặc nhiều hơn một nhãn do ý hỏi của câu hỏi
có liên quan đến nhiều điều luật khác nhau mà không thể ghép chung làm một.
Ví dụ: câu hỏi “Chi phí cho tổ chức công chứng với giao d ch v quy n sử
dụng ất gắn li n với nhà ở?” có ý hỏi thuộc lĩnh vực “công chứng” và lĩnh vực
“phí và lệ phí”.
1.3 Một số nghiên cứu liên quan
1.3.1 Một số nghiên cứu cho phân loại đa nhãn
Nhóm nghiên cứu David Vilar, Maria Jose Castro và Emilio Sanchis[17] đã
có nghiên cứu về phân loại đa nhãn sử dụng mô hình đa thức. Áp dụng các quy tắc
phân loại đa nhãn, nhóm nghiên cứu đã xem xét nhiệm vụ phân loại văn bản. Trong
đó, mỗi văn bản được gán một vectơ W chiều ứng với số lượng từ, trong đó W là
kích thước của từ vựng. Biểu diễn này được gọi là túi của từ (bag-of-words). Nhóm
nghiên cứu đã sử dụng phân loại Naive Bayes trong phần khởi tạo mô hình sự kiện
đa thức của nó.
Trong mô hình, họ đưa ra giả định rằng xác suất của sự kiện xảy ra (sự xuất
hiện của từ) độc lập với ngữ cảnh và vị trí của từ trong văn bản mà nó xuất hiện, và
do đó cách biểu diễn được chọn là phù hợp. Họ sử dụng phương pháp tiếp cận theo
xác suất tích lũy sau bằng cách làm việc với xác suất thực sau để xử lý ngưỡng theo
cách chính xác. Một khả năng để tính toán xác suất này theo cách có thể thống kê
được số là đưa ra một phép toán tối đa trong quy tắc Bayes và sau đó đưa ra một hàm
logarit và một hàm lũy thừa cho phép tính toán các xác suất một cách đáng tin cậy.
Họ thực nghiệm đo hiệu quả các phương pháp theo thức tự tăng dần độ khó
của nhiệm vụ. Trước tiên, họ xem xét vấn đề phân loại đơn nhãn đơn giản, tức là
chỉ xem xét các mẫu có một nhãn lớp duy nhất. Họ nhận được tỷ lệ lỗi là 8,56%
trong trường hợp này. Nếu họ đưa các mẫu không có nhãn vào để ước tính tốt hơn
các thông số làm mịn, họ không nhận được bất kỳ sự cải thiện nào về tỷ lệ lỗi.
Ngoài tỷ lệ lỗi, trong bài toán phân loại đa nhãn họ cũng tính đến độ đo
precision/recall.
7
Kết quả về phân loại văn bản với kho ngữ liệu Reuters-21578 của họ cho
thấy cách tiếp cận xác suất tích lũy sau thực hiện tốt hơn các bộ phân loại nhị phân
được sử dụng rộng rãi nhất.
1.3.2 Một số nghiên cứu cho phân loại câu hỏi tiếng Việt
Hiện nay đã có rất nhiều nghiên cứu phân loại câu hỏi tiếng Việt và đạt được
một số thành tựu nhất định. Điển hình là một số các nghiên cứu về học sâu đạt kết
quả khá tốt như:
Phân loại câu hỏi không thành thật[8] được xuất bản năm 2019 sử dụng kiến
trúc mạng nơ-ron hồi quy Recurrent Neural Network (RNN) như một Long Short-
Term Memory (LSTM) và một Gated Recurrent Units (GRU). Họ sử dụng LSTM
trên một vec-tơ từ được đào tạo để nắm bắt thông tin ngữ nghĩa và cú pháp. Việc sử
dụng một vec-tơ từ được đào tạo trước cung cấp một số lợi thế. Một từ tương tự
được nhóm lại với nhau. LSTM được sử dụng để tránh vấn đề vanishing gradient
(gradient có giá trị nhỏ dần theo từng lớp khi thực hiện lan truyển ngược).
Họ đã thực hiện nghiên cứu của mình bằng 7 bước: Bước 1: Khai thác dữ
liệu. Bước 2: Mô tả dữ liệu. Phân tích dữ liệu được thực hiện bằng cách vẽ đồ thị và
sử dụng pandas. Bước 3: Tiền xử lý dữ liệu. Bước 4: Word embedding. Họ thực
hiện embedding layer như một sự kết hợp hai word embedding được đào tạo trước,
GloVe, paragram, cùng với mạng nơ-ron. GloVe[9] là mô hình song tuyến tính với
các mục tiêu bình phương nhỏ nhất có trọng số. Đào tạo mô hình này dựa trên quan
sát đơn giản tỷ lệ của xác suất xảy ra đồng từ-từ. Paragram[10] là mô hình thành
phần. Paragram mã hóa các chuỗi từ tùy ý thành một vectơ như Glove. Bước 5: Thử
nghiệm với mô hình học giám sát. Họ thử nghiệm 3 thuật toán học giám sát:
Multinomial Naïve Bayes, K-nearest, Logistic Regression. Bước 6: Thiết kế mạng
nơ-ron. Họ sử dụng RNN để làm mô hình. RNN là một loại mạng thần kinh trong
đó đầu ra từ bước trước được đưa vào làm đầu vào cho bước hiện tại. Mạng lưới nơ-
ron của họ bao gồm lớp đầu vào, 5 lớp ẩn và 1 lớp đầu ra. Lớp đầu vào bao gồm 65
nút. Lớp đầu vào này được kết nối với lớp nhúng. Lớp nhúng này được sử dụng để
tạo đại diện vec-tơ của các từ. Trọng lượng của lớp nhúng được khởi tạo bằng cách
8
ghép các phần nhúng của bên thứ ba (GloVe và paragram). Bước 7: Đào tạo mạng
nơ-ron. Kết quả tốt nhất sử dụng mô hình RNN của họ là 69,13% với độ đo là F1.
Nghiên cứu này cho kết quả thực nghiệm không quá tốt.
Bên cạnh đó cũng có nghiên cứu về phân loại câu hỏi chuyên sâu sử dụng
mạng thần kinh tích chập Convolutional Neural Networks (CNNs)[11] được xuất
bản năm 2017. Ý tưởng chính của họ trong nghiên cứu này là mở rộng dựa trên
công việc hiện có để tạo ra một CNN hai lớp đó là phân loại câu hỏi thành các danh
mục chính và phụ của chúng. Vì đối số là các kết quả rất nhanh, thay vì tạo một
mạng duy nhất có thể phân loại một ví dụ thành 50 lớp, họ tạo mạng riêng cho mỗi
lớp chính và điều này giúp cung cấp cho lớp thứ cấp CNN một số thông tin trước về
danh mục chính. Kiến trúc được đề xuất cho mạng nơ-ron tích chập bao gồm một
lớp convolutional để học tìm hiểu một số bộ lọc để đạt được chiều cao nhất định.
Trong mạng này, họ lấy từ bigram đến pent-gram. Điều này giúp họ tìm hiểu
ý định của câu hỏi ở một mức độ lớn hơn. Tiếp theo, họ đã thêm một lớp gộp k-max
(Kalchbrenner et al., 2014)[12]. Họ đã sử dụng nhóm tối đa 2 cho mạng của mình
để tích lũy thêm thông tin từ các bộ lọc tích chập. Sau đó, họ hợp nhất tất cả các đầu
ra gộp chung này để tạo thành một lớp được kết nối đầy đủ. Các CNN có xu hướng
hoạt động tốt hơn khi các lớp được kết nối đầy đủ hơn được thêm vào cuối trước khi
lớp softmax đầu ra [13, 14]. Do đó, họ thêm hai lớp với các nút ẩn N và N / 2 với
các tiếp tuyến hyperbol là các hàm kích hoạt của chúng. Dropout 0,5 đã được sử
dụng trong hai lớp này để tránh quá mức trong khi đào tạo. Họ đang sử dụng hai
tầng CNN để phân loại các câu hỏi ở các cấp độ khác nhau - chính và phụ. Các câu
hỏi được phân loại thành các loại chính của chúng theo CNN cấp 1 được chuyển
đến CNN intier 2 thích hợp để xác định danh mục phụ của chúng. Nghiên cứu của
họ cho kết quả tốt nhất với độ đo Accuracy là 90.43% với câu hỏi chính và 76,52%
với câu hỏi phụ. Nhận thấy rằng kết quả nghiên cứu của họ khá tốt.
Hiện nay có ít nghiên cứu về phân loại câu hỏi pháp quy tiếng Việt.
1.4 Các phƣơng pháp phân loại câu hỏi
Hầu hết các cách tiếp cận bài toán phân loại câu hỏi thuộc 2 loại : tiếp cận
dựa trên luật và tiếp cận dựa trên học máy.
Tiếp
r
cận
r
dựa
r
trên
r
luật[3]
r
là
r
cách
r
tiếp
r
cận
r
được
r
cho
r
là
r
đơn
r
giản
r
nhất
r
để
r
phân
r
loại
r
câu
r
hỏi. Trong
r
r
cách
r
tiếp
r
cận này,
r
r
việc
r
phân
r
loại
r
câu hỏi
r
r
dựa
r
vào
r
các luật
r
r
ngữ
r
pháp
r
viết
9
r
tay. Các luật này có được là do nghiên cứu và đề xuất từ các chuyên gia.
tiếp cận này, một loạt các biểu thức chính quy (regular expression) được
khớp với câu hỏi từ đó quyết định phân loại của câu hỏi và loại câu trả lời.
Tiếp cận dựa trên học máy[3] là cách tiếp cận được sử dụng phổ
giải quyết bài toán phân loại câu hỏi. Cách tiếp cận thay thế
chuyên bằng một tập lớn các câu hỏi được gán dữ liệu
tập này, bộ phân lớp sẽ được huấn luyện có
r
Đối
r
với
r
cách
r
r
r
r
r
r
r
r
r
r
r
r
r
r
tạo
r
ra để
r
r
so
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
biến
r
rộng rãi
r
r
r
r
để
r
r
r
r
r
r
r
r
r
r
r
r
này
r
sẽ
r
r
r
các
r
kiến
Sử
r
thức
r
môn
một
r
r
r
r
r
r
r
r
r
r
r
nhãn
r
(tập
r
r
r
mẫu).
r
r
dụng
r
r
r
r
r
r
r
r
r
r
giám sát.
r
Cách tiếp cận dựa trên học máy chia làm hai nhóm là nhóm các phương pháp
học máy truyền thống và nhóm các phương pháp sử dụng mạng nơ-ron (Neural
NetWork). Nhóm các phương pháp học máy truyền thống thường được sử dụng như
là tính xác suất Naïve Bayes, Maximum Entropy, cây quyết định (decision Tree),
lân cận (Nearest-Neighbors), Máy Vector hỗ trợ (Support Vector machine - SVM),
K-nearest neighbors (KNN), v.v. Cách tiếp cận bằng học máy đã giải quyết được
các hạn chế trong cách tiếp cận dựa trên luật.
1.4.1 Phương pháp học máy truyền thống
Với các phương pháp học máy truyền thống như SVM, KNN, cây quyết
định, v.v thì quá trình phân loại dữ liệu văn bản (document, câu) thường gồm hai
giai đoạn sau:
Giai
r
đoạn
huấn luyện
và áp dụng
phân loại.
r
huẩn
gồm
các
r
luyện:
các câu
thuật toán
r
Giai
hỏi
huấn
r
đoạn
đã được
luyện
r
huấn
gán
sẽ
r
luyện
nhãn,
cho
r
nhận
sau
ra đầu
r
đầu
khi
ra
r
vào
xử
là
r
là
lý
một
r
tập
r
ngữ
ngữ
r
liệu
liệu
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
tập
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
mô hình
r
r
Ngữ liệu
huấn luyện
Tiền xử lý
Vector hóa
Trích chọn
đặc trưng
Mô hình
phân loại
Thuật toán
huấn luyện
Hình 1-1 Mô hình giai đoạn huấn luyện [2]
10
Giai
r
đoạn
người dùng
dụng mô hình
r
phân
r
lớp:
r
Giai
r
đoạn
r
phân
tự nhiên,
nhãn phân
r
lớp
r
nhận
sau quá
loại của
r
đầu
trình
câu
r
vào
r
là
tiền
hỏi đầu
r
câu
r
hỏi
lý và
vào.
r
của
r
r
r
dưới
r
dạng
r
ngôn
r
ngữ
ra
r
r
r
r
r
r
r
xử
r
r
r
áp
r
r
r
r
phân
r
loại sẽ cho
r
r
r
r
r
r
r
r
r
r
r
Vector hóa
Tiền xử lý
Câu hỏi
Trích chọn
đặc trưng
Sử dụng mô
hình phân loại
Nhãn cho
câu hỏi
Hình 1-2 Mô hình giai đoạn phân lớp [2]
Mô hình SVM[3]
Giải thuật máy vector hỗ trợ SVM ra đời từ lý thuyết học thống kê do Vapnik
và Chervonenkis xây dựng năm 1995[4]. Đây là một giải thuật phân lớp phổ biến,
nhiều trong lĩnh vực khai phá dữ liệu và nhận
r
r
r
r
r
r
r
r
r
r
có
r
hiệu
r
quả
r
cao
r
và
r
đã
r
được
r
áp
r
dụng
r
r
r
r
r
r
r
r
r
r
r
dạng.
Giải thuật SVM thuộc nhóm giải thuật học máy có giám sát và được sử dụng
trong các bài toán phân lớp và hồi quy, chủ yếu là bài toán phân lớp. SVM là một
thuật toán phân loại nhị phân nhận dữ liệu đầu vào và phân loại chúng thành hai loại
khác nhau.
r
Với
r
một
r
bộ
r
các
r
dữ
r
liệu
mô
r
huấn
r
luyện
r
thuộc
r
hai
r
loại
r
cho
r
trước,
r
thuật
r
toán
hai
r
huấn
thể loại
Phương
cấu trúc SRM
phương pháp phân
r
luyện
r
SVM
r
xây
r
dựng
r
một
r
r
hình SVM
r
r
để
r
phân loại
r
r
các
r
dữ
r
liệu khác
r
r
vào
r
r
r
r
đó.
r
pháp
r
này
r
thực
r
hiện
Risk
sát không
r
phân
r
lớp
r
dựa
r
trên
r
nguyên
được
vi. Các hàm công cụ của SVM
r
lý
r
Cực
r
tiểu
r
hóa
r
rủi
r
ro
r
r
có
r
r
r
r
(Structural
lớp giám
r
r
Minimization)
r
[5],
r
r
xem
r
là
r
một
r
trong
r
các
r
r
r
r
r
r
r
tham số tinh
r
r
r
cho phép tạo không gian chuyển đổi để xây dựng mặt phẳng phân lớp để phân chia
các lớp ra thành các phần riêng biệt.
SVM
chúng thuộc
dữ liệu là một
r
cho
r
trước
các lớp
điểm,
r
một
cho
phương
r
tập
trước,
pháp
r
dữ
r
liệu
r
huấn
r
luyện
diễn trong
tìm ra một
r
bao
r
gồm
r
dữ
r
liệu
r
cùng
r
với nhãn
r
r
r
của
r
r
r
r
r
r
r
được
r
biểu
r
r
r
không
r
gian
r
vector,
r
trong
r
đó
mỗi
r
r
r
r
r
r
r
r
này
r
r
r
r
siêu
r
phẳng quyết
r
r
định
r
tốt nhất
r
11
r
r
r
r
r
có
(+)
biên
khoảng
r
thể
và
hay
cách
càng chính
Trong
trong
cần phải
mới nhiều chiều
mới.
r
chia
lớp (-).
lề) của
biên
r
các
Chất
điểm
càng
xác.
r
điểm
lượng
dữ
lớn
r
trên
r
không
của siêu
liệu gần
thì mặt
r
gian
r
này
r
thành
được
mỗi
r
hai
quyết
lớp
r
lớp
định
đến
r
riêng
bởi
mặt
r
biệt
khoảng
phẳng này.
r
tương
cách
Khi
r
ứng
r
là
(gọi
đó,
r
lớp
r
r
r
r
r
r
r
r
phẳng
r
r
r
r
r
r
r
r
là
r
r
r
r
r
r
r
r
nhất
r
của
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
phẳng
r
quyết
r
định
r
càng
r
tốt,
r
đồng
r
thời
r
việc phân
r
loại
r
r
r
r
nhiều
r
trường
gian
các điểm
hơn, để việc
r
hợp,
ban
dữ
phân
r
không
đầu được
liệu trong
tách chúng
r
thể
r
phân
dùng
không
trở
r
chia
để mô
gian
nên dễ
r
các
tả
ban
dàng
r
lớp
một
đầu
hơn
r
dữ
vấn
vào
r
liệu
đề.
một
trong
r
một
r
cách
vậy,
r
r
tuyến
nhiều
r
r
r
r
tính
r
r
một
r
không
xạ
r
r
r
r
r
r
r
r
r
r
r
r
Vì
r
khi
r
r
r
ánh
r
r
r
r
r
r
r
r
r
r
r
r
r
không
không
r
gian
gian
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
r
Mục
r
đích
r
của
r
phương
r
pháp
r
SVM
r
là
r
tìm
r
được
r
khoảng
r
cách
r
biên
r
lớn
r
nhất,
r
điều
r
này
r
được mình
r
r
họa
r
như sau:
r
Hình 1-3 Siêu phẳng phân chia dữ liệu học thành 2 lớp (+) và (-) với khoảng cách biên
là lớn nhất. Các biên gần nhất (điểm đƣợc khoanh tròn) là các Support Vector[5]
Đây là mô hình mạnh và chính xác nhất trong một số các mô hình nổi tiếng
về phân lớp dữ liệu.
1.4.2 Phương pháp sử dụng mạng nơ-ron
Với phương pháp sử dụng mạng nơ-ron như LSTM, CNN, RNN, v.v thì quá
trình phân loại dữ liệu văn bản cũng gồm hai giai đoạn:
Giai
huấn
và đưa vào mạng nơ-ron
r
đoạn
r
huẩn
r
luyện:
r
Giai
hỏi
sẽ cho
r
đoạn
r
huấn
r
luyện
gán nhãn,
ra là một
r
nhận
sau
mô hình
r
đầu
khi biểu diễn dữ liệu
phân loại.
r
vào
r
là
r
tập
r
ngữ liệu
r
r
r
luyện
r
gồm
r
các câu
r
r
r
đã
r
được
r
r
r
r
r
r
r
ra đầu
r
r
r
r
r
r
r
r
Tải về để xem bản đầy đủ
74 trang
23960
Free
Bạn đang xem 20 trang mẫu của tài liệu "Luận văn Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình Bert", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- luan_van_phan_loai_cau_hoi_phap_quy_tieng_viet_su_dung_mo_hi.pdf
