Tóm tắt Luận văn Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình Bert
HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------
NGUYỄN DIỆU LINH
PHÂN LOẠI CÂU HỎI PHÁP QUY TIẾNG VIỆT
SỬ DỤNG MÔ HÌNH BERT
Chuyên ngành: Khoa học máy tính
Mã số: 8.48.01.04
TÓM TẮT LUẬN VĂN THẠC SĨ
HÀ NỘI – 2021
Luận văn đƣợc hoàn thành tại:
HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
Ngƣới hƣớng dẫn khoa học: TS. Ngô Xuân Bách
Phản biện 1: TS. Phùng Văn Ổn
Phản biện 2: PGS.TS. Trần Đình Quế
Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện
Công nghệ Bưu chĩnh Viễn thông.
Vào lúc: 08 giờ 40 ngày 09 tháng 01 năm 2021
Có thể tìm hiểu luận văn tại:
- Thư viện của Học viện Công nghệ Bưu chính Viễn thông.
1
MỞ ĐẦU
Với
r
nhu
r
cầu
r
trao
r
đổi
r
và
r
tìm
r
kiếm
r
thông
r
tin
r
của
r
con
r
người
về một
đời nhằm
r
ngày
cách
đáp
r
càng
r
cao, đồng
nghĩ với việc người dùng mong muốn kết quả tìm kiếm trả
r
r
r
r
ngắn
r
gọn,
nhu
r
súc
r
r
tích,
này.
r
chính
r
xác
r
nhất.
r
Vì
r
vậy,
r
hệ
r
thống
r
hỏi
r
đáp
r
tự
r
động
r
ra
r
r
r
r
ứng
r
r
cầu
Hệ
tìm kiếm
chính
Phân loại câu hỏi là pha đầu tiên trong kiến trúc chung của một hệ thống hỏi
r
thống
r
hỏi-đáp
r
tự
r
động
r
là
r
hệ
r
thống
r
được
r
xây
r
dựng
r
nhằm
r
mục
r
đích
r
thực
r
hiện
r
r
việc
r
r
r
tự
r
động
r
câu
r
trả lời
r
r
từ
r
một
r
tập
r
lớn các
r
r
tài liệu
r
r
cho câu
r
r
hỏi
r
đầu
r
vào
r
một
cách
r
r
xác.
đáp, có nhiệm vụ tìm ra các thông tin cần thiết làm đầu vào cho quá trình xử lý của các
pha sau (trích chọn tài liệu, trích xuất câu trả lời, v.v).
Văn
nước,
phương ban
r
bản
trung
hành
r
pháp
ương,
theo thẩm
r
quy
r
là
r
văn
quan
quyền
r
bản
quyền
lập quy
r
có
r
các
r
quy
nhà
của
r
phạm
r
pháp
cơ
r
luật
r
do
r
các
r
cơ
r
quan
r
quản
r
lý
r
r
nhà
r
r
ở
r
r
r
cơ
r
r
r
lực
r
r
nước,
r
r
quan
r
quản
r
lý
r
nhà
r
nước
r
ở
r
địa
r
r
r
r
r
r
r
r
r
mình. Muốn hỏi đáp một vấn đề pháp
luật cần phải tra cứu tìm kiếm rất nhiều tài liệu văn bản pháp luật liên quan. Vì vậy, để
giúp cho việc rút ngắn thời gian tìm kiếm thì cần phân loại câu hỏi pháp quy theo các
lĩnh vực pháp luật.
Phân loại đa nhãn là phân loại văn bản, trong đó mỗi văn bản có thể thuộc một
số chủ đề được xác định trước cùng một lúc. Một câu hỏi pháp quy thông thường có
thể sẽ liên quan đến nhiều loại lĩnh vực pháp luật. Việc phân loại câu hỏi pháp quy
tiếng Việt đặt ra là mỗi câu hỏi có thể thuộc một số lĩnh vực. Vì vậy, bài toán phân loại
câu hỏi pháp quy tiếng Việt là bài toán phân loại đa nhãn câu hỏi pháp quy tiếng Việt.
Các phương pháp phổ biến hiện nay có rất nhiều phương pháp và cách tiếp cận
để giải quyết bài toán phân loại câu hỏi. Gần đây có nhiều phương pháp học sâu sử
dụng mạng nơ-ron phổ biến và cho kết quả tốt hơn do có thể tự động trích chọn được
những thông tin cần thiết và học được ngữ nghĩa từ dữ liệu.
Mô hình BERT bản chất là một dạng mô hình huấn luyện trước, tận dụng các
nguồn dữ liệu không có nhãn để học, sau đó dùng vào các bài toán khác.
Phân loại câu hỏi pháp quy tiếng Việt là bài toán phân loại câu hỏi về pháp luật
thành các lĩnh vực pháp lý.
Luận văn “Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT” thực
hiện mô hình hóa bài toán dưới dạng một bài toán phân lớp đa nhãn. Trong đó mỗi câu
2
hỏi có thể thuộc một hoặc nhiều lĩnh vực khác nhau. Luận văn thực hiện phân loại câu
hỏi sử dụng cách tiếp cận học máy giám sát, cụ thể là sử dụng một số mô hình truyền
thống SVM và mô hình BERT[18, 6]. Kết quả thực nghiệm tốt nhất đạt được khi sử
dụng mô hình BERT là 89.47% (độ đo F1).
Nội dung chính của luận văn được trình bày trong ba chương như sau:
Chƣơng 1: Giới thiệu bài toán phân loại câu hỏi pháp quy tiếng Việt :
Trong chương này, luận văn giới thiệu bài toán phân loại câu hỏi, đặc điểm dữ
liệu câu hỏi pháp quy, một số nghiên cứu liên quan, các phương pháp phân loại
câu hỏi và kết luận chương.
Chƣơng 2: Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT :
Trong chương 2, luận văn giới thiệu về bái toán phân loại đa nhãn câu hỏi tiếng
Việt, giới thiệu một số mô hình học sâu, giới thiệu phương pháp BERT và trình
bày mô hình phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT.
Chƣơng 3: Thực nghiệm đánh giá : Chương này, luận văn trình bày tổng quan
về kho ngữ liệu, cách thu thập, tiền xử lý, xây dựng tập nhãn và thống kê kho
ngữ liệu; sử dụng các thư viện có sẵn cài đặt hệ thống phân loại câu hỏi và áp
dụng phương pháp được đề xuất ở Chương 2; thực hiện huấn luyện hệ thống
với bộ dữ liệu và tập nhãn đã xây dựng và tthống kê và đánh giá kết quả thực
nghiệm.
3
CHƢƠNG 1: BÀI TOÁN PHÂN LOẠI CÂU HỎI
1.1 Giới thiệu bài toán phân loại câu hỏi
Hệ thống hỏi đáp là một hệ thống đóng vai trò phổ biến trong việc tìm kiếm
thông tin nhanh chóng, chính xác và hiệu quả.
r
Nhiệm
muốn của
nhiên. Một trong các yếu tố đóng vai trò quan trọng trong
r
vụ
r
của
r
nó
r
là
r
đưa
r
ra
r
câu
r
trả lời
r
r
đầy
thể
r
đủ
r
và
r
chính
r
xác
r
ứng
r
với
r
yêu
r
cầu
r
mong
r
r
r
người
r
dùng
r
và
r
câu
r
trả
r
lời được
r
r
r
hiện
r
bằng
r
ngôn
r
ngữ
r
tự
r
hệ thống hỏi đáp là phân loại câu hỏi.
Bài toán phân loại câu hỏi thực chất có thể xem là bài toán phân lớp. Phân loại
câu hỏi là việc gán các nhãn phân loại cho các câu hỏi dựa trên mức độ tương tự của
câu hỏi đó so với các câu hỏi đã được gán nhãn trong tập huấn luyện. Việc phân loại
câu hỏi thường được thể hiện bằng cách gán cho câu hỏi một nhãn có sẵn theo tập
nhãn cho trước.
Bài toán phân loại câu hỏi có thể được mô tả như sau:
Input:
- Cho trước một các câu hỏi q.
- Tập các chủ đề (phân loại) được định nghĩa .
Tìm câu hỏi q thuộc chủ đề nào?
Output:
- Nhãn của câu hỏi
1.2 Đặc điểm dữ liệu câu hỏi pháp quy
Văn bản pháp quy là văn bản có các quy phạm pháp luật do các cơ quan quản lý
nhà nước, ở trung ương, cơ quan quyền lực nhà nước, cơ quan quản lý nhà nước ở địa
phương ban hành theo thẩm quyền lập quy của mình.
Câu hỏi pháp quy có đặc điểm ý hỏi có thể liên quan đến một hoặc nhiều điều
luật. Thông thường, câu hỏi chỉ phân theo một nhãn nhất định, nhưng với câu hỏi pháp
quy thì một câu hỏi có thể có một hoặc nhiều hơn một nhãn do ý hỏi của câu hỏi có
liên quan đến nhiều điều luật khác nhau mà không thể ghép chung làm một.
Ví dụ: câu hỏi “Chi phí cho tổ chức công chứng với giao dịch về quyền sử dụng
đất gắn liền với nhà ở?” có ý hỏi thuộc lĩnh vực “công chứng” và lĩnh vực “phí và lệ
phí”.
1.3 Một số nghiên cứu liên quan
1.3.1 Một số nghiên cứu cho phân loại đa nhãn
4
Nhóm nghiên cứu David Vilar, Maria Jose Castro và Emilio Sanchis[17] đã có
nghiên cứu về phân loại đa nhãn sử dụng mô hình đa thức. Áp dụng các quy tắc phân
loại đa nhãn, nhóm nghiên cứu đã xem xét nhiệm vụ phân loại văn bản. Trong đó, mỗi
văn bản được gán một vectơ W chiều ứng với số lượng từ, trong đó W là kích thước
của từ vựng. Biểu diễn này được gọi là túi của từ (bag-of-words). Nhóm nghiên cứu đã
sử dụng phân loại Naive Bayes trong phần khởi tạo mô hình sự kiện đa thức của nó.
Kết quả về phân loại văn bản với kho ngữ liệu Reuters-21578 của họ cho thấy
cách tiếp cận xác suất tích lũy sau thực hiện tốt hơn các bộ phân loại nhị phân được sử
dụng rộng rãi nhất.
1.3.2 Một số nghiên cứu cho phân loại câu hỏi tiếng Việt
Hiện nay đã có rất nhiều nghiên cứu phân loại câu hỏi tiếng Việt và đạt được
một số thành tựu nhất định. Điển hình là một số các nghiên cứu về học sâu đạt kết quả
khá tốt như:
Phân loại câu hỏi không thành thật[8] được xuất bản năm 2019 sử dụng kiến
trúc mạng nơ-ron hồi quy Recurrent Neural Network (RNN) như một Long Short-
Term Memory (LSTM) và một Gated Recurrent Units (GRU). Họ sử dụng LSTM trên
một vec-tơ từ được đào tạo để nắm bắt thông tin ngữ nghĩa và cú pháp. LSTM được sử
dụng để tránh vấn đề vanishing gradient (gradient có giá trị nhỏ dần theo từng lớp khi
thực hiện lan truyển ngược).
Bên cạnh đó cũng có nghiên cứu về phân loại câu hỏi chuyên sâu sử dụng mạng
thần kinh tích chập Convolutional Neural Networks (CNNs)[11] được xuất bản năm
2017. Ý tưởng chính của họ trong nghiên cứu này là mở rộng dựa trên công việc hiện
có để tạo ra một CNN hai lớp đó là phân loại câu hỏi thành các danh mục chính và phụ
của chúng.
1.4 Các phƣơng pháp phân loại câu hỏi
Hầu hết các cách tiếp cận bài toán phân loại câu hỏi thuộc 2 loại : tiếp cận dựa
trên luật và tiếp cận dựa trên học máy.
Tiếp
r
cận
r
dựa
r
trên
tiếp
r
luật[3]
r
là
r
cách
r
tiếp
r
cận
r
được
r
cho
r
là
r
đơn
vào
r
giản
r
nhất
r
để
r
phân
pháp
r
loại
viết
r
r
câu
r
hỏi. Trong
r
r
cách
r
r
cận này,
r
r
việc phân
r
r
loại
r
câu hỏi
r
r
dựa
r
r
các luật
r
r
ngữ
r
r
tay.
Tiếp
r
cận
r
dựa
r
trên
r
học
r
máy[3]
r
là
r
cách
r
tiếp
r
cận
r
được
r
sử
r
dụng
r
phổ
r
biến
r
rộng
r
rãi để
r
r
giải
r
quyết bài
r
r
toán
r
phân
r
loại
r
câu hỏi.
r
5
Cách tiếp cận dựa trên học máy chia làm hai nhóm là nhóm các phương pháp
học máy truyền thống và nhóm các phương pháp sử dụng mạng nơ-ron (Neural
NetWork). Nhóm các phương pháp học máy truyền thống thường được sử dụng như là
tính xác suất Naïve Bayes, Maximum Entropy, cây quyết định (decision Tree), lân cận
(Nearest-Neighbors), Máy Vector hỗ trợ (Support Vector machine - SVM), K-nearest
neighbors (KNN), v.v.
1.4.1 Phương pháp học máy truyền thống
Với các phương pháp học máy truyền thống như SVM, KNN, cây quyết định,
v.v thì quá trình phân loại dữ liệu văn bản (document, câu) thường gồm hai giai đoạn
sau:
Giai
r
đoạn
r
huẩn luyện:
r
Ngữ liệu
huấn luyện
Tiền xử lý
Vector hóa
Trích chọn
đặc trưng
Mô hình
phân loại
Thuật toán
huấn luyện
Hình 1-1 Mô hình giai đoạn huấn luyện [2]
phân lớp:
Giai
r
đoạn
r
r
Vector hóa
Tiền xử lý
Câu hỏi
Trích chọn
đặc trưng
Sử dụng mô
hình phân loại
Nhãn cho
câu hỏi
Hình 1-2 Mô hình giai đoạn phân lớp [2]
Mô hình SVM[3]
Giải thuật máy vector hỗ trợ SVM ra đời từ lý thuyết học thống kê do Vapnik
và Chervonenkis xây dựng năm 1995[4].
r
Đây
trong lĩnh
phân lớp dựa
Minimization)
tham số tinh vi.
r
là
r
một
vực khai
trên nguyên
được xem
r
giải
r
thuật
phá dữ
lý
là
r
phân
r
lớp
và nhận
tiểu
trong
r
phổ
r
biến,
r
có
r
hiệu
r
quả
r
cao
r
và
r
đã
r
được
r
áp
r
dụng
r
nhiều
r
r
r
r
r
r
r
liệu
r
r
r
dạng.
Phương
r
pháp
r
này
r
thực
r
hiện
r
r
r
r
r
r
r
Cực
r
r
hóa
r
rủi ro
r
r
có
r
r
cấu
r
trúc
r
SRM
lớp
r
(Structural
r
Risk
r
r
[5],
r
r
r
r
một
r
r
các
r
phương
pháp
r
phân
r
r
giám sát không
r
r
r
r
r
r
6
SVM
thuộc
liệu là một
chia các điểm
Chất lượng
điểm dữ liệu
lớn thì mặt phẳng
Mục đích của phương
họa như sau:
r
cho
các
điểm,
trên không
của siêu phẳng
gần nhất của
quyết định
pháp
r
trước
lớp cho
phương
gian
r
một
trước,
pháp
này
được
mỗi lớp
càng
r
tập
r
dữ
được
này
thành
quyết
r
liệu
r
huấn
r
luyện
trong
một siêu
lớp riêng
r
bao
r
gồm
r
dữ
r
liệu
r
cùng
r
với
r
nhãn của
r
r
r
r
r
r
r
chúng
dữ
r
r
r
r
r
r
r
biểu
tìm
r
diễn
r
r
không
phẳng
r
gian
r
vector,
r
trong
r
đó
r
mỗi
thể
r
r
r
r
r
r
r
r
r
ra
r
r
r
r
quyết
r
định tốt
r
r
nhất
r
có
r
r
r
r
r
r
r
r
r
hai
r
r
r
biệt
khoảng
phẳng này. Khi
việc phân loại
khoảng cách
r
tương
r
ứng
r
là
r
lớp
là biên
cách
chính xác.
lớn nhất, điều
r
(+)
hay
biên
r
và
r
lớp
(-).
r
r
r
r
r
r
r
r
định
mặt
r
bởi
r
r
cách
r
(gọi
r
r
r
r
lề)
của
r
r
r
r
r
r
r
r
r
đến
r
r
r
r
r
đó,
càng
biên
r
khoảng
r
r
càng
r
r
r
r
r
r
r
r
tốt,
r
đồng
r
thời
r
r
r
r
r
r
r
r
r
r
r
SVM
r
là
r
tìm được
r
r
r
r
r
r
r
r
này
r
được
r
mình
r
r
r
Hình 1-3 Siêu phẳng phân chia dữ liệu học thành 2 lớp (+) và (-) với khoảng cách biên là
lớn nhất. Các biên gần nhất (điểm đƣợc khoanh tròn) là các Support Vector[5]
Đây là mô hình mạnh và chính xác nhất trong một số các mô hình nổi tiếng về
phân lớp dữ liệu.
1.4.2 Phương pháp sử dụng mạng nơ-ron
Với phương pháp sử dụng mạng nơ-ron như LSTM, CNN, RNN, v.v thì quá
trình phân loại dữ liệu văn bản cũng gồm hai giai đoạn:
Giai
r
đoạn
r
huẩn luyện:
r
Ngữ liệu
huấn luyện
Biểu diễn
dữ liệu
Mạng nơ-ron
Mô hình
phân loại
Hình 1-4 Mô hình giai đoạn huấn luyện sử dụng mạng nơ-ron.
7
Giai đoạn phân lớp:
Câu hỏi
Biểu diễn
dữ liệu
Sử dụng mô
hình phân loại
Nhãn cho
câu hỏi
Hình 1-5 Mô hình giai đoạn phân lớp sử dụng mạng nơ-ron.
Mô hình LSTM[22]
LSTM (Long short term memory) là mô hình có khả năng học các phụ thuộc
dài hạn tức là có khả năng ghi nhớ thông tin quá khứ và trong khi dự đoán các giá trị
tương lai.
Chìa khóa của LSTM là trạng thái tế bào (cell state) - chính đường nằm ngang
đến phía trên của sơ đồ hình vẽ, nó như một dạng bang chuyền.
r
Trạng
r
thái
r
tế
r
bào
một
r
sử
bộ
r
dụng
r
để
r
lưu
r
trữ
r
và
r
lan
r
truyền
r
các
r
thông
r
tin
r
có
r
ích
r
trong
r
mạng,
r
nó
r
tương
r
tự như
r
r
r
r
nhớ cục
r
r
bộ của
r
r
mạng.
Hình 1-6 Tế bào trang thái LSTM giống nhƣ một băng chuyền [22]
Mấu chốt của LSTM là trạng thái ô, đường ngang chạy dọc theo đỉnh của sơ đồ.
Trạng thái tế bào giống như một băng chuyền. Nó chạy thẳng qua toàn bộ chuỗi, chỉ
một vài tương tác tuyến tính nhỏ được thực hiện. Điều này làm cho thông tin ít có khả
năng thay đổi trong suốt quá trình lan truyền.
Mô hình BERT[23]
BERT (Bidirectional Encoder Representations from Transformers) được hiểu là
một mô hình học trước hay còn gọi là pre-train model, học các vector đại diện theo
ngữ cảnh hai chiều của từ, được sử dụng để chuyển sang các bài toán khác trong lĩnh
8
vực xử lý ngôn ngữ tự nhiên.
r
BERT
của từ
cảnh của
các biểu
r
đã
r
thành
r
công
r
trong
r
việc
r
cải
r
thiện
mà
r
những
r
công
có
r
việc
r
trong
hiểu được)
Mô
dẫn
r
việc
thông
hình
r
tìm
r
ra
r
đại
qua
đã
hình
r
diện
r
r
r
trong
nó.
r
không
r
gian
r
số (không
r
r
gian
r
r
máy tính
r
r
r
thể
r
r
r
r
r
ngữ
r
r
r
r
r
BERT
r
r
tạo
r
r
r
diễn
r
theo
r
ngữ
r
cảnh
r
dựa
r
trên
r
các
r
từ
r
trước
r
và
r
sau
r
đó
r
để
r
r
đến
r
một
r
mô
r
r
ngôn
r
ngữ
r
với
r
ngữ
r
nghĩa
r
phong
r
phú
r
hơn. Điều này cho thấy
mô hình BERT mở rộng khả năng của các phương pháp trước đây.
Các mô hình ngôn ngữ dựa trên LSTM (Long Short Term Memory) hai chiều
đào tạo một mô hình ngôn ngữ tiêu chuẩn từ trái sang phải và cũng đào tạo một mô
hình ngôn ngữ từ phải sang trái (đảo ngược) dự đoán các từ trước, các từ tiếp theo. Sự
khác biệt quan trọng là không LSTM nào đưa cả hai mã thông báo trước và sau vào tài
khoản cùng một lúc.
Vì vậy, luận văn chọn mô hình BERT để thực hiện nghiên cứu lần này.
1.5 Kết luận chƣơng
Chương này đã giới thiệu tổng quan bài toán phân loại câu hỏi, nêu bật được
đặc điểm của dữ liệu câu hỏi pháp quy, đưa ra được các nghiên cứu phân loại câu hỏi
liên quan và giới thiệu được một số phương pháp phân loại câu hỏi.
9
CHƢƠNG 2: PHÂN LOẠI CÂU HỎI PHÁP QUY TIẾNG VIỆT
SỬ DỤNG MÔ HÌNH BERT
2.1 Bài toán phân loại đa nhãn câu hỏi tiếng Việt
Phân loại đa nhãn[15] là nhiệm vụ gán mỗi cá thể trong số các cá thể đã cho
vào một tập hợp các lớp được xác định trước, trong một miền mà một cá thể có thể
đồng thời thuộc một số lớp.
Bài toán phân loại đa nhãn là bài toán phân loại mà mục tiêu cho một mẫu suy
nhất từ tập dữ liệu là danh sách n nhãn nhị phân riêng biệt.
Trong phân loại nhiều lớp, mỗi mẫu được gán cho một và chỉ một nhãn, tức
mỗi mẫu chỉ có thể thuộc một trong các lớp C. Trong trường hợp đa nhãn, mỗi mẫu có
thể thuộc một hoặc nhiều loại.
Bài toán phân loại câu hỏi đa nhãn có thể được mô tả như sau:
Input:
- Cho trước một câu hỏi tiếng Việt Q.
- Tập các nhãn (phân loại) được định nghĩa
Tìm Q thuộc những nhãn nào?
Output:
- Tập nhãn { } của câu hỏi Q.
Cách tiếp cận phổ biến để phân loại đa nhãn dựa trên việc chuyển đổi bài toán
thành một hoặc nhiều cách phân loại đơn nhãn. Phương pháp biến đổi đơn giản nhất là
liên quan nhị phân bao gồm các bộ phân loại khác nhau cho các nhãn khác nhau. Nói
cách khác, bài toán ban đầu được chuyển thành n phân loại đơn nhãn hai lớp, trong đó
n là số nhãn có thể có. Một trong những nhược điểm lớn của phân loại nhị phân là nó
có thể loại trừ sự phụ thuộc giữa các nhãn.
2.2 Giải pháp cho bài toán phân loại đa nhãn
Luận văn mô hình hóa bài toán phân loại đa nhãn dưới dạng bài toán phân lớp.
Đầu vào là câu hỏi, đầu ra là các nhãn thuộc vào tập nhãn đã có.
Có hai cách giải quyết cho bài toán phân loại đa nhãn đó là:
10
Xây dựng nhiều bộ phân loại nhị phân. Mỗi bước một nhãn thì có một bộ
phân loại nhị phân và kiểm tra Yes/No nó có thuộc vào lớp đấy không.
Xây dựng bộ phân loại đa nhãn.
2.2.1 Giải pháp theo phân loại nhị phân
Luận văn xây dựng 34 bộ phân loại nhị phân. Mục đích của bộ phân loại nhị
phân là xác định xem câu hỏi đó có chứa nhãn thuộc loại đó hay không. Mỗi bộ phân
loại nhị phân có một nhãn. Cần xác định nhãn cho một câu hỏi mới thì luận văn cho
chạy qua 34 bộ phân loại. Cái nào trả lời Yes thì nó là nhãn cho câu hỏi đó.
Nhãn 1
Yes/No
Nhãn 2
Yes/No
Tổng hợp
Tập nhãn
Input
Yes/No
Nhãn 34
Hình 2-1 Mô hinh giải pháp phân loại theo phân loại nhị phân
2.2.2 Giải pháp theo phân loại đa nhãn
Luận văn xây dựng bộ phân lớp 34 nhãn. Để xác định nhãn cho một câu hỏi
mới thì luận văn cho chạy một lần phân lớp lấy xác suất rồi so sánh các xác suất đó với
ngưỡng (chọn ngưỡng là 0.5). Lớp nào có xác suất lớn hơn hoặc bằng ngưỡng thì nó là
nhãn cho câu hỏi đó. Nếu trong trường hợp các lớp đều có xác suất nhỏ hơn ngưỡng
thì coi đó là bài toán phân loại đa lớp, chọn lớp có xác suất lớn nhất là nhãn của câu
hỏi đó.
Xác suất nhãn 1
Bộ phân loại
Xác suất nhãn 2
Tổng hợp
Tập nhãn
Input
Xác suất nhãn 34
Hình 2-2 Mô hình giải pháp phân loại theo phân loại đa nhãn
11
2.3 Một số mô hình học sâu
2.3.1 Mô hình mạng nơ-ron hồi quy (RNN - Recurrent Neural Network)
RNN[24] là một chuỗi các khối mạng nơ-ron được liên kết với nhau như một
chuỗi. Mỗi một khối sẽ chuyển tin nhắn đến khối tiếp theo. RNN coi dữ liệu đầu vào là
một chuỗi (sequence) liên tục, nối tiếp nhau theo thứ tự thời gian.
Mô hình hoạt động của RNN có thể được mô tả trong hình dưới đây:
Hình 2-3 Mô hình một mạng nơ-ron hồi quy
RNN là một mô hình mạng nơ-ron có “bộ nhớ” để lưu trữ thông tin của phần xử
lý trước đó. RNN chỉ tỏ ra hiệu quả với chuỗi dữ liệu có độ dài không quá lớn (short-
term memory hay còn gọi là long-term dependency problem). Nguyên nhân của vấn đề
này là do vanishing gradient problem (gradient có giá trị nhỏ dần theo từng lớp khi
thực hiện lan truyển ngược).
Ứng dụng trong bài toán phân lớp
Việc giải bài toán phân loại sẽ bao gồm việc giải quyết một chuỗi các bài toán
nhỏ hơn. Chuỗi các bài toán nhỏ hơn này được gọi là pipline của mô hình học máy.
Phân loại văn bản sử dụng mô hình mạng RNN gồm các bước sau:
Xây dựng model
vector hóa bằng
worrd2vec
Word
embedding
Tiền xử lý
Xây dựng
Huấn luyện
Kiểm tra
model LSTM
model
model
Hình 2-4 Các bƣớc của bài toán phân loại văn bản sử dụng mạng nơ-ron RNN.
2.3.2 Mô hình mạng nơ-ron tích chập (Convolutional Neural Network –
CNN)
12
Mạng
hàm nonlinear
node.
r
CNN[25]
r
là
r
một
r
r
tập
r
hợp
r
các
r
lớp
r
Convolution
r
chồng
r
lên
r
nhau
r
và
r
sử
r
dụng
các
r
r
các
r
r
r
activation
như
r
ReLU
r
và tanh
r
r
để kích hoạt
r
r
r
các
r
trọng
r
số
r
trong
r
CNN đơn giản là một chuỗi các lớp và mỗi lớp của ConvNet chuyển đổi một
lượng kích hoạt thành một lượng kích hoạt khác thông qua một chức năng có thể phân
biệt. CNN sử dụng ba loại lớp chính để xây dựng kiến trúc: Lớp Convolutions
(Convolutional Layer), Lớp tổng hợp (Poolong Layer) và Lớp được kết nối đầy đủ
(Fully-Connected Layer) (chính xác như được thấy trong các Mạng thần kinh thông
thường). Các lớp này sẽ được xếp chồng để tạo thành một kiến trúc CNN đầy đủ.
Hình 2-5 Bên trái: Mạng nơ-ron ba lớp thông thƣớng. Bên phải: Một CNN sắp xếp theo
nơ-ron của nó theo ba chiều (chiều rộng, chiều cao, chiều sâu).
Trong mô hình CNN có 2 khía cạnh cần quan tâm là tính bất biến (Location
Invariance) và tính kết hợp (Compositionality).
r
Với
r
cùng
r
một
r
đối
r
tượng,
r
nếu
r
đối
độ
r
tượng
chính
r
này
xác
r
được
của thuật
CNNs
biết các
r
chiếu
r
theo
toán sẽ
cho ra
vật thể
r
các
bị ảnh
mô hình
trong tự
r
gốc
hưởng
với độ
r
độ
r
khác
r
nhau
r
(translation,
r
rotation,
r
scaling)
r
thì
r
r
r
r
r
r
r
r
r
r
r
đáng
r
kể.
r
r
r
r
r
r
r
r
chính
r
xác
r
rất
r
cao.
r
Cũng
r
giống
r
như
r
cách
r
con người
r
r
nhận
r
r
r
r
r
r
r
nhiên.
Ứng dụng trong bài toán phân lớp
Trong bài toán phân lớp văn bản, mô hình CNN sử dụng bộ lọc có các kích
thước khác nhau và mỗi kích thước có 2 bộ lọc khác nhau. Các bộ lọc thực hiện nhân
tích chập (convolution) lên ma trận của câu văn bản đầu vào và mỗi bộ lọc tạo ra một
map lưu trữ các đặc trưng (featues map). Các map đặc trưng này từng map qua sẽ đi
qua 1-max pooling. Tức là giá trị lớn nhất trong mỗi map đặc trưng sẽ được lưu lại.
Do vậy, một vector có một phần tử được tạo ra ở mỗi map đặc trưng. Sau đó,
các giá trị này được nối lại với nhau tạo nên lớp áp chót. Và cuối cùng, kết quả này đi
qua một hàm softmax và nhận được là vector đặc trưng và dùng nó để dự đoán nhãn
cho văn bản.
13
Hình 2-6 Kiến trúc mô hình CNN dùng trong phân loại văn bản.
2.4 Giới thiệu phƣơng pháp BERT
BERT[26](Bidirectional Encoder Representations from Transformers) (tạm
dịch: Mô hình mã hóa hai chiều dữ liệu từ các khối Transformer), là một phương pháp
kỹ thuật được xây dựng dựa trên mô hình mạng mô phỏng theo hệ thống nơ-ron thần
kinh của con người (neural network) dùng để đào tạo trước (pre-train) quá trình xử lý
ngôn ngữ tự nhiên.
Điểm đột phá của BERT nằm ở khả năng huấn luyện các mô hình ngôn ngữ dựa
trên toàn bộ tổ hợp các từ trong một câu hoặc truy vấn (huấn luyện hai chiều), thay vì
cách thức huấn luyện truyền thống dựa trên thứ tự xuất hiện của các từ (từ trái qua
phải hoặc kết hợp giữa trái qua phải và phải qua trái).
Kiến trúc mô hình BERT là một bộ mã hóa Transformer hai chiều (bidirectional
Transformer encoder). Bộ mã hóa hai chiều (bidirectional encoder) là một tính năng
nổi bật giúp phân biệt BERT với OpenAI GPT (sử dụng từ trái sang phải Transformer)
và ELMo (kết hợp giữa huấn luyện từ trái sang phải và một mạng riêng rẽ phải sang
trái LSTM).
14
Hình 2-7 Kiến trúc của mô hình BERT [28]
2.5 Mô hình phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT
2.5.1 Biểu diễn đầu vào
Đầu
dụ: [Câu
Chuỗi đầu vào BERT biểu diễn một cách tường minh cả văn bản đơn và cặp
r
vào
r
có
r
thể
r
là
r
biểu
r
diễn
r
của
r
một
r
câu
r
văn
r
bản
r
đơn
r
hoặc
r
một
r
cặp
r
câu văn
r
r
bản(ví
r
r
r
hỏi,
r
câu
r
trả
r
lời])
r
được
r
đặt
r
thành
r
1
r
chuỗi
r
tạo
r
bởi
r
các từ.
r
văn bản. Với văn bản đơn, chuỗi đầu vào BERT là sự ghép nối của token phân loại đặc
biệt “<cls>”, token của chuỗi văn bản, và token phân tách đặc biệt “<sep>”. Với cặp
văn bản, chuỗi đầu vào BERT là sự ghép nối của “<cls>”, token của chuỗi văn bản
đầu, “<sep>”, token của chuỗi văn bản thứ hai, và “<sep>”.
Hình 2-8 Mô hình đại diện đầu vào của BERT [28].
Trong
ta phân
một segment
r
trường
biệt các
embedding
r
hợp
r
các
theo
cho mỗi câu.
r
cặp
r
câu
r
được
r
gộp
r
lại
r
với
r
nhau
r
thành
r
một
r
chuỗi
biệt
r
duy
r
nhất,
r
r
chúng
thêm
r
r
r
r
r
câu
r
r
2
r
cách là
r
tách
r
chúng
r
bởi một
r
r
token
r
đặc
r
r
[SEP] và
r
r
r
r
15
2.5.2 Mô hình huấn luyện
Mô hình huấn luyện gồm hai giai đoạn chính là học mô hình huấn luyện trước
sử dụng mô hình BERT và học có giám sát để đào tạo lớp cuối cho nhiệm vụ phân
loại.
Hình 2-3 Mô hình huấn luyện phân loại đa nhãn sử dụng mô hình Bert.
Các token của câu sẽ được đưa vào mô hình huấn luyện trước Bert tạo ra các
Embedding. Các Embedding này được đưa vào Fine-tuning sử dụng mô hình học có
giám sát để phân loại.
2.6 Kết luận chƣơng
Nội dung chương đã giới thiệu được bài toán phân loại đa nhãn câu hỏi tiếng
Việt, giới thiệu được một số mô hình học sâu, giới thiệu phương pháp BERT và đưa ra
được mô hình phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT.
16
CHƢƠNG 3: THỰC NGHIỆM ĐÁNH GIÁ
3.1 Xây dựng kho ngữ liệu
Việc thực hiện xây dựng kho ngữ liệu luận văn đã thực hiện theo từng giai đoạn
trong mô hình dưới đây:
Thu thập dữ liệu
Câu hỏi thô
Website
(Trang hỏi đáp pháp luật)
Tiền xử lý
Gán nhãn
Kho ngữ
liệu
Hình 3-1 Mô hình xây dựng kho ngữ liệu.
3.1.1 Thu thập dữ liệu
Luận văn lấy dữ liệu từ 3 trang web:
Hệ thống pháp luật Việt Nam, chuyên trang pháp luật và tư vấn:
Dữ liệu gồm hơn 5000 câu hỏi lĩnh vực pháp luật. Nội dung về những hỏi đáp
về quy định, thủ tục và điều luật của pháp luật.
3.1.2 Tiền xử lý
Dữ liệu sau khi thu thập được từ 3 trang web sẽ được tiến hành tiền xử lý. Luận
văn thực hiện tiền xử lý dữ liệu bằng cách loại bỏ một số nhiễu như: câu sai chính tả,
lỗi font.
3.1.3 Gán nhãn
Tập nhãn luận văn xây dựng gồm 34 nhãn.
17
Bảng 3-1 Bảng nhãn và ví dụ
Nhãn
Ví dụ
Ban hành văn bản quy
phạm pháp luật
Văn bản quy phạm pháp luât hết hiệu lực trong trường hợp
nào?
Bảo hiểm
Quy định của pháp luật về thời gian nghỉ hưởng chế độ thai
sản?
Bảo vệ môi trường
Tập trung chăn nuôi quy mô lớn có phải đáp ứng điều kiện
về môi trường gì không?
Cán bộ, công chức, viên Pháp luật quy định về nghĩa vụ của công chức khi thi hành
chức
công vụ như thế nào?
Công chứng
Công chứng viên thành lập văn phòng công chứng cần làm
thế nào?
Công dân
Người nhà có thể xin hộ giấy xác nhận tình trạng độc thân
để đăng ký kết hôn với người nước ngoài không hay phải là
người trực tiếp?
Cư trú
Chủ hộ muốn tách hộ khẩu cho thành viên có được không?
Dân sự
Xin cho biết, pháp luật có quy định về vấn đề trổ cửa sổ
sang nhà hàng xóm không?
Giao thông đường bộ
Mua chiếc xe ô tô cũ, mua qua nhiều người phải làm những
thủ tục gì để được sang tên chính chủ, việc đăng ký là khác
tỉnh?
Giám định tư pháp
Hình sự
Quy định của pháp luật về văn phòng giám định tư pháp?
Bị phạt tù nhưng được hưởng án treo về tội đánh bạc, nay
tiếp tục vi phạm về tội đánh bạc thì bị xử lý như thế nào?
Hôn nhân và gia đình
Khiếu nại, tố cáo
Kinh tế
Tài sản được mua từ tài sản riêng của vợ/chồng trong thời
kỳ hôn nhân có phải là tài sản chung của vợ chồng không?
Công dân được quyền kiếu nại quyết định hành chính của
cơ quan hành chính không?
Thời hạn gửi giấy đòi nợ của chủ nợ khi doanh nghiệp phá
sản là bao lâu?
Lao động
Hợp đồng thử việc có thời gian bao lâu?
Lý lịch tư pháp
Cập nhật thông tin lý lịch tư pháp trong trường hợp người
bị kết án được xoá án tích thực hiện như thế nào?
Nhà ở
Có được thế chấp nhà ở hình thành trong tương lai tại tổ
chức không phải là tổ chức tín dụng không?
18
Nuôi con nuôi
Trẻ bị bỏ rơi được hiểu như thế nào?
Phí và lệ phí
Lệ phí cấp giấy chứng nhận đăng ký xe?
Phòng, chống ma túy
Muốn được cai nghiện ma túy tại gia đình thì cần đăng ký
như thế nào?
Quản lý, sử dụng
Quốc phòng
Tài sản công tại cơ quan nhà nước được bán thanh lý trong
trường hợp nào?
Đã đăng ký nghĩa vụ quân sự mà thay đổi nơi cư trú thì có
phải làm thủ tục đăng ký thay đổi không?
Quốc tịch Việt Nam
Hồ sơ xin nhập quốc tịch Việt Nam đối với trường hợp
nhập quốc tịch việt nam của người không có quốc tịch đã
cư trú ổn định ở việt nam?
Thi hành án
Tài sản chung của vợ chồng bị cưỡng chế thi hành án thì xử
lý như thế nào?
Thuế
Lệ phí trước bạ đối khi cấp giấy chứng nhận về đất?
Trách nhiệm bồi thường Phạm vi trách nhiệm bồi thường của nhà nước trong hoạt
của Nhà nước
động quản lý hành chính?
Tố tụng
Hết thời hiệu khởi kiện về thừa kế và các thừa kế có tranh
chấp thì giải quyết thế nào?
Tổ chức chính phủ
Người có quyền yêu cầu cấp bản sao học bạ?
Tổ chức cơ quan, chính Những nhiệm vụ quyền hạn của chủ tịch ủy ban nhân dân
quyền
xã?
Xây dựng
Đề nghị cho biết những công trình xây dựng nào phải xin
cấp Giấy phép xây dựng?
Xử lý vi phạm hành
chính
Pháp luật quy định như thế nào về hành vi vi phạm hành
chính, hình thức xử phạt và biện pháp khắc phục hậu quả
trong hoạt động trọng tài thương mại?
Đất đai
Được Nhà nước giao đất theo diện giãn dân có được xem
xét để được cấp giấy chứng nhận quyền sử dụng đất không?
Đấu giá tài sản
Các tài sản phải thông qua bán đấu giá?
Đầu tư
Những dự án đầu tư ra nước ngoài như thế nào thì phải
được Quốc Hội quyết định chủ trương đầu tư?
Tải về để xem bản đầy đủ
26 trang
18220
Free
Bạn đang xem 20 trang mẫu của tài liệu "Tóm tắt Luận văn Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình Bert", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- tom_tat_luan_van_phan_loai_cau_hoi_phap_quy_tieng_viet_su_du.pdf
