Luận văn Tìm kiếm văn bản pháp quy sử dụng kỹ thuật học sâu
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
---------------------------------------
PHÍ MẠNH KIÊN
TÌM KIẾM VĂN BẢN PHÁP QUY SỬ DỤNG KỸ THUẬT HỌC SÂU
LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng nghiên cứu)
HÀ NỘI - 2020
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
---------------------------------------
PHÍ MẠNH KIÊN
TÌM KIẾM VĂN BẢN PHÁP QUY SỬ DỤNG KỸ THUẬT HỌC SÂU
CHUYÊN NGÀNH :
KHOA HỌC MÁY TÍNH
MÃ SỐ:
8.48.01.01
LUẬN VĂN THẠC SĨ KỸ THUẬT
NGƯỜI HƯỚNG DẪN KHOA HỌC
GS. TS. TỪ MINH PHƯƠNG
HÀ NỘI - 2020
i
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu và tìm hiểu của riêng tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công
bố trong bất cứ công trình nào khác.
Tác giả luận văn
Phí Mạnh Kiên
ii
LỜI CẢM ƠN
Để hoàn thành được luận văn này, ngoài sự nghiên cứu và những cố gắng của bản
thân, em xin gửi lời cảm ơn sâu sắc tới GS. TS. Từ Minh Phương, giảng viên trực
tiếp hướng dẫn, tận tình chỉ bảo và định hướng cho em trong suốt quá trình nghiên
cứu và thực hiện luận văn.
Em xin gửi lời cảm ơn chân thành cảm ơn tất cả các thầy cô giáo của Học viện
Công nghệ Bưu chính Viễn thông đã giảng dạy và dìu dắt em trong suốt quá trình học
tập tại trường từ khi còn học đại học cho đến cao học.
Cuối cùng, em xin gửi lời cảm ơn tới gia đình, bạn bè và những người đã luôn ở
bên cổ vũ tinh thần, tạo điều kiện thuận lợi cho em để em có thể học tập tốt và hoàn
thiện luận văn.
Dù đã cố gắng hết sức nhưng trong luận văn không thể tránh khỏi những sai sót,
em mong nhận được sự góp ý để hoàn thiện hơn.
Em xin chân thành cảm ơn!
iii
MỤC LỤC
LỜI CẢM ƠN...................................................................................................................ii
MỤC LỤC .......................................................................................................................iii
DANH MỤC BẢNG......................................................................................................... v
DANH MỤC HÌNH ẢNH................................................................................................ vi
MỞ ĐẦU .......................................................................................................................... 1
DIỄN VĂN BẢN .............................................................................................................. 3
1.1. Bài toán tìm kiếm thông tin..................................................................................... 3
1.1.1. Tìm kiếm văn bản quy phạm pháp luật............................................................. 3
1.1.2. Hệ thống tìm kiếm và tìm kiếm thông tin ......................................................... 5
1.2. Biểu diễn văn bản sử dụng từ khóa ......................................................................... 8
1.3. Biểu diễn văn bản sử dụng chủ đề ẩn .................................................................... 12
1.3.2. Tổng quan về mô hình sinh trong LDA .......................................................... 13
1.3.3. Suy luận......................................................................................................... 15
1.4. Biểu diễn văn bản sử dụng véc-tơ từ ..................................................................... 16
1.4.1. Giới thiệu....................................................................................................... 16
1.4.2. Các bước thực hiện ........................................................................................ 16
1.5. Biểu diễn văn bản sử dụng mạng nơ-ron sâu ......................................................... 20
1.5.1. Giới thiệu về mạng nơ-ron nhân tạo ............................................................... 20
1.5.2. Cấu trúc và mô hình của một nơ-ron nhân tạo ................................................ 20
1.5.4. Phân loại mạng nơ-ron................................................................................... 23
1.5.5. Các mạng nơ-ron sâu ..................................................................................... 24
1.5.6. Biểu diễn văn bản sử dụng mạng nơ-ron ........................................................ 28
1.6. Kết luận chương ................................................................................................... 30
TRONG TÌM KIẾM VĂN BẢN PHÁP QUY ................................................................. 31
2.1. Ý tưởng ................................................................................................................ 31
2.2. Mô-đun Biểu diễn truy vấn ................................................................................... 33
iv
2.3. Mô-đun Biểu diễn điều luật................................................................................... 35
2.4. So khớp, tính độ liên quan .................................................................................... 36
2.5. Kết luận chương ................................................................................................... 37
3.1. Xây dựng tập dữ liệu văn bản pháp quy và câu hỏi................................................ 38
3.1.1. Xây dựng tập dữ liệu văn bản pháp quy tiếng Việt ......................................... 38
3.1.2. Xây dựng tập câu hỏi và câu trả lời chuẩn ...................................................... 39
3.2. Xây dựng hệ thống................................................................................................ 39
3.2.1. Tiền xử lý dữ liệu........................................................................................... 39
mạng CNN kết hợp với cơ chế Attention ................................................................. 42
3.3. Phương pháp đánh giá........................................................................................... 44
3.4. Kết quả thực nghiệm............................................................................................. 45
3.4.2. Thực nghiệm hiệu quả khi thay đổi các tham số ............................................. 47
3.4.4. Hình ảnh hóa trọng số Attention..................................................................... 50
3.5. Kết luận chương ................................................................................................... 51
v
DANH MỤC BẢNG
Thống kê tỉ lệ xuất hiện đồng thời của các từ. .................................................. 20
Các loại cơ chế attention.................................................................................. 32
Các thông tin di kèm văn bản........................................................................... 38
Một số thống kê về bộ câu hỏi. ........................................................................ 39
So sánh hiệu quả các phương pháp. ................................................................. 46
Kết quả khi thay đổi tham số K........................................................................ 47
Kết quả khi thay đổi tham số N........................................................................ 48
Kết quả khi thay đổi tham số w........................................................................ 49
vi
DANH MỤC HÌNH ẢNH
Hình 1.1. Kiến trúc tổng quan của hệ thống tìm kiếm thông tin.......................................... 6
Hình 1.4. Mô hình đồ họa của LDA................................................................................. 14
Hình 1.5. Mô hình sinh của Latent Dirichlet Allocation. .................................................. 15
Hình 1.6. Mô hình sử dụng mạng nơ-ron hồi quy............................................................. 18
Hình 1.7. Thuật toán Continuous bag of words và Skip-gram. ......................................... 19
Hình 1.8. Mô hình một nơ-ron sinh học........................................................................... 20
Hình 1.9. Mô hình một nơ-ron nhân tạo........................................................................... 21
Hình 1.10. Đồ thị các dạng hàm lan truyền. ..................................................................... 21
Hình 1.11. Mô hình cấu tạo của một mạng nơ-ron cơ bản. ............................................... 22
Hình 1.12. Mô hình mạng nơ-ro truyền thẳng. ................................................................. 23
Hình 1.13. Mô hình mạng nơ-ron hồi quy........................................................................ 24
Hình 1.14. Minh họa phép nhân chập. ............................................................................. 26
Hình 1.17. Kiến trúc cơ bản của mạng nơ-ron nhân chập hai chiều .................................. 27
Hình 1.18. Mô hình CNN trong nghiên cứu [31].............................................................. 28
Hình 1.19. Mô hình trong nghiên cứu [26]....................................................................... 29
Hình 2.1. Ví dụ về cách con người chú ý vào một số từ trong câu.................................... 31
Hình 2.2. Kiến trúc của Mô-đun Biểu diễn truy vấn......................................................... 33
Hình 2.3. Kiến trúc của Mô-đun Biểu diễn điều luật. ....................................................... 35
Hình 2.4. Tính độ liên quan giữa một điều luật và một truy vấn....................................... 36
Hình 3.1. Các bước tiền xử lý dữ liệu. ............................................................................. 40
Hình 3.2. Lưu trữ biểu diễn của các điều luật................................................................... 43
Hình 3.3. Quá trình tìm kiếm khi nhận một truy vấn. ....................................................... 44
Hình 3.4. So sánh hiệu quả các phương pháp................................................................... 46
Hình 3.5. Kết quả khi thay đổi tham số K. ....................................................................... 47
Hình 3.6. Kết quả khi thay đổi tham số N. ....................................................................... 48
Hình 3.7. Kết quả khi thay đổi tham số w. ....................................................................... 50
Hình 3.8. Hình ảnh hóa trọng số Attention của truy vấn................................................... 50
Hình 3.9. Hình ảnh hóa trọng số Attention của điều luật .................................................. 51
vii
DANH MỤC KÝ HIỆU CÁC CHỮ VIẾT TẮT
Viết tắt
AI
Tiếng Anh
Artificial Intelligence
Tiếng Việt
Trí tuệ nhân tạo
ANN
ASR
Artificial Neural Network
Automatic Speech Recognition
Best Match - Okapi BM25
Mạng nơ-ron nhân tạo
Nhận dạng tiếng nói tự động
BM25
CBOW Continuous Bag Of Words
CNN
DNN
FNN
Convolutional Neural Network
Deep Neural Network
Mạng nơ-ron nhân chập
Mạng nơ-ron nhiều lớp
Mạng nơ-ron truyền thẳng
Feed-forward Neural Network
GloVe Global Vector
GRU
IR
Gate Recurrent Unit
Information Retrieval
Tìm kiếm thông tin
IRM
LDA
LSA
Information Retrieval Model
Latent Dirichlet Allocation
Latent Semantic Analysis
Mô hình tìm kiếm thông tin
Mô hình phát hiện chủ đề ẩn
LSTM Long-Short Term Memory
MCMC Markov-Chain Monte Carlo
NATR Neural Attentive Text Representation
NLP
PLSA
RNN
Natural Language Processing
Probabilistic Latent Semantic Analysis
Recurrent Neural Networks
Xử lý ngôn ngữ tự nhiên
Mạng nơ-ron hồi quy
TF-IDF Term Frequency - Inverted Document
Frequency
Tần xuất từ - tần xuất văn bản
nghịch đảo
1
MỞ ĐẦU
Ngày nay, trong kỉ nguyên kỹ thuật số, với sự bùng nổ của thông tin, số lượng
các tài liệu điện tử do con người tạo ra ngày càng khổng lồ. Trong quá trình học tập,
nghiên cứu hay làm việc, chúng ta cần tìm kiếm và đọc rất nhiều tài liệu để tìm được
thông tin ta mong muốn. Việc này đôi khi mất nhiều thời gian, điển hình là trong lĩnh
vực pháp luật. Một văn bản pháp luật thường có thể dài tới 15-20 trang hoặc thậm chí
nhiều hơn. Một vụ việc có thể liên quan đến nhiều văn bản khác nhau. Các luật sư,
nhân viên pháp lý... phải đọc rất nhiều văn bản và so sánh các điều, khoản trong đó
với trường hợp đang xử lý. Theo một khảo sát năm 2013 tại Mỹ [19], trung bình, gần
47,3% số người được hỏi dành 15% thời gian, 36.6% số người dành 15-50% thời
gian, 10.3% số người dành từ 50% thời gian trở lên mỗi tuần cho việc tìm kiếm và
nghiên cứu văn bản pháp luật. Đây là một vấn đề thực tiễn, mang lại giá trị mà chúng
ta cần giải quyết.
Bài toán tìm kiếm thông tin ra đời chính là để xử lý vấn đề trên. Nhiệm vụ
chính của bài toán tìm kiếm thông tin là tìm kiếm các thông tin thoả mãn nhu cầu
thông tin của người dùng. Người sử dụng của một hệ thống tìm kiếm thông tin không
chỉ muốn tìm những văn bản có chứa những từ khóa trong câu truy vấn mà còn quan
tâm tới việc thu nhận được những văn bản mang lại thông tin phù hợp với mục đích
tìm kiếm.
Các hệ thống tìm kiếm thông tin thường biểu diễn văn bản và câu truy vấn
dưới dạng các véc-tơ. Chất lượng biểu diễn văn bản và so sánh các véc-tơ biểu diễn
có ảnh hưởng quan trọng tới kết quả. Gần đây, các kỹ thuật sử dụng học sâu cho thấy
khả năng biểu diễn văn bản rất tốt trong xử lý ngôn ngữ tự nhiên nói chung và tìm
kiếm thông tin văn bản nói riêng. Vì vậy, tôi chọn đề tài “Tìm kiếm văn bản pháp
quy sử dụng kỹ thuật học sâu” cho luận văn của mình. Mục tiêu của luận văn là tìm
hiểu các phương pháp biểu diễn văn bản và đề xuất mô hình sử dụng kỹ thuật học sâu
ứng dụng trong tìm kiếm văn bản pháp quy tiếng Việt. Đầu vào của hệ thống là một
câu hỏi về pháp luật. Đầu ra của hệ thống là văn bản pháp quy có liên quan, trả lời
2
được cho câu hỏi đó, cụ thể đến mức điều. Ví dụ, với câu hỏi “Vợ chồng ly hôn tài
sản chung được phân chia như thế nào?” hệ thống sẽ trả về kết quả là: Điều 59 Luật
Hôn nhân và gia đình, Điều 7 Thông tư liên tịch hướng dẫn một số quy định của Luật
Hôn nhân và gia đình.
Nội dung luận văn được chia thành 3 chương như sau:
- CHƯƠNG 1: Bài toán tìm kiếm thông tin và các phương pháp biểu diễn
văn bản: Trình bày tổng quan về bài toán tìm kiếm thông tin và các phương
pháp biểu diễn văn bản phục vụ tìm kiếm, tìm kiếm thông tin.
- CHƯƠNG 2: Ứng dụng biểu diễn văn bản bằng mạng nơ-ron sâu trong tìm
kiếm văn bản pháp quy: Giới thiệu về bài toán tìm kiếm văn bản pháp quy,
trình bày phương pháp biểu diễn văn bản sử dụng mạng nơ-ron sâu.
- CHƯƠNG 3: Thử nghiệm và đánh giá: Mô tả quá trình xây dựng bộ dữ
liệu và so sánh, đánh giá hiệu quả của mô hình đề xuất so với các phương
pháp khác.
Các kết quả của luận văn đã được chấp nhận công bố tại hội nghị COLING
2020, hội nghị hạng A về xử lý ngôn ngữ tự nhiên.
3
CHƯƠNG 1. BÀI TOÁN TÌM KIẾM THÔNG TIN VÀ CÁC
PHƯƠNG PHÁP BIỂU DIỄN VĂN BẢN
Chương này sẽ trình bày tổng quan về bài toán tìm kiếm thông tin nói chung
và bài toán tìm kiếm văn bản pháp quy nói riêng, bao gồm khái niệm, kiến trúc hệ
thống và mô hình tìm kiếm thông tin, cùng với các phương pháp biểu diễn văn bản
phục vụ tìm kiếm.
1.1. Bài toán tìm kiếm thông tin
1.1.1. Tìm kiếm văn bản quy phạm pháp luật
Theo Bing Liu, tìm kiếm thông tin hay truy vấn thông tin (Information
Retrieval – IR) là lĩnh vực nghiên cứu nhằm giúp người dùng tìm kiếm thông tin phù
hợp với thông tin mình cần [15].
Theo Manning, tìm kiếm thông tin là việc tìm các tài liệu ở dạng phi cấu trúc
(thường là văn bản) thỏa mãn một thông tin cần thiết trong một tập hợp dữ liệu lớn
(thường được lưu trên máy tính) [18].
IR nghiên cứu cách thu thập, tổ chức, lưu trữ truy xuất và phân tán thông tin.
Việc biểu diễn và tổ chức thông tin phải được thực hiện theo cách mà người dùng có
thể truy cập được thông tin đáp ứng nhu cầu của mình.
Bài toán tìm kiếm thông tin
Input:
- Một tập tài liệu lớn, ổn định.
- Một nhu cầu thông tin thể hiện dưới dạng câu truy vấn (các từ khoá hoặc
câu hỏi).
Output:
- Tìm tất cả tài liệu có liên quan đến câu truy vấn.
4
Trong đó, tài liệu ổn định ở đây có thể hiểu là tài liệu mà thao tác xóa, chỉnh
sửa hoặc thêm mới trên nó ít khi xảy ra.
Những vấn đề cần giải quyết của bài toán tìm kiếm thông tin
- Biểu diễn tập tài liệu như thế nào?
- Biểu diễn nhu cầu thông tin của người dùng như thế nào?
- Bằng cách nào hệ thống có thể trả về những tài liệu có liên quan đến nhu
cầu thông tin một cách có hiệu quả?
- Kết quả trả về được trình bày như thế nào?
Bài toán tìm kiếm văn bản pháp quy
Văn bản quy phạm pháp luật hay còn gọi là Văn bản pháp quy là một hình
thức pháp luật thành văn được thể hiện qua các văn bản chứa được các quy phạm
pháp luật do cơ quan hoặc cá nhân có thẩm quyền ban hành để điều chỉnh các quan
hệ xã hội. Theo quy định của Luật Ban hành văn bản quy phạm pháp luật năm 2008
của Việt Nam thì Văn bản quy phạm pháp luật là văn bản do cơ quan nhà nước ban
hành hoặc phối hợp ban hành theo thẩm quyền, hình thức, trình tự, thủ tục được quy
định. Trong đó có quy tắc xử sự chung, có hiệu lực bắt buộc chung, được Nhà nước
bảo đảm thực hiện để điều chỉnh các quan hệ xã hội.
Văn bản pháp quy có đặc điểm là thường dài, cấu trúc phức tạp, chia thành
nhiều chương, điều, khoản… Một văn bản pháp luật thường có thể dài tới 15-20 trang
hoặc thậm chí nhiều hơn. Một vụ việc có thể liên quan đến nhiều văn bản khác nhau.
Các luật sư, nhân viên pháp lý... phải đọc rất nhiều văn bản và so sánh các điều, khoản
trong đó với trường hợp đang xử lý. Việc này tốn rất nhiều thời gian, do vậy, nếu có
một hệ thống giúp tìm kiếm và đưa ra được các điều khoản liên quan tới vụ việc đang
xử lý sẽ giúp ích rất nhiều. Bài toán được phát biểu như sau:
- Đầu vào: Truy vấn của người dùng dưới dạng một câu hỏi.
- Đầu ra: Các điều khoản có liên quan, giúp trả lời được cho câu hỏi của
người dùng.
5
Ví dụ minh họa đầu vào và đầu ra của bài toán được mô tả bằng bảng bên
dưới:
Ví dụ minh họa bài toán tìm kiếm văn bản pháp quy.
Câu hỏi đầu vào
Con riêng có quyền hưởng thừa kế của bố đã mất không di
chúc không?
Đầu ra
Điều 651 Bộ luật dân sự 2015
Nội dung điều luật
Điều 651. Người thừa kế theo pháp luật
1. Những người thừa kế theo pháp luật được quy định theo thứ
tự sau đây:
a) Hàng thừa kế thứ nhất gồm: vợ, chồng, cha đẻ, mẹ đẻ, cha
nuôi, mẹ nuôi, con đẻ, con nuôi của người chết;
b) Hàng thừa kế thứ hai gồm: ông nội, bà nội, ông ngoại, bà
ngoại, anh ruột, chị ruột, em ruột của người chết; cháu ruột của
người chết mà người chết là ông nội, bà nội, ông ngoại, bà
ngoại;
c) Hàng thừa kế thứ ba gồm: cụ nội, cụ ngoại của người chết;
bác ruột, chú ruột, cậu ruột, cô ruột, dì ruột của người chết;
cháu ruột của người chết mà người chết là bác ruột, chú ruột,
cậu ruột, cô ruột, dì ruột; chắt ruột của người chết mà người
chết là cụ nội, cụ ngoại.
2. Những người thừa kế cùng hàng được hưởng phần di sản
bằng nhau.
3. Những người ở hàng thừa kế sau chỉ được hưởng thừa kế,
nếu không còn ai ở hàng thừa kế trước do đã chết, không có
quyền hưởng di sản, bị truất quyền hưởng di sản hoặc từ chối
nhận di sản.
1.1.2. Hệ thống tìm kiếm và tìm kiếm thông tin
Hoạt động của một hệ thống tìm kiếm thông tin được mô tả trong Hình 1.1,
bao gồm ba bước chính: biểu diễn văn bản, biểu diễn truy vấn và so khớp – đánh giá
độ liên quan giữa văn bản và truy vấn.
6
Hình 1.1. Kiến trúc tổng quan của hệ thống tìm kiếm thông tin.
Truy vấn của người dùng thể hiện thông tin mà người đó cần, có thể thuộc một
trong các dạng sau [15]:
- Truy vấn dạng từ khóa (Keyword queries): Người dùng thể hiện thông tin
mình cần bằng một danh sách (ít nhất một) các từ khóa với mục đích tìm
các tài liệu chứa một vài (ít nhất một) hoặc tất cả các từ khóa đó.
- Truy vấn dạng Boolean (Boolean queries): Người dùng có thể dùng các
toán tử Boolean AND, OR và NOT để tạo các truy vấn phức tạp. Truy vấn
sẽ bao gồm các từ khóa và các toán tử Boolean.
- Truy vấn dạng cụm từ (Phrase queries): Truy vấn gồm một chuỗi các từ tạo
thành một cụm từ. Các tài liệu trả về phải chứa cả cụm từ đó.
- Truy vấn gần (Proximity queries): Là một phiên bản thoải mái hơn của truy
vấn dạng cụm từ. Nó tìm kiếm các từ khóa trong truy vấn nằm gần nhau
trong các tài liệu. Độ gần (closeness) được dùng như một yếu tố để xếp
hạng các tài liệu trả về.
7
- Truy vấn dạng tài liệu (Full document queries): Khi truy vấn là toàn bộ một
văn bản, người dùng muốn tìm những văn bản khác tương tự như văn bản
trong truy vấn.
- Câu hỏi bằng ngôn ngữ tự nhiên (Natural language question): Người dùng
thể hiện thông tin cần thiết dưới dạng một câu hỏi bằng ngôn ngữ tự nhiên,
sau đó hệ thống tìm câu trả lời. Đây là trường hợp phức tạp nhất và cũng là
lý tưởng nhất.
Mô hình tìm kiếm thông tin (Information Retrieval Model - IRM) quyết định
tài liệu và truy vấn được biểu diễn như thế nào, cách xác định sự liên quan giữa một
tài liệu với truy vấn của người dùng. Đây là thành phần quan trọng nhất trong hệ
thống IR.
Mô hình tìm kiếm thông tin có thể được định nghĩa như sau [6]:
퐼푅푀 = {퐷, 푄, 퐹, 푅(푞푘, 푑푗)}
Trong đó:
- D (Document collection): Là tập hợp biểu diễn của các tài liệu.
- Q (Query collection): Là tập hợp biểu diễn các thông tin người dùng cần,
còn được gọi là các truy vấn.
- F (Framework): Là phương pháp mô hình hóa việc biểu diễn tài liệu, truy
vấn và mối quan hệ giữa chúng.
- R (Ranking function): Là hàm gán một số thực cho biểu diễn 푑푗 của tài liệu
푗 để thể hiện mức độ liên quan của nó với truy vấn 푞푘.
Việc biểu diễn văn bản và truy vấn đóng vai trò rất quan trọng, ảnh hưởng trực
tiếp tới kết quả tìm kiếm của hệ thống. Phương pháp biểu diễn tốt cần trích xuất, sau
đó chọn ra được các thông tin cần thiết để so khớp văn bản với truy vấn. Các phương
pháp có thể dùng để biểu diễn văn bản bao gồm: biểu diễn sử dụng từ khóa, biểu diễn
sử dụng chủ đề ẩn, biểu diễn sử dụng véc-tơ từ, biểu diễn sử dụng mạng nơ-ron sâu.
Từng phương pháp sẽ được trình bày cụ thể trong các mục phía sau.
8
Sau khi có biểu diễn của câu truy vấn và các văn bản, hệ thống sẽ thực hiện
quá trình so khớp, tính độ liên quan giữa các văn bản với truy vấn. Độ liên quan có
thể được tính thông qua các hàm khoảng cách như Euclid, Cosine, hàm tích vô hướng
hoặc thông qua một mạng nơ-ron. Các văn bản sẽ được xếp hạng dựa trên độ liên
quan tới truy vấn và trả về cho người dùng.
1.2. Biểu diễn văn bản sử dụng từ khóa
1.2.1. TF-IDF
Term Frequency – Inverse Document Frequency (TF-IDF), là một thống kê
số học phản ánh tầm quan trong của một từ (word) với một văn bản (document) trong
tập các văn bản (corpus). Nó thường được dùng để làm trọng số trong việc thu thập
thông tin và khai phá văn bản. Giá trị của TF-IDF tỉ lệ thuận với số lần xuất hiện của
từ đó trong văn bản, tuy nhiên nó bị bù trừ bởi tần suất của nó trong tập tất cả các văn
bản (corpus). Việc đó giúp loại bỏ những trường hợp mà một từ là từ phổ biến nhưng
lại vô nghĩa ví dụ như các từ “thì”, “là”, “mà” (người ta gọi những từ này là các từ
dừng - stopwords).
TF-IDF là sự kết hợp của hai thống kê cục bộ - tổng quát là: tần suất của từ
(term frequency – cục bộ) và tần suất nghịch đảo văn bản (inverse document
frequency – tổng quát).
Các tham số trong TF-IDF:
- Term frequency: Tần số xuất hiện
- Inverse document frequency: Tần số nghịch đảo văn bản
- Document Length: Độ dài văn bản
Tần số xuất hiện
Yếu tố này đánh giá tần suất xuất hiện của từ trong văn bản. Càng xuất hiện
nhiều, độ liên quan càng cao. Một văn bản xuất hiện từ khóa 5 lần sẽ liên quan nhiều
hơn một văn bản mà từ khóa chỉ xuất hiện 1 lần. Tuy nhiên không thể nói rằng một
văn bản xuất hiện từ khóa 6 lần thì liên quan gấp đôi một văn bản từ khóa xuất hiện
9
3 lần. Chính vì thế TF không còn được lấy trực tiếp, thay vào đó TF được tính theo
công thức sau:
(
)
푡푓 푡, 푑 = 푓푟푒푞푢푒푛푐푦
√
푡푓 của từ 푡 trong văn bản 푑 được tính bằng căn bậc hai của số lần 푡 xuất hiện
trong 푑.
Tần số nghịch đảo văn bản
Tần số nghịch đảo văn bản (Inverse Document Frequency) dùng để đánh giá
độ đặc biệt của một từ dựa vào tần suất xuất hiện của từ trên toàn bộ tập các văn bản.
Một từ xuất hiện ở nhiều văn bản thì sẽ ít có giá trị.
Ví dụ: Chúng ta muốn tìm kiếm luật sở hữu trí tuệ. Khi chúng ta tìm kiếm với
từ khóa "luật" thì sẽ nhận được rất nhiều kết quả nhưng lại có rất ít kết quả chúng ta
mong muốn. Còn khi chúng ta tìm kiếm với từ khóa "sở hữu trí tuệ" thì nhận được ít
kết quả hơn nhưng chúng ta sẻ thấy rõ ràng các kết quả tìm kiếm sẽ sát với kết quả
chúng ta mong muốn. Suy ra từ khóa "luật" sẽ có giá trị thấp hơn từ khóa "sở hữu trí
tuệ ".
Inverse Document Frequency được tính như sau:
|퐷|
푖푑푓(푡, 푑) = 푙표푔
|푑푡|
Trong đó |퐷| là tổng số văn bản trong tập dữ liệu, |푑푡| là số văn bản có chứa
từ 푡.
Độ dài văn bản
Yếu tố này đánh giá độ dài của văn bản. Văn bản càng ngắn thì từ sẽ có giá trị
càng cao và ngược lại. Điều này hoàn toàn dễ hiểu, chúng ta có thể thấy một từ xuất
hiện trong tiêu đề sẽ có giá trị hơn rất nhiều cùng từ đó nhưng xuất hiện trong nội
dung. Để thể hiện điều này ta dùng công thức:
10
1
( )
푛표푟푚 푑 =
|푑|
√
Trong đó |푑| là độ dài văn bản tính bằng tổng số từ.
Tổng hợp lại
(
)
푡푓 − 푖푑푓 푡, 푑 = 푡푓(푡) × 푖푑푓(푡, 푑) × 푛표푟푚(푑)
1.2.2. BM25
BM25 là hàm tính thứ hạng được các công cụ tìm kiếm sử dụng để xếp hạng
các văn bản theo độ phù hợp với truy vấn nhất định. Hàm xếp hạng này dựa trên mô
hình xác suất, được phát minh ra vào những năm 1970 – 1980. Phương pháp còn được
gọi là Okapi BM25, vì lần đầu tiên công thức được sử dụng trong hệ thống tìm kiếm
Okapi, được sáng lập tại trường đại học London những năm 1980 và 1990. [36]
Term frequency trong BM25
Đối với TF-IDF, giá trị của nó sẽ tăng vô hạn khi TF tăng lên. Để giảm tác
động của TF thì BM25 đã chỉnh sửa công thức của TF lại, giới hạn tới một điểm cực
đại, và chúng ta có thể tùy chỉnh giới hạn này bằng công thức:
(푘 + 1) × 푡푓
푘 + 푡푓
Trong đó 푘 là hằng số, 푡푓 là số lần xuất hiện của từ trong văn bản.
푘 giúp giới hạn mức độ ảnh hưởng của một từ đơn lẻ trong truy vấn tới độ liên
quan của một văn bản. Sự so sánh giữa ảnh hưởng của TF trong TF-IDF và BM25 có
thể thấy ở Hình 1.2 bên dưới.
Thay đổi giá trị của 푘 sẽ khiến độ dốc của đường cong ảnh hưởng của TF đến
độ liên quan (đường màu xanh) thay đổi. Điều này ảnh hưởng đến việc một từ xuất
hiện nhiều thêm sẽ làm tăng độ liên quan lên như thế nào. Đường cong tác động của
TF lên độ liên quan tăng nhanh khi 푇퐹 ≤ 푘 và chậm dần khi 푇퐹 > 푘 . Trong
Elasticsearch, 푘 có giá trị mặc định là 1.2.
11
Hình 1.2. TF trong TF-IDF và BM2
Độ dài văn bản trong BM25
Công thức của TF-IDF chưa thực sự hoàn chỉnh, nó đúng với những văn bản
có độ dài trung bình trong toàn bộ tập dữ liệu. Nếu độ dài văn bản quá ngắn hoặc quá
dài so với độ dài trung bình, thì công thức trên sẽ cho kết quả thiếu chính xác.
Bởi vậy, người ta thêm vào trong công thức trên 2 tham số, một hằng số b và
một giá trị độ dài 퐿, công thức sẽ trở thành:
(푘 + 1) × 푡푓
(
)
푘 × 1.0 − 푏 + 푏 × 퐿 + 푡푓
Trong đó:
- 퐿 là tỉ lệ giữa độ dài của văn bản đang xét so với độ dài trung bình của tất
cả các văn bản.
- 푏 là một hằng số
푏 càng lớn thì ảnh hưởng của độ dài của tài liệu so với độ dài trung bình càng
được khuếch đại. Nếu đặt 푏 thành 0, ảnh hưởng của tỷ lệ độ dài sẽ hoàn toàn bị vô
hiệu và độ dài của tài liệu sẽ không ảnh hưởng đến điểm số. Theo mặc định, 푏 có giá
trị là 0.75 trong Elasticsearch.
Tải về để xem bản đầy đủ
65 trang
16380
Free
Bạn đang xem 20 trang mẫu của tài liệu "Luận văn Tìm kiếm văn bản pháp quy sử dụng kỹ thuật học sâu", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- luan_van_tim_kiem_van_ban_phap_quy_su_dung_ky_thuat_hoc_sau.pdf
