Tóm tắt Luận văn Ứng dụng mô hình Maximum entropy trong phân lớp quan điểm cho dữ liệu văn bản
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
PHẠM NGUYÊN BÌNH
ỨNG DỤNG MÔ HÌNH MAXIMUM ENTROPY
TRONG PHÂN LỚP QUAN ĐIỂM CHO DỮ LIỆU VĂN BẢN
Ngành: Công nghệ thông tin
Chuyên ngành: Kỹ thuật phần mềm
Mã số: 60480103
TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM
Hà Nội – 2016
Mục lục
1
MỞ ĐẦU
1. Tính cấp thiết của đề tài luận văn
Ngày nay, xã hội của chúng ta đang chứng kiến sự bùng nổ của
Internet và đặc biệt là sự phát triển đến chóng mặt của các mạng xã hội
như Facebook, Twitter cũng như các diễn đàn, các trang thông tin mạng
về đa dạng các lĩnh vực. Chúng ta thường gọi chúng với tên chung là
các kênh truyền thông xã hội trực tuyến (social media online). Trên các
kênh truyền thông này là một lượng dữ liệu về quan điểm, ý kiến khổng
lồ (big data) tới trực tiếp từ hàng trăm triệu người dùng trong nước cũng
như quốc tế. Vì lẽ đó, việc giám sát thương hiệu thông qua thu thập,
phân tích những phản hồi, ý kiến, đóng góp của người sử dụng trên
những kênh truyền thông này là vô cùng quan trọng và hữu ích với các
công ty, doanh nghiệp và các tổ chức nói chung. Việc thu thập và xử lý
kịp thời các thông tin này sẽ hỗ trợ tích cực cho các công ty, doanh
nghiệp và tổ chức thực hiện được: (I) nắm bắt được mức độ phổ biến,
lan tỏa và tầm ảnh hưởng của thương hiệu; (II) nắm bắt được tâm tư,
nguyện vọng và cả những phản hồi, góp ý trực tiếp từ cộng đồng, những
người sử dụng dịch vụ để từ đó đưa ra những điều chỉnh phù hợp; (III)
nắm bắt và hiểu được những phản hồi và bình luận trên diện rộng đối
với các vấn đề, sự kiện quan trọng của tổ chức; (IV) kịp thời bảo vệ
thương hiệu của đơn vị trước những thông tin dư luận thiếu chính xác và
sai lệch.
Chính vì lẽ đó, việc phát triển một hệ thống có thể tự động thu
thập, phân tích và tổng hợp dữ liệu truyền thông là vô cùng cần thiết và
hữu ích đối với sự phát triển của bất cứ một công ty, doanh nghiệp hay
tổ chức nào, trong đó có cả Đại học Quốc gia (ĐHQG) Hà Nội. Mục
tiêu của nhóm đề tài là xây dựng hệ thống tự động phân tích dữ liệu
truyền thông xã hội trực tuyến phục vụ quản lý và hỗ trợ ra quyết định,
kinh tế, chính trị, giáo dục và xã hội cho Đại học Quốc gia Hà Nội với
2
tên gọi VNU-SMM (Vietnam National University-Social Media
Monitoring).
2. Mục tiêu của luận văn
Luận văn tập trung vào tìm hiểu các mô hình học máy có giám sát
phổ biến, được ứng dụng trong bài toán phân lớp quan điểm người dùng
cho dữ liệu văn bản thu được từ các kênh truyền thông xã hội. Trong
luận văn, chúng tôi cũng đã lựa chọn bộ phân lớp Maximum Entropy để
cài đặt và thử nghiệm, đồng thời ứng dụng vào hệ thống tự động phân
tích dữ liệu truyền thông xã hội trực tuyến phục vụ quản lý và hỗ trợ ra
quyết định trong lĩnh vực đào tạo cho Đại học Quốc gia Hà Nội.
3. Cấu trúc của luận văn
Luận văn được tổ chức thành năm chương. Trong chương 1,
chúng tôi sẽ giới thiệu về bài toán phân lớp quan điểm người dùng, các
hướng tiếp cận và các giải pháp đã và đang được nghiên cứu, sử dụng
trên thế giới. Trong chương tiếp theo, chúng tôi sẽ mô tả tổng quan về
hệ thống tự động thu thập và phân tích dữ liệu truyền thông xã hội trực
tuyến cho Đại học Quốc gia Hà Nội - VNU-SMM và vai trò của thành
phần phân lớp quan điểm người dùng trong hệ thống. Nội dung chi tiết
về bộ phân lớp Maximum entropy và ứng dụng của nó trong bài toán
phân tích quan điểm người dung sẽ được chúng tôi trình bày trong
chương 3. Trong chương 4, chúng tôi sẽ tập trung trình bày về kết quả
thực nghiệm, sau đó đánh giá, phân tích kết quả, những lỗi và điểm yếu
còn tồn tại. Cuối cùng, chúng tôi sẽ tổng kết lại những nội dung đã thực
hiện trong luận văn, từ đó đề xuất hướng nghiên cứu và phát triển trong
tương lai.
3
Bài toán phân lớp quan điểm và các hướng tiếp cận
1.1 Bài toán phân tích quan điểm
Phân tích quan điểm (opinion mining hay sentiment analysis) là
một lĩnh vực nghiên cứu về các ý kiến, quan điểm, đánh giá, thái độ và
cảm xúc của mọi người về một đối tượng. Hai thuật ngữ Opinion
Mining (OM) và Sentiment Analysis (SA) có thể được sử dụng thay thế
cho nhau trong các ngữ cảnh sử dụng. Tuy nhiên, một số nhà nghiên cứu
cho rằng OM và SA có một điểm khác nhau nhỏ [14].
Phân tích quan điểm là một lĩnh vực thu hút được sự quan tâm
lớn của cộng đồng nghiên cứu nói chung và cộng đồng xử lý ngôn ngữ
nói riêng bởi ba yếu tố chính sau: Thứ nhất, đó là sự đa dạng trong ứng
dụng của nó vào nhiều lĩnh vực. Thứ hai, đó là sự bùng nổ của thông tin
và mạng xã hội. Thứ ba, đó là sự thách thức của bài toán.
Quan điểm được chia làm hai loại: tích cực (positive) và tiêu
cực (negative). Ngoài hai trạng thái này, một câu hoặc văn bản được xếp
vào dạng trung lập (neutral).
Bài toán phân tích quan điểm người dùng thường được tiếp cận
và giải quyết ở ba mức độ: Mức độ văn bản, tài liệu (Document level),
Mức độ câu (Sentence level), Mức độ khía cạnh (Aspect level)
1.2 Các hướng tiếp cận và giải quyết bài toán
Trong những năm gần đây, có rất nhiều bài báo và các công
trình nghiên cứu cải tiến các thuật toán phân tích quan điểm người dùng.
đó ta thấy, có hai hướng tiếp cận chính trong các kỹ thuật ứng dụng
trong giải quyết bài toán phân lớp quan điểm người dùng, đó là: sử dụng
các thuật toán học máy hoặc tiếp cận theo hướng sử dụng các kiến thức
4
về từ vựng và ngữ nghĩa. Trong các thuật toán học máy lại có thể được
chia ra thành các thuật toán học có giám sát hay học không giám sát.
Ngoài ra, trong một, hai năm trở lại đây bắt đầu xuất hiện các ứng dụng
thành công của deep learning vào trong bài toán phân tích quan điểm
[12,13] đạt kết quả cao.
Các thuật toán học máy có giám sát phổ biến được sử dụng
trong giải quyết bài toán phân lớp quan điểm là: Naïve Bayes,
Maximum Entropy, Support Vector Machine (SVM) [9]. Các thuật toán
này được đánh giá cao về tính chính xác và hiệu quả trong giải quyết bài
toán phân lớp quan điểm người dùng. Trong mục này, chúng tôi sẽ giới
thiệu tổng quan về các giải thuật học có giám sát này.
Hình 1.1: Các kỹ thuật sử dụng trong giải quyết bài toán phân lớp quan
điểm
5
1.3 Mô hình phân lớp Naïve Bayes
Bộ phân lớp quan điểm Naïve Bayes được xây dựng dựa trên lý
thuyết Bayes về xác suất có điều kiện và sử dụng mô hình “bag of
words” để phân loại văn bản:
P(d | c)
P(c| d) P(c).
(1.1)
P(d)
Mục tiêu là tìm được phân lớp c* sao cho P(c*|d) là lớn nhất
hay xác suất của tài liệu d thuộc lớp c* là lớn nhất.
Từ công thức trên ta có thể nhận thấy P(d) không đóng vai trò gì trong
việc quyết định phân lớp c ‡ P(c|d) lớn nhất ⟺ P(c).P(d|c) lớn nhất.
Để có thể xấp xỉ giá trị của P(d|c), thuật toán Naïve Bayes giả
sử rằng: các vector đặc trưng fi của một tài liệu khi đã biết phân lớp là
độc lập với nhau.
Khi tiến hành huấn luyện, thuật toán sử dụng phương pháp xấp
xỉ hợp lý cực đại MLE (Maximum Likelihood Estimation) để xấp xỉ
P(c) và P(fi|c) cùng thuật toán làm mịn add-one (add-one smoothing).
Đánh giá bộ phân lớp sử dụng thuật toán học máy Naive Bayes,
ta nhận thấy phương pháp này các ưu điểm như: đơn giản, dễ cài đặt, bộ
phân lớp chạy nhanh và cần ít bộ nhớ lưu trữ. Bộ phân lớp cũng không
cần nhiều dữ liệu huấn luyện để xấp xỉ được bộ tham số. Tuy nhiên, bộ
phân lớp này có nhược điểm là thiếu chính xác do giả thiết độc lập của
các vector đặc trưng khi đã biết phân lớp là không có thực trong thực tế.
1.4 Mô hình phân lớp SVM
1.4.1 Giới thiệu về SVM
Máy vector hỗ trợ (Support Vector Machine – SVM) là một
phương pháp học máy nổi tiếng được sử dụng để giải quyết bài toán
6
phân lớp, thuật toán được Vladimir N. Vapnik tìm ra và thuật toán SVM
tiêu chuẩn hiện nay sử dụng được tìm ra bởi Vapnik và Corinna Cortes
vào năm 1995. Nhiều bài toán trong đời sống thực được SVM giải quyết
khá thành công như nhận dạng văn bản, hình ảnh, chữ viết tay, phân loại
thư rác điện tử, virus…
Thuật toán SVM ban đầu chỉ được thiết kế để giải quyết bài
toán phân lớp nhị phân, tức là số lớp hạn chế là hai lớp, với ý tưởng
chính như sau:
Cho trước một tập huấn luyện, được biểu diễn trong không gian
vector với mỗi điểm là biểu diễn của một dữ liệu, SVM sẽ tìm ra một
siêu phẳng f quyết định tốt nhất có thể chia các điểm trên không gian
này thành hai lớp riêng biệt, tương ứng là lớp “+” và lớp “-”. Chất lượng
của siêu phẳng được đánh giá bởi khoảng cách lề (margin) giữa hai lớp:
khoảng cách càng lớn thì siêu phẳng quyết định càng tốt và chất lượng
phân lớp càng cao.
1.4.2 Bài toán phân lớp nhị phân với SVM
ÿ Phát biểu bài toán:
Cho tập mẫu {(x1, y1), (x2, y2), … (xD, yD)} trong đó xi ∈ RD và
yi ∈ {-1, +1}. Giả sử dữ liệu là phân tách tuyến tính, tức là ta có thể
phân tách dữ liệu thành hai lớp bằng cách vẽ một đường phẳng trên đồ
thị của x1, x2 (với D = 2) hoặc một siêu phẳng trên đồ thị của x1, x2,…
xD (với D > 2). Mục đích của thuật toán phân lớp SVM là xây dựng siêu
phẳng sao cho khoảng cách lề giữa hai lớp đạt cực đại bằng cách xác
định phương trình mô tả siêu phẳng đó trên đồ thị.
1.4.3 Bài toán phân lớp đa lớp với SVM
Đối với bài toán phân lớp với số lớp nhiều hơn hai lớp, ta sử
dụng kỹ thuật phân đa lớp dạng Multiple Binary Classification với hai
chiến lược chính là One-vs-One và One-vs-Rest.
7
1.4.4 Đánh giá bộ phân lớp SVM
Bộ phân lớp SVM có các ưu điểm như:
o Độ chính xác phân lớp cao, yêu cầu kích thước bộ dữ
liệu huấn luyện nhỏ, dễ áp dụng cho nhiều bài toán.
o Hiệu quả với các bài toán phân lớp dữ liệu có số chiều
lớn.
o Hiệu quả với các trường hợp số chiều dữ liệu lớn hơn số
lượng mẫu.
Tuy nhiên, bộ phân lớp SVM còn có một số nhược điểm:
o Thời gian huấn luyện lâu, không gian bộ nhớ sử dụng
lớn, được thiết kế cho phân lớp nhị phân (trong khi thực tế
chủ yếu là phân loại đa lớp).
o Có thể bị overfit trên dữ liệu huấn luyện, nhạy cảm với
nhiễu.
1.5 Mô hình phân lớp Maximum Entropy
Với những nhược điểm của hai bộ phân lớp trên, bộ phân lớp
theo nguyên lý entropy cực đại ra đời, giải quyết tương đối tốt các bài
toán phân lớp dữ liệu dạng văn bản. Trong chương 3, chúng tôi sẽ trình
bày chi tiết về bộ phân lớp này cũng như cách ứng dụng vào trong bài
toán phân lớp quan điểm cho dữ liệu văn bản.
8
Tổng quan hệ thống VNU-SMM
2.1 Kiến trúc tổng thể của hệ thống
Hệ thống VNU-SMM được thiết kế với kiến trúc tổng quan như
trong hình 2.1:
Hình 2.1: Thiết kế tổng quan của hệ thống VNU-SMM
Hệ thống cần thu thập, lưu trữ và xử lý, phân tích một lượng
thông tin khổng lồ từ các kênh truyền thông xã hội với yêu cầu xử lý
nhanh, kịp thời nên thiết kế của hệ thống cần đảm bảo được các yêu cầu
này. Về công nghệ, hệ thống được tích hợp và cài đặt nhiều công nghệ
hiện đại về điện toán đám mây và xử lý dữ liệu lớn. Thêm vào đó, hệ
thống cũng được thiết kế theo kiến trúc mở, phục vụ việc linh động
9
trong mở rộng ứng dụng của hệ thống ra nhiều lĩnh vực khác ngoài giáo
dục như y tế, sức khỏe hay tài chính, ngân hàng.
Từ Hình 2.1, ta có thể thấy hệ thống VNU-SMM được thiết kế
với ba khối chức năng chính: khối chức năng tự động thu thập dữ liệu,
khối chức năng theo dõi và giám sát thông tin trực tuyến và khối hiển
thị, giao diện tương tác với người sử dụng.
2.1.1 Khối chức năng tự động thu thập dữ liệu
Khối chức năng tự động thu thập dữ liệu có các chức năng
chính như: tự động thu thập dữ liệu từ các kênh truyền thông xã hội như
facebook, twitter, các blog, forums. Sau đó, tiền xử lý dữ liệu (data
preprocessing) để chuẩn hóa và làm sạch thông tin. Dữ liệu sau khi được
chuẩn hóa và làm sạch sẽ được hệ thống lưu vào cơ sở dữ liệu, đồng
thời tự động đánh chỉ mục phục vụ việc truy xuất dữ liệu nhanh chóng
khi cần sử dụng. Ngoài ra, khối chức năng này còn thực hiện nhiệm vụ
phân tích sơ bộ dữ liệu (data shallow analysis).
2.1.2 Khối chức năng lõi với chức năng theo dõi và giám sát thông
tin trực tuyến
Khối chức năng tự động theo dõi và giám sát thông tin trực
tuyến là khối chức năng lõi của hệ thống. Khối chức năng thực hiện các
nhiệm vụ: phân loại, phân lớp, thống kê và tổng hợp thông tin, phân tích
và so sánh thương hiệu, phân tích các khía cạnh, phân tích và so sánh,
phân tích bình luận/quan điểm, phân tích ý kiến góp ý và phân tích xu
hướng.
2.1.3 Khối hiển thị, giao diện tương tác với người dùng cuối
Khối giao diện hiển thị, tương tác có chức năng cung cấp cho
người sử dụng cuối một giao diện trực quan, sinh động cho từng nội
10
dung là kết quả của các bước phân tích nói trên. Người sử dụng có thể
theo dõi thông tin cập nhật theo thời gian thực, khi có dữ liệu mới cập
nhật, đồng thời có thể thực hiện các thao tác tìm kiếm, so sánh, thống
kê, v.v đối với các dữ liệu đã thu thập được.
2.2 Thu thập và gán nhãn dữ liệu
Dữ liệu của chúng tôi thu được hệ thống gồm 9353 câu, trong
đó có 2812 câu là positive, 2662 câu là negative và 3879 câu là gán
nhãn other.
2.3 Phân lớp quan điểm
Thành phần phân lớp quan điểm thuộc khối chức năng lõi với
khả năng tự động phân lớp quan điểm theo thời gian khi có dữ liệu mới
thu thập được. Chi tiết về cách cài đặt bộ phân lớp theo mô hình entropy
cực đại sẽ được chúng tôi trình bày chi tiết trong chương 4 của luận văn.
11
Bộ phân lớp Maximum Entropy
3.1. Tổng quan về entropy cực đại
Trong mục này, chúng tôi sẽ giới thiệu về khái niệm entropy
cực đại thông qua một ví dụ đơn giản. Giả sử chúng ta cần mô hình hóa
lại các quyết định của một chuyên gia khi phân lớp chủ đề cho một bài
báo. Mô hình p gán cho mỗi phân lớp f một giá trị xấp xỉ p(f) là xác suất
mà chuyên gia sẽ chọn f là phân lớp của bài báo. Để có thể xây dựng
được mô hình p, chúng ta trước tiên cần thu thập một lượng lớn các mẫu
lựa chọn phân lớp của chuyên gia. Mục tiêu của chúng ta là (1) trích
xuất các dữ liệu thực về quá trình ra quyết định từ tập mẫu thu thập
được và (2) xây dựng mô hình p cho quá trình ra quyết định này.
3.2. Entropy là gì?
Ta có định nghĩa về Entropy do Shannon đưa ra vào năm 1948:
P ={p1, p2,..., pn}
Với một tập hợp các xác suất
ta có entropy
của P được định nghĩa như sau:
n
H(P) = - p log p
(3.3)
Â
i
i
i 1
3.3.1. Các ràng buộc và đặc trưng
Trong mô hình entropy cực đại, chúng ta sử dụng các tập mẫu
huấn luyện (training data) để sinh ra các ràng buộc cho phân phối điều
kiện. Mỗi ràng buộc thể hiện một đặc trưng của tập mẫu mà phân phối
đã học cần có. Phân phối sau khi học xong phải thỏa mãn tất cả các ràng
buộc sinh ra từ tập mẫu, ngoài ra không cho thêm bất kì giả thiết nào
khác.
12
f (x, y)
Các hàm đặc trưng
(còn gọi tắt là đặc trưng) là một
hàm nhị phân với 2 tham số: y ∈ tập các lớp cần phân loại và x ∈ tập
các ngữ cảnh:
f = e Æ{0,1}
Việc chúng ta lựa chọn các hàm đặc trưng là tùy thuộc vào từng
bài toán khác nhau và cách lựa chọn đặc trưng sẽ ảnh hưởng đến chất
lượng của bộ phân lớp.
3.3.2. Nguyên lý Entropy cực đại
Nguyên lý Entropy cực đại cho rằng: Với một tập các dữ liệu đã
biết trước, phân phối xác suất tốt nhất trong tập các phân phối xác suất
có thể để biểu diễn trạng thái hiện tại của tri thức, là phân phối xác suất
có entropy cực đại và phân phối này là duy nhất.
Ta có thể tóm tắt ý tưởng, bản chất của nguyên lý entropy cực
đại như sau: Nguyên lý entropy cực đại không giả thiết bất cứ điều gì về
phân phối xác suất ngoài những gì quan sát được từ tập dữ liệu, đồng thời
luôn chọn phân phối xác suất đồng đều nhất phù hợp với các ràng buộc quan
sát được này.
3.3.3. Dạng tham số
Bài toán đặt ra theo nguyên lý entropy cực đại có dạng: tìm p*
thuộc C sao cho entropy là lớn nhất. Bài toán có thể dễ dàng được giải
quyết khi số ràng buộc là ít và đơn giản, tuy nhiên, trong thực tế số các
ràng buộc tăng lên và chồng chéo nhau như trong ví dụ ở mục 2.1 thì ta
cần một hướng giải quyết hiệu quả hơn.
Để giải quyết vấn đề này, chúng ta có thể áp dụng phương pháp
thừa số Lagrange.
13
3.3.4. Tính toán các tham số
Có nhiều phương pháp số học được sử dụng, có thể kể đến như
IIS (Improved Iterative Scaling), L-BFGS, GIS (Generalized Iterative
Scaling). Trong phần này, chúng tôi sẽ giới thiệu tổng quan về hai
phương pháp phổ biến và tốt nhất hiện nay cho bộ phân lớp dựa trên mô
hình entropy cực đại: IIS và L-BFGS .
1) Phương pháp Improved Iterative Scaling
Phương pháp này được hai nhà khoa học Darroch và Ratcliff
giới thiệu vào năm 1972 để tính toán các xấp xỉ cực đại likelihood cho
các tham số của các mô hình hàm mũ (exponential model). Thuật toán
này được áp dụng với điều kiện các hàm đặc trưng fi (x, y) không âm:
fi (x, y) ≥ 0 "x,y,i
Trong bài toán phân lớp chúng ta đang giải quyết, điều kiện này
hiển nhiên thỏa mãn do các hàm đặc trưng là các hàm nhị phân. Nội
dung của thuật toán được trình bày như sau:
fi (x, y)
và phân phối thực
Input:
Các hàm đặc trưng
nghiệm
l *
pl*
và mô hình tối ưu
Output:
Các tham số tối ưu
i
li
Bước 1:Bắt đầu với
= 0 với mọi i ∈{1,2,…,n}
Bước 2:Với mỗi i thực hiện:
Dli
a. Gọi
là nghiệm của phương trình:
(3.13)
Â
x,y
14
n
f # (x, y)
f (x, y)
i
Trong đó:
Â
i 1
b. Cập nhật lại giá trị của li theo công thức: li
= +
li Dli
Bước 3: Quay lại bước 2 nếu như tất cả các li đều chưa hội
tụ.
2) Phương pháp L-BFGS (Limited-memory BFGS)
L-BFGS là một thuật toán tối ưu trong họ các phương pháp
quasi-Newton cho phép xấp xỉ thuật toán BFGS gốc sử dụng bộ nhớ
giới hạn của máy tính. Để hiểu rõ phương pháp này, chúng tôi sẽ giới
thiệu tổng quan về phương pháp Newton và phương pháp Quasi-
Newton trước khi giới thiệu về thuật toán L-BFGS
a. Phương pháp Newton
Hầu hết các phương pháp tối ưu số học là các giải thuật
lặp trong đó ta thử dần các giá trị của biến cần tìm, hội tụ dần
về giá trị tối ưu của hàm số đã cho. Hay nói cách khác, với
x* argmax f (x)
xn
hàm số
, giả sử ta có một giá trị xấp xỉ
xn+1
, ta mong muốn giá trị thử tiếp theo là
thỏa mãn:
f (x ) < f (x )
.
n
n+1
Phương pháp Newton tập trung vào xấp xỉ bậc 2 của hàm
x
số cho các điểm xung quanh n . Giả sử hàm số
hai lần (twice-differentiable), chúng ta có thể sử dụng xấp xỉ
bậc 2 của hàm cho các điểm ‘gần’ một điểm cố định bằng
f là khả vi
f
khai triển Taylor. Xấp xỉ này đúng với giá trị Dx tiến dần tới
0.
15
Ta có giải thuật lặp NewtonRapshon như sau:
Hình 3.1: Giải thuật lặp NewtonRapshon
Giải thuật trên có thể được chứng minh luôn hội tụ tới
điểm tối ưu cho hàm f cực đại nếu f là một hàm số lõm hay hội
tụ tới f cực tiểu nếu f là hàm lồi với lựa chọn x0 bất kỳ.
Trong thực tế với các bài toán học máy như chúng ta
đang quan tâm, f thường là một hàm số nhiều chiều với số
chiều tương ứng với số tham số của mô hình học. Số tham số
này thường rất lớn, có thể lên tới hàng trăm triệu hoặc thậm
chí hàng tỉ, điều này khiến cho việc thực hiện tính toán theo
phương pháp Newton là không thể do không thể tính được ma
trận Hessian hay nghịch đảo của nó. Chính vì vậy, trong thực
tế, giải thuật NewtonRapshon rất ít khi được sử dụng với các
bài toán lớn. Tuy nhiên, thuật toán trên vẫn đúng với ma trận
Hessian xấp xỉ đủ tốt mà không cần chính xác tuyệt đối.
Phương pháp được sử dụng để xấp xỉ ma trận Hessian này là
Quasi-Newton.
b. Quasi-Newton
Phương pháp Quasi-Newton sử dụng một hàm
xn+1
QuasiUpdate để sinh ra ma trận Hessian nghịch đảo tại
xn
dựa trên ma trận Hessian nghịch đảo tại
.
Tải về để xem bản đầy đủ
27 trang
20720
Free
Bạn đang xem 20 trang mẫu của tài liệu "Tóm tắt Luận văn Ứng dụng mô hình Maximum entropy trong phân lớp quan điểm cho dữ liệu văn bản", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- tom_tat_luan_van_ung_dung_mo_hinh_maximum_entropy_trong_phan.pdf
