Một phương pháp kết hợp muộn cho nhận dạng cây dựa trên nhiều ảnh bộ phận cây
ISSN: 1859-2171
e-ISSN: 2615-9562
TNU Journal of Science and Technology
225(06): 541 - 547
MỘT PHƯƠNG PHÁP KẾT HỢP MUỘN CHO NHẬN DẠNG CÂY
DỰA TRÊN NHIỀU ẢNH BỘ PHẬN CÂY
Nguyễn Thị Thanh Nhàn
Trường Đại học Công nghệ thông tin và Truyền thông – ĐH Thái Nguyên
TÓM TẮT
Nhận dạng cây với mục đích là xác định tên của loài cây từ các ảnh quan sát được của loài cây. Các
nghiên cứu trước đây thường mới tập trung cho kết hợp dựa trên hai bộ phận. Trong bài báo này, một
phương pháp kết hợp muộn cho bài toán nhận dạng cây dựa trên nhiều ảnh bộ phận của cây được đề
xuất áp dụng cho việc kết hợp từ hai cho đến sáu bộ phận của cây theo các bộ phận lá, hoa, quả, thân,
cành, toàn bộ cây. Phương pháp này được xây dựng dựa trên việc kết hợp luật nhân và luật tổng có
sử dụng trọng số gán cho bộ phận của cây. Việc nhận dạng đơn bộ phận được áp dụng phương pháp
học sâu hiện đại. Các kết quả thực nghiệm đã chỉ ra hiệu quả của phương pháp đề xuất, vượt trội hơn
so với các phương pháp kết hợp theo luật lớn nhất, luật tổng, luật nhân. Phương pháp cũng chỉ ra
rằng càng kết hợp nhiều bộ phận thì độ chính xác đạt được càng cao. Phương pháp đề xuất đã đạt
được độ chính xác cao nhất là 98,8% khi thực hiện kết hợp sáu bộ phận.
Từ khóa: Kết hợp muộn; học sâu; luật nhân; luật tổng; nhận dạng cây
Ngày nhận bài: 12/5/2020; Ngày hoàn thiện: 31/5/2020; Ngày duyệt đăng: 31/5/2020
A LATE FUSION METHOD FOR MULTI-ORGAN PLANT IDENTIFICATION
Nguyen Thi Thanh Nhan
TNU - University of Information and Communication Technology
ABSTRACT
Plant identification that aims at determining the name of plant species from images of plant
species’ observation. Previous studies have often focused on two organs. In this paper, a new late
fusion method for multi-organ plant identification is proposed for combining two to six organs
according to leaf, flower, fruit, stem, branch, entire. This method is based on combining the
product rule and sum rule using weights assigned to plant organs. A deep learning method- a state
of the art method- is applied for single organ identification. The experimental results have shown
the effectiveness of the proposed method, it outperforms than max rule, sum rule, product rule.
The results also indicate that the more organs are combined, the better the identification accuracy
is. The proposed method achieves the highest accuracy of 98.8% when combining 6 organs.
Keywords: late fusion; deep learning; product rule; sum rule; plant identification
Received: 12/5/2020; Revised: 31/5/2020; Published: 31/5/2020
Email:[email protected]u.vn
541
Nguyễn Thị Thanh Nhàn
Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN
225(06): 541 - 547
1. Giới thiệu
phân lớp sẽ được kết hợp lại với nhau để cho
ra kết quả nhận dạng cuối cùng. Phương pháp
kết hợp muộn thường kết hợp dựa trên các độ
tin cậy trả về. Có một số nghiên cứu đã áp
dụng các phương pháp kết hợp muộn áp dụng
cho nhận dạng cây từ các kết quả nhận dạng
cây trên các bộ phận khác nhau của cây. Các
phương pháp kết hợp thường sử dụng cho bài
toán nhận dạng cây có thể kể đến như luật
nhân [8], luật trung bình [9], luật lớn nhất,
luật tổng [10], [11] luật nhỏ nhất [12], luật
IprMNZ [4], luật bình chọn theo số đông
(majority voting rule) [13], luật tổng có trọng
số [14]. Các phương pháp này thường được
sử dụng do tính đơn giản và hiệu quả của các
phương pháp. Các nghiên cứu trước cũng đã
chỉ ra nhận dạng cây dựa trên nhiều bộ phận
cho kết quả tốt hơn là nhận dạng dựa trên một
bộ phận [6], [15], [16], và mới tập trung cho
nhận dạng dựa trên hai bộ phận của cây [9].
Với mục đích tiếp tục cải thiện khả năng kết
hợp, bài báo đề xuất một phương pháp kết
hợp mới bằng việc kết hợp các phương pháp
kết hợp đã có, có sử dụng trọng số gán cho
mỗi bộ phận của cây. Bài báo sẽ thực hiện kết
hợp cho nhiều hơn bằng hai bộ phận. Với
nhận dạng cây cho mỗi bộ phận, một phương
pháp học sâu được áp dụng để nâng cao kết
quả nhận dạng cây.
Nhận dạng cây tự động bằng máy tính điện tử
đang rất được quan tâm hiện nay với mục
đích giúp cộng đồng người dùng dễ dàng
nhận dạng được các cây cối họ quan tâm, từ
đó giúp bảo tồn sự đa dạng của thực vật [1].
Các nghiên cứu trước đây thường tập trung
nhận dạng cây dựa trên một bộ phận chủ yếu
là lá và cũng đã đạt được một số kết quả ấn
tượng. Tuy nhiên với một số lượng lớn các
loài, độ chính xác nhận dạng cây dựa trên một
bộ phận vẫn còn một số hạn chế. Hình ảnh
của một bộ phận là không đủ thông tin để
nhận dạng do sự giống nhau lớn giữa các loài
khác nhau và sự khác biệt lớn giữa các ảnh
cùng một bộ phận của loài cây. Gần đây các
nghiên cứu đã chuyển sang tập trung nhận
dạng cây dựa trên nhiều ảnh bộ phận của cây
cho phép cung cấp nhiều thông tin của cây
giúp cải thiện được kết quả nhận dạng cây,
đặc biệt khi có sự ra đời của cơ sở dữ liệu cây
được công bố và cập nhật hàng năm của cuộc
thi nhận dạng cây trong khuôn khổ cuộc thi
LifeCLEF với dữ liệu nhiều ảnh bộ phận của
cây [2]-[6]. Tại một thời điểm quan sát, khi
một bộ phận của cây không tồn tại, khi đó có
thể xem xét việc kết hợp các bộ phận khác
của cây. Đây là một nhu cầu thực tế khi một
người dùng cố gắng nhận dạng cây dựa trên
các quan sát khác nhau của một cây, điều này
cũng đúng với quan điểm nhận dạng cây của
các nhà thực vật học. Việc quan sát các bộ
phận khác nhau của cây cho phép các nhà
thực vật học phân biệt rõ các loài mà có thể
gây ra nhầm lẫn nếu chỉ sử dụng một bộ phận
của cây.
Nội dung phần 2 trình bày chi tiết phương
pháp đề xuất, phần 3 trình bày các kết quả đạt
được và phần cuối là phần kết luận.
2. Phương pháp kết hợp đề xuất cho nhận
dạng cây dựa trên nhiều ảnh bộ phận của cây
Trong bài báo này, tác giả đề xuất một
phương pháp kết hợp mới dựa trên việc kết
hợp các phương pháp đã có, có sử dụng trọng
số bộ phận gán cho cây. Câu truy vấn đầu vào
gồm N ảnh của N bộ phận quan tâm. Trong
các thực nghiệm, N biến đổi từ 2 đến 6. Cho
mỗi bộ phận, một bộ phân lớp tương ứng sẽ
được xây dựng. Với mỗi ảnh đầu vào mô hình
này sẽ trả về một danh sách các loài cây
tương ứng với độ tin cậy kèm theo. Phương
Các phương pháp kết hợp kết quả nhận dạng
cây dựa trên nhiều bộ phận có thể chia thành
2 nhóm là các phương pháp kết hợp sớm và
các phương pháp kết hợp muộn. Đầu tiên là
các phương pháp kết hợp sớm thực hiện kết
hợp các đặc trưng của các bộ phận cây khác
nhau trước khi thực hiện phân lớp [7].
Thứ hai là các phương pháp kết hợp muộn,
mỗi bộ phận sẽ thực hiện một bộ phân lớp
riêng biệt, kết quả nhận dạng trên mỗi bộ
542
Nguyễn Thị Thanh Nhàn
Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN
225(06): 541 - 547
xuất phương pháp kết hợp luật nhân và luật
tổng có gán trọng số cho mỗi bộ phận, việc
tích hợp được thực hiện dựa trên toán tử nhân.
pháp kết hợp sẽ lấy các danh sách các độ tin
cậy này như là đầu vào, sau đó thực hiện kết
hợp các độ tin cậy này để trả về danh sách các
loài cây mới. Đóng góp của bài báo là đề xuất
một phương pháp kết hợp mới và không mất
tính tổng quát một phương nhận dạng cây bất
kỳ đều có thể áp dụng cho việc nhận dạng
một bộ phận bất kỳ.
Đầu tiên mỗi bộ phận sẽ được gán một trọng
số, trọng số này thể hiện tầm quan trọng của
bộ phận này với các bộ phận khác trong quá
trình nhận dạng. Bộ phận Ok được gán trọng
số wk. Dựa trên kết quả nghiên cứu [18] các
kết quả nhận dạng cây dựa trên các mạng
khác nhau cho các bộ phận cây đều được sắp
xếp theo chiều giảm dần là hoa, lá, quả, cành,
thân, toàn bộ cây. Do đó trong bài báo này
các trọng số được gán cho các bộ phận cây có
giá trị giảm dần cho các bộ phận lần lượt là
hoa, lá, quả, cành, thân, toàn bộ cây. Cụ thể, ở
đây trong phần thực nghiệm trọng số cho các
bộ phận được gán như sau: hoa: 6, lá: 5, quả:
4, cành: 3, thân: 2, toàn bộ cây: 1.
Một số ký hiệu được sử dụng như sau:
{
}
•
푞 = 퐼1, 퐼2, … , 퐼푁 là câu truy vấn
chứa 푁 ảnh của 푁 bộ phận;
•
•
퐶: là số lớp của cơ sở dữ liệu;
푠푖(퐼푘) là độ tin cậy của loài 푖 khi sử
dụng ảnh 퐼푘 là câu truy vấn từ bộ
nhận dạng đơn bộ phận tương ứng, ở
đó 1 ≤ 푖 ≤ 퐶, 1 ≤ 푘 ≤ 푁;
•
푐: lớp dự đoán của loài cho câu truy
vấn 푞
Phương pháp kết hợp mới được đề xuất như
sau, tích các độ tin cậy trả về được nhân với
tổng có trọng các độ tin cậy. Câu truy vấn 푞
được gán vào lớp 푐 như sau:
Một số phương pháp kết hợp cơ bản:
Luật lớn nhất (Max rule) là một trong
những phương pháp kết hợp phổ biến nhất.
Độ tin cậy lớn nhất được lựa chọn trong danh
sách các độ tin cậy là độ tin cậy được trả về
[17]. Trong trường hợp này câu truy vấn 푞
được gán vào lớp 푐 như sau:
푁
푁
(
)
푐 = 푎푟푔푚푎푥푖=1..푁 {(∑ 푠푖 퐼푘 . 푤푘) . (∏ 푠푖(퐼푘))} (4)
푘=1
푘=1
Với phương pháp đề xuất như vậy khi độ tin
푁
∏
cậy 푠푖(퐼푘) càng cao thì các giá trị 푘=1 푠푖(퐼푘)
푁
∑
( )
và 푘=1 푠푖 퐼푘 . 푤푘 càng cao. Việc kết hợp
bằng toán tử nhân cặp giá trị này giúp gia
tăng khoảng cách chênh lệnh với các cặp độ
tin cậy trả về có giá trị thấp hơn, giúp cho
việc dự đoán lớp đúng trả về có độ chính xác
cao. Phương pháp này sẽ giúp gia tăng độ tin
cậy của lớp trả về do gán trọng số cho bộ phận,
ưu tiên kết quả nhận dạng cho những ảnh
thuộc bộ phận được gán trọng số cao, hơn nữa
việc kết hợp hai phương pháp sẽ tận dụng
được các ưu điểm của mỗi phương pháp. Để so
sánh hiệu quả của phương pháp đề xuất, tác giả
thực hiện so sánh với các phương pháp cơ sở
trên là luật lớn nhất, luật tổng, luật nhân.
{ ( )}
푐 = 푎푟푔푚푎푥푖=1..푁 { max 푠푖 퐼푘
}
(1)
푘=1..푁
Luật tổng (Sum rule) cũng là một luật kết
hợp được sử dụng phổ biến [17]. Tổng của
các độ tin cậy được trả về. Luật tổng gán câu
truy vấn về lớp 푐 như sau:
{∑푁
푐 = 푎푟푔푚푎푥푖=1..푁 푘=1 푠푖 퐼푘
( )}
(2)
Luật nhân (Product rule) tính độ tin cậy của
các độ tin cậy trả về [17]. Câu truy vấn 푞
được gán vào lớp 푐 như sau:
{∏푁
}
푐 = 푎푟푔푚푎푥푖=1..푁 푘=1 푠푖 (퐼푘)
(3)
Phương pháp kết hợp đề xuất
Từ việc quan sát các bộ phận trên cây có các
vai trò khác nhau trong quá trình nhận dạng
cây, do vậy tác giả sẽ gán trọng số cho bộ phận
cây và sử dụng luật tổng có gán trọng số. Sau
đó xuất phát từ ý tưởng là kết hợp các phương
pháp kết hợp cơ bản đã có. Ở đây tác giả đề
Đối với việc xây dựng bộ phân lớp cho nhận
dạng đơn bộ phận, bất kỳ một bộ phân lớp
nào đều có thể được áp dụng. Các nghiên cứu
liên quan đã chỉ ra rằng các phương pháp học
sâu đã cho kết quả nhận dạng tốt hơn so với
543
Nguyễn Thị Thanh Nhàn
Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN
225(06): 541 - 547
phương pháp dựa trên việc trích chọn đặc
trưng tự thiết kế đặc biệt khi làm việc với cơ
sở dữ liệu lớn và đa dạng [6]. Do vậy, trong
bài báo này tác giả đã áp dụng một kiến trúc
học sâu là sử dụng mạng nơ-ron tích chập
GoogLeNet cho nhận dạng đơn bộ phận.
các hình ảnh thuộc 6 bộ phận, các ảnh trong
cơ sở dữ liệu thực nghiệm hầu hết đều có nền
phức tạp.
Bảng 1. Cơ sở dữ liệu 50 loài với 6 bộ phận
Tập huấn
luyện
1930
Tập kiểm Tổng
thử
Lá
Hoa
Cành
Toànbộcây
Quả
776
673
553
341
500
500
2706
2323
1941
1166
4321
3412
GoogLeNet đã chiến thắng trong cuộc thi
nhận dạng các đối tượng trên cơ sở dữ liệu
hình ảnh lớn, đa dạng ImageNet năm 2014
[19]. GoogLeNet có kiến trúc sâu hơn và rộng
hơn so với nhiều kiến trúc mạng khác như
AlexNet, VGGNet. Mạng này cho phép giảm
một số lượng lớn các tham số huấn luyện. Nó
bao gồm 6,8 triệu tham số, 22 lớp với 9 mô
đun lặp (inception), 2 lớp nhân chập, 2 lớp
chuẩn hóa, 5 lớp giảm chiều, một lớp kết nối
đầy đủ, một lớp tuyến tính với hàm kích hoạt
Softmax như là một bộ phân lớp. Một môđun
inception sử dụng song song các lớp nhân
chập có kích thước 1 × 1, 3 × 3, 5 × 5 với các
lớp khác để giảm số chiều. Kiến trúc này còn
được gọi là kiến trúc mạng trong mạng. Trong
quá trình huấn luyện GoogLeNet kết nối với 2
bộ phân lớp phụ trợ với các lớp ở giữa mạng để
tiến hành hiệu quả tính toán lan truyền ngược
qua các tất cả các lớp. Ở đây mỗi bộ phận sẽ
được huấn luyện bởi một mạng GoogLeNet
riêng biệt.
1650
1388
825
3821
Thân
2912
Hình 1. Ảnh các bộ phận của loài Cotinus
coggygria Scop
3.1. Nhận dạng cây dựa trên một bộ phận
Các kết quả thực nghiệm được tiến hành trên
máy chủ với cấu hình: 2,20 GHz CPU, 16 GB
RAM, GeForce GTX 1080 Ti GPU, thực hiện
trên khung học sâu Caffe và TensorFlow. Kỹ
thuật học chuyển đổi (transfer learning) và
tinh chỉnh các tham số được áp dụng trên
mạng GoogLeNet. Bộ trọng số tiền huấn
luyện trên cơ sở dữ liệu rất lớn và đa dạng
ImageNet được áp dụng là bộ trọng số khởi
tạo cho quá trình huấn luyện. Mô hình được
tối ưu cho phù hợp với bài toán nhận dạng
cây, các tham số được tinh chỉnh, tối ưu như
sau: learning_rate: 0,001, batch_size: 32,
weight_decay: 0,0002, dropout: 0,4. Việc lựa
chọn các tham số này dựa trên việc nghiên
cứu các kết quả liên quan, các thực nghiệm và
cấu hình máy thực nghiệm.
3. Kết quả thực nghiệm
Các kết quả thực nghiệm được tiến hành trên
cơ sở dữ liệu hình ảnh cây với 6 bộ phận là lá,
hoa, toàn bộ cây, cành, quả và thân. Để triển
khai thành công phương pháp học sâu, một cơ
sở dữ liệu nhiều ảnh huấn luyện được yêu
cầu, tác giả đã tiến hành trích rút 50 loài cây
phổ biến (có đủ 6 bộ phận và chứa nhiều hình
ảnh) từ cơ sở dữ liệu cây LifeCLEF 2015. Để
gia tăng kích thước của cơ sở dữ liệu tác giả
cũng đã tiến hành thu thập thêm các ảnh trên
internet thông qua tên của 50 loài cây. Các kết
quả ảnh thu thập được, sau đó được đánh giá
bởi chuyên gia thực vật học. Thông tin chi tiết
được trình bày trong bảng 1. Hình 1 biểu diễn
544
Nguyễn Thị Thanh Nhàn
Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN
225(06): 541 - 547
Bảng 3. Độ chính xác tại hạng 1(%) khi kết hợp
các bộ phận khác nhau. Phần in đậm là kết quả
đạt được tốt nhất theo hàng
Các kết quả đạt được cho nhận dạng dựa trên
đơn bộ phận khi áp dụng mạng GoogLeNet
được chỉ ra trong bảng 2. Bộ phận hoa cho kết
quả nhận dạng cao nhất là 82,2% vì bộ phận
hoa có nhiều đặc điểm bề ngoài (màu sắc,
hình dạng) có tính chất phân biệt cao giữa các
loài. Bộ phận toàn bộ cây cho kết quả nhận
dạng thấp nhất do bộ phận này thường được
chụp ở góc nhìn xa và sự tương tự lớn giữa
các loài khi dựa trên ảnh toàn bộ của cây, nên
độ phân biệt là không cao.
Các bộ phận
kết hợp
Luật Luật Luật
Phương
pháp đề
xuất
95,8
84,8
79,4
87,6
80,2
91,2
84,6
94,2
87,0
63,8
81,6
66,4
80,0
53,4
74,4
96,6
96,2
97,8
94,8
88,0
93,6
87,2
93,0
84,6
91,0
92,2
96,0
91,8
94,8
89,2
93,8
88,0
75,2
83,6
86,0
97,2
98,2
97,6
98,4
96,8
97,8
95,6
90,8
94,4
92,8
96,8
93,6
96,0
90,0
95,8
98,6
97,8
96,4
97,4
lớn
tổng nhân
nhất
91,4
79,8
74,6
84,0
75,0
85,0
79,2
89,4
82,4
58,0
75,4
60,4
72,8
50,8
72,0
91,4
91,4
91,4
91,4
79,8
79,8
79,8
74,6
74,6
84,0
85,0
85,0
85,0
79,2
79,2
89,4
58,0
58,0
72,8
75,4
89,6
93,2
91,4
92,6
90,2
93,0
86,2
80,4
87,0
85,4
88,4
84,8
90,8
80,4
89,6
Le+Fl
Le+Br
Le+En
Le+Fr
Le+St
Fl+Br
Fl+En
Fl+Fr
Fl+St
Br+En
Br+Fr
Br+St
En+Fr
En+St
Fr+St
Le+Fl+Br
Le+Fl+En
Le+Fl+Fr
Le+Fl+St
Le+Br+En
Le+Br+Fr
Le+Br+St
Le+En+Fr
Le+En+St
Le+Fr+St
Fl+Br+En
Fl+Br+Fr
Fl+Br+St
Fl+En+Fr
Fl+En+St
Fl+Fr+St
Br+En+Fr
Br+En+St
En+Fr+St
Br+Fr+St
Le+Fl+Br+En
Le+Fl+Br+Fr
Le+Fl+Br+St
Le+Fl+En+Fr
Le+Fl+En+St
Le+Fl+Fr+St
Le+Br+En+Fr
Le+Br+En+St
Le+Br+Fr+St
Le+En+Fr+St
Fl+Br+En+Fr
Fl+Br+En+St
Fl+Br+Fr+St
Br+En+Fr+St
Fl+En+Fr+St
92,0 95,4
81,0 84,6
75,0 79,2
84,4 87,6
75,0 79,0
86,0 90,2
79,8 83,4
90,0 94,4
82,8 85,6
58,8 61,8
75,6 82,6
61,0 66,6
73,6 78,4
51,0 54,4
72,6 74,6
93,2 96,2
92,4 96,0
95,8 97,6
92,2 94,8
81,8 87,0
90,4 93,2
83,4 87,0
87,4 93,6
80,2 81,4
86,0 90,4
85,0 91,2
93,0 95,6
86,2 91,4
91,0 93,6
83,4 88,6
91,0 93,2
81,8 87,8
67,4 74,6
78,2 82,4
81,8 86,4
94,2 97,4
96,2 98,2
92,6 98,0
96,0 98,2
93,2 96,6
95,8 97,8
90,8 95,6
84,8 90,6
90,4 94,4
89,6 92,8
93,8 96,8
88,0 93,0
92,4 95,0
85,4 89,6
91,6 95,2
96,6 98,0
94,4 97,8
91,4 96,6
94,2 96,8
Bảng 2. Kết quả nhận dạng đơn bộ phận
Bộ phận
Độ chính xác
tại hạng 1 (%)
75,0
Lá (Le)
Hoa (Fl)
82,2
53,2
36,4
68,8
37,6
Cành (Br)
Toàn bộ cây (En)
Quả (Fr)
Thân (St)
3.2. Đánh giá phương pháp kết hợp đề xuất
cho nhận dạng cây dựa trên nhiều ảnh bộ
phận của cây
Các kết quả thực nghiệm được tiến hành kết
hợp cho các cặp từ 2 đến 6 bộ phận của cây
cho việc nhận dạng cây dựa trên nhiều ảnh bộ
phận của cây. Các kết quả được chỉ ra ở trong
bảng 3, có tổng tất cả 57 trường hợp kết hợp.
Khi so sánh với các phương pháp kết hợp lấy
giá trị lớn nhất, lấy giá trị tổng, lấy giá trị
nhân thì phương pháp đề xuất là cho kết quả
là tốt nhất. Phương pháp đề xuất cho kết quả
vượt trội hơn phương pháp lấy giá trị lớn nhất
và phương pháp lấy tổng. Còn so sánh với
phương pháp nhân thì phương pháp đề xuất
cho kết quả cao hơn một chút hoặc bằng trong
tổng 47 trường hợp trên 57 trường hợp kết
hợp. Trong 10 trường hợp còn lại phương
pháp đề xuất chỉ kém phương pháp nhân
trong khoảng từ 0,2 đến 1%. Điều này chỉ ra
hiệu quả của phương pháp đề xuất.
Le+Fl+Br+En+Fr 89,6
Le+Fl+Br+En+St 89,6
Le+Br+En+Fr+St 86,2
Fl+Br+En+Fr+St 88,4
545
Nguyễn Thị Thanh Nhàn
Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN
225(06): 541 - 547
Các bộ phận
kết hợp
Luật Luật Luật
Phương
pháp đề
xuất
98,2
98,2
hợp hai, ba, bốn, năm và sáu bộ phận lần lượt
là [53,4%-95,8%], [75,2%-97,8%], [90,0%-
98,4%], [96,4%-98,6%] và 98,8%. Phương
pháp đề xuất cho phép chúng ta có thể kết
hợp các ảnh của các bộ phận một cây cần
nhận dạng có kết quả cao. Cách tiếp cận này
là linh hoạt, phù hợp với thực tế bởi vì một
cây không phải luôn tồn tại sẵn tất cả các bộ
phận của cây tại một thời điểm. Khi kết hợp
luôn ưu tiên kết hợp các bộ phận có trọng số
cao trước.
lớn
tổng nhân
nhất
93,2
92,6
Le+Fl+Br+Fr+St
Le+Fl+En+Fr+St
Le+Fl+Br+En+Fr+St 92,6
95,2 98,0
96,6 98,2
96,2 98,8
98,8
Ngoài ra một số kết luận khác được rút ra từ
bảng 3 như sau. Đầu tiên, càng nhiều bộ phận
được kết hợp thì kết quả nhận dạng càng cao,
điều này được chỉ rõ trong hình 2 với các kết
quả nhận dạng cho số cặp bộ phận khi áp
dụng phương pháp đề xuất. Ví dụ, sử dụng
các ảnh hoa và lá đạt kết quả lần lượt là
82,2% và 75,0% tại hạng 1 cho dữ liệu kiểm
thử. Khi thực hiện kết hợp hai bộ phận này
theo phương pháp đề xuất đạt kết quả vượt
trội là 95,8% cải thiện kết quả so với bộ phận
hoa là 13,6% và bộ phận lá là 20,8%. Các kết
quả kết hợp giữa các bộ phận thường được cải
thiện nhiều khi kết hợp với bộ phận có kết
quả nhận dạng cao trong nhận dạng đơn bộ
phận hay bộ phận được gán trọng số cao, ví
dụ như bộ phận hoa, lá. Các kết quả nhận
dạng tiếp tục được cải thiện khi kết hợp nhiều
bộ phận hơn nữa. Kết quả nhận dạng đạt được
tốt nhất trên ba bộ phận, bốn bộ phận, năm bộ
phận và tất cả các bộ phận lần lượt là 95,8%,
97,8%, 98,4%, 98,6%, 98,8%. Khi kết hợp
càng nhiều bộ phận thì tốc độ cải thiện nhận
dạng càng giảm.
4. Kết luận
Một phương pháp kết hợp mới cho nhận dạng
cây dựa trên nhiều ảnh bộ phận cây được đề
xuất thực hiện kết hợp giữa luật nhân và luật
tổng có gán trọng số cho bộ phận. Các kết quả
chỉ ra rằng phương pháp đề xuất là hiệu quả
khi so sánh với các phương pháp lấy giá trị
lớn nhất, lấy tổng và phương pháp nhân. Bài
báo đã tiến hành 57 thực nghiệm cho các cặp
bộ phận từ hai đến sáu bộ phận, từ đó đã phân
tích và đưa ra một số gợi ý cho nhận dạng cây
dựa trên nhiều ảnh bộ phận của cây.
TÀI LIỆU THAM KHẢO/ REFERENCES
[1]. J. Wäldchen, and P. Mäder, "Plant species
identification
techniques:
using
computer
vision
literature
A
systematic
review," Archives of Computational Methods
in Engineering, vol. 25, no. 2, pp. 507-543,
2018.
[2]. H. Goëau, P. Bonnet, and A. Joly "Lifeclef
plant identification task 2015," in CEUR-WS
(Ed.), CLEF: Conference and Labs of the
Evaluation forum, vol. 1391 of CLEF2015
Working notes, Toulouse, France, 2015.
[3]. H. Goëau, P. Bonnet, A. Joly, V. Bakic, D.
Barthélémy, N. Boujemaa, and J. -F. Molino,
“The imageclef 2013 plant identification
task,” in CLEF: Conference and Labs of the
Evaluation forum, 2013.
[4]. H. Goëau, A. Joly, P. Bonnet, S. Selmi, J.-F.
Molino, D. Barthélémy, and N. Boujemaa,
“Lifeclef plant identification task 2014,” in
CLEF2014 Working Notes. Working Notes for
CLEF 2014 Conference, Sheffield, UK,
September 15-18, 2014, pp. 598-615.
Hình 2. Kết quả nhận dạng cây của phương pháp
kết hợp đề xuất cho nhiều bộ phận
Thứ hai, chúng ta có thể quan sát thấy rằng
việc kết hợp nhiều bộ phận cho phép cải thiện
cận dưới và cận trên của phạm vi độ chính
xác. Độ chính xác khi sử dụng một bộ phận
biến đổi trong phạm vi [37,6%-82,2%]. Phạm
vi độ chính được xác được tăng lên khi kết
[5]. H. Goëau, P. Bonnet, and A. Joly, “Plant
identification in an open-world (lifeclef
546
Nguyễn Thị Thanh Nhàn
Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN
225(06): 541 - 547
2016),” CLEF working notes 2016, 2016, pp.
428-439.
[6]. H. Goëau, P. Bonnet, and A. Joly, “Plant
identification based on noisy web data: the
amazing performance of deep learning
[13]. S. Choi, “Plant identification with deep
convolutional neural network: Snumedinfo at
lifeclef plant identification task 2015,” in
CLEF (Working Notes), 2015.
[14]. G. Cerutti, L. Tougne, C. Sacca, T. Joliveau,
P.-O. Mazagol, D. Coquin, and A. Vacavant,
“Late information fusion for multi-modality
plant species identification,” in Working notes
for Conference and Labs of the Evaluation
Forum, 2013.
[15]. H. Zhu, X. Huang, S. Zhang, and P. C. Yuen,
“Plant identification via multipath sparse
coding,” Multimedia Tools and Applications
vol. 76, no. 3, pp. 4599-4615, 2017.
(lifeclef
2017),”
CEUR
Workshop
Proceedings, 2017.
[7]. A. He, and X. Tian, “Multi-organ plant
identification with multi-column deep
convolutional neural networks”, in 2016 IEEE
International Conference on Systems, Man,
and Cybernetics (SMC) 2016, 2016, pp.
002020-002025.
[8]. J. Kittler, M. Hatef, R. P. Duin, and J. Matas,
[16]. S. H. Lee, Y. L. Chang, and C. S. Chan,
“Lifeclef 2017 plant identification challenge:
Classifying plants using generic-organ
correlation features,” Working Notes of
CLEF, 2017.
[17]. A. Jain, K. Nandakumar, and A. Ross,
"Score normalization in multimodal biometric
systems," Pattern recognition, vol. 38, no. 12,
pp. 2270-2285, 2005.
[18]. Ghazi, M. Mehdipour, B. Yanikoglu, and E.
Aptoula, "Plant Identification Using Deep
Neural Networks via Optimization of Transfer
Learning arameters," Neurocomputing, vol.
235, pp. 228-235, 2017.
[19]. C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S.
Reed, D. Anguelov, D. Erhan, V. Vanhoucke,
and A. Rabinovich, “Going deeper with
convolutions,” in Proceedings of the IEEE
Conference on Computer Vision and Pattern
Recognition, 2015, pp. 1-9.
“On
combining
classifiers,”
IEEE
transactions on pattern analysis and machine
intelligence, vol. 20, no. 3, pp. 226-239, 1998.
[9]. H. Nakayama, “Nlab-utokyo at imageclef
2013 plant identification task,” in: CLEF
(Working Notes), 2013.
[10]. I. Mohamed, L. Diane, and P. Frédéric,
“Plant species recognition using bag- of-word
with svm classifier in the context of the
lifeclef challenge”, Working Notes of CLEF,
2014.
[11]. M. Rzanny, P. Mader, A. Deggelmann, M.
Chen, and J. Waldchen, “Flowers, leaves or
both? how to obtain suitable images for
automated plant identification,” Plant
Methods, vol. 15, no. 77, pp. 1-11, 2019.
[12]. I. Dimitrovski, G. Madjarov, D. Kocev, and
P. Lameski, “Maestra at lifeclef 2014 plant
task: Plant identification using visual data,” in
CLEF (Working Notes), 2014, pp. 705-714.
547
7 trang
16980
Free
Bạn đang xem tài liệu "Một phương pháp kết hợp muộn cho nhận dạng cây dựa trên nhiều ảnh bộ phận cây", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- mot_phuong_phap_ket_hop_muon_cho_nhan_dang_cay_dua_tren_nhie.pdf
