Luận văn Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau

Trang phụ bìa

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN THỊ THANH XUÂN

ỨNG DỤNG XỬ LÝ ẢNH

ĐẾM CÁC ĐỐI TƯỢNG CÓ ẢNH CHẠM NHAU

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên năm 2020

i

LỜI CAM ĐOAN

Tên tôi là: Nguyễn Thị Thanh Xuân

Sinh ngày: 10/10/1977

Học viên lớp cao học CHK17A - Trường Đại học Công nghệ Thông tin và

Truyền thông - Đại học Thái Nguyên.

Hiện đang công tác tại: Trường THPT Đồng Hỷ - tỉnh Thái Nguyên.

Xin cam đoan: Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm

nhau” do TS. Phạm Đức Long hướng dẫn là công trình nghiên cứu của riêng tôi.

Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng.

Tác giả xin cam đoan tất cả những nội dung trong luận văn đúng như nội

dung trong đề cương và yêu cầu của thầy giáo hướng dẫn. Nếu sai tôi hoàn toàn

chịu trách nhiệm trước hội đồng khoa học và trước pháp luật.

Thái Nguyên, ngày 01 tháng 10 năm 2020

Tác giả luận văn

Nguyễn Thị Thanh Xuân

ii

LỜI CẢM ƠN

Sau một thời gian nghiên cứu và làm việc nghiêm túc, được sự động viên,

giúp đỡ và hướng dẫn tận tình của Thầy giáo hướng dẫn TS. Phạm Đức Long, luận

văn với Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau”.

Tôi xin bày tỏ lòng biết ơn sâu sắc đến:

Thầy giáo hướng dẫn TS. Phạm Đức Long đã tận tình chỉ dẫn, giúp đỡ tôi

hoàn thành luận văn này.

Phòng đào tạo Sau đại học Trường Đại học Công nghệ Thông tin và Truyền

thông đã giúp đỡ tôi trong quá trình học tập cũng như thực hiện luận văn.

Trường THPT Đồng Hỷ - tỉnh Thái Nguyên nơi tôi công tác đã tạo điều kiện

tối đa cho tôi thực hiện khóa học này.

Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp và gia đình đã động viên,

khích lệ, tạo điều kiện giúp đỡ tôi trong suốt quá trình học tập, thực hiện và hoàn

thành luận văn này.

Thái Nguyên, ngày 01 tháng 10 năm 2020

Tác giả luận văn

Nguyễn Thị Thanh Xuân

iii

MỤC LỤC

L ỜI CAM ĐOAN ..................................................................................................... i

L Ờ I C ẢM ƠN .......................................................................................................... ii

M Ụ C L Ụ C............................................................................................................... iii

DANH M Ụ C CÁC B Ả NG...................................................................................... iv

DANH M Ụ C CÁC HÌNH V Ẽ ...................................................................................v

DANH M Ụ C CÁC KÝ HI Ệ U, CÁC CH Ữ VI Ế T T Ắ T.......................................... vi

ĐẶT VẤN ĐỀ ............................................................Error! Bookmark not defined.

CHƯƠNG 1 . T ỔNG QUAN ĐẾM ĐỐI TƯỢ NG VÀ NHU C ẦU ĐẾ M B Ằ NG

X Ử LÝ Ả NH ............................................................................................................2

1.1. Đếm đối tượ ng trong th ự c t ế ..............................................................................2

1.1.1 Đế m th ủ công b ằ ng m ắ t ...................................................................................2

1.1.2 Đế m qua thi ế t b ị sensor....................................................................................3

1.1.3 Đế m qua ả nh ....................................................................................................4

1.2 Đặc điểm đếm đối tượ ng qua ả nh .......................................................................5

1.2.1 Ả nh s ố ..............................................................................................................5

1.2.2. Nh ữ ng thu ậ n l ợ i khi áp d ụng đế m b ằ ng x ử lý ả nh..........................................8

1.2.3 Khó khăn khi đếm đối tượ ng qua ả n h ..............................................................8

K Ế T LU ẬN CHƯƠNG 1 ......................................................................................10

CHƯƠNG 2 . CÁC PHƯƠNG PHÁP ĐẾ M B Ằ NG X Ử LÝ Ả NH ...................11

2.1 Đếm các đối tượ ng tách r ờ i ...............................................................................11

2.1.1 Thu ật toán kinh điểm đếm các đối tượ ng tách r ờ i nhau.................................11

2.1.2 Đếm sai khi có các đối tượ ng ch ạ m nhau ......................................................12

2.2 Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển.......................14

2.2.1 Hình thái học kinh điển..................................................................................14

2.2.2 H ạ n ch ế khi đếm các đối tượ ng dính nhau.....................................................16

2.3 Ph ố i h ợ p Bi ến đổ i Watershed và bi ến đổ i kho ả ng cách....................................17

2.3.1 Bi ến đổ i kho ả ng cách (DT - Distance Transform).........................................17

iv

2.3.2 Phân vùng Watershed (WS-Watershed Segmentation) .................................19

2.3.3 Ph ố i h ợ p bi ến đổ i Watershed và bi ến đổ i kho ả ng cách .................................27

2.4 S ử d ụ ng m ạng nơ ro n ........................................................................................31

2.5 Đếm đối tượ ng có ả nh dính nhau dùng hình thái h ọc định hướ ng....................35

2.5.1 Kh ả o sát Hình thái h ọc gradients kinh điể n ...................................................35

2.5.2 Hình thái h ọc có định hướ ng.........................................................................37

2.6 Xây d ự ng thu ật toán đếm đối tượ ng có ả nh dính nhau dùng hình thái h ọc đị nh

hướ ng.......................................................................................................................41

K Ế T LU ẬN CHƯƠNG 2 ......................................................................................42

CHƯƠNG 3 . Ứ NG D Ụ NG X Ử LÝ ẢNH ĐẾ M CÂY THÉP QUA ẢNH ĐẦ U

B Ó ...........................................................................................................................43

3.1 Cơ sở ch ọ n thu ậ t toán và nhu c ầ u th ự c t ế .........................................................43

3.2 Đế m cây thép qua ảnh đầ u bó ...........................................................................51

3.3 K ế t qu ả th ự c nghi ệ m .........................................................................................52

3.4 Nh ận xét và đánh giá, so sán h ...........................................................................55

K Ế T LU ẬN CHƯƠNG 3 ........................................................................................56

K Ế T LU Ậ N .............................................................................................................56

HƯỚ NG PHÁT TRI Ể N ..........................................................................................57

TÀI LI Ệ U THAM KH Ả O.......................................................................................58

PH Ụ L Ụ C.................................................................................................................. I

v

vi

DANH MỤC CÁC HÌNH VẼ

Hình 1.1 Đếm sơ khai và trừu tượ ng v ớ i con s ố .......................................................2

Hình 1.2 Đế m th ủ công đầu bó thép dùng sơn và mắt thườ ng .................................2

Hình 1.3 Đế m b ằ ng senso r ........................................................................................3

Hình 1.4 Đếm quả để ước tính sản lượng .................................................................4

Hình 1.5 Đế m h ồ ng c ầ u qua kính hi ể n vi .................................................................4

Hình 1.6 Đếm ô tô trên đườ ng cao t ố c ......................................................................4

Hình 1.7 Nguyên lý máy ả nh s ố ................................................................................5

Hình 1.8 Nguyên lý sensor CCD. Trong hình là 3 vi điể m ả nh................................6

Hình 1.9 Sensor CCD và sensor CMOS ...................................................................6

Hình 1.10 Sensor CMOS hi ệ n t ạ i..............................................................................7

Hình 1.11 Ả nh thi ế u sáng ch ất lượ ng kém, b ị m ấ t không ti n ...................................9

Hình 1.12 Ả nh h ồ ng c ầ u b ị ch ạ m, ch ồ ng lên nha u ..................................................9

Hình 1.13 Ả nh nhi ễ u và không nhi ễ u .......................................................................9

Hình 2.1 T ạo các điể m ả nh biên cho ả nh I..............................................................11

Hình 2.2 Minh h ọa phương pháp đếm kinh điể n ....................................................12

Hình 2.3 a) ả nh nguyên b ả n b) ả nh nh ị phân .......................................................13

Hình 2.4 Th ự c hi ệ n phép co và phép dãn n ở ả nh nh ị phân.....................................13

Hình 2.5 a) Ả nh nguyên b ả n b) Sau khi dùng phép co c) Sau khi dùng phép dãn n ở .

...............................................................................................................14

Hình 2.6 Ả nh nh ị phân nguyên b ả n và sau khi th ự c hi ệ n các phép hình thái h ọ c 15

Hình 2.7 Hình thái h ọ c trên ả nh xá m ......................................................................16

Hình 2.8 Th ự c hi ệ n hình thái h ọ c trên ả nh xám......................................................16

Hình 2.9 Dùng phép co để tách các đối tượ n g ........................................................17

Hình 2.10 Do phép co chưa đủ s ố l ầ n th ự c hi ệ n .....................................................17

Hình 2.11 Tác d ụ ng c ủ a ba ki ể u bi ến đổ i kho ả ng cách .........................................19

Hình 2.12 Nguyên lý bi ến đổi lưu vực sông (watershed transform) nơi các giá trị

cường độ xác định đồi và lưu vực. Đố i v ớ i m ục đích phân vùng, các lưu

v ự c có th ể b ị ng ập để k ế t h ợp các vùng tương ứ ng ...............................19

vii

Hình 2.13 Địa hình khi chưa bị ng ập nướ c ............................................................20

Hình 2.14 B ắt đầ u cho ng ập các thung lũng ...........................................................20

Hình 2.15 V ị trí c ủ a Watershed...............................................................................20

Hình 2.16 Xây d ự ng b ức tường ngăn cách tạ i v ị trí Watershed..............................20

Hình 2.17 Toàn b ộ đị a hình b ị nh ấ n chìm...............................................................21

Hình 2.18 Ví d ụ phân vùng ả nh b ằ ng Watershed ...................................................21

Hình 2.19 Watershed transform trên lưới ô vuông, cho các kết nối khác nhau......26

Hình 2.20 Phân vùng quá m ứ c do nhi ễ u khi áp d ụ ng cho m ộ t lát c ắ t tr ụ c c ủ a hình

ả nh CT. Ả nh cu ối: các lưu vự c riêng l ẻ (individual basins) đượ c h ợ p nh ấ t

để t ạ o thành các vùng l ớn hơn liên tiế p .................................................27

Hình 2.21 Thu ậ t toán ph ố i h ợ p bi ến đổ i Watershed và bi ến đổ i kho ả ng cách .......29

Hình 2.22 Phân vùng các đồ ng xu dính nhau .........................................................30

Hình 2.23 Tách các h ạ t cà phê dính nhau ...............................................................31

Hình 2.24 Trướ c tiên, m ạ ng CNN-DC th ự c hi ệ n phát hi ện các điể m tâm cây thép

b ằ ng m ộ t m ạng CNN (deep CNN), sau đó áp dụ ng thu ậ t toán Phân

c ụ m kho ảng cách để có đượ c thông tin v ề s ố l ượ ng thanh thép và các

v ị trí tâm c ủ a các thanh thép. ...............................................................32

Hình 2.25 Minh h ọ a quá trình phân c ụ m kho ả ng cách: (1) Tính kho ả ng cách.......33

Hình 2.26 Kiến trúc CNN .......................................................................................34

Hình 2.27 Quá trình s ử d ụng phương pháp dùng mạng nơ ron chậ p cu ộ n CNN cho

đêm và đị nh tâm các cây thép................................................................34

Hình 2.28 Ví d ụ hình thái h ọ c gradient v ớ i ả nh m ột con đườ ng ............................36

Hình 2.29 Hình thái h ọ c gradient v ớ i tín hi ệ u 1D có tác d ụ ng c ả i thi ệ n tín hi ệ u c ả

hai vùng trong và ngoài. ........................................................................36

Hình 2.30 Ví d ụ hình thái h ọ c gradient v ớ i ả nh m ộ t t ấ m b ả n m ạ c h .......................37

Hình 2.31 Quy ước các hướng trong ảnh với thực hiện hình thái học có định hướng......37

Hình 2.32 Hình thái h ọc có hướ n g ..........................................................................38

Hình 2.33 Các v ị trí và hướ ng th ự c hi ệ n Hình thái h ọc định hướ ng.......................39

Hình 2.34 Góc  thay đổi qua các trục thể hiện các điểm lõm (a) và lồi (b) của biên.…39

viii

Hình 2.35 Điểm A đổ i chi ều gradient theo hướ ng Y-Y.........................................40

Hình 2.36 Tìm t ọa độ các điể m th ự c hi ệ n hình thái h ọc định hướ ng ....................40

Hình 2.37 Các m ặ t n ạ hình thái h ọc theo hướ ng a) X-X, b) Y-Y c) Y-X d) X-Y ..40

Hình 3.1 Thép xây d ự ng a) d ạ ng cây b) d ạ ng cu ộ n ................................................44

Hình 3.2 Th ép tròn trơn và thép vằ n .......................................................................45

Hình 3.3 Phôi thép cá n ............................................................................................48

Hình 3.4 Đầu thép thanh tròn và thép thanh cườ ng l ự c ..........................................48

Hình 3.5 Dây chuy ền cán và cơ cấu đế m c ủ a DANIEL (Ytalia) t ạ i nhà máy Thái

Trung – Thái Nguyên.............................................................................49

Hình 3.6 H ệ th ống đế m thép 2 Camera c ủ a c ủ a dây chuy ề n cán Thái Trung (Thái

Nguyên) s ử d ụ ng công ngh ệ DANIE L ..................................................49

Hình 3.7 Dây chuy ề n cán NasteelVina s ử d ụng đế m th ủ công...............................49

Hình 3.8 a) H ệ th ống đế m t ừng cây thép trên băng tả i c ủ a SINOM GROUP LTD

Sai s ố 0.7 % b) ảnh trên chương trình xử lý [11]. ...............................50

Hình 3.9 Đưa số đếm vào chương trình mã vạch để qu ả n lý..................................50

Hình 3.10 Tách đối tượ ng dùng m ẫ u ......................................................................52

Hình 3.11 M ẫ u ả nh dùng trong th ự c nghi ệ m .........................................................53

Hình 3.12 C ác bướ c th ự c hi ện tách đối tượ ng trong ả nh a) ả nh nguyên b ả n b) ả nh

xám c) ả nh nh ị phân d), e), f) các bước trung gian g) tìm biên để xác

định hưở ng th ự c hi ệ n hình thái h ọ c h) k ế t qu ả tách các đối tượ ng. ......54

Hình 3.13 K ế t qu ả đế m s ố cây đầ u bó ....................................................................55

Hình 3.14 Trườ ng h ợp đầ u cây thép b ị th ụ t vào .....................................................55

vi

ix

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

AI- Artificial Intelligence

Trí tuệ nhân tạo

CNN - Convolutional Neural Networks

Mạng nơ ron chập cuộn

(phần mềm)

CNN- Cellular Neural Netwwork

Mạng nơ ron tế bào

(phần cứng)

Closing

Toán tử đóng Closing

Phép dãn nở

Dilation

DT - Distance Transform

Deep learning

Biến đổi khoảng cách

Học sâu

Erosion

Phép co

Morphological Operator

Morphological Gradient

Opening

Toán tử hình thái học

Hình thái học Gradient

Toán tử mở Opening

Hình thái học định hướng

Cảm biến CCD

OM - Oriented Morphology

Sensor CCD (Charge Coupled Device)

Sensor Complementary Metal-Oxide-Semiconductor (CMOS)

Cảm biến bán dẫn ô xit kim loại

Biến đổi Watershed

Watershed Segmentation

1

MỞ ĐẦU

Đếm các đối tượng trong ảnh là một bài toán được đặt ra nhiều trong thực tế

như đếm các tế bào, đếm hồng cầu trong máu qua ảnh từ kính hiển vi điện tử, đếm

các sản phẩm công nghiệp qua các camera công nghiệp… Khó khăn lớn nhất với

việc đếm bằng xử lý ảnh là ảnh của các đối tượng cần đếm thường dính với nhau

gây ra kết quả sai khác so với thực tế. Cho đến nay đã có nhiều phương pháp làm

tăng độ chính xác của kết quả đếm bằng xử lý ảnh. Tuy nhiên kết quả của các

phương pháp đó vẫn chưa cho độ chính xác 100%. Trong bài báo này chúng tôi đề

xuất một phương pháp mới áp dụng hình thái học có định hướng để tách các đối

tượng bị dính nhau trong ảnh để đưa độ chính xác kết quả của các quá trình đếm có

khả năng đạt đến độ chính xác tuyệt đối trong một số ứng dụng trong công nghiệp

hiện nay. Thực nghiệm được thực hiện trên ảnh của các bó thép cho số lượng cây

thép có trong bó có thể đạt độ chính xác tuyệt đối. Kết quả này có thể được ứng

dụng thay cho việc đếm bằng thủ công trong các nhà máy cán thép hiện nay.

Nhu cầu đếm các đối tượng có rất nhiều trong thực tiễn. Đếm thủ công bằng

mắt là một phương pháp tự nhiên, đã có lâu đời. Nhưng ngày nay việc đếm thủ công

đã không còn đáp ứng được nữa do tốc độ xuất hiện và tồn tại các đối tượng cần

đếm rất nhanh, do số lượng đối tượng cần đếm vô cùng lớn, do các đối tượng trong

nhóm dính hoặc chồng lấn lên nhau

Mục tiêu của luận văn là nghiên cứu Xây dựng thuật toán đếm đối tượng có

ảnh dính nhau dùng hình thái học định hướng. Chúng ta thấy morphological

gradient chỉ có tác dụng nổi biên ở các phía trong và ngoài biên cũng như nổi biên

so với nền ảnh trong một số trường hợp và không tác dụng tách rời các đối tượng

dính nhau. Với mục tiêu tách đối tượng tách rời các đối tượng dính nhau chúng tôi

đưa ra một loại hình thái học mới thực hiện hình thái học dựa trên đặc điểm của

biên ảnh tại những vị trí có biểu hiện đặc điểm của hai đối tượng “dính nhau”. Từ

đó tiến hành xây dựng mô hình thực nghiệm đếm ảnh sản phẩm trên phần mềm

Matlab. Do vậy em lựa chọn đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh

chạm nhau” cho đề tài luận văn tốt nghiệp.

2

CHƯƠNG 1

TỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM

BẰNG XỬ LÝ ẢNH

1.1. Đếm đối tượng trong thực tế

1.1.1 Đếm thủ công bằng mắt

Nhu cầu đếm là một nhu cầu tự nhiên của con người. Từ lúc đi săn bắn ở

rừng đã phải đếm xem bắt được/bắn được mấy con thú, hái được bao nhiêu quả

rừng. Khi chưa xuất hiện số đếm con người dùng các bộ phận thân thể để nhớ số

lượng, đánh dấu khi nhớ.

Hình 1.1 Đếm sơ khai và trừu tượng với con số

Số đếm ra đời cho phép con người đếm được nhiều hơn. Tuy nhiên với số

lượng lớn sự bao quát của mắt không thể đáp ứng được. Lúc đó phải có đánh dấu, ví

dụ đếm cây thép qua đầu bó thép mỗi cây thép đã đếm rồi thì phải bôi sơn vào để

không đếm nhầm lại nữa.

Hình 1.2 Đếm thủ công đầu bó thép dùng sơn và mắt thường

3

Tuy nhiên với các yêu cầu đếm nhanh, đếm tự động chính xác thì phải có

những phương pháp khác.

Đây mới chỉ đề cập đến đếm thuần túy và chưa kể đến đếm có kiểm tra ví dụ đếm

tiền bằng máy đếm.

1.1.2 Đếm qua thiết bị sensor

b) Đếm sản phẩm trên dây chuyền sản xuất

b) Đếm người ra-vào qua cửa

Hình 1.3 Đếm bằng sensor

Đây là phương pháp hay được sử dụng trong công nghiệp và một số không

gian công cộng (như bảo tàng, siêu thị, nhà ga):

+ Với lối ra vào hẹp chỉ đủ cho một người: Một (hoặc một số) sensor tiệm cận,

sensor hồng ngoại được bố trí để khi không có vật (hoặc người) qua thì giá trị tín

hiệu ra của sensor là “0” khi có tín hiệu của sản phẩm hoặc của người qua thì tín

hiệu bằng “1” và số đếm = số đếm +1.

+ Với lối ra vào rộng: Để tránh trường hợp có 2 hay nhiều hơn số người cùng đi qua

mà vẫn chỉ có một tín hiệu “1” thì các sensor cần bố trí theo dãy ngang từ trên

xuống.

Một số nhược điểm của dùng sensor là khi cường độ nhiễu của môi trường

với biên độ lớn đến hơn 100V làm bộ điều khiển bị “treo” hoặc sensor báo tín hiệu

sai. Đây là trường hợp dùng sensor đếm thép cây trên dây chuyền trong quá trình

sản xuất tại nhà máy cán thép.

4

1.1.3 Đếm qua ảnh

Khái niệm “ảnh” ở đây được hiểu không chỉ là ảnh quang học thu qua các camera

mà cả ảnh thu qua các mảng sensor (ví dụ ảnh trên thiết bị kiểm tra vị trí xe ô tô).

Trong thực tiễn để có kết quả đếm rất nhiều trường hợp không thể sử dụng

đếm bằng sensor và đếm bằng mắt thì không đếm xuể ví dụ đếm hồng cầu, đếm quả

trong vườn, [1], [2], [3].

Hình 1.4 Đếm quả để ước tính sản lượng

Hình 1.5 Đếm hồng cầu qua kính hiển vi

Hình 1.6 Đếm ô tô trên đường cao tốc

5

1.2 Đặc điểm đếm đối tượng qua ảnh

1.2.1 Ảnh số

Hình 1.7 Nguyên lý máy ảnh số

Các máy ảnh số hiện nay không phải thu và lưu trữ các ảnh thực như máy

ảnh chụp phim mà dùng các sensor quang thu và lưu giữ các điểm ảnh thực đã được

rời rạc hóa và chuyển sang giá trị số. Các máy ảnh đặc biệt chụp ban đêm hoặc y

học có thể dùng các cảm biến quang ở vùng phổ tia X, tia gamma. Hai loại sensor

quang được dùng trong các máy ảnh số thông dụng là CCD (hoặc CMOS). Trong

hình 1.7 là nguyên lý của một máy ảnh số dùng sensor CCD. Cường độ sáng của

đối tượng qua hệ thống ống kính tác động lên mảng sensor sẽ cho ra ở đầu ra của

mảng sensor các điện áp khác nhau phụ thuộc độ sáng của mỗi điểm ảnh. Các gía trị

điện áp này sẽ được bộ xử lý và bộ ADC chuyển sang các mức điện áp tương ứng

với các giá trị số 0/1 (tức là mảng ảnh số). Để tích hợp ảnh màu cần có 3 mảng

sensor để chuyển đổi một mảng tín hiệu quang học thành 3 nhóm tín hiệu màu cơ

bản; chẳng hạn các nhóm RGB trong hệ màu Đỏ, Xanh lam, Xanh dương.

Cả hai loại sensor ảnh phổ biến CCD và CMOS đều được phát triển từ giai

đoạn cuối 1960-1970.

 Sensor CCD (Charge Coupled Device)

CCD bao gồm một mạng lưới các điểm bắt sáng (điểm ảnh, pixel). Các điểm này

lại được phủ các lớp lọc màu (thường là 1 trong 3 màu cơ bản: đỏ, xanh lam và

xanh dương (Red, Green, Blue) để mỗi điểm chỉ bắt một màu nhất định. Do các

điểm ảnh được phủ các lớp lọc màu khác nhau và được đặt xen kẽ nhau nên màu

nguyên thủy tại một điểm của hình ảnh thật sẽ được tái hiện bằng màu từ một điểm

6

ảnh chính kết hợp với các màu bù được bổ sung từ các điểm xung quanh bằng

phương pháp nội suy.

Hình 1.8 Nguyên lý sensor CCD. Trong hình là 3 vi điểm ảnh

Khi chụp ảnh, cửa chập mở ra (cửa đóng/mở hệ thống thấu kính của máy ảnh),

ánh sáng qua ống kính sẽ được lưu lại lại bề mặt chip thông qua các điểm ảnh. Thông

tin về ánh sáng (độ sáng, màu) của mỗi điểm ảnh được chuyển đổi thành sự khác nhau

về điện áp và sẽ được chuyển lần lượt ra bộ phận đọc giá trị điện áp này. Sau đó các giá

trị này sẽ đi qua bộ khuyếch đại tín hiệu, rồi đến bộ chuyển đổi tín hiệu tương tự sang

tín hiệu số (A/D converter-bộ chuyển đổi tín hiệu tương tự analog thành tín hiệu số

digital), rồi tới bộ xử lý để tái hiện lại hình ảnh đã chụp được.

Việc phải đọc lần lượt thông tin là do tốc độ xử lý hoàn thiện một bức ảnh

khá chậm, ảnh ở một số vùng hoặc dễ bị thừa sáng hoặc thiếu sáng. Để xử lý vấn đề

này, một bộ đọc ảnh có kích cỡ bằng mạng lưới các hạt sáng được bổ sung xen kẽ

để làm tăng tốc độ xử lý ảnh mà không bị suy giảm chất lượng. Sự cải thiện này đòi

hỏi phải có thêm không gian nhớ trên chip. Để sản xuất chip CCD cần có những

thiết bị, phòng lab chuyên dụng, khiến cho giá thành CCD đã đắt lại càng thêm đắt.

Hình 1.9 Sensor CCD và sensor CMOS

7

Sensor CMOS (Complementary Metal-Oxide-Semiconductor)

Với sensor CMOS, cạnh mỗi một điểm bắt sáng trên cảm biến CMOS đều có

một mạch bổ trợ, do đó người ta có thể tích hợp các quy trình xử lý ảnh như bộ

chuyển đổi analog/digital, cân bằng trắng vào mạch bổ trợ này, giúp cho quá trình

xử lý bức ảnh được thực hiện rất nhanh nhờ được thực hiện ngay tại từng điểm ảnh

đơn lẻ. Các điểm ảnh đa chức năng này (vì thế ở CMOS thế hệ mới còn được gọi là

các điểm ảnh chủ động APS – active pixel sensor) đều có khả năng tự làm việc.

Cũng do khả năng này mà người ta có thể tương tác với một vùng pixel nhất định

của chip cảm biến (ví dụ như zoom số - phóng to/thu nhỏ chỉ một phần của ảnh),

điều không thể làm được đối với CCD vì CCD đã đọc là đọc hết toàn bộ bức ảnh.

Với khả năng tích hợp cao, bảng mạch chính sẽ không bị mất thêm không gian (vì

tất cả đã ở trên chip), không đòi hỏi thêm các chip bổ trợ. CMOS cũng tiêu thụ rất ít

điện năng, việc sản xuất dễ dàng vì quy trình giống như quy trình sản xuất chip máy

tính thông dụng ngày nay hay các chip trong các thiết bị điều khiển khác, không cần

phải đầu tư thêm phòng lab mới. Giá thành sản xuất theo đó sẽ được giảm đáng kể.

Tuy nhiên, do mỗi một điểm nhận ánh sáng trên CMOS lại có một mạch riêng

nên khó có thể đảm bảo tính đồng nhất của mỗi mạch khi khuyếch đại. Điều này làm

cho bức ảnh xuất ra luôn có một độ nhiễu nhất định (không mịn). Nếu như ở CCD, mỗi

một điểm ảnh là một mặt bắt sáng khiến cho độ nhạy sáng của CCD cao hơn, dải màu

thể hiện được nhiều hơn, độ phân giải cao hơn, thì mỗi một điểm ảnh của CMOS (bao

gồm hạt bắt sáng và mạch khuyếch đại) khi bắt sáng sẽ có những phần ánh sáng rơi vào

vị trí của mạch vì thế sẽ không được tái hiện. Điều này làm cho ảnh bị mất thông tin tại

những vùng này dẫn đến độ phân giải của CMOS không cao.

Hình 1.10 Sensor CMOS hiện tại

8

Với công nghệ chế tạo chip cảm biến CMOS mới hiện tại, các vấn đề nhược

điểm của sensor CMOS đã được khắc phục. Để giải quyết vấn đề các mạch khuyếch

đại luôn tạo ra một độ nhiễu nhất định trên ảnh, người ta khắc phục bằng cách đọc

ảnh trên cảm biến CMOS hai lần, mỗi lần chỉ trong vòng khoảng 10/1.000 giây. Lần

1 đọc toàn bộ các giá trị bắt sáng của cảm biến, lần 2 chỉ đọc các giá trị của các

mạch bổ trợ tại mỗi chip (giá trị gây nhiễu, hạt). Lấy giá trị lần 1 trừ đi giá trị lần 2

sẽ được bức ảnh chất lượng cao, loại bỏ gần như hoàn toàn độ nhiễu. Để không bị

mất phần thông tin ánh sáng rơi vào vị trí của mạch, người ta đã thêm vào bên trên

của mạch một lớp chắn sáng, một vi thấu kính sẽ được phủ lên toàn bộ bề mặt của

hạt bắt sáng và của mạch, lái ánh sáng tại mọi vị trí của điểm ảnh rơi vào vị trí của

hạt bắt sáng.

Nhờ vào các ưu điểm và việc khắc phục các nhược điểm như trên của cảm

biến CMOS mà giờ đây cảm biến CMOS đang là lựa chọn của rất nhiều nhà sản

xuất máy chụp hình/quay phim nổi tiếng trên thế giới. Nhờ những đột phá về công

nghệ mới đã khiến cho chất lượng của CMOS hiện tại trở nên ngang bằng hoặc

thậm chí là vượt qua cả tiêu chuẩn của CCD. Với nhiều tính năng được tích hợp sẵn

hơn là CCD, cảm biến CMOS hoạt động hiệu quả hơn, cần ít điện năng hơn và chụp

ảnh tốc độ cao tốt hơn CCD.

1.2.2. Những thuận lợi khi áp dụng đếm bằng xử lý ảnh

+ Dễ dàng tin học hóa, tự động hóa,

+ Dùng được trong những trường hợp không thể dùng các phương pháp thủ

công và cũng không dùng được các phương pháp đếm bằng cơ cấu cơ khí, đếm

bằng sensor điện tử (ví dụ các trường hợp đếm thép cây trong nhà máy qua ảnh đầu

bó thép, đếm hồng cầu qua ảnh thu được trên kính hiển vi điện tử).

1.2.3 Khó khăn khi đếm đối tượng qua ảnh

Những khó khăn khi đếm đối tượng qua ảnh là:

+ Chất lượng ảnh phụ thuộc nhiều vào chất lượng ánh sáng khi tích hợp ảnh: Nếu

cường độ sáng chiếu vào đối tượng mà nhỏ quá thì các các sensor không tác động

hoặc cường độ điện áp ra thấp có nghĩa là ảnh không thấy gì hoặc chất lượng kém

9

làm ảnh hưởng đến các khâu xử lý ảnh. Ngược lại khi ảnh được chiếu sáng quá mức

hoặc bị ngược sáng thì cũng cho ảnh chất lượng xấu.

Hình 1.11 Ảnh thiếu sáng chất lượng kém, bị mất không tin

+ Ảnh của đối tượng bị dính (chạm) nhau hoặc chồng lên nhau.

Hình 1.12 Ảnh hồng cầu bị chạm, chồng lên nhau

+ Tác động của nhiễu khi tích hợp ảnh cũng là vấn đề lớn; nhất là các ảnh y học

siêu âm khi tích hợp thường xuất hiện nhiễu đốm là một loại nhiễu khó loại bỏ.

Trong hình 1.13. Với nhiệm vụ phát hiện, đếm ô tô nếu ta không khử được nhiễu thì

không thể thực hiện các bước nhận dạng ô tô và đếm.

Hình 1.13 Ảnh nhiễu và không nhiễu

10

KẾT LUẬN CHƯƠNG 1

Trong cuộc sống thực tiễn các nhu cầu đếm đối tượng có trong nhiều lĩnh

vực. Để có thể tự động hóa việc đếm có thể sử dụng các bộ cảm biến (sensor) hoặc

đếm qua xử lý ảnh. Rất nhiều trường hợp không thể sử dụng sensor do nhiễu hoặc

không lắp đặt được sensor, khi đó phương pháp đếm bằng xử lý ảnh là giải pháp

duy nhất. Tuy nhiên đếm bằng xử lý ảnh cũng có những khó khăn do bản chất của

phương pháp là phụ thuộc ánh sáng và có thể có sai số khi các đối tượng bị

dính/chạm nhau nếu chúng ta không có phương pháp loại trừ thích hợp.