Luận án Nghiên cứu cải tiến hiệu năng hệ thống mã hóa/giải mã video phân tán

BỘ THÔNG TIN VÀ TRUYỀN THÔNG

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

NGUYỄN THỊ HƯƠNG THẢO

NGHIÊN CỨU CẢI TIẾN HIỆU NĂNG

HỆ THỐNG MÃ HÓA/GIẢI MÃ VIDEO PHÂN TÁN

LUẬN ÁN TIẾN SĨ KỸ THUẬT

CHUYÊN NGÀNH: Kỹ thuật điện tử

MÃ SỐ: 9.52.02.03

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1. PGS.TS. Vũ Văn San

2. TS. Nguyễn Ngọc Minh

Hà Nội - 2020

ii

LỜI CAM ĐOAN

Tôi xin cam đoan dưới đây là luận án tốt nghiệp của riêng tôi dưới sự hướng

dẫn của các giáo viên hướng dẫn. Tất cả các số liệu, các kết quả trình bày trong

luận án hoàn toàn trung thực và có được từ những nghiên cứu mà tôi và nhóm

nghiên cứu của tôi đã thực hiện trong quá trình làm luận án.

Hà Nội, ngày

tháng

năm 2020

Nghiên cứu sinh

iii

LỜI CẢM ƠN

Trong quá trình nghiên cứu, tác giả đã nhận được nhiều sự giúp đỡ quý giá.

Tác giả xin gửi lời cảm ơn sâu sắc tới những người thầy, người đồng nghiệp

PGS.TS Vũ Văn San và TS. Nguyễn Ngọc Minh đã tận tình hướng dẫn, định

hướng nghiên cứu khoa học, giúp đỡ tác giả trong quá trình nghiên cứu và hoàn

thành Luận án. Tác giả cũng xin gửi lời cảm ơn sâu sắc tới các thành viên trong

Lab Công nghệ truyền thông đa phương tiện của Đại học Công nghệ - Đại học

Quốc gia Hà Nội, đặc biệt TS. Hoàng Văn Xiêm đã hỗ trợ và có những góp ý

khoa học quý báu cho nội dung luận án.

Tác giả xin gửi lời cảm ơn tới Lãnh đạo học viện Công nghệ bưu chính viễn

thông, Hội đồng khoa học, Hội đồng Tiến sĩ, Khoa đào tạo sau đại học - Học

viện Công nghệ bưu chính viễn thông đã tạo điều kiện thuận lợi cho tác giả hoàn

thành luận án này.

Tác giả xin gửi lời cảm ơn tới các đồng nghiệp tại Khoa Kỹ thuật Điện tử 1

– Học viện Công nghệ Bưu chính Viễn thông đã tạo điều kiện về thời gian cũng

như có các góp ý cho tác giả về nội dung luận án trong quá trình nghiên cứu và

hoàn thiện luận án.

Tác giả xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp đã luôn ủng hộ,

động viên, chia sẻ, giúp đỡ tác giả hoàn thành luận án như ngày hôm nay.

Hà Nội, ngày

tháng

năm 2020

Nghiên cứu sinh

iv

LỜI MỞ ĐẦU

Lý do nghiên cứu

Video là một dạng dữ liệu đặc biệt, đầy tính hấp dẫn, dễ nhớ và phổ biến

hơn bất cứ một loại dữ liệu nào khác. Các số liệu thống kê cho thấy nội dung

video đang tăng mạnh hàng năm theo cấp số nhân. Điều đó cho thấy vai trò

quan trọng của video trong tương lai. Cùng với đó là sự bùng nổ của các thiết

bị điện tử mới có khả năng bắt giữ, chỉnh sửa, lưu trữ và chia sẻ nội dung video

trên toàn thế giới đã dẫn đến một xu hướng mới mà ở đó việc xử lý thông tin

được tích hợp triệt để vào các thiết bị và hoạt động hàng ngày. Để đạt được điều

này, các thuật toán nén trở nên vô cùng quan trọng, đặc biệt là nén video. Mục

đích của nén video là tạo ra một cách biểu diễn dữ liệu video sao cho chiếm ít

dung lượng nhất. Vì dữ liệu video nén sẽ đòi hỏi ít không gian lưu trữ hơn và

băng thông truyền tải nhỏ hơn, do đó nén video là một phần không thể thiếu

của hầu hết các hệ thống lưu trữ, xử lý, truyền thông và hiển thị video. Đặc biệt

là băng thông luôn là một yếu tố hạn chế trong nhiều ứng dụng.

Tuy nhiên, nén cũng đi đôi với những trả giá. Thứ nhất, nén càng nhiều sẽ

càng làm giảm chất lượng hình ảnh. Thứ hai, độ phức tạp của các thuật toán

nén sẽ tăng lên khi muốn tỷ lệ nén tốt hơn. Hơn nữa, tỷ lệ nén tốt nhất cũng

phụ thuộc vào thiết bị, vị trí và ứng dụng cụ thể. Tuy nhiên, người dùng không

cần phải biết đến các cấu hình phức tạp và các lựa chọn liên quan đến video và

định dạng nén. Đó là lý do tại sao có nhiều chuẩn nén video, có thể phù hợp

với vô số các kịch bản ứng dụng khác nhau. Các tiêu chuẩn này, còn được gọi

là chuẩn mã hóa video, được sử dụng rộng rãi và phát triển không ngừng.

Trong suốt quá trình phát triển của mình, các tiêu chuẩn mã hóa video luôn

tuân theo một quy tắc thống nhất. Đó là tiêu chuẩn mã hóa video mới luôn

luôn phải làm giảm đáng kể tốc độ bit. Chẳng hạn, chuẩn mã hóa video hiệu

suất cao HEVC [54] tiết kiệm tốc độ bit khoảng 50 % so với chuẩn H.264/AVC

[65] trước đó với cùng một chất lượng hình ảnh. Tuy nhiên, để đạt được tỷ lệ

nén tốt hơn với cùng một chất lượng tương đương sẽ phải trả giá bằng sự phức

tạp của cả bộ mã hóa và bộ giải mã. Mặt khác, độ phức tạp bộ mã hóa và độ

phức tạp của bộ giải mã cũng không giống nhau. Trong các chuẩn mã hóa video

truyền thống, bộ mã hóa thường phức tạp hơn rất nhiều so với bộ giải mã. Cách

thiết kế này thường phù hợp với các ứng dụng video truyền thống, ví dụ truyền

hình quảng bá, nơi mà chương trình truyền hình được mã hóa một lần và sau

đó được giải mã để xem bởi hàng triệu người dùng.

Với sự phát triển mạnh mẽ của mạng không dây, xuất hiện hàng loạt các ứng

dụng mới mà ở đó không tuân thủ theo sơ đồ một - nhiều như các ứng dụng

trước đó. Có thể kể đến mạng cảm biến video không dây (WVSN). Đối với các

ứng dụng mới này, thường sẽ có nhiều bộ mã hóa gửi dữ liệu tới một vài bộ giải

v

mã trung tâm. Điều này cũng đi ngược lại với mục tiêu thiết kế ban đầu của các

chuẩn nén video truyền thống. Trong các mạng này, có rất nhiều yêu cầu truyền

dẫn đường lên. Do đó, các cảm biến camera cần có bộ mã hóa đơn giản trong

khi các trạm gốc có thể giải mã với nhiều tài nguyên hơn hay nói cách khác bộ

giải mã có thể có độ phức tạp cao. Vì vậy thách thức trong các hệ thống này là

làm sao có thể thực hiện nén video trên các thiết bị có tài nguyên hạn chế hay

nói cách khác các ứng dụng mới này yêu cầu bộ mã hóa nhẹ, hoặc ít nhất phải

có sự phân chia độ phức tạp hệ thống một cách linh hoạt, có khả năng chống

lại hiện tượng mất gói, hiệu suất nén cao và độ trễ thấp. Nói một cách khác,

các ứng dụng mới này sẽ cần một sơ đồ mã hóa video mới có khả năng đáp ứng

được các yêu cầu ở trên với hiệu suất mã hóa có thể tiệm cận với các hệ thống

mã hóa video dự đoán hiện nay trong khi độ phức tạp bộ mã hóa thấp.

Một giải pháp thay thế có thể đáp ứng các yêu cầu này là mã hóa video

phân tán (DVC). Trong mã hóa video phân tán, ước lượng chuyển động và do

đó là độ phức tạp của nó được chuyển từ bộ mã hóa sang bộ giải mã. Mục tiêu

trọng tâm giờ đây là một bộ mã hóa nhẹ, phù hợp với các thiết bị bị hạn chế về

tài nguyên xử lý và cả thời gian xử lý. Ngược lại, bộ giải mã được coi là có tài

nguyên phong phú. Một trường hợp ví dụ là quay video trên thiết bị bị hạn chế

ví dụ như điện thoại cầm tay và sau đó giải mã trên máy tính ở nhà mà không

có bất kỳ hạn chế thời gian nào. Phải nhấn mạnh rằng mục đích của DVC không

phải là thay thế cho H.264/AVC hay HEVC bằng cách cung cấp khả năng nén

tốt hơn. Trên thực tế, DVC tốt nhất được dự kiến là có thể thực hiện với hiệu

năng nén tương đương.

Tuy nhiên bất kể các ưu điểm đầy tiềm năng của DVC như hiệu suất nén

cao, công suất thấp, khả năng chống nhiễu nội tại như được chứng minh về mặt

lý thuyết trong các nghiên cứu trước đây, cho đến hiện nay vẫn chưa có nền

tảng nào thực hiện hoặc kiểm nghiệm DVC. Về mặt lý thuyết, DVC đã được

chứng minh có thể đạt được hiệu năng tương đương như các chuẩn mã hóa video

truyền thống. Tuy nhiên, các kết quả thực tế cho thấy DVC vẫn chưa đạt được

hiệu suất mong muốn như các chuẩn nén video dự đoán hiện nay, đặc biệt trong

bối cảnh giữ cho bộ mã hóa có độ phức tạp thấp. Vì vậy cho đến hiện nay, cộng

đồng nghiên cứu vẫn đang nỗ lực để cải thiện hiệu năng méo tín hiệu - tốc độ

bit (RD) và giải quyết các trở ngại chính của DVC trong các ứng dụng thực tế

với các điều kiện bị ràng buộc. Tuy nhiên, trong thực tế vẫn còn một khoảng

cách giữa hiệu suất mã hóa của DVC và các chuẩn mã hóa video truyền thống.

Mục tiêu nghiên cứu

Các phân tích ở trên cho thấy rằng DVC đóng một vai trò quan trọng đối

với các ứng dụng mới như mạng cảm biến hình ảnh hay mạng giám sát không

dây. Tuy nhiên thách thức chính đối với DVC là phải đạt được hiệu năng nén ở

mức tiệm cận với các hệ thống mã hóa video dự đoán hiện có. Vì vậy mục tiêu

nghiên cứu của luận án là nghiên cứu đề xuất kỹ thuật cải tiến hiệu năng nén

vi

của mã hóa video phân tán DVC và mã hóa video phân tán liên lớp DSVC.

Nội dung nghiên cứu

Với mục tiêu nghiên cứu ở trên, phần nội dung nghiên cứu của Luận án tập

trung vào các nội dung sau:

Đề xuất các phương pháp mới nhằm cải tiến hiện năng nén cho mã hóa

video phân tán bao gồm phương pháp được thực hiện tại phía mã hóa và

nhóm các phương pháp thực hiện tại phía giải mã.

Đề xuất các kỹ thuật tạo thông tin phụ trợ mới để cải tiến hiệu năng nén

cho mã hóa video phân tán liên lớp.

Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu là mã hóa video phân tán và mở rộng của mã hóa video

phân tán là mã hóa video phân tán liên lớp. Phạm vi nghiên cứu của luận án là

các kỹ thuật nhằm nâng cao hiệu năng nén của mã hóa video phân tán và mã

hóa video phân tán liên lớp.

Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu

Ý nghĩa khoa học của luận án mà nghiên cứu sinh hướng đến là đề xuất các

kỹ thuật mới nhằm nâng cao hiệu năng nén của mã hóa video phân tán và mã

hóa video phân tán liên lớp.

Ý nghĩa thực tiễn của luận án mà nghiên cứu sinh hy vọng đạt được là những

kết quả nghiên cứu của luận án góp phần vào việc rút ngắn khoảng cách về hiệu

suất mã hóa của mã hóa video phân tán với hệ thống mã hóa video dự đoán

hiện nay, sớm đưa mã hóa video phân tán vào các ứng dụng thực tế.

Phương pháp nghiên cứu

Để thực hiện được các nội dung nghiên cứu đề ra, phương pháp nghiên cứu

được sử dụng trong Luận án này bao gồm:

Phương pháp nghiên cứu lý luận: Phân tích, tổng hợp và đánh giá các công

trình nghiên cứu, sách chuyên khảo và các nguồn tài liệu khoa học có liên

quan đến mã hóa video phân tán và mã hóa video phân tán liên lớp. Từ đó

đề xuất các kỹ thuật mới nhằm cải tiến hiệu năng nén cho mã hóa video

phân tán và mã hóa video phân tán liên lớp.

Phương pháp mô phỏng: Các đề xuất cải tiến hiệu năng nén cho mã hóa

video phân tán và mã hóa video phân tán liên lớp được thử nghiệm và đánh

giá so sánh với các giải pháp trước đó trên các phần mềm tham chiếu.

Cấu trúc của luận án

vii

Ngoài phần mở đầu và phần kết luận, kiến nghị, Luận án được chia thành 3

chương với bố cục như sau:

Chương 1: Tổng quan về mã hóa video.

Chương 1 giới thiệu tổng quan về mã hóa video nói chung và tập trung vào

mã hóa video phân tán. Trong chương này giới thiệu một số các chuẩn nén video

dự đoán, lý thuyết nền tảng của DVC và các bộ mã hóa video phân tán thực tế

được nghiên cứu trong cộng đồng nghiên cứu DVC. Phần cuối của chương 1 đề

cập đến các vấn đề đang được nghiên cứu trong DVC. Đây chính là các gợi mở

cho các nghiên cứu được thực hiện ở các chương sau.

Chương 2: Cải tiến hiệu năng nén cho mã hóa video phân tán.

Chương 2 trình bày các kết quả nghiên cứu mới của Luận án cho mã hóa

video phân tán. Phần đầu của chương này khảo sát một số các nghiên cứu có

liên quan. Từ đó đề xuất một số phương pháp nhằm nâng cao hiệu năng nén

cho mã hóa video phân tán bao gồm phương pháp thay đổi kích thước nhóm

ảnh được thực hiện tại phía mã hóa, nhóm các phương pháp được thực hiện tại

phía giải mã gồm phương pháp cải tiến chất lượng thông tin phụ trợ và phương

pháp cải tiến độ chính xác của mô hình nhiễu tương quan.

Các kết quả nghiên cứu của chương 2 được công bố trong các bài báo số [1],

[2], [3] trong danh mục các công trình công bố của tác giả.

Chương 3: Cải tiến hiệu năng nén cho mã hóa video phân tán liên

lớp.

Chương 3 trình bày các kết quả nghiên cứu mới về cải tiến chất lượng thông

tin phụ trợ cho mã hóa video phân tán liên lớp bao gồm kỹ thuật tạo thông tin

phụ trợ dựa trên kết hợp ảnh và tạo thông tin phụ trợ dựa trên máy vecto hỗ

trợ (SVM).

Các kết quả nghiên cứu của chương 3 được công bố trong các bài báo số

[4],[5] trong danh mục các công trình công bố của tác giả.

Mục lục

Mục lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii

Chương 1. Tổng quan về mã hóa video . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.1 Mã hóa video dự đoán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.1.1 Các tiêu chuẩn mã hóa video trước đây . . . . . . . . . . . . . . . . 7

1.1.2 Chuẩn mã hóa video H.264/MPEG-4 AVC . . . . . . . . . . . . . . 9

1.1.3 Chuẩn mã hóa video HEVC . . . . . . . . . . . . . . . . . . . . . . . 10

1.2 Mã hóa video phân tán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.3 Các kiến trúc mã hóa video phân tán . . . . . . . . . . . . . . . . . . . . . 15

1.3.1 Kiến trúc cơ bản của mã hóa video phân tán . . . . . . . . . . . . . 15

1.3.2 Kiến trúc mã hóa video Stanford . . . . . . . . . . . . . . . . . . . . 16

1.3.3 Kiến trúc mã hóa video phân tán PRISM . . . . . . . . . . . . . . . 19

1.3.4 So sánh kiến trúc Stanford và kiến trúc PRISM . . . . . . . . . . . . 21

1.3.5 Kiến trúc mã hóa video phân tán DISCOVER . . . . . . . . . . . . 23

1.4 Các vấn đề đang được nghiên cứu trong mã hóa video phân tán . . . . . 28

1.4.1 Cải tiến hiệu năng nén . . . . . . . . . . . . . . . . . . . . . . . . . . 28

1.4.2 Cung cấp khả năng chống lỗi . . . . . . . . . . . . . . . . . . . . . . 32

1.4.3 Cung cấp khả năng liên lớp . . . . . . . . . . . . . . . . . . . . . . . 33

1.4.4 Mã hóa video phân tán đa góc nhìn . . . . . . . . . . . . . . . . . . 33

1.5 Các hướng nghiên cứu trong luận án . . . . . . . . . . . . . . . . . . . . . 34

1.6 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Chương 2. Cải tiến hiệu năng nén cho mã hóa video

phân tán. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.1 Giới thiệu chung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.1.1 Các nghiên cứu về thông tin phụ trợ . . . . . . . . . . . . . . . . . . 38

MỤC LỤC

ix

2.1.2 Các nghiên cứu về mô hình nhiễu tương quan . . . . . . . . . . . . . 40

2.1.3 Các nghiên cứu về thay đổi kích thước nhóm ảnh . . . . . . . . . . 43

2.2 Đề xuất 1: Cải tiến hiệu năng nén cho DVC tại phía mã hóa . . . . . . . 45

2.2.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.2.2 Phương pháp thay đổi kích thước GOP đề xuất . . . . . . . . . . . 47

2.2.3 Đánh giá hiệu năng của phương pháp đề xuất AGOP-DVC . . . . . 53

2.3 Đề xuất 2: Cải tiến hiệu năng nén cho DVC tại phía giải mã . . . . . . . 57

2.3.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

2.3.2 Kiến trúc bộ mã hóa đề xuất Adv-DVC . . . . . . . . . . . . . . . . 58

2.3.3 Các mô-đun mã hóa đề xuất mới . . . . . . . . . . . . . . . . . . . . 59

2.3.4 Đánh giá hiệu năng . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

2.4 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

Chương 3. Cải tiến hiệu năng nén cho mã hóa video

phân tán liên lớp. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

3.1 Giới thiệu chung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

3.1.1 Mã hóa video liên lớp . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

3.1.2 Mã hóa video phân tán liên lớp . . . . . . . . . . . . . . . . . . . . . 85

3.2 Đề xuất 3: Tạo thông tin phụ trợ dựa trên kỹ thuật kết hợp ảnh cho DSVC88

3.2.1 Kiến trúc bộ mã hóa DSVC-Fusion . . . . . . . . . . . . . . . . . . . 88

3.2.2 Phương pháp tạo thông tin phụ trợ dựa trên kỹ thuật kết hợp ảnh 92

3.2.3 Đánh giá hiệu năng . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa trên kỹ thuật SVM . . . . . . . . . 97

3.3.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

3.3.2 Kiến trúc bộ mã hóa DSVC-SVM . . . . . . . . . . . . . . . . . . . . 97

3.3.3 Phương pháp tạo thông tin phụ trợ dựa trên kỹ thuật SVM . . . . 100

3.3.4 Đánh giá hiệu năng . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

3.4 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

Các công trình khoa học . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

Danh sách hình vẽ

1.1 Kiến trúc mã hóa video: a. Phương pháp mã hóa video dự đoán;

b. Phương pháp mã hóa video phân tán . . . . . . . . . . . . . . . . . 6

1.2 Các chuẩn mã hóa video dự đoán . . . . . . . . . . . . . . . . . . . . . 7

1.3 Ví dụ quá trình mã hóa với thông tin phụ trợ . . . . . . . . . . . . . . 12

1.4 Sơ đồ khối cơ bản của mã hóa video phân tán . . . . . . . . . . . . . . 15

1.5 Kiến trúc mã hóa video phân tán Stanford . . . . . . . . . . . . . . . 17

1.6 Kiến trúc mã hóa video phân tán PRISM . . . . . . . . . . . . . . . . 19

1.7 Kiến trúc mã hóa video phân tán DISCOVER . . . . . . . . . . . . . 23

1.8 Các dải hệ số DCT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

1.9 Tám ma trận lượng tử tương ứng với các điểm RD khác nhau . . . . 25

1.10 Kiến trúc của kỹ thuật tạo thông tin phụ trợ bằng nội suy khung hình26

2.1 Sáu khung hình đầu tiên của chuỗi video News . . . . . . . . . . . . . 46

2.2 (a) Đoạn chuyển động nhanh và (b) Đoạn chuyển động chậm . . . . . 46

2.3 Kiến trúc mã hóa video phân tán AGOP-DVC . . . . . . . . . . . . . 48

2.4 Một số đặc trưng của chuỗi Suzie . . . . . . . . . . . . . . . . . . . . . 50

2.5 Một số đặc trưng của chuỗi Coastguard . . . . . . . . . . . . . . . . . 50

2.6 Các khung hình đầu tiên của các chuỗi video thử nghiệm . . . . . . . 55

2.7 Kiến trúc mã hóa DVC đề xuất Adv-DVC . . . . . . . . . . . . . . . . 59

2.8 Quá trình tạo SI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

2.9 Kiến trúc NN-CNM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

2.10 Các khung hình đầu tiên của các chuỗi video thử nghiệm . . . . . . . 66

2.11 So sánh tham số α của các phương pháp khác nhau . . . . . . . . . . 70

2.12 So sánh PSNR [dB] của bộ mã hóa Adv-DVC với các bộ mã hóa khác73

2.13 Hiệu năng RD đối với các chuỗi video . . . . . . . . . . . . . . . . . . 75

DANH SÁCH HÌNH VẼ

xi

3.1 Khả năng thích ứng của mã hóa video liên lớp . . . . . . . . . . . . . 81

3.2 Sơ đồ khối đơn giản của bộ mã hóa liên lớp gồm hai lớp . . . . . . . . 83

3.3 Các ví dụ minh họa khả năng liên lớp: liên lớp thời gian, liên lớp

không gian và liên lớp chất lượng . . . . . . . . . . . . . . . . . . . . . 84

3.4 Mô hình bộ mã hóa video phân tán liên lớp . . . . . . . . . . . . . . . 86

3.5 Sơ đồ kiến trúc bộ mã hóa và giải mã video phân tán liên lớp

DSVC-Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

3.6 PSNR của các khung hình tái tạo cho chuỗi BasketBall Drill và

BQMall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

3.7 Sơ đồ kiến trúc bộ mã hóa và bộ giải mã video phân tán liên lớp

DSVC-SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

3.8 Kiến trúc tạo SI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

3.9 Quá trình huấn luyện trực tuyến SVM đề xuất cho mỗi chuỗi video . 107

3.10 Các khung hình đầu tiên của các chuỗi video thử nghiệm . . . . . . . 110

Danh sách bảng

2.1 Điều kiện thử nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

2.2 Hiệu năng RD của các chuỗi video thử nghiệm . . . . . . . . . . . . . 56

2.3 Mức tiết kiệm BD-rate [%] . . . . . . . . . . . . . . . . . . . . . . . . . 57

2.4 So sánh các cấu trúc mạng nơ-ron . . . . . . . . . . . . . . . . . . . . 64

2.5 Điều kiện thử nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

2.6 PSNR [dB] của phương pháp ReSI so với phương pháp MCTI . . . . 68

2.7 PSNR [dB] của khung hình giải mã của bộ mã hóa Adv-DVC so

với các bộ mã hóa khác . . . . . . . . . . . . . . . . . . . . . . . . . . 72

2.8 So sánh BD-Rate [%]và BD-PSNR [dB] giữa Adv-DVC với HEVC

Intra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

2.9 So sánh BD-Rate [%] và BD-PSNR [dB] giữa Adv-DVC với các

bộ mã hóa DVC khác . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3.1 Đặc điểm của các chuỗi video thử nghiệm . . . . . . . . . . . . . . . . 95

3.2 PSNR [dB] của các phương pháp tạo SI . . . . . . . . . . . . . . . . . 95

3.3 Chất lượng của các khung hình giải mã [dB] . . . . . . . . . . . . . . 96

3.4 Độ chính xác của các mô hình huấn luyên . . . . . . . . . . . . . . . . 108

3.5 Đặc điểm của các chuỗi video thử nghiệm . . . . . . . . . . . . . . . . 110

3.6 Chất lượng SI tạo bằng kỹ thuật SVM so với các phương pháp

khác [dB] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

Danh mục viết tắt

Từ

viết Nghĩa tiếng Anh

Nghĩa tiếng Việt

tắt

AC

Alternating Current

Hệ số xoay chiều

AMV

Average of Motion Vector

Trung bình của các vector chuyển

động

AVC

BL

Advanced Video Coding

Base Layer

Mã hóa video tiên tiến

Lớp cơ sở

CBP

CNM

CRC

DC

Constrained Base Profile

Correlation Noise Model

Cyclic Redundancy Code

Direct Current

Chế độ mã hóa ràng buộc

Mô hình nhiễu tương quan

Mã dư thừa vòng

Hệ số một chiều

DCT

DoH

DSC

DSVC

DVC

EL

Discrete Cosine Transform

Difference of Histogram

Distributed Source Coding

Distributed Scalable Video Coding

Distributed Video Coding

Enhancement Layer

Biến đổi Cosin rời rạc

Sai khác của lược đồ xám

Mã hóa nguồn phân tán

Mã hóa video liên lớp phân tán

Mã hóa video phân tán

Lớp tăng cường

FVC

GOP

HDTV

HEVC

HVS

IDCT

KF

Future Video Coding

Chuẩn mã hóa video tương lai

Nhóm ảnh

Group of Picture

High Definition Television

High Efficiency Video Coding

Human Vision System

Inverse Discrete Cosine Transform

Key Frame

Truyền hình độ nét cao

Chuẩn mã hóa video hiệu năng cao

Hệ thống thị giác người

Biến đổi DCT ngược

Khung hình chính

DANH SÁCH BẢNG

3

LDPC

Low-Density Parity-Check

Mã kiểm tra chẵn lẻ mật độ thấp

LDPCA

Low-Density Parity-Check Accumu- Mã kiểm tra chẵn lẻ mật độ thấp tích

late

lũy

LSB

Least Significant Bit

Mean of Absolutely Difference

Mean Absolute Error

Bit có trọng số nhỏ nhất

Trung bình sai khác tuyệt đối

Sai số tuyệt đối trung bình

MAD

MAE

MCTI

Motion Compensated Temporal In- Nội suy thời gian bù chuyển động

terpolation

MSB

MSE

MV

Maximum Significant Bit

Mean Square Error

Bit có trọng số lớn nhất

Trung bình bình phương sai số

Vector chuyển động

Motion Vector

NN

Neural Network

Mạng nơ-ron

NMV

PDWZ

Number of Motion Vector

Partially Decoded Wyner-Ziv

Số lượng các vector chuyển động

Khung hình WZ được giải mã một

phần

PSNR

RD

Peak Signal-to-Noise Rate

Rate Distortion

Tỷ lệ tín hiệu trên nhiễu

Tốc độ - độ méo tín hiệu

Tổng các sai số tuyệt đối

SAD

SHVC

Sum of Absolutely Difference

Scalable High Efficiency Video Cod- Chuẩn mã hóa HEVC liên lớp

ing

SI

Side Information

Thông tin phụ trợ

SIB

Side Information Block

Side Information Frame

Search Range

Khối thông tin phụ trợ

Khung hình thông tin phụ trợ

Dải tìm kiếm

SIF

SR

SVM

TDWZ

WVSN

WZF

Support Vector Machine

Transform Domain Wyner-Ziv

Wireless Video Sensor Network

Wyner-Ziv Frame

Máy vector hỗ trợ

Mã hóa Wyner-Zip miền biến đổi

Mạng cảm biến video không dây

Khung hình Wyner-Ziv

Chương 1

Tổng quan về mã hóa

video

Lĩnh vực nén video đã có sự phát triển nhanh chóng trong suốt ba mươi năm

qua với nhiều chuẩn mã hóa video khác nhau. Mục tiêu chính của việc chuẩn

hóa video là đạt được tốc độ bit thấp cho việc lưu trữ và truyền dữ liệu trong

khi vẫn duy trì được độ méo tín hiệu ở mức có thể chấp nhận được.

Sự ra đời của máy tính bán dẫn vào năm 1960 đã đánh dấu một kỷ nguyên

mới trong xử lý và truyền thông kỹ thuật số. Vào đầu những năm 1980, nhờ sự

phát triển của phần cứng, đặc biệt là sự tiến độ đáng kể của vi mạch với mật

độ tích hợp rất cao (VLSI) đã cho ra đời các thiết bị video số. Việc số hóa video

giúp cho việc xử lý dễ dàng hơn và thúc đẩy sự phát triển nhanh chóng của

truyền hình quảng bá video.

Ngày nay, hình ảnh và video có thể được tìm thấy ở mọi nơi trong cuộc sống

hàng ngày của con người. Trung bình có khoảng 30.000 giờ video được tải lên

Youtube mỗi giờ trên toàn thế giới và một người phải mất 82 năm để xem toàn

bộ lượng video được tải lên Youtube trong một giờ. Ngoài ra, độ phân giải của

video cũng tăng lên đáng kể từ 100 × 100 trong những năm 1960 cho đến nay có

thể lên đến 7680 × 4320 hay còn gọi là độ phân giải 8K. Tuy nhiên, kích thước

của dữ liệu thô có thể rất lớn đến mức cần phải có những tài nguyên khổng lồ

để lưu trữ và truyền tải. Ví dụ, dung lượng của một bộ phim màu dài 150 phút

5

với 30 khung hình/giây và độ phân giải 720 × 480 có thể tới 280 GB khi chưa

nén, chưa kể đến trường hợp phim cần truyền qua mạng Internet nơi mà băng

thông có thể chưa đến 100 Mbit/s. Do đó, công nghệ nén video là hết sức cần

thiết mặc dù sức mạnh của máy tính, bộ lưu trữ và băng thông mạng đã tăng

lên đáng kể.

Nén video đề cập đến quá trình trong đó lượng dữ liệu để biểu diễn tín hiệu

video đầu vào được giảm xuống một mức độ nhất định để đạt được hiệu quả

cao hơn trong việc lưu trữ và truyền tải. Nén có thể đạt được bằng cách giảm

các loại dư thừa vốn có trong video bao gồm dư thừa về không gian, thời gian,

thống kê và dư thừa do thị giác người.

Phương pháp nén được phân thành hai loại, nén không tổn thất và nén có

tổn thất. Phương pháp nén không tổn thất sẽ nén dữ liệu theo cách mà tín

hiệu được tái tạo giống hệt như tín hiệu ban đầu. Theo định lý mã hóa nguồn

của Shannon, khi tốc độ mã hóa (số bit trung bình trên mỗi ký hiệu) lớn hơn

entropy của tín hiệu nguồn, tín hiệu được tái tạo sẽ không bị biến dạng. Tuy

nhiên, trong các trường hợp thực tế, biến dạng ở mức độ nào đó lại có thể được

chấp nhận để có thể giảm tốc độ bit hơn nữa, do đó nén có tổn hao sẽ hấp dẫn

hơn. Ví dụ, đối với giám sát video, nén có tổn thất được ưu tiên vì có thể loại

bỏ các chi tiết không cần thiết để tiết kiệm tài nguyên lưu trữ và truyền tải.

Vấn đề quan trọng trong việc nén tổn hao là làm cho tốc độ mã hóa càng nhỏ

càng tốt trong khi vẫn duy trì cùng chất lượng hình ảnh.

Cụ thể, chúng ta xác định bài toán như sau: Giả sử X và Y là hai chuỗi

video có phân bố độc lập, giống nhau, tương quan thống kê từ hai bộ mã hóa

riêng biệt nhưng đều biết về sự tồn tại của nhau [29]. Bộ giải mã cũng có đầy

đủ thông tin về các bộ mã hóa. Bài toán là xác định tốc độ bit mã hóa tối thiểu

cho mỗi nguồn video sao cho giải mã kết hợp tại bộ giải mã có thể tái tạo lại

mỗi nguồn với đủ độ chính xác. Bài toán này có thể được giải quyết bằng cách

sử dụng entropy kết hợp vì các chuỗi video X và Y là tương quan thống kê. Có

hai phương pháp để tái tạo chúng như trong Hình 1.1:

6

Hình 1.1: Kiến trúc mã hóa video: a. Phương pháp mã hóa video dự đoán; b.

Phương pháp mã hóa video phân tán

Phương pháp mã hóa video dự đoán (PVC): mã hóa kết hợp, giải mã kết hợp

Nếu hai chuỗi video phụ thuộc thống kê X và Y được mã hóa cùng nhau để

khai thác sự phụ thuộc thống kê của chúng, tốc độ mã hóa không tổn thất tối

thiểu là entropy kết hợp của chúng H(X, Y ):

R_{(X,Y )}= H(X, Y )

(1.1)

Phương pháp mã hóa video phân tán (DVC): mã hóa độc lập, giải mã kết

hợp.

Nếu các chuỗi video X và Y được mã hóa độc lập, tốc độ mã hóa tương ứng

của chúng là:

R_X≥ H(X); R_Y≥ H(Y )

(1.2)

ở đó H(X) và H(Y ) là các entropy của X và Y tương ứng. Do đó tốc độ mã hóa

yêu cầu là:

R_X+ R_Y≥ R_{(X,Y )}

(1.3)

1.1 Mã hóa video dự đoán

7

Nguyên lý cơ bản và lịch sử phát triển của các phương pháp mã hóa này sẽ

được trình bày chi tiết ở các phần tiếp theo.

1.1 Mã hóa video dự đoán

Mã hóa video dự đoán đã có bước phát triển mạnh mẽ trong vài năm trở

lại đây, nhiều thuật toán mã hóa khác nhau được đề xuất và cải tiến. Sự phát

triển của các chuẩn nén quốc tế đã thúc đẩy sự cải tiến của các ứng dụng mã

hóa video. Các chuẩn nén video dự đoán bao gồm MPEG-1 [63], MPEG-2 [12],

MPEG-4 [47], H.261 [33], H.263 [19], H.264 / MPEG-4 AVC [65] và tiêu chuẩn

mã hóa video hiệu suất cao HEVC [54]. Hình 1.2 tóm tắt sự phát triển của các

tiêu chuẩn mã hóa video của Liên minh Viễn thông Quốc tế (ITU-T) và Tổ chức

Tiêu chuẩn quốc tế (ISO) và sự hợp tác của hai tổ chức này từ năm 1984.

Hình 1.2: Các chuẩn mã hóa video dự đoán

1.1.1 Các tiêu chuẩn mã hóa video trước đây

Trước khi H.264 / MPEG-4 AVC và HEVC được phát triển, các tiêu chuẩn

nén video do nhóm các chuyên gia về mã hóa video (VCEG) của ITU-T và

nhóm các chuyên gia về hình ảnh động (MPEG) của ISO/IEC sản xuất bao

gồm H.261, MPEG-1, H.262 / MPEG-2, H.263 và MPEG-4. H.261, một trong

những tiêu chuẩn H.26x đầu tiên trong lĩnh vực của VCEG, khởi đầu quá trình

1.1 Mã hóa video dự đoán

8

tiêu chuẩn hóa cho mã hóa video kỹ thuật số thực tế. Sơ đồ mã hóa tuân theo

cách tiếp cận mã hóa video kết hợp dựa trên khối. Khái niệm macroblock (MB)

đóng vai trò là đơn vị xử lý cơ bản lần đầu tiên xuất hiện trong H.261. Dự đoán

liên ảnh làm giảm dư thừa theo thời gian với các vec-tơ chuyển động có giá trị

nguyên. Mặc dù hiện nay đã có những cải tiến đáng kể về khả năng nén, H.261

vẫn đóng vai trò là một cột mốc quan trọng trong lĩnh vực mã hóa video.

Năm 1992, MPEG-1 được MPEG thiết kế cho ứng dụng CD-ROM. MPEG-1

dựa trên mã hóa biến đổi bù chuyển động, trong đó các công cụ mã hóa chính

bao gồm chuyển đổi màu sang YUV và lấy mẫu xuống trong miền UV, khử

tương quan không gian với biến đổi cosine rời rạc (DCT) 8 × 8 và giảm dư thừa

không gian với dự đoán liên ảnh song hướng. MPEG-1 từng được sử dụng phổ

biến bởi nhiều dịch vụ truyền hình cáp / vệ tinh kỹ thuật số trước khi bị thay

thế bởi H.262 /MPEG-2, được thiết kế bởi MPEG và VCEG để đáp ứng nhu

cầu truyền hình giải trí cho các phương tiện truyền dẫn như vệ tinh và CATV,

và phương tiện lưu trữ kỹ thuật số như DVD. Để nén hiệu quả video kỹ thuật

số xen kẽ ở chất lượng phát sóng, nhiều tính năng mới đã được phát triển. Các

công cụ liên lớp được coi là các công cụ chức năng lần đầu tiên được định nghĩa.

MPEG-2 cung cấp sự hỗ trợ đối với phát video kỹ thuật số chất lượng truyền

hình và cũng hỗ trợ định dạng phim và video khác trên DVD và các đĩa tương

tự.

Năm 1995, VCEG đã phát triển H.263 cho hội nghị truyền hình ở tốc độ

bit thấp đối với kịch bản truyền thông không dây di động. Cho đến nay, H.263

vẫn đóng vai trò chủ đạo trong bộ mã hóa hội nghị truyền hình và điện thoại

di động. Cấu hình cơ bản dựa trên H.261 áp dụng kết hợp dự đoán liên ảnh sử

dụng bù chuyển động 16 × 16 / 8 × 8 với độ phân giải nửa pixel và mã hóa biến

đổi với biến đổi cosine rời rạc (DCT) 8×8. H.263 vượt trội so với các tiêu chuẩn

mã hóa video trước đây tại các tốc độ bit khác nhau.

Được bắt đầu vào năm 1998, MPEG-4 được tạo ra để xử lý nội dung đa

phương tiện theo hướng dựa trên đối tượng, tương tác và phi tuyến tính. MPEG-