Nếu như mắt người có các tế bào chịu trách nhiệm cảm nhận và phân biệt ánh sáng thành các loại màu sắc và hình khối, thì máy ảnh sử dụng cảm biến (sensor) của nó để làm công việc tương tự.

Thay vì các tế bào, máy ảnh sẽ sử dụng một mảng bao gồm hàng triệu “tế bào” cảm biến, được gọi là điểm ảnh li ti để phân giải và đưa ra hình ảnh cuối cùng.

Khi nhấn nút chụp ảnh, màn trập mở ra, quá trình tiếp xúc với ánh sáng (phơi sáng) bắt đầu, mỗi điểm ảnh thu thập và lưu trữ các photon ánh sáng. Khi kết thúc quá trình phơi sáng kết thúc, màn trập đóng lại và máy ảnh đánh giá số lượng các hạt photon rơi vào mỗi điểm ảnh. Số lượng tương đối của các photon tại mỗi điểm ảnh được tính ra cường độ sáng tương ứng, giá trị đó được xác định bởi độ sâu bit của từng cảm biến (ví dụ: độ sâu màu là 8 bit của cảm biến, ta có thể biểu diễn các giá trị từ 00000000 tới 11111111, tức từ 0 đến 255).

Mỗi khoang không thể phân biệt được có bao nhiêu màu rơi vào nên hình minh họa ở trên chỉ có thể tạo ra hình ảnh grayscale. Để chụp ảnh màu, mỗi khoang phải có bộ lọc phía trên, bộ lọc này chỉ cho phép một màu ánh sáng nhất định đi vào. Tất cả máy ảnh số hiện nay chỉ có thể giữ một trong số ba màu chính (R-G-B) ở mỗi khoang và loại bỏ 2/3 lượng ánh sáng đi vào. Vì vậy, máy ảnh phải tính toán hai màu chính còn lại để có thông tin về tất cả ba màu tại mỗi điểm ảnh. Loại lưới lọc màu phổ biến nhất có tên là “lưới lọc Bayer” như hình dưới đây.

Lưới lọc Bayer

Lưới lọc Bayer gồm nhiều hàng lặp lại: hàng thứ nhất gồm các màu Red-Green-Red-Green và hàng thứ hai có màu Green-Blue-Green-Blue. Lưu ý như hình trên thì lưới lọc màu Bayer có số lượng cảm biến màu Green nhiều gấp đôi màu Red và Blue vì mắt người nhạy với màu Green hơn so với Red và Blue. Điểm ảnh màu Green nhiều hơn sẽ làm cho bức ảnh ít bị nhiễu và chi tiết sắc nét hơn nếu số lượng mỗi màu bằng nhau. Điều này cũng lý giải tại sao nhiễu màu Green ít hơn nhiều so với hai màu còn lại. Chúng ta sẽ tìm hiểu về độ nhiễu ở phần sau.

Tìm hiểu đến đây, ta có thể hiểu rằng tại sao trong điện ảnh, khi cần quay để xoá phông nền, màu nền thường được dùng là màu Green. Rất thú vị!

Giải thuật Demosaicing của lưới Bayer

Demosaicing là quá trình chuyển lưới màu Bayer thành hình ảnh cuối cùng, gồm thông tin đầy đủ về tất cả các màu ở mỗi điểm ảnh. Làm thế nào có thể thực hiện được nếu máy ảnh không thể đo trực tiếp đầy đủ các màu? Có một cách để nhận diện đó là xem một ô 2x2 gồm màu Red, Green và Blue là một khoang màu đầy đủ.

Cách này cũng là một cách hay tuy nhiên hầu hết máy ảnh đều thực hiện thêm các bước để thu được thêm thông tin hình ảnh từ lưới lọc màu này. Nếu máy ảnh nhận diện màu theo ô 2x2 thì chỉ có thể đạt được độ phân giải bằng một nửa ở cả chiều dọc và ngang so với độ phân giải thực sự của các cảm biến. Nói cách khác, nếu một máy ảnh xử lý màu sử dụng nhiều ô 2x2 chồng lên nhau thì độ phân giải sẽ cao hơn so với khi sử dụng các ô 2x2 đơn lẻ. Sự kết hợp các ô 2x2 chồng nhau dưới đây có thể giúp thu được nhiều thông tin hình ảnh hơn.

Lưu ý: Chúng ta không tính thông tin hình ảnh tại các cạnh của lưới lọc vì chúng ta giả định hình ảnh sẽ tiếp tục ở mỗi hướng. Tại cạnh của lưới lọc, việc tính toán sẽ kém chính xác vì không có pixel ở tất cả các phía nữa. Cũng không có vấn đề gì vì thông tin tại cạnh hình ảnh có thể bị loại bỏ đối với máy ảnh có hàng triệu điểm ảnh.

Đến đây chúng ta cũng hiểu tại sao có hiện tượng hình ảnh ta nhìn qua máy ảnh thường rộng hơn hình ảnh chúng ta thu được, tuy rằng giờ đây rất khó phân biệt điểm sai khác này. Đó cũng là lý do mà hiếm khi có máy DSLR nào có khả năng có trường nhìn = 100% so với hình ảnh thu được (hầu như chỉ có ở 1 vài dòng máy ảnh cao cấp nhất).

Cũng có thuật toán demosaic khác có thể thu được độ phân giải cao hơn, đem tới hình ảnh ít bị nhiễu hơn hoặc tính toán chính xác hơn hình ảnh tại mỗi vị trí.

Chống lỗi ảnh

Vì hạn chế của thuật toán demosaicing trên, hình ảnh với chi tiết cỡ nhỏ gần giới hạn độ phân giải của cảm biến máy ảnh đôi khi có thể đánh lừa thuật toán demosaicing – khiến cho hình ảnh không thật. Trường hợp phổ biến và điển hình cho việc tạo ảnh lỗi này có tên gọi là: moire (đọc là "mo ay"), có những khuôn mẫu lặp lại, màu hoặc điểm ảnh được bố trí theo mô hình giống như kiểu mê cung:

Hai ảnh ở trên có độ phóng đại khác nhau. Lưu ý hình ảnh của moire ở bốn ô vuông phía dưới và ô vuông thứ ba của ảnh đầu tiên. Có thể thấy lỗi xảy ra ở ô vuông thứ ba của ảnh dưới, khiến hình ảnh dường như "có màu" mặc dù thực sự không phải vậy. Những trường hợp lỗi ảnh này phụ thuộc vào cả loại khuôn mẫu và phần mềm được sử dụng để xử lý file RAW của máy ảnh số.

Mảng vi thấu kính trong cảm biến

Nếu tinh ý, bạn có thể thấy, trong các hình vẽ trên, các khoang không được đặt sít nhau, mà có khoảng giãn cách. Thực tế, các điểm ảnh không có thể che toàn bộ bề mặt của cảm biến. Thực tế, chúng chỉ che một nửa toàn bộ khu vực, còn lại để kết nối với các thành phần khác. Giữa các khoang có chóp nhọn để hướng photon vào khoang này hay khoang khác. Máy ảnh số dùng thêm “vi thấu kính” trên mỗi chóp để tăng cường khả năng tập trung ánh sáng. Những thấu kính này như một cái phễu hướng photon vào khoang tương ứng để tăng cường hoặc sẽ không được dùng đến trong khoang đó.

Vi thấu kính được thiết kế tốt có thể tăng cường tín hiệu photon ở mỗi khoang và do đó có thể tạo ra hình ảnh ít bị nhiễu hơn với cùng thời gian nhận ảnh. Các nhà sản xuất máy ảnh có thể cải tiến thiết kế vi thấu kính để giảm hoặc xử lý nhiễu ở máy ảnh độ phân giải cao mới nhất, cho dù sẽ có khoang nhỏ hơn nhưng thu được nhiều megapixel hơn ở cùng một diện tích cảm biến. Đây cũng là lý do vì sao cùng với một kích thước cảm biến, nhưng các cảm biến trên máy ảnh ngày càng “nhạy sáng” hơn và ít nhiễu hơn.