Giới thiệu

Hình ảnh quang phổ cao có khả năng "nhìn thấy mắt người không nhìn thấy", nhưng thực sự làm cho dữ liệu biến thành thông tin, làm cho đặc điểm được "đào" ra khỏi tiếng ồn, là tiền xử lý quang phổ và hạ chiều. Sử dụng trường hợp trực quan nhất - quả kiwi bầm tím, chúng tôi sẽ cho bạn thấy quang phổ ban đầu có thể dần dần tiết lộ cấu trúc mô rõ ràng và các đặc điểm tổn thương dưới một loạt các phương pháp tiền xử lý (mịn, SNV, MSC) và phương pháp giảm chiều (PCA, MNF). Chỉ với một vài biểu đồ, bạn có thể thấy sự khác biệt lớn giữa "trước và sau khi xử lý quang phổ cao" và nhanh chóng hiểu tại sao tiền xử lý lại quan trọng hơn bản thân mô hình hóa.

4 Tiền xử lý hình ảnh quang phổ

4.1 Tiền xử lý quang phổ

Phương pháp làm mịn chủ yếu được sử dụng để loại bỏ tiếng ồn ngẫu nhiên tần số cao trong phổ trong khi cố gắng giữ lại xu hướng tổng thể và hình dạng đỉnh của quang phổ.

(1) Di chuyển trung bình

Di chuyển trung bình là phương pháp làm mịn cơ bản nhất. Nó làm mịn phổ bằng cách lấy trung bình của điểm hiện tại và các điểm lân cận của nó. Phương pháp này có thể làm mịn tiếng ồn tần số cao, nhưng không nhạy cảm với một số tiếng ồn gai. Công thức như sau:

Trong đó, di chuyển kích thước của cửa sổ.

Ví dụ về mã Python:

(2) Savitzky-Golay mịn

Ý tưởng cốt lõi của SG Smooth là đa thức phù hợp với tín hiệu quang phổ trong một cửa sổ trượt, thay thế điểm quang phổ ban đầu bằng giá trị phù hợp. So với trung bình di chuyển đơn giản, SG Smooth không chỉ loại bỏ tiếng ồn tần số cao mà còn duy trì các đặc điểm cục bộ của các đỉnh phổ và tín hiệu. Công thức như sau: Kích thước cửa sổ là 2mTrong điều kiện+1, đối vớiiCác điểm phổ biển trơn tru là:

Trong đó, là hệ số được phù hợp đa thức, là giá trị ban đầu của điểm quang phổ trong cửa sổ.

Ví dụ về mã Python:

(3) Bộ lọc trung bình

Bộ lọc trung bình là sự thay thế giá trị điểm hiện tại bằng giá trị trung bình bên trong cửa sổ và đặc biệt hiệu quả đối với tiếng ồn gai (burr) định kỳ.

Ví dụ về mã Python:

(4) Biến đổi chuẩn (SNV)

SNV là một phương pháp chuẩn hóa loại bỏ hiệu ứng tán xạ hoặc sự khác biệt về cường độ giữa các quang phổ bằng cách tập trung và chuẩn hóa từng quang phổ và giữ lại hình dạng tương đối của quang phổ. Công thức như sau:

Trong đó giá trị trung bình phổ được biểu thị, độ lệch chuẩn phổ được biểu thị.

Ví dụ về mã Python:

(5) Hiệu chỉnh tán xạ đa dạng (MSC)

MSC điều chỉnh các hiệu ứng tán xạ nhân so với cộng bằng cách phù hợp mỗi phổ với phổ tham chiếu (thường là phổ trung bình) thông qua hồi quy tuyến tính. Phương pháp này có thể điều chỉnh sự khác biệt về cường độ do tán xạ, giữ lại các đặc điểm hình dạng của quang phổ. Công thức như sau:Trong đó.

Trong đó là......iPhổ bước sóng, phổ tham chiếu, thường là phổ trung bình của tất cả các mẫu, là hệ số hồi quy, phổ sau khi phù hợp.

Ví dụ về mã Python:

4.2 Giảm kích thước hình ảnh quang phổ

B5-05=giá trị thông số Kd, (cài 2)

Trong xử lý hình ảnh quang phổ cao, PCA là một phương pháp giảm chiều phổ biến được sử dụng để giảm dư thừa băng tần, giảm nhiễu và trích xuất thông tin quang phổ chính. Hình ảnh phổ cao thường được biểu diễn bằng một khối dữ liệu ba chiều chứa các chiều không gian và hàng trăm dải quang phổ. Ý tưởng cốt lõi của PCA là xem vector quang phổ của mỗi pixel là dữ liệu chiều cao, thu được thành phần chính được sắp xếp theo kích thước phương sai bằng cách trung bình hóa tất cả dữ liệu pixel, tính toán ma trận hiệp phương sai và tìm giá trị đặc trưng và vector đặc trưng của nó. Chọn một số thành phần chính đầu tiên để ánh xạ dữ liệu phổ cao từ chiều cao đến chiều thấp trong khi vẫn giữ lại hầu hết thông tin phổ. Dữ liệu sau khi giảm chiều không chỉ làm giảm khối lượng tính toán mà còn cải thiện đáng kể tỷ lệ tín hiệu nhiễu và có thể được sử dụng để trực quan hóa, phân loại hoặc phân cụm. Ví dụ, ba thành phần chính đầu tiên có thể được kết hợp thành một hình ảnh giả màu để hiển thị trực quan cấu trúc không gian. Nhìn chung, giảm chiều PCA là một phương tiện tiền xử lý quan trọng trong xử lý và phân tích hình ảnh quang phổ cao, có thể nén dữ liệu hiệu quả, loại bỏ dư thừa và nhiễu trong khi vẫn giữ được chữ ký phổ.

(2) Giảm chiều phân đoạn tiếng ồn tối thiểu (MNF)

Trong xử lý hình ảnh quang phổ cao, MNF Dimension là một phương pháp phổ biến để giảm nhiễu và nén dữ liệu, với ý tưởng cốt lõi là trích xuất các thành phần tín hiệu chính bằng cách xem xét các đặc tính nhiễu phổ. MNF giảm chiều thường được thực hiện trong hai bước: * Một bước, tiêu chuẩn hóa hiệu ứng tiếng ồn bằng cách ước tính tiếng ồn của dữ liệu quang phổ cao ban đầu và chuẩn hóa dữ liệu tiếng ồn; Bước thứ hai, tiến hành phân tích thành phần chính (PCA) trên dữ liệu chuẩn hóa, trích xuất các thành phần có phương sai * lớn làm tín hiệu chính và loại bỏ các thành phần có phương sai thấp có tiếng ồn chiếm ưu thế. Không giống như PCA truyền thống, MNF làm cho các thành phần chính đầu tiên sau khi giảm chiều tối ưu hóa tỷ lệ tín hiệu nhiễu và làm nổi bật tín hiệu quang phổ thực hơn bằng cách xem xét cấu trúc nhiễu trước. Dữ liệu sau khi giảm chiều MNF không chỉ làm giảm dư thừa băng tần mà còn giảm nhiễu hiệu quả và được sử dụng rộng rãi trong các nhiệm vụ như hình dung, phân loại và nhận dạng mục tiêu của hình ảnh quang phổ cao. Do khả năng giảm tiếng ồn và nén chữ ký đồng thời, MNF thường được coi là phương pháp giảm chiều tiên tiến để xử lý dữ liệu quang phổ cao.

4.4 So sánh trước và sau

(1) Trường hợp tiền xử lý quang phổ

Các đường cong phổ sau khi xử lý bằng các phương pháp tiền xử lý khác nhau được thể hiện trong hình dưới đây. Liên quan đến quang phổ ban đầu, các phương pháp tiền xử lý mượt mà (như Savitzky-Golay, Moving Average và Medium Filter) chủ yếu loại bỏ các dao động tần số cao trên đường cong quang phổ, làm cho đường cong quang phổ mượt mà hơn trong khi vẫn duy trì hình thức cơ bản của đỉnh và đường cơ sở tổng thể. Phương pháp SNV chuẩn hóa biên độ và độ lệch của quang phổ ban đầu, căn chỉnh quang phổ của các mẫu khác nhau ở cùng một mức trong khi thay đổi một chút chiều cao tổng thể của đường cong. MSC điều chỉnh sự khác biệt về biên độ và độ lệch do tán xạ ánh sáng thông qua hồi quy tuyến tính, vừa duy trì các đặc điểm hình đỉnh vừa loại bỏ sự khác biệt tán xạ giữa các mẫu. Tuy nhiên, SNV và MSC không loại bỏ tiếng ồn tần số cao trong quang phổ. Các phương pháp kết hợp (chẳng hạn như SG+SNV hoặc SG+MSC) làm mịn phổ tiếng ồn tần số cao trước khi hiệu chỉnh tán xạ, có tính đến hiệu ứng làm mịn và hiệu chỉnh tán xạ, cho phép phổ vừa phẳng vừa duy trì các đặc điểm hình đỉnh. Bằng cách so sánh quang phổ trước và sau khi xử lý, có thể quan sát trực quan tác động điều chỉnh của các phương pháp khác nhau đối với tiếng ồn, tán xạ và đường cơ sở, do đó chọn * chiến lược tiền xử lý phù hợp.

B5-05=giá trị thông số Kd, (cài 2)

Lấy hình ảnh quang phổ của quả kiwi bầm tím làm ví dụ, hình ảnh quang phổ cao của quả kiwi bầm tím và hình ảnh thang xám của bước sóng cụ thể được thể hiện trong hình dưới đây.

Hình ảnh phổ cao của quả kiwi bầm tím và hình ảnh mức xám của bước sóng cụ thể

Sau khi phân tích PCA và MNF dữ liệu quang phổ cao từ quả kiwi bầm tím, người ta thấy rằng cả hai phương pháp đều trích xuất các đặc điểm liên quan đến thay đổi mô trong thành phần chính, nhưng có sự khác biệt đáng kể về hiệu suất. PC1 của PCA chủ yếu mô tả sự phản xạ tổng thể và phân bố mật độ của mô bột giấy, PC2 có thể làm nổi bật đáng kể sự tăng cường hấp thụ của vùng bầm tím, là thành phần có ý nghĩa chẩn đoán trong PCA; Và bắt đầu từ PC3, tiếng ồn chiếm ưu thế, sự xuất hiện của các hiện vật sọc rõ ràng, không còn phù hợp để phân tích thêm. Ngược lại, MNF ức chế tiếng ồn một cách hiệu quả bằng cách sắp xếp theo tỷ lệ tín hiệu tiếng ồn, MNF1 của nó thể hiện các đặc điểm nền mô ổn định, MNF2 tách các vùng lõi bầm tím với độ tương phản cao hơn và ranh giới rõ ràng hơn, và MNF3 tăng cường hơn nữa cấu trúc rìa thiệt hại, thể hiện sự thay đổi phân cấp của sự khuếch tán bầm tím. Nhìn chung, MNF vượt trội đáng kể so với PCA trong việc tăng cường chữ ký bầm tím, ức chế tiếng ồn và duy trì chi tiết mô, trong đó MNF2-MNF3 là thành phần đặc trưng có giá trị chẩn đoán.

Hình ảnh phổ đầy đủ của mẫu Kiwi để phân tích PCA và MNF

Dự báo tiếp theo

Trong phần tiếp theo, chúng tôi sẽ giới thiệu phân loại nhận dạng về hình ảnh quang phổ cao và phân loại giám sát phương pháp về phân loại hình ảnh quang phổ cao.