近期，在機(jī)器視覺行業(yè)中，對利用分光成像進(jìn)行圖像處理技術(shù)的關(guān)注越來越高，高光譜相機(jī)和多光譜相機(jī)的應(yīng)用也越來越廣泛。本文將介紹光譜技術(shù)以及光譜相機(jī)的種類。

普通相機(jī)在光線進(jìn)入時(shí)，會(huì)將光的所有波長組合成一張圖像，通過多光譜相機(jī)則可以將光源分成多光譜信息。這里的分光是指將光線分成多波長的現(xiàn)象。人眼只能感知可見光區(qū)域（380-780nm）的波長，而分光圖像可以將相同波長分成多個(gè)波段后處理數(shù)據(jù)。

圖1 分光概念

AVAL?DATA的高光譜相機(jī)（AHS-003VIR）可以將450~1700nm的波長分成512個(gè)波段進(jìn)行拍攝，并獲得人眼無法感知的NIR、SWIR范圍的光譜圖像。?光譜成像是在空間信息中添加了光譜技術(shù)，將物體的光學(xué)特性以光譜（分光）形式存儲(chǔ)，廣泛用于物質(zhì)識(shí)別、分析和變化預(yù)測等領(lǐng)域。?在本文會(huì)介紹使用于高光譜圖像分析的高光譜相機(jī)以及多光譜相機(jī)。

光譜相機(jī)內(nèi)部結(jié)構(gòu)

光譜相機(jī)內(nèi)部結(jié)構(gòu)如下所示。從光源進(jìn)入的光線，通過鏡頭和光柵集中后，通過分光裝置(光柵Grating)進(jìn)行分光，最后傳輸?shù)絺鞲衅鳌?/span>

圖2?光譜相機(jī)內(nèi)部結(jié)構(gòu)

主要根據(jù)拍攝方式、波段數(shù)量和分光方式等分為多種光譜相機(jī)。因此，首先了解拍攝目的和使用環(huán)境后選擇光譜相機(jī)非常重要。

光譜相機(jī)種類

拍攝方式：根據(jù)拍攝方式，可以分為?Push broom和?Snapshot 兩種方式。

圖3?Push broom 和?Snapshot 方式

Push broom方式類似于線掃描方式，相機(jī)或被攝體在移動(dòng)時(shí)進(jìn)行拍攝。每獲取一行Y軸數(shù)據(jù)，就保存了每行的分光波長數(shù)據(jù)，用戶可以根據(jù)需要移動(dòng)Y軸合并生成高光譜數(shù)據(jù)立方體(Cube)。Snapshot方式可以同時(shí)獲取空間信息和光譜信息，可在瞬間獲取物體的光譜特性。各拍攝方式的長處和短處以及應(yīng)用信息如下所示。

表1?Push broom 和?Snapshot

光譜波段數(shù)量。

圖4?高光譜相機(jī)和多光譜相機(jī)

根據(jù)光譜波段數(shù)量的不同，可分為高光譜相機(jī)和多光譜相機(jī)。多光譜相機(jī)通常具有3-10個(gè)波段，可以進(jìn)行光譜分析，而高光譜相機(jī)通常具有100個(gè)以上的波段，可以進(jìn)行光譜分析。在選擇相機(jī)時(shí)，需要考慮各相機(jī)的優(yōu)點(diǎn)和缺點(diǎn)以及使用環(huán)境選擇合適的相機(jī)。（*高光譜相機(jī)的波段數(shù)可能因型號(hào)而異）

表2?高光譜和多光譜相機(jī)的特點(diǎn)

根據(jù)分光方法，可分為有單色儀（Monochromator）、濾光片（Filter）、傅里葉變換（Fourier Transform）相機(jī)。下面我們將詳細(xì)介紹每個(gè)分光技術(shù)。

圖5?單色儀、濾光片、?傅里葉變換方式

單色儀（Monochromator）方法可以分為兩種主要類型：棱鏡（Prism）和光柵（Grating）。棱鏡采用折射方式將光分散，而光柵則利用衍射方式將光分散。?

濾光片（Filter）方法是通過濾光片，將所需波長的光分散。濾光片可分為固定濾光片和可變?yōu)V光片，固定濾光片具有特定的波長，而可變?yōu)V光片可以由用戶自行選擇濾光片波長。

傅里葉變換（Fourier transform）方法最初是由約瑟夫·傅里葉（Joseph Fourier）在研究熱傳導(dǎo)時(shí)用于求解熱方程的方法。它使用具有不同振幅的單一正弦波進(jìn)行傅里葉逆變換，將連續(xù)的光譜分解為不同頻率的光譜成分，通過光電探測器獲取光譜信息，實(shí)現(xiàn)光譜分析。

AVAL DATA 提供單色儀（Monochromator）方式的AHS-003VIR和濾光方式的ABA-013VIRLF。它們都是Push-broom方式的相機(jī)，支持從可見光到近紅外光的寬廣光譜范圍。

圖6?Hyperspectral camera (左) 和?Multispectral camera (右)

表3?AHS-003VIR和?ABA-013VIRLF配置信息

光譜成像系統(tǒng)的構(gòu)成部分

除了分光相機(jī)外，分光成像系統(tǒng)的結(jié)構(gòu)還需要其他配件，比如， 光源、鏡頭、圖像處理軟件。

圖7?分光圖像系統(tǒng)的結(jié)構(gòu)

光源：光源通常在戶外環(huán)境（如地質(zhì)狀況、環(huán)境監(jiān)測、目標(biāo)檢測等）以及衛(wèi)星、航空、無人機(jī)（UAV）和地面等應(yīng)用領(lǐng)域中使用自然光（太陽光），而在室內(nèi)環(huán)境中則使用燈泡、發(fā)光二極管（LED）或激光等單獨(dú)的照明裝置。AVAL?DATA的AHS-003VIR超光譜相機(jī)在450-1700nm的廣譜范圍內(nèi)進(jìn)行分光，使用高通量和寬波長的鹵素?zé)粽彰鳌?/span>

圖8?鹵素?zé)簦ǜ吖庾V相機(jī)專用）

圖9?AHS-003VIR 傳感器量子效率

鏡頭：我們建議在使用光譜相機(jī)時(shí)，選擇具有色差校正功能的APO（Apochromat）鏡頭。由于玻璃的折射率會(huì)隨光的波長而變化，因此會(huì)產(chǎn)生色差。因此，如果使用沒有色差功能的鏡頭，不同波長的光焦點(diǎn)會(huì)不同，導(dǎo)致圖像在不同波長上變得模糊。因此，在使用光譜相機(jī)時(shí)，建議選擇具有色差校正功能的APO鏡頭。

圖10?色差校正與否的圖像

軟件：AVAL?DATA高光譜相機(jī)（AHS-003VIR）和多光譜相機(jī)（ABA-013VIRLF）覆蓋了寬廣的波長范圍，并且拍攝的數(shù)據(jù)以每個(gè)波長的BMP文件或包含圖像尺寸和波長信息的立方體數(shù)據(jù)（比如ENVI格式）。以BMP格式數(shù)據(jù)應(yīng)用時(shí)，需要具備光譜數(shù)據(jù)和機(jī)器學(xué)習(xí)等分析方面的知識(shí)，并且需要配備適用于適當(dāng)處理大量數(shù)據(jù)的解決方案，因此通常使用BMP文件來直接分析和處理并不容易。相反，以ENVI格式提取的數(shù)據(jù)除了圖像數(shù)據(jù)外還包含各種波長信息，因此可以專門使用于高光譜成像的軟件（如perClass Mira）或其他各種成像軟件（如Matlab和其他軟件）來分析和處理數(shù)據(jù)。我們的光譜相機(jī)與perClass Mira等專用高光譜成像軟件以API兼容，操作方面很容易，并且也以ENVI文件格式與其他軟件可以兼容。

在圖11(左側(cè))表示，使用perClass Mira進(jìn)行塑料分類的示例。它對5種塑料樹脂進(jìn)行了圖像處理后，在圖（右側(cè)）也可見每個(gè)塑料的波長信息。

圖11?使用 perClass Mira 的塑料分類圖像 (左)，塑料波長信息 (右)

圖12展示了使用高光譜相機(jī)進(jìn)行圖像獲取和分類的過程，分為3個(gè)階段。簡單來說，產(chǎn)品在Y軸方向移動(dòng)時(shí)，獲取圖像和光譜數(shù)據(jù)，提取特定數(shù)據(jù)進(jìn)行學(xué)習(xí)，然后獲得分類結(jié)果。

結(jié)論

光譜成像技術(shù)從多光譜的遙感應(yīng)用開始逐漸增加并且波段數(shù)量并不斷增加，應(yīng)用領(lǐng)域也不僅限于地質(zhì)研究、國防、醫(yī)療保健、食品、農(nóng)業(yè)、礦產(chǎn)等領(lǐng)域，最近在機(jī)器視覺領(lǐng)域，特別是在半導(dǎo)體、垃圾分類、食品分析、混合材料分析等應(yīng)用中，對超光譜成像相機(jī)的研究和評(píng)估越來越多，如果您正在進(jìn)行相關(guān)議題，建議考慮利用光譜成像技術(shù)。