Giới thiệu vắn tắt về công nghệ hình ảnh 3D thị giác máy (1)

Tổng quan về công nghệ hình ảnh 3D

Hình ảnh ba chiều, trên cơ sở hình ảnh hai chiều truyền thống, thêm thông tin chiều sâu, do đó có thể thực hiện các nhiệm vụ định vị, nhận dạng và phát hiện chính xác hơn, hiện đã được sử dụng rộng rãi trong điện tử tiêu dùng, y học và công nghiệp.

Căn cứ vào phương thức thu thập dữ liệu có thể chia làm hai loại là tiếp xúc và không tiếp xúc. Các đối tượng được kiểm tra tiếp xúc có thể được chia thành hai loại không bị hư hỏng và bị hư hỏng. Loại không tiếp xúc có thể được chia thành loại truyền tải và loại phản xạ tùy thuộc vào cách sử dụng tín hiệu. Kiểu phản xạ lại có thể chia làm hai loại quang học và phi quang học. Quang học có thể chia thành hai loại lớn là chủ động và bị động dựa trên nhu cầu cộng thêm đèn nhân tạo hay không. Hình ảnh thị giác thụ động chỉ dựa vào thông tin bức xạ ánh sáng được tạo ra bởi cảnh mục tiêu mà máy ảnh nhận được, được đo bằng giá trị thang màu xám pixel hình ảnh hai chiều.

Tầm nhìn thụ động thường được sử dụng trong các tình huống hình ảnh ba chiều trong các điều kiện cụ thể, chẳng hạn như trong nhà, cảnh mục tiêu có phạm vi động bức xạ nhỏ và không bị che khuất, bề mặt cảnh không trơn tru, và các đặc điểm hình học hoặc kết cấu rõ ràng, dễ dàng tìm kiếm điểm phù hợp thông qua kết hợp lập thể. Tầm nhìn lập thể chủ động là việc sử dụng điều chế ánh sáng (chẳng hạn như ánh sáng cấu trúc mã hóa, điều chế laser, v.v.) để chiếu xạ cảnh mục tiêu, đánh dấu mã hóa các điểm trên bề mặt cảnh mục tiêu, sau đó giải mã hình ảnh cảnh thu được để tìm điểm phù hợp giữa các hình ảnh một cách đáng tin cậy, sau đó giải quyết thông tin ba chiều của cảnh bằng phương pháp lượng giác. Ưu điểm của tầm nhìn lập thể chủ động là khả năng chống nhiễu mạnh, yêu cầu môi trường không cao (chẳng hạn như loại bỏ nhiễu ánh sáng xung quanh thông qua bộ lọc băng thông), độ chính xác đo lường ba chiều, độ lặp lại và độ tin cậy cao, nhược điểm là dễ dàng tạo ra vấn đề tắc cho các cảnh có cấu trúc phức tạp. Căn cứ vào nguyên lý hình ảnh lại có thể tiếp tục chia nhỏ, cụ thể như minh họa dưới đây:

Tiếp xúc do cần dùng thăm dò hoặc kim thăm dò di chuyển theo bề mặt của vật đo, kích thước bị hạn chế, cũng dễ làm bị thương, độ chính xác cũng khá kém. Máy đo tọa độ (Coordinate Measuring Machine – CMM) là máy đo thông tin ba chiều của đối tượng được đo thông qua các điểm rời rạc trên bề mặt của đầu dò và vật thể. Hiện nay hình ảnh ba chiều chủ yếu sử dụng nguyên lý quang học không tiếp xúc, an toàn hơn, hiệu quả hơn, chính xác hơn. Một ví dụ trực quan là các nhà xây dựng đường bộ trước đây đã sử dụng các thanh kim loại giống như thước thẳng để đo độ sâu khi sửa chữa đường ổ gà và không có giải pháp hiệu quả về chi phí, nhưng với việc áp dụng công nghệ hình ảnh quang học ba chiều đã thay đổi quy trình.

Bài viết này chủ yếu thảo luận về công nghệ hình ảnh ba chiều chủ đạo trong lĩnh vực thị giác máy móc, bao gồm thời gian bay, ánh sáng kết cấu, tam giác laser, thị giác lập thể hai mắt và công nghệ hình ảnh trường ánh sáng, cuối cùng sẽ giới thiệu thêm về radar sóng milimet và radar laser và các phương án hình ảnh ba chiều ứng dụng cảnh tượng và độ chính xác tương phản ngang.

Luật thời gian bay

Time of Flight (ToF), phát ra tín hiệu ánh sáng hồng ngoại bằng cách sử dụng điốt phát sáng (LED) hoặc điốt laser (LD), đo khoảng cách giữa cảm biến và vật được đo dựa trên chênh lệch thời gian phát ra tín hiệu và quay trở lại. Máy ảnh ToF đo khoảng cách bằng cách chủ động chiếu sáng đối tượng bằng cách sử dụng một nguồn ánh sáng điều chế, chẳng hạn như laser, và sau đó chụp ánh sáng phản xạ với một cảm biến nhạy cảm với bước sóng laser. Cảm biến đo ánh sáng phát ra từ tóc của máy ảnh đến độ trễ thời gian ∆ t giữa máy ảnh nhận được ánh sáng phát ra. Độ trễ thời gian tỷ lệ thuận với khoảng cách gấp đôi (khứ hồi) giữa máy ảnh và đối tượng; Do đó, khoảng cách có thể được ước tính là độ sâu=c Δt/2, trong đó c biểu thị tốc độ ánh sáng. Quá trình này tương tự như siêu âm, đo khoảng cách bằng âm thanh chứ không phải ánh sáng và radar đo khoảng cách bằng sóng vô tuyến. So với siêu âm, máy ảnh Time of Flight (ToF) có khả năng tạo ra bản đồ độ sâu có độ phân giải cao với độ chính xác cao (độ sâu) nhanh hơn (độ phân giải không gian tương đương với máy ảnh RGB) và có thể bao phủ một phạm vi rộng hơn - sau tất cả, tốc độ ánh sáng lớn hơn nhiều so với tốc độ âm thanh. Mặc dù khoảng cách dò tìm của radar xa hơn, nhưng độ chính xác và độ phân giải của thời gian bay (ToF) đều cao hơn.

Có một số phương pháp khác nhau để đo ∆T hiện đang tồn tại, hai trong số đó được sử dụng phổ biến nhất: phương pháp sóng liên tục (CW) và phương pháp xung. Phương pháp sóng liên tục (CW), đôi khi còn được gọi là thời gian bay gián tiếp (iToF), đo lường sự dịch chuyển pha giữa các xung ánh sáng được gửi và nhận. Phương pháp xung, đôi khi còn được gọi là thời gian bay trực tiếp (dToF), đo thời gian trôi qua giữa xung phát ra và xung ánh sáng nhận được. Phương pháp này về cơ bản tương tự như cảm biến laser 3D, ngoại trừ cảm biến laser 3D quét từng điểm và máy ảnh ToF nhận được thông tin độ sâu của toàn bộ hình ảnh cùng một lúc. Điều quan trọng cần lưu ý là phần lớn các hệ thống ToF sóng liên tục hiện đang được triển khai và sử dụng trên thị trường sử dụng cảm biến CMOS và các hệ thống ToF xung sử dụng cảm biến không CMOS (đặc biệt là CCD). Một trong những lợi thế của việc sử dụng cảm biến hình ảnh CW iToF: chúng được sản xuất hàng loạt dựa trên cơ sở hạ tầng bán dẫn truyền thống, cho phép chụp ảnh ngắn với mật độ điểm ảnh cao với chi phí kinh tế. Chọn iToF hoặc dToF Deep Imaging System, tùy thuộc vào nhu cầu ứng dụng và môi trường sử dụng. iToF thích hợp cho hình ảnh tầm ngắn (0,5 mét, 5 mét và 10 mét) đòi hỏi độ phân giải không gian cao. dToF phù hợp hơn cho hình ảnh tầm xa mà không đòi hỏi nhiều về độ phân giải không gian. Trí tuệ nhân tạo (AI) và thiết kế hệ thống quang học làm cho ranh giới giữa việc lựa chọn công nghệ iToF và công nghệ dToF ít rõ ràng hơn. Trong các hệ thống cạnh thông minh có thể cảm nhận được môi trường xung quanh, cả cảm biến iToF và dToF đều được tích hợp với hình ảnh RGB và cảm biến quán tính và được hỗ trợ bởi AI để tăng hiệu suất và loại bỏ các hiện vật.

Giống như chuột đã thay đổi tương tác máy tính và công nghệ màn hình cảm ứng đã thúc đẩy sự phổ biến của điện thoại thông minh và máy tính bảng, công nghệ Time of Flight (ToF) đang hỗ trợ tương tác 3D không tiếp xúc. Trong việc thúc đẩy sự phát triển của Công nghiệp 4.0, công nghệ Time of Flight (ToF) có tiện ích tương tự. Từ tầm nhìn máy móc công nghiệp để kiểm tra chất lượng, đến phát hiện khối lượng để quản lý tài sản, đến công nghệ điều hướng thúc đẩy sản xuất (thiết bị) tự động, ngành sản xuất đang bắt đầu áp dụng các công nghệ cảm biến này và dần chuyển sang các hệ thống có độ phân giải cao phù hợp với môi trường công nghiệp khắc nghiệt. Hiện tại, có rất nhiều ứng dụng xung quanh chúng ta sử dụng công nghệ Time of Flight (ToF), từ an ninh buồng lái ô tô đến thiết bị thể thao tại nhà đến cộng tác từ xa 3D thực tế với các trò chơi và hình ảnh. Ngay cả việc phát hiện trữ lượng trong kho, thùng, bể chứa lớn cũng có nhiều ứng dụng. Một trong những ứng dụng trong tương lai của công nghệ Time of Flight (ToF) là trong xe tự lái, bổ sung cho radar, LIDAR và các cảm biến độ sâu khác.

Các máy ảnh chuyên sâu ToF tiêu dùng hiện nay chủ yếu là: Kinect 2 của Microsoft, SR4000 của MESA, máy ảnh chuyên sâu ToF của PMD Tech được sử dụng trong Google Project Tango, v.v. Những sản phẩm này đã được ứng dụng nhiều hơn trong nhận dạng cơ thể, nhận dạng cử chỉ và mô hình môi trường, điển hình nhất là Kinect 2 của Microsoft.

ToF Imaging có thể được sử dụng trong lĩnh vực tầm nhìn lớn, khoảng cách xa, độ chính xác thấp, thu thập hình ảnh 3D chi phí thấp, được đặc trưng bởi: tốc độ phát hiện nhanh, phạm vi trường nhìn lớn, khoảng cách làm việc xa, giá rẻ, nhưng độ chính xác thấp, dễ bị nhiễu bởi ánh sáng xung quanh. Đối với các vật thể trơn tru (phản xạ ánh sáng theo các hướng khác nhau) hoặc các vật thể có góc kẹp (phản xạ nhiều lần), độ chính xác của hình ảnh thời gian bay sẽ bị ảnh hưởng.

Tương tự như máy ảnh thông thường, mặt trước của chip ToF đòi hỏi một ống kính thu thập ánh sáng. Nhưng khác với ống kính quang học bình thường, ở đây cần thêm một bộ lọc băng thông để đảm bảo chỉ có ánh sáng có cùng bước sóng với nguồn sáng mới có thể đi vào.

Ưu điểm của ToF: Thời gian bay vẫn hoạt động tốt khi không có ánh sáng xung quanh do sử dụng nguồn sáng chủ động để chiếu vào vật thử. So với máy ảnh stereo hoặc hệ thống tam giác, máy ảnh ToF nhỏ gọn và nhẹ, không khác gì kích thước máy ảnh thông thường, lý tưởng cho một số trường hợp cần máy ảnh nhỏ gọn và nhẹ. Các nguyên tắc của thuật toán thời gian bay tương đối đơn giản, vì vậy máy ảnh ToF có thể tính toán thông tin độ sâu nhanh chóng trong thời gian thực, lên đến hàng chục đến 100 khung hình/giây. Mà máy ảnh lập thể hai mắt cần dùng đến thuật toán tương quan phức tạp, tốc độ xử lý chậm hơn. Tính toán độ sâu của ToF không bị ảnh hưởng bởi mức xám và đặc điểm của bề mặt vật thể và có thể được phát hiện rất chính xác trong ba chiều. Mà máy ảnh lập thể hai mắt thì cần mục tiêu có biến hóa đặc trưng tốt, nếu không sẽ không thể tiến hành tính toán chiều sâu. Do tốc độ ánh sáng rất nhanh, máy ảnh ToF yêu cầu thiết kế phức tạp để đạt được phát hiện chênh lệch tín hiệu khứ hồi, sản xuất tương đối khó khăn, độ chính xác tính toán độ sâu của máy ảnh ToF không thay đổi theo khoảng cách, trong toàn bộ phạm vi đo về cơ bản có thể ổn định ở mức cm, điều này rất có ý nghĩa đối với một số ứng dụng chuyển động phạm vi lớn. So với máy ảnh quang cấu trúc, máy ảnh ToF có độ chính xác thấp hơn ở phạm vi 10 mét và độ chính xác cao hơn ở khoảng cách 10 mét. Một lợi thế đáng kể của máy ảnh ToF là khoảng cách làm việc tương đối rộng, có thể bao gồm phạm vi từ 0,5 mét đến 10 mét, một số cảnh yêu cầu độ chính xác không cao thậm chí đạt đến vài trăm mét, trong cảnh này đơn vị chiếu xạ thông thường sử dụng đèn LED hồng ngoại thay vì laser, không gây hại cho mắt. Phạm vi hình ảnh của máy ảnh quang cấu trúc chỉ từ 2 đến 3 mét, nhưng độ chính xác sẽ cao hơn. Vì vậy, trong khi máy ảnh ToF có thể hoạt động ở khoảng cách ngắn hơn, nó không phải là một lựa chọn tốt khi yêu cầu độ chính xác nhất định là cần thiết.

Máy ảnh độ sâu TOF đòi hỏi độ chính xác cao đối với các phép đo thời gian và các xung phát ra phải được thực hiện trong một khoảng thời gian rất ngắn (cấp picosecond), ngay cả với các thành phần điện tử có độ chính xác cao nhất, rất khó để đạt được độ chính xác milimet. Do đó, trong lĩnh vực đo cận cảnh, đặc biệt là trong phạm vi 1m, độ chính xác của máy ảnh độ sâu TOF cũng có khoảng cách lớn so với các máy ảnh độ sâu khác, điều này hạn chế ứng dụng của nó trong lĩnh vực độ chính xác cao ở cự ly gần. Máy ảnh ToF có lợi thế nhất định về khoảng cách xa, nhưng nó tương đối đắt tiền và không có thông tin màu sắc.

Độ chính xác của máy ảnh ToF chủ yếu liên quan đến khoảng cách và người ta thường cho rằng nó có thể được ước tính bằng khoảng cách hình ảnh 1%, vì vậy nếu vật được đo cách xa 5 mét, máy ảnh ToF có thể đạt được độ chính xác 5 cm. Và độ chính xác của máy ảnh lập thể hai mắt là khoảng cách hình ảnh khoảng 5-10%, kết cấu máy ảnh ánh sáng là độ chính xác cao nhất, có thể đạt tới 1mm.

Mở rộng: Radar quang học có thuộc loại thời gian bay không

Radar quang học (LiDAR), còn được gọi là Máy quét laser ToF (ToF Laser Scanner), đôi khi còn được gọi là Laser Radar, đo khoảng cách của vật thể được đo bằng cách bắn xung laser ở nhiều góc vào môi trường xung quanh. Ngoài ra, radar quang học còn đo cường độ ánh sáng phản xạ để phản ánh chi tiết hơn về vật được đo trên bản đồ độ sâu. Ngoài ra, 3D ToF cũng có thể được coi là một công nghệ LiDAR không có máy quét.

BệnhTầm nhìn-T MiniMáy ảnh 3D

Với công nghệ 3D Time of Flight (TOF) 3D, SICK Visionary-T Mini 3D Camera cho phép vỏ nhỏ gọn và các ứng dụng tự động hóa chất lượng dữ liệu tuyệt vời của robot, phương tiện vận chuyển và hậu cần mà không có dữ liệu đo khoảng cách 2D và 3D chính xác và đáng tin cậy. Ngoài ra, ngay cả khi không gian lắp đặt hẹp, hệ thống trực quan cũng có thể dễ dàng tích hợp vào thiết kế máy tương ứng. Dòng sản phẩm máy ảnh 3D SICK Visionary-T Mini kết hợp hiệu suất cao với thiết kế cấu trúc nhỏ gọn và hiệu quả chi phí cao. Ngoài ra, cảm biến thị giác 3D có thể cung cấp bản đồ phân tán hai chiều và ba chiều chi tiết với mật độ điểm ảnh cao để phân tích dữ liệu. Chế độ chạy tự động giúp đơn giản hóa việc tích hợp máy và đảm bảo hoạt động dễ dàng hơn.

Về Trí tuệ Hạo Ai

Haohai Smart là một đại lý chuyên nghiệp của SICK Đức trong lĩnh vực thị giác 3D ở Trung Quốc.

Hạo Ngải thông minh tập trung cung cấp giải pháp tổng thể thị giác máy 3D, góp phần nâng cao trình độ chế tạo thông minh và nâng cấp ngành nghề của Trung Quốc!

Hiện nay, chúng tôi có một nhóm kỹ sư ứng dụng thị giác máy 3D và kỹ sư nghiên cứu phát triển thuật toán có trình độ cao, có khả năng đánh giá dự án thị giác máy hoàn chỉnh và khả năng phát triển thuật toán cốt lõi cơ bản. Giải pháp tổng thể thị giác máy 3D của chúng tôi đã được thực hiện thành công trong nhiều lĩnh vực như pin điện, ngành công nghiệp ô tô, điện tử tiêu dùng, thiết bị gia dụng màu trắng, kiểm tra đường ray và đã tích lũy được nhiều ứng dụng dự án thị giác máy 3D và kinh nghiệm phát triển phần mềm!

Haohai thông minh sản phẩm chính: 3D máy thị giác tổng thể giải pháp, bao gồm cấu trúc máy ảnh 3D ánh sáng, máy ảnh quét dây laser, cảm biến đường viền laser SICK 3D, máy ảnh TOF, hệ thống đo lường 3D độ chính xác cao, hệ thống định vị hướng dẫn thị giác, hệ thống chụp vô trật tự, vv, có thể đạt được độ phẳng, chênh lệch chiều cao, đo vị trí, phát hiện khuyết tật lõm và lồi, phát hiện đường keo, đánh bóng robot hướng dẫn thị giác, lắp ráp định vị phôi robot hướng dẫn thị giác, chụp vô trật tự phôi và các chức năng khác.