Son zamanlarda, 3 boyutlu görüntü işleme konusu özellikle donanım tarafından domine edilmekle birlikte, yazılım tarafında da hayli gelişmeler olmuş, pek çok farklı uygulama alanı oluşmuştur.

Donanım olarak 3D kameralar, çalışma mantıkları bakımından

• Stereo Vision Kameralar
• Time of Flight Kameralar
• Line Prolile / Sheet of Light (Lazer çizgi) tekniğine göre çalışan kameralar

Gibi gruplara ayrılabilir. Çalışma mantığı nasıl olursa olsun, tipik bir 3 boyutlu kameradan, X-Y ve Z eksen bilgilerini veren Kartezyen görüntüler, Disparity Map / point cloud olarak ifade ettiğimiz her bir pixelin z-mesafesi ile uzayda gerçek konumunu veren resimler elde edilmektedir.

Endüstriyl amaçlarla kullanılan tipik bir 3 boyutlu görüntü işleme yazılımı, 2 boyutlu işlemlere ilave olarak

1. 3D Yüzey Eşleştirmesi : Kutu içinde ya da konveyör üzerindeki parçaların bulunması, her birinin merkez konumlarının ve dönme açılarının belirlenmesi. Robotic Pick and Place dediğimiz robotla tutup yerleştirme uygulamaları genelde bu konuya örnektir.
2. 3D Ölçüm : Sadece X-Y ekseninde değil, Z ekseninde de (genelde yükseklik) ölçüm yapılması. (Saplama gibi parçaların yükseklik kontrolü, göçük ya da kabarıklık hataları, yandan bakıldığında görülmeyen yukarıdan bakılarak ölçülmesi gereken yüzey girinti çıkıntıları vb.)

gibi işlemlerde kullanılırlar. Bazı durumlarda bu işlemlerin bir kısmı kamera tarafında yapılmakla birlikte, genelde dışarıda özgün bir yazılım tarafından yapılması daha projeye özgü, daha gerçekçi sonuçlar verecektir. Çoğu kamera kendi SDK sı ile birlikte gelmektedir fakat bu tür SDK lar ile yapılabilen işlemler ya çok standart ya da çok kısıtlı kalacaktır. Dolayısıyla, gerçek hayatta düzgün olarak çalışabilecek bir 3D uygulaması geliştirebilmek için, hem donanım hem de yazılım tarafına tam olarak hakim olmak gerekmektedir.

3D Yüzey Eşleştirmesi:

2 boyutlu eşleştirme / nesne tanıma işlemind olduğu gibi, 3 boyutlu şekil önce tüm yüzeyleri ile öğretilir. Tüm yüzeyleri öğretmek için ya CAD dosyası, ya da aynı parçanın birden fazla görüntüsü kullanılır. Train işlemine tabi tutulur ve sistem parçanın her noktasını öğrenir. Daha sonra alınan point cloud ile bu öğretilmiş noktalar karşılaştırılır. (Yüzey taraması yapılır) eşleşme miktarına göre, sistem tüm parçanın uzaydaki koordinatlarını ve dönme açılarını çıkartır.

3D CAD dosyasından okunarak 3 boyutlu parçaların modellenmesi

Genellikle kutu ya da konveyör üzerinde giden parçaların, kamera bakış açısına göre sadece tek bir yüzeyleri görünecektir. Sistem, bu görünen yüzeyden eşleşme yapıp, tüm parçayı belirleyebilmelidir.

Yukarıdaki resimde olduğu gibi, parçalar dik, yatık, eğik vb. çok farklı konumlarda gelip, bazen kısmen birbirlerinin üzerine binebilmektedirler. Bu gibi durumlarda bile, tüm parçaların eşleştirilmesi ve yakalanması gerekecektir.

Tipik bir robot uygulamasında, her bir parçanın merkezinin ya da gripper tutma noktasının koordinatları ve dönme açıları belirlenip robota iletilir. Robot bu konumdan parçayı alıp, uygun montaj işlemini gerçekleştirir.

Ölçüm : 3 boyutlu kamera Z bilgisi de verdiği için, yükseklik ölçümü ve gerçek dünya koordinat eksenine uygun ölçümler yapmak mümkün olmaktadır.

Normal 2 boyutlu kameralar pixel cinsinden çalışırlar ve pixel değerlerine karşılık düşen gerçek dünya koordinatlarına (genelde mm) geçebilmek, kalibrasyon dediğimiz zahmetli bir süreci gerektirirler. 3D kameralar genelde, direk gerçek dünya koordinat sisteminde değerler verirler. Bu durumda, gerçek koordinat sistemine göre 3 boyutlu ölçüm yapabilmek mümkün olmaktadır.

Yukarıdaki resimde görüldüğü gibi, 3 boyutlu görüntü işleme çoğu kez robotik uygulamalar ile birlikte düşünülür. Alınan görüntünün, yukarıda bahsedildiği gibi eşleştirilmesi ve merkez ya da tutma noktasının koordinat ve açısı belirlendikten sonra, bu bilgiler robota iletilir. Robot bu bilgilere göre parçayı alır ve işleme tabi tutar (monte eder ya da ilgili istasyona bırakır vb.)

Gerçek hayatta, bu uygulamalar da kendi içinde başka kontroller gerektirmektedir. Parçanın tutma noktasında, gripper tarafından yakalanabilmesi, başka bazı şartlara bağlı olabilir (parçanın etrafının boş olması vb. gibi) İyi bir 3D görüntü işleme yazılımı tüm bu durumları da kontrol etmelidir.