Systemy wizyjne cz.

2
- akwizycja obrazu

dr hab.inż. Marcin Iwanowski

SyWi 2
1

Akwizycja obrazu

• Rejestracja obrazu
• Budowa systemu wizyjnego
• Cyfrowa reprezentacja obrazu
• Kolor
• Zakłócenia obrazu

Drugi moduł jest poświęcony zagadnieniom pozyskiwania obrazu cyfrowego. Omówione zostaną
zagadnienia rejestracji obrazu, struktury systemu wizyjnego, a także cyfrowej reprezentacji obrazu tj.
postaci obrazu jaka jest niezbędna do jego cyfrowej obróbki. W osobnych podpunktach zostaną omówione
zagadnienia reprezentacji koloru oraz różnego rodzaju zakłóceń jakie mogą się pojawić w
zarejestrowanym obrazie.
Na początek – rejestracja obrazu…

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 2

1
 Rejestracja obrazu
• Podstawowym elementem urządzenia rejestrującego (np. kamery)
jest matryca elementów światłoczułych
• W typowych zastosowaniach stosuje się dwa rodzaje matryc:
– CCD
– CMOS
• Struktura:
– Jednowymiarowa (linijka światłoczuła, np. skaner)
– Dwuwymiarowa (klasyczna matryca)
• Matryca rejestruje natężenie światła monochromatycznego, kolor
uzyskujemy przez użycie specjalnych filtrów lub zwielokrotnienie
matryc
• W specjalizowanych zastosowaniach stosuje się spektrometry
(rejestracja wielu zakresów promieniowania) lub specjalizowane
detektory promieniowania w odpowiednich zakresach

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 3

Matryce CCD
• Opracowane pod koniec lat 60-tych XX w. ang.
„charge-coupled device”
• Wykorzystują tzw. efekt fotoelektryczny wewnętrzny
• Składają się z matrycy pojedynczych elementów
światłoczułych
• Jeden przetwornik ładunku na napięcie i jeden A/C
• Matryca odczytywana sekwencyjnie, element po
elemencie (strumień danych)
• Większy pobór mocy – większe (od układów CMOS)
zużycie energii, szybsze nagrzewanie
• Większy współczynnik wypełnienia (stosunek
powierzchni światłoczułej do powierzchni matrycy
• Większa czułość, mniejsze szumy

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 4

2
 Matryce CMOS
• ang. „complimentary metal-oxide semiconductor”
• Każdy element ma osobny przetwornik
ładunek/napięcie czasami nawet każdy element ma
swój własny przetwornik A/C
• możliwy odczyt adresowany i równoległy –
wszystkich pikseli jednocześnie (rozwiązanie szybsze
niż CCD)
• mniejszy (niż CCD) współczynnik wypełnienia
(stosunek powierzchni rejestrującej światło do
powierzchni matrycy)
• Mniejsza (niż CCD) czułość, większe szumy ale
mniejsze zużycie prądu

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 5

Akwizycja obrazu RGB

• Elementy matrycy są monochromatyczne
• Aby uzyskać kolor stosuje się
– Trzy matryce + pryzmat: R,G,B (3CCD)
– Filtr Bayera
Matryca rejestruje obraz monochromatyczny. Dla uzyskania
obrazu kolorowego stosuje najczęściej jedno z dwóch
rozwiązań. Pierwsze z nich to układ trzech matryc z zestawem
optycznym rozdzielającym światło na trzy składowe, z których
każda trafia do odrębnej matrycy. Takie rozwiązanie jest
skomplikowane konstrukcyjnie (układ optyczny, precyzyjna
kalibracja, trzy matryce) a układ zajmuje stosunkowo dużo
miejsca. Dlatego częściej stosuje się inne, prostsze
rozwiązanie – filtr Bayera. Polega ono na wyposażeniu
każdego elementu światłoczułego w filtr przepuszczający
światło o jednej z trzech barw podstawowych (czerwonej,
zielonej, niebieskiej). Barwy filtrów tworzą regularną siatkę,
jak na rysunku z lewej strony. Każdy piksel rejestrowany
przez matrycę zawiera więc informację o natężeniu światła w
jednej z trzech barw podstawowych. Barwa zielona jest przy
tym podwojona – liczba pikseli zawierających informację o tej
barwie jest dwa razy większa od liczby pikseli w każdej z
pozostałych dwóch barw. Dzięki podwojeniu liczby „pikseli
zielonych” w stosunku do pozostałych możliwe jest regularne
wypełnienie matrycy jednolitym wzorcem. Podwojenie właśnie
barwy zielonej jest spowodowanej jej znaczeniem dla
percepcji barwy przez oko ludzkie – większym od pozostałych.
Obraz o pełnej informacji o barwie uzyskuje się w przypadku
stosowania filtru Bayera poprzez czterokrotną (tj. dwukrotną
wzdłuż obu osi) redukcję liczby pikseli obrazu. Wówczas piksel
po redukcji składa się z czterech sąsiadujących pikseli
matrycy, które łącznie zawierają komplet informacji o kolorze.
Alternatywne rozwiązanie polega na utrzymaniu oryginalnej
rozdzielczości i interpolowaniu brakujących wartości
składowych na podstawie znanych sąsiadów.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 6

3
 Sposób odczytu pikseli i migawka
● Stosuje się dwa sposoby odczytu wartości pikseli w
matrycy światłoczułej:
● Z przeplotem – przeplot polega na
naprzemiennym odczycie parzystych i
nieparzystych linii obrazu.
● Bez przeplotu – odczytywane są wszystkie linie
obrazu po kolei
● Migawka:
● global shutter (migawka globalna) – jednoczesny
odczyt wszystkich pikseli matrycy
● rolling shutter (migawka postępowa) –
sekwencyjny odczyt kolejnych wierszy pikseli
matrycy, linia po linii
● Efekt „jello” – zniekształcenie występujące dla
odczytu sekwencyjnego przy szybkim ruchu w
obrębie sceny – poruszanie linii odczytu nakłada się
na ruch poruszającego się obiektu

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 7

Oświetlenie
• Jeśli tylko mamy możliwość doboru oświetlenia to Oświetlenie sceny wizyjnej ma
kluczowe znaczenie dla jakości
należy z niej korzystać ! pozyskanego obrazu. Z punktu
widzenia oświetlenia można
• Taką możliwość mamy w systemach przemysłowych ! wyróżnić trzy rodzaje
systemów wizyjnych: 1. takie,
• Różne rodzaje oświetlenia (sposób padania światła): w których nie mamy wpływu na
oświetlenie sceny wizyjnej (np.
– Światło rozproszone teledetekcja, systemy mobilne
– np. kamery zainstalowane na
– Światło odbite (kierunkowe) samochodzie, systemy
monitoringu) 2. systemy w
– Światło zaabsorbowane (tylne) których oświetlenie jest ściśle i
precyzyjnie określone (np.
systemy biomedyczne) oraz 3.
takie, w których projektant ma
możliwość doboru oświetlenia.
Do takich systemów zaliczamy
systemy przemysłowe. Dzięki
tej możliwości jakość obrazów
w systemach przemysłowych
jest wysoka. Dlatego nie
zachodzi w nich konieczność
np. przetwarzania wstępnego w
Źródło: www.keyence.com celu redukcji efektu zmiennego
oświetlenia sceny (co ma
miejsce np. w systemach
monitoringu).

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 8

4
 • Służą do precyzyjnego oświetlenia Oświetlacze
sceny wizyjnej
• Do różnych celów stosujemy różnego
rodzaju oświetlacze:

Źródło: www.keyence.com
– Pierścieniowe
– Kopułkowe
– Liniowe
– Punktowe
– Tylne
• Światło białe lub o określonej barwie
(np. czerwień – detekcja w
podczerwieni)
• Najpopularniejsze obecnie źródło
światła: LED
W zależności od kształtu obiektu, jego własności fizycznych oraz efektu przetwarzania stosuje się różne oświetlacze.
Dają one możliwość uzyskania praktycznie dowolnego pożądanego oświetlenia sceny wizyjnej. Przykładowo – jeśli
badaniu podlega jedynie kształt obiektu, zaś jego faktura widziana od strony kamery nie ma znaczenia, to dobrym
pomysłem jest oświetlenie obiektu od tyłu. Wówczas obraz zawiera dobrze skontrastowany ciemny obiekt na bardzo
jasnym tle. Kształt obiektu może być wtedy bardzo łatwo pozyskany przez prostą binaryzację obrazu. Jeśli natomiast
ważna jest faktura obiektu, lub np. znajdujące się na nim napisy, oświetlenie tylne nie zda egzaminu. W takiej sytuacji
lepsze, zwłaszcza jeśli faktura obiektu jest nierównomierna, jest oświetlenie przednie bezcieniowe (oświetlacz
pierścieniowy umieszczony dookólnie wokół obiektywu). Pod podanym wyżej linkiem można znaleźć interaktywne
narzędzie internetowe dzięki któremu można zobaczyć jak zmienia się scena wizyjne zawierająca kilka przykładowych
obiektów oświetlanych na różne sposoby.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 9

Rozmiar/rozdzielczość obrazu
• Rozmiar obrazu – wielkość w pikselach Rozmiar obrazu i jego
rozdzielczość należy zawsze
• Rozdzielczość – liczba pikseli na jednostkę długości/powierzchni rozpatrywać w odniesieniu do
celu przetwarzania. Z punktu
• Współczesne kamery oferują duży zakres dostępnych rozmiarów widzenia dalszego
obrazu, aż do wielu milionów pikseli, także o dużych przetwarzania korzystne jest
by rozmiar obrazu był jak
rozdzielczościach najmniejszy, dzięki czemu
nakłady obliczeniowe na jego
• Ale im większy rozmiar obrazu tym bardziej czasochłonne przetwarzanie będą mniejsze.
przetwarzanie ! Jednak z drugiej strony
kluczowe jest spełnienie
• Dlatego: rozmiar obrazu powinien być jak najmniejszy, ale wymagań projektowych
gwarantujący osiągnięcie założonych celów przetwarzania odnoszących się do pożądanej
dokładności.
Przykład obok pokazuje trzy
obrazy tego samego obiektu w
różnych rozdzielczościach. Jeśli
celem przetwarzania jest
lokalizacja obiektu, najniższa
rozdzielczość może w
zupełności wystarczyć. W
przypadku natomiast, gdy jego
celem jest pomiar powierzchni
to niezbędne będzie
wykorzystanie obrazu o
większej rozdzielczości – jakiej,
Źródło: www.keyence.com to już zależy od pożądanej
dokładności pomiaru.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 10

10

5
 Kamera kolorowa/monochromatyczna
• Kamera monochromatyczna:
– Prostsza konstrukcja matrycy
– Możliwa rejestracja tylko jasności
– Identyfikacja kształtów/położenia
– Szybsze przetwarzanie obrazów
• Kamera kolorowa:
– Specyficzna konstrukcja matrycy (zwielokrotnienie lub filtr)
– Możliwa rejestracja koloru (3 składowe: RGB, HSV, itp.)
–

Źródło: www.keyence.com
Identyfikacja z wykorzystaniem barwy
– Wolniejsze przetwarzanie (3 kanały w miejsce jednego)

Wykorzystanie koloru pozwala np. na

wykrywanie różnego rodzaju materiałów
wykorzystanych do produkcji tego samego
produktu (z lewej: śruby przed i po
galwanizacji)

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 11

11

Akwizycja obrazu

• Rejestracja obrazu
• Budowa systemu wizyjnego
• Cyfrowa reprezentacja obrazu
• Kolor
• Zakłócenia obrazu

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 12

12

6
 Rejestracja Pamięć obrazu
System wizyjny
Wynik Procesor

• Urządzenia zintegrowane
– Kamera i jednostka przetwarzająca jako jedno urządzenie Pamięć programu

• Systemy specjalizowane modułowe

– Kamera połączona ze specjalizowanym układem procesora obrazu
• Systemy wykorzystujące typowy komputer PC
– Obrazy otrzymywane poprzez sieć
– Obrazy wczytywane z pamięci masowej
– Obrazy pobierane bezpośrednio z kamery przez interfejs ogólnego
stosowania (np. USB, Ethernet)
– Kamera podłączona do komputera przez kartę frame-grabber
Z uwagi na duże zróżnicowanie systemów wizyjnych trudno jest określić typową strukturę systemu wizyjnego. Jako wspólny
mianownik wszystkich systemów wizyjnych można uznać dwuelementową ich strukturę, w ramach której można rozróżnić
urządzenie rejestrujące obraz (na ogół kamera, ale może też być to np. spektroskop) oraz jednostkę, na której wykonywane są
operacje przetwarzania i analizy obrazu. Jednostką tą może być specjalizowany procesor wizyjny, ale także komputer.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 13

13

Przykładowy system zintegrowany

Złącza we/wy
W systemach zintegrowanych jednostka
przetwarzająca obraz (procesor wizyjny)
jest zintegrowany z kamerą. Obie części
są umieszczone w pojedynczej
obudowie. Komunikacja z innymi
urządzeniami (np. interfejsami IO,
nadrzędnymi systemami nadzoru np. linii
produkcyjnej) następują z
wykorzystaniem sieci (np. Ethernet).
Urządzenia takie są programowane z
wykorzystaniem odpowiedniego
oprogramowania instalowanego na
komputerze komunikującym się z
systemem zintegrowanym poprzez sieć.
Choć obraz pozyskiwany przez kamerę
Źródło: www.dvt.com

może być z niej pobierany w czasie

rzeczywistym, to nie jest to konieczne,
gdyż, dzięki układowi przetwarzającemu,
pożądane operacje wykonywane są w
samym urządzeniu, a komunikacja
sprowadza się do wymiany sygnałów
sterujących oraz rezultatów
przetworzenia obrazu. Może mieć to
postać np. sygnału wysyłanego do
siłownika usuwającego z linii
produkcyjnej produkt wadliwy, przy czym
wadliwość jest oceniana przez stosowny
algorytm uruchomiony na urządzeniu
zintegrowanym.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 14

14

7
 Przykładowy system modułowy

Źródło: www.keyence.com
Sterowanie oświetleniem moduł procesora wizyjnego moduł podłączenia większej liczby kamer

Alternatywnym rozwiązaniem jest odrębna jednostka przetwarzająca, do której są podłączane kamery. Tego typu architektura
jest bardziej uniwersalna: jednostka centralna (moduł procesora wizyjnego) może być rozszerzana przez kolejne moduły np.
interfejsy we/wy, moduły umożliwiające podłączenie większej liczby kamer itp.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 15

15

Komunikacja
We współczesnych systemach wizyjnych
o Kamera – jednostka przetwarzająca (komputer, procesor wizyjny) komunikacja zajmuje istotne miejsce,
przy czym zagadnienia te mają różną
o Jednostka przetwarzająca – nadrzędny system sterowania wagę dla różnych rodzajów systemów.
o Interfejsy uniwersalne (cyfrowe) Przykładowo w systemach
mikroskopowych biomedycznych
• IEEE 1394 (FireWire) komunikacja sprowadza się do
połączenia mikroskopu z komputerem.
• Ethernet Na drugim biegunie są systemy
• USB przemysłowe, gdzie system wizyjny
funkcjonuje w ramach większego
• RS232 systemu nadzoru produkcji o
o Interfejsy przemysłowe (cyfrowe) komponentach połączonych interfejsami
sieciowymi.
• RS422 Także i sama kamera może być
• PROFIBUS/PROFINET połączona z jednostką przetwarzającą
przy pomocy różnych interfejsów: od
o Interfejsy analogowe najprostszego USB, przez złącze Fire
• Kabel koncentryczny (BNC) Wire, Ethernet aż do WiFi. Kwestie
komunikacyjne mają duże znaczenie w
• Złącza przekaźnikowe
systemach czasu rzeczywistego, w
których kluczowe jest pozyskanie każdej
Źródło: www.keyence.com

klatki obrazu w określonej chwili

czasowej. W takich sytuacjach często
rezygnuje się z wykorzystywania złącz
uniwersalnych na rzecz specjalizowanych
i kart typu frame-grabber.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 16

16

8
 Specjalizowane procesory obrazu
/systemy wbudowane
• Specjalizowane procesory wizyjne
– Jednostki obliczeniowe zaprojektowane specjalnie dla obróbki obrazów cyfrowych
– Wykorzystują mikrokontrolery lub mikroprocesory
– Możliwość programowania lub jedynie doboru parametrów algorytmów wgranych przez
producenta
– Przetwarzanie obrazów z wielu kamer
– Możliwość podłączenia komputera: programowanie, nadzór, wizualizacja, emulacja
• Systemy wbudowane
– Samodzielne urządzenia przetwarzające ogólnego stosowania
– Możliwości porównywalne z dobrymi komputerami PC, ale także jednostki o dużych
mocach obliczeniowych
– Coraz częściej konstruowane w oparciu o procesory graficzne z możliwością
przetwarzania równoległego (np. wykorzystujące architekturę nVidia CUDA)
– Uniwersalne !

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 17

17

Komputer jako jednostka

przetwarzająca obraz

• Kamera podłączona bezpośrednio lub przez specjalizowaną kartę

akwizycji obrazu (frame-grabber)
• Niezbędne odpowiednie oprogramowanie komputera
• Konieczny właściwy dobór sprzętu i konfiguracja – szybkość, praca w
czasie rzeczywistym
• Często komputer dedykowany jedynie do przetwarzania obrazu on-line.
• W specjalnych zastosowaniach (np. linia produkcyjna) – komputery
przemysłowe, większa trwałość, odporność na szkodliwe warunki pracy
itp

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 18

18

9
 Karty frame-grabber

• Przetwarzają cyfrowy (kiedyś: analogowy) sygnał z kamery na sygnał

cyfrowy do dalszego przetworzenia przez komputer
• Umożliwiają podłączenie jednej lub więcej kamer
• Bardziej zaawansowane rozwiązania – zawierają procesory wizyjne, układy
FPGA itp.
• Pozwalają na wykonywanie prostych operacji przetwarzania obrazu
• Przy kamerach podłączanych interfejsem uniwersalnym (np. USB) – mogą
nie być potrzebne
• Jednak podłączenie przez odrębny interfejs ułatwia kontrolę nad sygnałem
z kamery, co ma niebagatelne znaczenie np. w przypadku systemów czasu
rzeczywistego

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 19

19

Oprogramowanie (1)
• Narzędzia programistyczne
• Spora liczba narzędzi komercyjnych (np. Matrox MIL)
• Biblioteki procedur obsługi akwizycji obrazu i metod przetwarzania obrazu
– do wykorzystania we własnym programie (najczęściej C, C++, ostatnio
Python), np. openCV:
– Sprawdzona w wielu zastosowaniach
– Rozwijana od kilkunastu lat
– Łatwa w użyciu
– Darmowa !
• Środowiska pracy z interfejsem użytkownika np. MATLAB :
– Znane środowisko symulacyjne (Unix i Win)
– Łatwość korzystania (tryb linii komend)
– Możliwość tworzenia aplikacji okienkowych
– Zestaw procedur przetwarzania i rozpoznawania obrazów (IP Toolbox)
– Interfejs współpracy z kamerą w czasie rzeczywistym

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 20

20

10
 Oprogramowanie (2)
• Programy do obsługi konkretnych urządzeń
• Nie wymagają znajomości programowania

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 21

21

Akwizycja obrazu

• Rejestracja obrazu
• Budowa systemu wizyjnego
• Cyfrowa reprezentacja obrazu
• Kolor
• Zakłócenia obrazu

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 22

22

11
 Kwantyzacja i próbkowanie

Scena wizyjna rejestrowana przez odpowiedni sensor jest przetwarzana do postaci rastra – siatki regularnie rozmieszczonych
punktów nazywanych pikselami lub wokselami. Jako, że finalna reprezentacja jest reprezentacją cyfrową, sekwencja działań
składa się z dwóch – dobrze znanych z przetwarzania sygnałów – operacji. Pierwsza z nich to próbkowanie, dzięki któremu
powstaje macierz wartości pomiarowych natężenia promieniowania w ściśle określonych i regularnie rozmieszczonych
obszarach sceny wizyjnej. Z kolei kwantyzacja powoduje, że zmierzone wartości natężenia przyjmują postać liczb całkowitych z
ustalonego zakresu.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 23

23

Na marginesie …
• Ciekawostka - obrazy cyfrowe
rastrowe są starsze niż komputery
cyfrowe !
• Urządzenia do transmisji zdjęć przez
Atlantyk w latach 20-tych XX wieku
(komputery cyfrowe to koniec lat
50ptych XX w.)
• Obrazy kodowane i przesyłane przy
pomocy linii telegraficznej
• 5 odcieni szarości (kwantyzacja),
obraz podzielony na punkty/piksele
(próbkowanie)
• transmisja pojedynczego zdjęcia (jak
na dzisiejsze standardy – bardzo
niskiej jakości) trwała 3 godziny

Ilustracje pochodzą z materiałów do książki

R.Gonzales R.Wood Digital Image Processing
http://www.imageprocessingplace.com

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 24

24

12
 Typy danych obrazowych
• Obrazy rastrowe
• Podział ze względu na typ piksela: Typ obrazu zależy od jego źródła z jednej
– binarne (piksel przyjmuje wartość 0 lub 1) strony, a przeznaczenia – z drugiej.
– wielowartościowe, w odcieniach/skali szarości (piksel jest Obraz cyfrowy jest odwzorowaniem
liczbą, skalarem) zbioru współrzędnych punktów obrazu w
zbiór wartości tych punktów.
– o wartościach wektorowych, np. kolorowe (piksel jest Obrazy cyfrowe można podzielić
wektorem) zarówno ze względu na typ i rozmiar
danych tworzących każdy z tych dwóch
zbiorów. Stąd podział ze względu na typ
piksela i na rozmiar przestrzeni obrazu.
Źródło DOI:10.1115/1.4038638

W przypadku obrazów o wartościach

wektorowych, każdy element wektora
odpowiada natężeniu promieniowania w
określonym zakresie widma
promieniowania. W przypadku dużej
liczby pasm (obrazy hiperspektralne)
zakres promieniowania może być
traktowany jako dodatkowy wymiar
obrazu.

• Podział ze względu na rozmiar przestrzeni punktów obrazu: Pojedyncze punkty obrazu rastrowego
zostały nazwane pikselami (z ang.
– obrazy dwuwymiarowe (x,y) piksele/piksle picture element). Wraz z pojawieniem
– obrazy trójwymiarowe przestrzenne (x,y,z) się obrazów trójwymiarowych
rozpowszechniła się nazwa woksele (z
– obrazy trójwymiarowe - sekwencje (x,y,t) woksele/woksle ang. volumetric element)
– obrazy czterowymiarowe - sekwencje przestrzenne (x,y,z,t)

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 25

25

Obraz binarny i w skali szarości

• Obraz binarny: każdy piksel przybiera jedną z dwóch wartości (np. 0 i 1),
może być zapisany w formacie 1 bit/piksel (jest to jednak rzadko
spotykane rozwiązanie)
• Obraz w skali szarości (w odcieniach szarości, szarościowy)
– Liczba bitów:
• 8 bitów (1 bajt) na piksel
• 16 bitów (2 bajty) na piksel
– Ale: oko ludzkie rozróżnia sąsiednie odcienie przy spektrum składającym się z
ok.80 odcieni !

(a) obraz binarny (zbiór)

(b) obraz wielowartościowy
(w odcieniach szarości) -
funkcja 2D
(c) przekrój przez obraz (b)

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 26

26

13
 Histogram
• Histogram jest tablicą opisującą częstość
występowania poszczególnych odcienie szarości
(kolorów) w obrazie
• Algorytm wyznaczania histogramu :
– Dla wszystkich odcieni szarości s wykonuj: h(s)=0
– Dla wszystkich punktów p obrazu I wykonuj
h(I(p))=h(I(p))+1
• I(p) oznacza wartość punktu p
• Histogram jest funkcją dystrybucji jasności w
obrazie
• W przypadku obrazów kolorowych, histogram
jest wyznaczany
– Dla luminancji obrazu
– Dla każdej składowej z osobna (typowe podejście)
– Dla wartości wektorowych (podejście pamięciożerne,
histogram 3D jest dużą strukturą danych)

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 27

27

Obrazy o wartościach wektorowych

• Każdy piksel jest wektorem
• Obrazy wielospektralne – liczba
składowych wektora jest równa
liczbie pasm promieniowania (np.
Landsat – 7 pasm)
• To nie są obrazy wektorowe !
http://gsp.humboldt.edu/OLM/Courses/GSP_216_Online/
lesson3-1/composites.html
źródło: https://seos-project.eu

Obrazami wektorowymi są obrazy składające się z chmury punktów nieregularnej dystrybucji połączonych wektorami (czyli
takie jakie są spotykane w grafice komputerowej). Z kolei, chmury punktów, pierwotnie niepołączone wektorami są efektem
np. skanowania przy użyciu Lidaru. Chmury punktów obu rodzajów, jako pewne przedstawienie pewnej sceny wizyjnej, mogą
być nazywane obrazami w znaczeniu takim jak w przetwarzaniu obrazów cyfrowych. Nie są one jednak obrazami rastrowymi,
gdyż te wymagają regularnego próbkowania przestrzeni.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 28

28

14
 Zapis obrazu
• Obraz w skali szarości i binarny
– Najczęściej 8-bitów na piksel
– Niekiedy więcej – np. 16 bitów (2 bajty) na piksel
• Obraz kolorowy
– Trzy składowe koloru
– Najczęściej RGB:
• 16 bitów (R/G/B = 5/6/5) – 65536 barw
• 24 bity (8-8-8) = 16,7 mln. barw
• 32 bity – z kanałem alfa
• 48 bitów (16-16-16) – bardzo precyzyjne odwzorowanie barw (niuanse barw
nierozróżnialne dla oka)
• Większość standardów zapisu obrazu zapisuje je z kompresją dzięki czemu
obrazy zajmują mniej miejsca. Kompresja może być stratna (większy stopień
kompresji, ale z pogorszeniem jakości obrazu) lub bezstratna (mniejszy stopień
kompresji, bez pogorszenia jakości)
• Standardy BMP, TIFF, PNG…

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 29

29

Paleta kolorów / obraz indeksowany

• Obraz indeksowany jest obrazem kolorowym, ale

informacja o kolorach jest zapisana w odrębnej
strukturze danych – palecie (tablicy) kolorów (barw)
• Piksel obrazu zawiera jedynie indeks elementu tablicy
kolorów
• Liczba dostępnych barw zależy od wielkości tablicy
• Najczęściej:
– 256 kolorów (indeks/piksel 8-bitowy)
– 65536 kolorów (indeks/piksel 16-bitowy)
• Obraz kolorowy zajmuje mniej miejsca, ale kosztem
obecnej w nim liczby barw
• Palety kolorów są wykorzystywane do wizualizacji
Termiczna paleta kolorów
obrazów w skali szarości – np. z zastosowaniem tzw. wizualizacja rozkładu temperatur
palety (skali) termicznej (obraz oryginalnie w skali
szarości)

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 30

30

15
 Akwizycja obrazu

• Rejestracja obrazu
• Budowa systemu wizyjnego
• Cyfrowa reprezentacja obrazu
• Kolor
• Zakłócenia obrazu

Obraz kolorowy jest szczególnym przypadkiem obrazu o

wartościach wektorowych. W jego przypadku każdy piksel jest
na ogół trójelementowym wektorem. Z uwagi na mnogość
modeli barw spotykanych w systemach wizyjnych, zagadnieniu
temu zostanie poświęcony odrębny punkt.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 31

31

Obrazy kolorowe
• Obrazy kolorowe – trzy składowe wektora koloru
(trójchromatyczność oka ludzkiego)
Czopki:

= Typ S – 400-500 nm (niebieski)

Typ M – 450-630 nm (zielony)
Typ L – 500-700 nm (czerwony)

+
• Trzy barwy podstawowe: czerwona, zielona i niebieska
• Wzorowane na zdolnościach percepcyjnych oka ludzkiego
• Teoria trichromatyczna (Younga-Helmholtza)
• Oko zawiera trzy rodzaje detektorów barwy -czopków, każdy
+ wrażliwy na falę o różnej długości
• Ale mózg kolor opisuje innymi parametrami !
• Model RGB nie jest modelem uniwersalnym, do różnych
zastosowań wykorzystujemy różne przestrzenie kolorów

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 32

32

16
 Modele kolorów
• Kolor opisujemy trójką liczb
• Każdy kolor jest więc punktem w pewnej przestrzeni kolorów
• Są to zatem przestrzenie trójwymiarowe
• Kartezjańskie
– RGB
– CMY, CMYK
– YCrCb, YUV Informacja o kolorze może być zapisana na
wiele sposobów. Trudno jest wyróżnić
pojedynczą, „najlepszą” reprezentację
– CIE… kolorów. Różne reprezentacje barw zostały
bowiem definiowane pod kątem różnych
– Lab zastosowań. Przykładowo, do wyświetlania
obrazu najczęściej stosuje się reprezentację
RGB, do druku CMYK, w kodowaniu YCbCr,
• Walcowe w grafice komputerowej przestrzenie typu
HSV, HLS itp.
– HLS Nazwy model koloru, reprezentacja koloru
(barwna), przestrzeń kolorów w istocie
dotyczą tego samego zjawiska i będą
– HSV stosowane wymiennie

– HSI

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 33

33

• Sześcian RGB
Model RGB
Addytywny model barw chętnie
stosowany w urządzeniach
wyświetlających czy do zapisu
obrazów. Kolor jest uzyskiwany
przez zmieszanie trzech barw
podstawowych: czerwonej (R),
zielonej (G) i niebieskiej (B). Ich
zmieszanie w równych
proporcjach daje odcienie
• Praktyczne realizacje: szarości. Największe natężenie
wszystkich składowych daje w
– Typowa: 24 bitowa - 8 bitów na kolor (true color) efekcie barwę białą, najmniejsze
– „Oszczędnościowa”: 16 bitowa (zerowe) – czarną.
Model jest naturalną
– specjalistyczne: 12 lub 16 bitów na każdą składową konsekwencją teorii
trójchromatycznej.
• Model barw stosowany w urządzeniach wyświetlających
(monitorach) - addytywny

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 34

34

17
 Modele CMY i CMYK
• CMY – trzy kolory podstawowe: turkus (cyjan, ang. cyan), W technikach drukarskich zachodzi
sytuacja odwrotna do tej, która ma
purpura (rodzaj filoletu, ang.magenta), żółty (ang. yellow) miejsce w przypadku wyświetlania
obrazu. O ile podczas wyświetlania,
• Stosowany w drukarkach komputerowych (mieszanie zerowe wartości w poszczególnych
pigmentów) kanałach odpowiadają braku
podświetlenia piksela, a zatem
• Wariant CMYK posiada dodatkową składową czarną (blacK) – barwę czarną (a maksymalne
podświetlenie daje barwę białą), to
wykorzystywane w procesie druku w przypadku druku jest dokładnie
• Model substraktywny (RGB -> addytywny) odwrotnie. Zakładając, że druk jest
wykonywany na białym papierze,
pozycją „wyjściową” jest barwa
biała, zaś maksymalne natężenie
pigmentów daje czerń. Dlatego w
przypadku druku stosuje się model
substraktywny, w którym barwy
podstawowe (zółty, filetowy i
turkusowy) są barwami
dopełniającymi modelu RGB; żółty
powstaje ze zmieszania czerwieni i
zieleni, fioletowy – czerwieni i
niebieskiego, zaś turkus – zieleni i
niebieskiego.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 35

35

Kanały CMY, CMYK

C M Y

K C M Y
Marcin Iwanowski SyWi 2 - Akwizycja obrazu 36

36

18
 Separacja barw
• Przygotowanie do druku – separacja barw
• Realizowane przez sterownik drukarki lub
przez specjalizowane oprogramowanie
• Mieszanie pigmentów zmniejsza jasność
(substraktywność) -

Dodatkowy kanał – czarny w modelu CMYK nie niesie w sobie żadnej nowej
informacji ponad tą, która jest zawarta w kanałach C,M oraz Y. Jest on
stosowany z dwóch powodów. Po pierwsze, poprawia jakość reprodukcji
odcieni szarości. W zwykłym modelu CMY każdy odcień szarości powstaje
przez zmieszanie wszystkich trzech pigmentów w równych proporcjach. W
praktyce oznacza to zmieszanie np. trzech porcji atramentu, każda w innej Separacja CMY Separacja CMYK
barwie podstawowej, co – przy nawet drobnych niedoskonałościach budowy
dysz, poziomów atramentu, mogłoby skutkować uzyskaniem – minimalnych
różnic w proporcjach tuszu. W efekcie, uzyskany na wydruku odcień szarości 𝑐, 𝑚, 𝑦 → (𝐶, 𝑀, 𝑌, 𝐾)
mógłby mieć lekkie naleciałości innych barw co pogorszyłoby jego jakość.
Druga przyczyna jest oszczędnościowa. W sytuacji gdy większość wydruków to
wydruki w skali szarości, zastosowanie odrębnego pigmentu czarnego obniża
𝐾 = min 𝑐, 𝑚, 𝑦 ; 𝐶 = 𝑐 − 𝐾;
koszty eksploatacji.
𝑀 = 𝑚 − 𝑘; 𝑌 = 𝑦 − 𝐾
Marcin Iwanowski SyWi 2 - Akwizycja obrazu 37

37

Model Lab

• Model Lab jest przedstawicielem rodziny modeli, w których występują składowa

luminancji (jasności) oraz dwie składowe, w których zapisana jest informacja o
kolorze – chrominancje
• Istnieje kilka wariantów tej przestrzeni (CIELab, L*a*b*)
• Wartości chrominancji zawierają w sobie informacje na temat odcienia barwy i
nasycenia
• Chrominancja „a” – barwy od zieleni do fioletu, „b” – od niebieskiego do żółtego

L a b

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 38

38

19
 Modele YUV, YCrCb
• Inne warianty przestrzeni z luminacją i chrominancjami:
jedna składowa (Y) jest luminancją (jasnością) i niesie w
sobie informację o intensywności promieniowania (bez
uwzględniania barwy)
• Pozostałe dwie składowe to chrominancje, zawierają
informacje o barwie
Y

• Zastosowanie: analogowa TV, kompresja JPEG

Cb
Historia modeli YUV i YCbCr sięga czasów początków rozwoju analogowej telewizji kolorowej.
Zastanawiano się wówczas jak, do już transmitowanego sygnału telewizji czarno-białej (luminancji)
dodać informację o kolorze. Idealnie nadają się do tego celu chrominancje. Co więcej ponieważ
wrażliwość oka ludzkiego na jasność jest większa niż na barwę (czułość pręcików w oku jest większa
niż czułość czopków) to sygnał chrominancji mógł być transmitowany w mniejszej rozdzielczości niż
sygnał luminancji. Wprawdzie obecnie analogowa transmisja telewizyjna nie jest już realizowana –

Cr
pojawiły się dużo wydajniejsze i gwarantujące wyższą jakość transmisji systemy cyfrowe, to
podobne techniki są stosowane w standardach stratnej kompresji obrazów (np. standard jpg).
Jednym z mechanizmów ograniczenia liczby danych jest redukcja rozdzielczości składowych
chrominancji.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 39

39

Gamut
• Gamut – zakres dostępnych dla danego urządzenia barw
(możliwych do wyświetlenia lub wydruku)
• Prezentowany na diagramie chromatyczności (diagram
2D – nie pokazuje jasności koloru) w referencyjnej
przestrzeni barw CIE XYZ Gamut jest definiowanych do
poszczególnych urządzeń
rejestrujących obraz i go
wyświetlających lub
drukujących – kamer,
monitorów i drukarek.
Porównując gamuty
urządzenia rejestrującego i
prezentującego dany obraz
można określić np. jakie
zakresy barwne
zarejestrowanego obrazu
mogą nie zostać poprawnie
zaprezentowane (bo znajdują
się poza gamutem)

ten trójkąt to gamut

pewnego urządzenia – tylko
ten zakres barwny jest
poprawnie wyświetlany
(szary obszar to zakres
rejestrowany ludzkim
okiem)
Marcin Iwanowski SyWi 2 - Akwizycja obrazu 40

40

20
 Model HSV
• Model nawiązuje do percepcji koloru przez ludzki mózg
• Przestrzeń walcowa – jedna współrzędna jest kątem
• Trzy współrzędne: Model HSV jest przedstawicielem rodziny
modeli, w których każdy kolor jest
– barwa (ang Hue) – kąt ! przedstawiony jako punkt w walcowym
układzie współrzędnych, gdzie jedna
– nasycenie (ang. Saturation) współrzędna jest kątem. Współrzędną tą
– wartość (ang. Value), intensywność (ang. Intensity) jest barwa. Modele z tej rodziny nazywane
są modelami percepcyjnymi. Nazwa bierze
• Zastosowanie: grafika komputerowa się stąd, iż składowe koloru odpowiadają
właściwościom koloru uwzględnianym w
• Inne tego typu przestrzenie: procesie percepcji barwy przez ludzki
– HLS mózg. Modele te są w pewnym sensie
rozwinięciem modeli luminancyjno-
– HSI chrominancyjnych, z pozostawieniem
składowej luminancji ale z innym
sposobem zapisu informacji o barwie.
Zapis ten uwzględnia dwie cechy koloru,
które są naturalnie interpretowane przez
mózg – barwę i nasycenie.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 41

41

Kanały HSV

H S V

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 42

42

21
 Chmury punków w przestrzeniach kolorów
• Każdy obraz kolorowy można przedstawić jako chmurę punktów w przestrzeni
barw (kolorów)
• W zależności od przestrzeni chmury te mają różne postaci
• Taka reprezentacja jest wykorzystywana np. w segmentacji koloru, tj.
wyodrębnianiu z obrazu kolorowego obszarów o określonym kolorze i zapisywaniu
ich w postaci obrazu binarnego
• Przykładowe chmury punktów w czterech różnych przestrzeniach dla tego samego
obrazu kolorowego:

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 43

43

Akwizycja obrazu

• Rejestracja obrazu
• Budowa systemu wizyjnego
• Cyfrowa reprezentacja obrazu
• Kolor
• Zakłócenia obrazu

Choć dąży się do tego, by obraz cyfrowy był jak najwyższej jakości, to w praktyce
istnieje szereg czynników, które mogą wpływać na jego faktyczną jakość.
Czynnikami tymi są szumy, zniekształcenia geometrii obrazu, jego jasności, czy też
artefakty powstające w wyniku zastosowanej kompresji stratnej. W ostatnim
punkcie tego modułu omówione zostaną czynniki zakłócające obraz i pogarszające
jego jakość.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 44

44

22
 Szumy termiczny, śrutowy i kwantyzacji
W procesie pozyskiwania i
transmisji obrazu mogą
pojawić się różnego
rodzaju zakłócenia. Mogą
one być na tyle duże, że
ich obecność uniemożliwia
wykonanie żądanej operacji
na obrazie (np. jeśli
wielkość zakłóceń jest
porównywalna z wielkością
wykrywanych na obrazie
• Szum termiczny obiektów). Mogą być też i
takie, które wymagają
– matryca wytwarza ciepło, które pobudza swobodne elektrony. Elektrony zastosowania odpowiednich
te są nierozróżnialne od elektronów pochodzących ze zjawiska mechanizmów
fotoelektrycznego korekcyjnych na etapie
– im dłuższa ekspozycja, tym szum większy przetwarzania obrazów.
Mogą w końcu, co jest
• Szum śrutowy zdecydowanie najlepszym
– wynika ze zmian w liczbie fotonów wykrytych w elemencie światłoczułym w rozwiązaniem, być na tyle
jednostce czasu małe, że nie muszą być
brane pod uwagę przy
– im więcej światła, tym większy stosunek sygnału do szumu projektowaniu metody
przetwarzania i analizy
• Szum kwantyzacji obrazu.
Na slajdzie wymienione są
– wynika z błędów zaokrągleń wartości sygnału analogowego podczas trzy rodzaje szumu
kwantyzacji podzielone ze względu na
ich charakter fizyczny.
– najczęściej pomijalny jako niewielka składowa całkowitego szumu

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 45

45

Modele szumów
• Szum addytywny
– Losowa wartość jest dodawana do pikseli obrazu
– Typowy przykład: szum Gaussa – dodawana wartość posiada
rozkład Gaussa Szumy na poprzedniej stronie
– Używany do modelowania m.in. szumu śrutowego i termicznego były pogrupowane pod
względem ich źródła i cech
• Szum multiplikatywny „fizycznych”. Wymienione po
lewej stronie rodzaje szumu
– Piksele obrazu są mnożone przez pewną, losową wartość są efektem innej klasyfikacji –
• Szum typ sól i pieprz pod względem modeli
matematycznych używanych
– Do obrazu są dodawane w losowych miejscach piksele o do opisu szumów.
skrajnych wartościach (dotychczasowa wartość losowo
wybranego piksela jest zastępowana przez wartości skrajne)
– Używany do modelowania np. uszkodzonych pikseli matrycy

szum Gaussa szum typu sól i pieprz

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 46

46

23
 Zniekształcenia geometryczne
• Zmiany geometrii obrazu spowodowane przechodzeniem światła przez zróżnicowane ośrodki
po drodze od elementu sceny wizyjnej do detektora
• Czynniki zakłócające geometrię:
– Krzywizna sceny wizyjnej (np. krzywizna powierzchni Ziemi w teledetekcji)
– Falowania powietrza pod wpływem np. temperatury (widoczne przy obserwacjach z dużej
odległości
– Charakterystyka elementów optycznych (np. krzywizna soczewki)
– Defekty elementów optycznych
• Korekcja przy pomocy odpowiednich przekształceń geometrycznych („przesuwanie pikseli”)
• W przypadku zniekształceń obiektywu kamery stosuje się kalibrację kamery, która najczęściej
polega na rejestracji serii zdjęć wzorca kalibracyjnego (w postaci np. szachownicy), a
następnie na analizie obrazów wzorca w celu wykrycia charakterystycznych jego punktów.
Ich położenie jest następnie używane do estymacji parametrów modelu zniekształcenia
geometrycznego obrazu.

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 47

47

Zniekształcenia radiometyczne
• Zmiany jasności/koloru pikseli spowodowane przechodzeniem światła
przez zróżnicowane ośrodki po drodze od elementu sceny wizyjnej do
detektora
• Korekcja poprzez przeliczenie wartości pikseli (bez zmiany ich położenia)
• Usuwane z wykorzystaniem metod punktowych tj. takich w których
wartość piksela jest modyfikowana zgodnie z ustaloną zależnością bez
uwzględniania jego sąsiadów

Źródło: http://gsp.humboldt.edu/olm_2016/courses/GSP_216_Online/lesson4-1/radiometric.html

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 48

48

24
 •
•
Zmniejszenie rozmiaru pliku z danymi obrazowymi
Stopień kompresji – ile razu dane po kompresji mają mniejszą
Kompresja
objętość od danych przed kompresją obrazów
• Kodek – kompresja/dekompresja
• Rodzaje
– Bezstratna – bez utraty jakości obrazu (wartości wszystkich pikseli Ze względu na duże
przed kompresja i po dekompresji są takie same) np. BMP, GIF, rozmiary obrazów, dość
powszechne jest
PNG poddawanie ich
– Stratna – z utratą jakości dzięki czemu uzyskujemy większy kompresji. Dzięki temu
obrazy nie tylko zajmują
stopień kompresji np. JPEG mniej miejsca w pamięci
• Kompresja stratna modyfikuje zawartość obrazu ! masowej, ale także
mogą być szybciej
• Dlatego z punktu widzenia przetwarzania obrazów lepsze są przesyłane. Obrazy
obrazy kodowane bezstratnie lub bez kompresji poddane kompresji
stratnej nie są jednak
tymi samymi, które
zostały zarejestrowane
przez kamerę.
Wprawdzie często –
szczególnie przy niskich
stopniach kompresji –
utrata jakości może być
nawet niezauważalna,
jednak z punktu
widzenia dalszej obróbki
obrazu, może ona je
utrudnić.

jakość: 100 jakość: 50 jakość: 10

stopień kompresji:1,60 stopień kompresji: 10,17 stopień kompresji: 28,62

Marcin Iwanowski SyWi 2 - Akwizycja obrazu 49

49

25