딥러닝과 텐서플로우 (이미지 처리)

- 이미지/비디오 처리 - 

Image / Video BM 이해

2.3 Binary & Gray Image

2.4 Image Histogram : 정규화, 평활화

2.5 Image Blending : 가중 평균

2.6 Image Differencing : 촬영시작 시점

2.7 Chroma Key : 전경과 배경

2.8 Image 원근변환 : 선형변환

2.9 Image Blurring : 뽀샵

2.10 Noise Filter : median filter 

2.11 edge detection : 경계(2차 미분값, 절댓값 큰곳)

2.12 sketch camera : 엣지 / 팽창연산

2.13 morphology : 결점보완

2.14 Image Contour : 같은색, 등고선

2.15 Hough Transform : 직선

2.16 유사이미지 : Hash Matching, Hamming Distance(유사코드)

 

2. 이미지 비디오 자료처리

2.1 이미지 자료

디지털 이미지는 ______로 구성되어 있음.

픽셀(Pixel: Picture Element)

픽셀 : (0~255 사이 정수) 개의 수준을 가짐

- 이미지의 픽셀 수를 의미함.

resolution

[img.show.py or img_show_gray.py]

 

1-1) 이미지 : 2차원 혹은 3차원 행렬

RGB 245* 256*256

0 - Black, 255 - White

컬러 이미지

1-2) 색의 3원색이 결합되어 색깔과 강도를 나타냄

RGB

 

2) 색파장(Hue, Saturation, Value) / 채도(진한정도), 밝기

색파장 : 빨간색 - 0, 보라색 - 360

HSV : H-색상, S-채도, V-밝기

(채도 : 선명도)

이미지를 변환할 때, HSV로 변환 후 처리하는 경우가 많음.

 

2.2 비디오 자료

- 이미지를 시간순서에 따라 배열한 Sequence 집합

비디오 

- 이미지 해상도와 Frame rate fps에 의해 좌우됨

비디오 품질 

- 초당 이미지 수

(많을수록 부드럽지만, 데이터 량이 커짐, fps를 적당히 조절해야 계산량도 줄이고, 적절한 품질을 만들 수 있음)

fps(프레임/초)

1000/fps 로 계산되며 이는 비디오 파일의 재생속도를 조절하는 용도로 사용함.

지연시간

- 이미지 샘플링 처리 가능

- 파일 대신 캠코더 입력을 실시간으로 처리하는 것도 가능함

 

2.3 Binary & Gray Image

- 0 ~ 255만 있는 이미지 (특정 Threshold 값을 기준으로 0 혹은 255로 맵핑 가능)

흑백 이미지

기우시안 필터를 이용한 흑백사진

(Threshold을 픽셀 인접값의 _____ ___ 으로 결정하는 방법)

가중치 평균

ex). 0.21R + 0.72G + 0.07B, 그레이 이미지 확보 가능

 

2.4 Image Histogram

이미지는 숫자, 숫자 히스토그램을 그려 색의 분포를 표현 가능

컬러사진 : R, G, B 채널에 의해 그릴 수 있음

그레이 사진 : 1차원으로 표현 가능함

 

- 특정색의 값과 분포 높이를 파악할 수 있음.

히스토그램

 - 색에 대한 빈도

히스토그램 높이

 

- 이미지 히스토그램이 한 쪽으로 치우쳐 있는 경우, ____ 할 수 있음

- 채널별 최대, 최소값을 구해 0~255 사이로 재 계산

정규화

- 히스토그램의 분포의 표준편차를 크게 하여, 최대한 색의 차이가 벌어져 Contrast가 커지도록 하는 것

평활화

 

- 연산을 통해 강제로 늘려주는 것

Histogram Stretching

- C.D.F.(누적분포)의 개념을 이용한 방법임

Histogram Equalization

 

이미지 RGB 값을 HSV로 변환 후, H는 색을 의미하므로 이를 하나의 히스토그램으로 표현 가능함

빈도의 합이 1이 되도록 변환하면 밀도가 됨

색깔별로 0~1사이의 밀도 값을 얻을 수 있으므로, 노팡/파랑의 밀도값은 크고, 나머지 색은 거의 밀도가 0이 됨

역 투영을 통해 원하는 부분만 Crop/Masking이 가능함

 

좌측 이미지에서 노랑/파랑색 부분 ___ 로 지정하고, ___ 이미지의 히스토그램을 전체 이미지로 역 투영하여 얻은 결과임

___ 에 없는 색은 빈도가 없으므로, 검정색으로 변함

ROI

 

2.5 Image Blending

이미지 브랜딩도 가능함 -> ( ____ )

(가중 평균)

 

2.6 Image Differencing

- 두 이미지의 차이는 틀린 그림 찾기

- 두 도면의 차이를 찾거나, 전자제품의 PCB의 결합을 찾는데도 응용 가능함.

- or 블랙박스 주차모드에서 _____ __ 를 인지할 수 있음

촬영시작 여부

 

2.7 Chroma Key

- 두 이미지에서 전경과 배경을 섞는 예제임

- 영화에서 많이 사용

- 인물사진에서 _____ 을 제거하고, 나머지 값만 추출한 후, _____ 에 더해주면 됨.

초록색 배경 / 배경사진

 

2.8 Image 원근변환

- 촬영하는 각도에 따라 다를 수 있음.

- 대표적으로, 카메라로 문서 스캔을 대신하는 경우

- 가까운 것은 크게 보이고, 먼 곳은 작게 보이는 문제를 해결하는 것

원근 변환

- 이러한 변환은 이미지 좌표계 행렬에 대한 ____ 와 같은 __ __ 을 통해 새로운 좌표를 만들어 내는 원리임.

 Y = AX (와 같은) 선형 변환

 

2.9 Image Blurring

- 흔히 말하는 뽀샵

- 블러링은 우측과 같은 필터를 통해 구현함

 

2.10 Noise Filter

- ______ 는 가중평균 개념이라면, 

가우시안 필터

- 1) ________ 를 사용하여 노이즈를 제거할 수 있음.

median filter

- 2) salt and pepper noise(0, 255 잡음)를 탁월하게 제거함

- 3) (Average Filter에 비해) 연산량이 많음

 

2.11 edge detection

- 이미지에서 영역 경계를 찾는 것은 __과 __을 구분하는 데 많이 사용하는 기법임.

전경과 배경

- 값의 변화가 큰 곳(___________)을 찾아 강조 시키는 것임

2차 미분 값이 큰 곳

- 1968년 Sobel이 제안한 Sobel Filter 를 많이 사용함

- 그림은 x축은 변화가 없고, y축은 변화가 있음

- Sobel 필터 적용 결과, X필터의 값은 0이고, y필터의 값은 ___ 나옴 (____ 기준)

크게 / 절대값 

- Sobel 필터를 이용하여 이미지 영역의 _ _를 찾는 예

경계

 

2.12 sketch camera

- 컬러 이미지를 그레이로 바꾸고, 엣지를 얻은 다음, 엣지에 대한 ____을 해서 얻은 결과임

팽창연산

- 기술을 활용한 스케치 어플이 있음

 

2.13 morphology

- ______는 형태학이라는 뜻으로, 노이즈 제거, 경계 이어주기 등 이미지의 결점을 보완해주는 변환

모폴로지

- 침식 (255->0)

- 팽창 (0->255), 이를 조합한 부분침식(부분팽창), A.B 연산을 사용함.

 

2.14 Image Contour

- 등고선 : 지도에서 높이가 같은 곳을 선으로 이어주는 그림

- 이미지에서 객체는 같은 색으로 이어지는 경향이 있으므로, ____ 으로 이어지는 ___으로 궤적을 찾을 수 있음

같은 색 / 등고선

 

2.15 차선검출

- 이미지에서 사각형이나 원을 찾는데 사용함.

Hough Transform

- 자율주행 자동차가 차선을 인지하는 것은 이미지에서 __을 검출하는 것임

- 알고리즘은 이미지 상에서 __상에 존재하는 픽셀좌표들이 그 __의 절편과 기울기로 이울어진

평면에서는 각 점들이 각각 __으로 표현되고 이 __이 모두 한점을 통과하는 원리를 이용함.

직선

- 이미지 상에서 원 형태를 검출하는 것도 가능함

 

 

첨부: Hough Transform

- 이미지 각 픽셀에 대해 파라미터 공간의 직선을 만들고 이 직선들이 만나는 점의 숫자를 count하여

특정 점에서 많이 만나면 그 절편과 기울기가 이미지 공간에서 ___ 임.

직선

 

2.16 유사 이미지 검색

- 유사 이미지를 찾는 가장 간단한 아이디어 

Hash Matching 방법

- 이미지를 Gray로 변환한 후, 일정한 크기로 변환함

(변환된 값 > 이미지 픽셀 평균값이면 1, 아니면 0을 가지는 이진화된 이미지를 만듦)

- 이미지 Sequence는 모든 이미지에 대해 같은 크기의 이진수를 가짐

- 앞에서 구한 이진수를 16진수로 변환하여, 코드를 서로 비교하여 비슷한 이미지를 찾음

- 코드의 유사도를 비교하기 위해 ______ ______를 많이 사용함

Hamming Distance