Development Assemble

android-ndk-r4-windows-crystax-4 이다.

NDK를 사용하고 안드로이드에 OpenCV를 올리기 위해서는 정식 NDK 버전이 아닌 crystax ndk 버전이 필요하다고 한다?? 정식 NDK로 잘 안되는 경우는 이 파일을 받아서 사용하길 바란다.

다운로드

영상처리에서 RGB 색상모델을 이용하여 간단하게 색상을 검출하는 방법에 대해서 알아보겠다.

RGB 색상모델을 실제 영상처리에서 사용하는 일은 드물다 RGB 색상모델은 조명에 영향을 많이 받기 때문에 정확도가 많이 떨어진다. 그러나 간단하게 색을 인식하는 용도로 RGB 색상모델을 쓰기도 한다. 

영상처리의 기초로 간단하게 붉은색을 인식하는 예제를 알아보도록 하겠다.

소스를 먼저 보고 설명을 하도록 하겠다.

#include <opencv\highgui.h>

int main() {
	IplImage *frame;	// 원본영상
	IplImage *red;		// 색 검출 영상

	int width, height;	// 창의 넓이, 높이
	int i, j, index;
	unsigned char R, G, B;

	CvCapture* capture = cvCaptureFromCAM(0);
	frame = cvQueryFrame(capture);

	// frame 에서 width와 height 정보를 가져온다.
	width = frame->width;
	height = frame->height;
	
	cvNamedWindow("Original",0);
	cvNamedWindow("Red Tracking",0);
	cvResizeWindow("Original", width, height);
	cvResizeWindow("Red Tracking", width, height);

	// frame와 같은 크기를 갖는 3채널 영상 생성
	red = cvCreateImage(cvGetSize(frame), IPL_DEPTH_8U, 3);

	while(capture) {
		frame = cvQueryFrame(capture);

		for(i = 0; i < (frame->height); i++) {
			for(j = 0; j < (frame->widthStep); j += (frame->nChannels)) {
				index = i * frame->widthStep + j;

				R = frame->imageData[index+2];	// R영역
				G = frame->imageData[index+1];	// G영역
				B = frame->imageData[index+0];	// B영역

				// 붉은색으로 예상되는 범위 설정
				if(R > 200 && G < 200 && B < 200) {
					// 흰색으로
					red->imageData[(i*frame->widthStep)+j + 0] = 255;	
					red->imageData[(i*frame->widthStep)+j + 1] = 255;
					red->imageData[(i*frame->widthStep)+j + 2] = 255;
				}
				else {
					// 검정색으로
					red->imageData[(i*frame->widthStep)+j + 0] = 0;
					red->imageData[(i*frame->widthStep)+j + 1] = 0;
					red->imageData[(i*frame->widthStep)+j + 2] = 0;
				}
			}
		}

		cvShowImage("Original",frame);
		cvShowImage("Red Tracking",red);

		if(cvWaitKey(33) >= 27)
			break;
	}
	cvReleaseCapture(&capture);
	cvReleaseImage(&red);
	cvDestroyWindow("Original");
	cvDestroyWindow("Red Tracking");

	return 0;
}

붉은색 영역은 본인이 임의로 설정하였다. 먼저 결과부터 확인해 보겠다.

실행결과 :

추출된 범위를 흰색으로(255) 나타내고 그 외의 범위는 검정색으로(0)으로 나타내었다.

이번 포스팅은 색상 검출에 대한 내용이므로 다른 코드에 대한 설명은 나중에 하도록 하겠다.

색상 범위

색상 검출한 결과를 나타내기 위해서 red라는 3채널의 IplImage 구조체를 선언하였다. 

카메라에서 프레임을 받아오는 동안 (while문 안에서) for 2개를 이용하여 전체영상의 각 ImageData에 접근하여서 R,G,B의 크기를 판단하였다. 

R,G,B 영역의 범위는 본인이 임의로 설정하였는데, 빨간색을 검출한다고 해서 꼭 R이 255의 값을 갖고 G와 B값은 0을 갖는것이 아니다. 컴퓨터로 작업을 한 영상이라면 R=255, G=0, B=0 의 값을 갖을수는 있지만 실제 영상에서 빨간색은 R,G,B 각각의 색상모델의 조합으로 나타내진다. 또한 그 값은 조명에 의해, 주변 환경에 의해 충분히 달라질 수 있다. 그렇기 때문에 색상검출을 위해서 실제로 사용할 경우 정확도가 크게 떨어지게 된다. 이러한 단점을 해결하기 위해 다양한 색상모델이 있고 대표적으로 YCbCr 모델을 많이 사용하고 있다. YCbCr에 대해서는 나중에 알아보도록 하겠다. 

RGB영역에서 색 검출을 굳이 하고싶다면 색 검출을 위한 범위는 직접 지정하길 바란다. 위의 코드의 범위는 본인마음대로 대충 때려넣은 범위이다.

widthStep

while문 안에서 2개의 for 루프를 이용하여 영상의 넓이(width)와 높이(height)만큼의 크기의 배열에 접근하고 있다. 이때 두번째 for 루프에는 width가 아닌 widthStep이 들어가 있다. 분명 넓이는 width인데 왜 widthStep을 쓸까?

컬러영상은 다음과 같이 B, G, R 순서의 세 영역으로 이루어져 있다.

하나의 컬러 영상은 B평면(B값만 존재), G평면(G값만 존재), R평면(R값만 존재)에 존재하는 각 값들의 합으로 이루어 진다. 3개의 평면이 하나로 겹쳐지면서 컬러 영상이 만들어 지는것이다. 우리는 각 영역의 색상값을 알아내기 위해 하나의 평면을 갖는 컬러 영상을 3개의 평면으로 나누어 볼 필요가 있다. 그렇기 때문에 width 대신 widthStep을 이용하는데 widthStep은 (영상의넓이) x (채널의 갯수) 의 값을 갖고있다. 여기서는 채널이 3채널이기 때문에(width x 3)의 값을 갖고 있는 것이다. 

한번 for루프에 들어갈 경우 [index+2], [index+1], [index+0] 으로 컬러영상에서 같은 위치에 있는 RGB평면을 동시에 체크하기 때문에 for루프에서 증가값은 3이 되어야 한다. 그렇기 때문에 j값은 nChannel 만큼 증가하게 된다. 

다시한번 말하지만 RGB색상모델은 실제 영상처리에서 사용하기에 좋은 색상모델은 아니다. 

제 머리속에 있는 내용을 정리해 보았습니다! 틀린내용이 있을수도 있고 저의 머리속에 있는 내용을 글로 옮겼기 때문에 이해가 안되는 분들도 계실꺼 같습니다. 댓글을 남겨주신다면 친절히 답변해 드리겠습니다.

64비트 컴퓨터에 OpenCV를 설치할 때 MSVCP100D.dll 과 MSVCR100D.dll이 없어 프로그램을 시작할수 없습니다. 라는 경고문구가 뜰때가 있다.

이럴때는 아래 파일을 다운받아 압축을 해제한 뒤 해당 dll파일을 SysWOW64폴더(C:\Windows\SysWOW64)에 넣어주면 된다.

msvcp100d.zip

msvcr100d.zip

지금까지 이미지 출력과 동영상파일 출력을 알아보았는데, 이번 시간에는 웹캠으로부터 받은 영상을 띄우는 방법에 대해 알아보도록 하겠다. 동영상파일 출력까지 해보았다면 카메라(웹캠)영상은 쉽게 띄울수 있을것이다.

먼저 간단한 코드는 다음과 같다.

#include <opencv\highgui.h>

int main() {
	IplImage *frame;
	
	CvCapture* capture = cvCaptureFromCAM(0);

	cvNamedWindow("Test",1);
	
	while(capture) {
		frame = cvQueryFrame(capture);
		cvShowImage("Test",frame);

		if(cvWaitKey(33) >= 27)
			break;
	}
	cvReleaseCapture(&capture);
	cvDestroyWindow("Test");

	return 0;
}

전체적으로 동영상을 출력할 때와 비슷하다. 동영상 출력과 다른점은 cvCaptureFromCAM()부분이다. cvCaptureFromCAM()함수를 이용하여 웹캠으로부터 영상을 받아온다. 인자로는 숫자를 입력하는데, 0을 넣을경우 가장 기본으로 연결되어 있는 웹캠으로부터 영상을 받아온다. 노트북의 경우 내장된 웹캠이 0번이고 추가적으로 연결을 한 웹캠이 1번으로 되어있을 것이다. PC의 경우 내장된 웹캠이 없으므로 연결한 웹캠이 0번이 된다. 

영상처리를 위한 코드는 while문 안의 cvQueryFrame()뒤에 넣어주면 된다.

실행화면 :

[영상처리] 이미지 파일 출력

[영상처리] 동영상파일(AVI) 출력

영상처리를 하기 위해 미리 녹화된 동영상을 쓰는 경우가 있다. 이번시간에는 동영상을 띄우는 방법에 대해 알아보도록 하겠다.

동영상 파일을 여는 일은 이미지 파일을 출력했던것 만큼 쉽다. 하지만 방법이 약간 다르다.

이미지 파일은 단순히 한장의 영상이지만, 동영상은 이미지 파일의 집합이라고 볼 수 있다. 여러개의 사진이 계속해서 바뀌는 개념이다. 그렇기 때문에 매 프레임마다 화면을 바꿔준다고 생각하면 될 것이다.

코드는 다음과 같다.

#include <opencv\highgui.h>

int main() {
	IplImage *frame;
	
	CvCapture* capture = cvCaptureFromFile("testAVI.avi");
	//CvCapture* capture = cvCreateFileCapture("testAVI.avi");
	//CvCapture* capture = cvCaptureFromAVI("testAVI.avi");

	cvNamedWindow("Test",1);
	
	while(capture) {
		frame = cvQueryFrame(capture);
		cvShowImage("Test",frame);

		if(cvWaitKey(33) == 27)
			break;
	}
	cvReleaseCapture(&capture);
	cvDestroyWindow("Test");

	return 0;
}

CvCapture형식의 capture에 영상을 저장한다.

동영상 파일을 불러올 때는 cvCaptureFromFile() 이나 cvCreateFileCapture() 또는 cvCaptureFromAVI()중 하나를 선택하여 사용한다. 각 함수의 차이점은 크게 없어보인다. 

인자로는 파일이름, 파일형식을 넣어준다. 

파일 형식은 avi, wmv, mp4, 3gp, mkv 등등이 되는 것 같다. 아마 왠만한 파일 형식은 로드가 될 것이지만 avi파일을 로드하는 것을 추천한다.

반복문이 시작하기 전에 cvNamedWindow()를 이용하여 영상을 띄울 윈도우를 생성한다.

while문을 사용하여 영상을 띄워준다. capture가 null이 아닐경우 반복문을 실행한다.

IplImage형식의 frame이라는 변수에 capture를 통해 얻어온 이미지를 cvQueryFrame()을 이용하여 입혀준다. 

cvWaitKey()를 이용하여 ESC를 입력하였을 때 종료하도록 한다.

cvWaitKey(33)에서 33은 프레임을 받아오는 속도이다. 단위는 미리 세컨드이다(1/1000초). 값이 높을수록 프레임이 느리다. 33을 입력하면 33/1000 이므로 대략 초당 30프레임정도를 받아올 것이다.

영상처리를 위한 코드는 while문 안에 cvQueryFrame()을 수행한 뒤에 넣어주면 된다.

실행화면 : 

capture의 값만 cvCaptureFromCAM()으로 변경해 준다면 웹캠영상도 띄울수 있다.

[영상처리] 이미지 파일 출력

[영상처리] 카메라(웹캠)영상 출력

OpenCV의 HighGUI라이브러리에는 다양한 포맷의 영상 파일을 불러올 수 있는 기능이 정의되어 있다.

HighGUI 라이브러리를 이용하여 영상을 불러와서 화면에 출력하는 예제이다.

#include <opencv\highgui.h>

int main() {
	IplImage *image = cvLoadImage("lena.jpg");

	cvNamedWindow("Test",1);
	cvShowImage("Test",image);
	cvWaitKey(0);

	cvReleaseImage(&image);
	cvDestroyWindow("Test");

	return 0;
}

cvLoadImage()는 영상 데이터의 구조체 포인터를 반환한다. 인자 값으로 파일명과 형식을 넣어준다.

구조체의 이름은 IplImage이며, 단일 채널, 다중 채널, 정수형, 실수형 등 모든 형태의 영상 데이터를 IplImage로 표현할 수 있다. 또한 BMP, DIB, JPEG, JPE, PNG, PBM, PGM, PPM, SR, RAS, TIFF 등의 영상 포맷을 지원한다.

*출력할 영상은 프로젝트 폴더내에 존재하여야 한다.

cvNamedWindow()는 영상을 표시할 윈도우를 하나 만드는 일을 한다.

첫 번째 인자는 윈도우의 이름으로 등록된다.

두 번째 인자는 윈도우의 속성을 지정한다. 여기에는 0(기본값) 또는 1이 들어갈 수가 있다.

인자값이 0으로 지정되면 불러오는 영상의 크기에 상관없이 윈도우 크기는 일정하게 고정이 되고, 영상이 윈도우의 크기에 맞게 확대 또는 축소되어 나타난다. 만약 1(CV_WINDOW_AUTOSIZE)이면 불러오는 영상의 실제 크기에 맞게 윈도우의 크기가 자동으로 조절된다.

cvShowImage()함수는 IplImage* 타입으로 생성된 영상을 해당 제목을 갖은 윈도우에 영상을 출력한다.

첫번째 인자는 윈도우의 이름이고, 두번째 인자는 IplImage이다.

cvWaitKey()함수는 프로그램의 동작을 잠시 멈추고 사용자로부터 키 입력을 기다린다.

양의 정수일 경우 밀리초(millisecond) 단위로 지정한 시간동안 대기한다.

인자값이 0이나 음수일 경우 키가 눌려질 때 까지 무한정 기다린다.

cvReleaseImage()함수는 할당된 메모리 공간을 해제한다. 

인자로 IplImage*의 주소값을 전달해준다. 이 함수가 실행된 후 해당 IplImage는 NULL로 설정된다.

cvDestroyWindow()함수는 윈도우를 닫고, 윈도우를 위해 동적할당된 메모리 공간을 모두 해제한다. 

cvDestroyAllWindows()함수를 이용하여 한번에 모든 창을 닫을 수도 있다.

간단한 프로그램의 경우 프로그램이 종료할 때 운영체제에 의해 할당된 모든 리소스들이 자동으로 반환되지만 cvReleaseImage()함수와 cvDestroyWindow()함수를 직접 호출하여 리소스를 반환하는것이 좋다.

이미지 파일을 출력하는 또 다른 방법이 있다. 다음과 같이 소스를 작성했을 경우 명령프롬프트 창을 이용하여 실행해야한다.

#include <opencv\highgui.h>

int main(int argc, char** argv) {
	IplImage *image = cvLoadImage( argv[1] );

	cvNamedWindow("Test",1);
	cvShowImage("Test",image);
	cvWaitKey(0);

	cvReleaseImage(&image);
	cvDestroyWindow("Test");

	return 0;
}

main함수에 인자가 있는 경우인데, 코드를 작성한뒤 디버깅을 해야 코드가 적용된다. 코드 작성후 디버깅을 한뒤 명령프롬프트 창에서 명령어를 입력해준다.

이때 출력할 영상파일이 같은 폴더에 존재하여야 한다. 

프로젝트폴더\Debug>프로젝트이름.exe 이미지파일.파일형식

다음과 같이 입력하면 영상이 출력되는 모습을 볼 수 있다.

[영상처리] 동영상파일(AVI) 출력

[영상처리] 카메라(웹캠)영상 출력