NDK를 이용한 기본 예제이다. 간단한 프로그래밍은 기본예제의 변형으로 가능할 것이다. 더 깊은 내용은 나중에 포스팅 하도록 하겠다.


NDK 설치 완료후 제대로 설치가 되었는지 이 예제를 통해서 확인해보길 바란다. 먼저 프로젝트를 하나 생성한다. 프로젝트명은 HelloJNI로 하였다.


프로젝트 생성후 jni라는 이름의 폴더를 하나 생성한다. 이 폴더안에 2개의 파일을 생성할 예정이다.

2개의 파일 이름은 Android.mkhello-jni.c 이다.


jni폴더 생성후 [마우스 오른쪽 클릭] -> [New] -> [File] 을 눌러 파일을 생성한다.




위의 그림의 방식처럼 hello-jni.c 와 Android.mk 파일을 만들었다면 두 파일에 내용을 넣는다. 먼저 hello-jni.c 파일부터 내용을 넣겟다.


hello-jni.c

#include <string.h>
#include <jni.h>

jstring Java_tjssm_hellojni_MainActivity_stringFromJNI( JNIEnv* env, jobject thiz )
{

    return (*env)->NewStringUTF(env, "Hello from JNI !");
}

NDK 설치를 확인하기 위한 간단한 예제이기 때문에 자세한 설명은 생략하도록 하겠다. 

여기서 주의할 점은 jstring Java_tjssm_hellojni_MainActivity_stringFromJNI()이다.

jstring은 return 타입이고 그다음은 Java_패키지명1_패키지명2_class명_class에서만든메소드명() 이다.


ex) return타입이 jstring 이고 패키지명이 tjssm.hellojni이고 class명이 MainActivity이고, class에 만들어 놓은 메소드명이 stringFromJNI 이기때문에jstring Java_tjssm_hellojni_MainActivity_stringFromJNI() 이라고 쓴다.


여기서 주의할 점은 패키지명이나 class명에 '_'기호가 들어갈 경우 에러가 난다는 것이다. ndk를 이용한 프로그래밍에서는 '_'기호를 넣지 않도록 한다.


다음은 Android.mk 파일에 내용을 넣겠다.


Android.mk

LOCAL_PATH := $(call my-dir)

include $(CLEAR_VARS)

LOCAL_MODULE    := hello-jni
LOCAL_SRC_FILES := hello-jni.c

include $(BUILD_SHARED_LIBRARY)

LOCAL_MODULE 은 c파일의 이름

LOCAL_SRC_FILES 에는 c파일의 이름에 .c를 붙여주면 된다.


다음은 JAVA소스이다. jni를 호출하는 MainActivity의 소스이다.


MainActivity.java

public class MainActivity extends Activity {
	
	private TextView tv;
	
	static {
		System.loadLibrary("hello-jni");
	}
	
	public native String stringFromJNI();

	@Override
	protected void onCreate(Bundle savedInstanceState) {
		super.onCreate(savedInstanceState);
		setContentView(R.layout.main);
		
		tv = (TextView) findViewById(R.id.tv_result);
		tv.setText(stringFromJNI());
	}
}

System.loadLibrary에 이전에 만들었던 c파일의 이름인 hello-jni를 넣어준다. 

public native String stringFromJNI() 라는 메소드가 jni와 연결된다.

return 타입이 String 이므로 이전에 작성했던 hello-jni로부터 String을 return 받아 tv라는 TextView로 값이 전달된다.


위와 같이 소스를 작성하였다면 ndk-build를 실행한다. cygwin 폴더안의 android-ndk폴더를 환경변수로 등록을 하였다면 cmd 창을 실행하여 현재 작성한 프로젝트 파일의 경로로 이동한다. 그후에 ndk-build라는 명령어를 입력하면 현재 프로젝트의 libs->armeabi 라는 폴더가 생기며 폴더안에 파일이 생성되어 있을것이다.


이제 이 프로젝트를 실행시키면 다음과 같은 결과를 얻을 수 있다.



매번 cmd창을 이용하여 ndk build를 할 수는 없으니 다음에는 이클립스에서 ndk build하는 방법을 알아보도록 하겠다.



2014/01/27 - [Programming/안드로이드] - [안드로이드] Eclipse에서 NDK-build 하기



안드로이드 프로그래밍에서 C나 C++ 언어를 사용하기 위해서는 NDK를 설치하여야 한다. NDK 설치 방법에 대해 알아보도록 하자.


Cygwin 설치

NDK를 설치하기 위해서는 Cygwin을 먼저 설치하여야 한다.


다운받기


각자 컴퓨터 사양에 맞는 파일을 다운받는다.



다운이 완료된 설치파일을 실행한다.



인터넷에서 파일을 받는 항목 선택



경로는 C:\cygwin 으로 설정한다.



패키지 파일을 다운로드할 폴더를 지정한다. 어느 경로를 지정하던지 상관없다.



인터넷 연결 선택



다운로드 사이트를 선택한다. 전세계적으로 사이트가 있는데 한국사이트는 없는듯 하다 ㅠㅠ 가까운 일본 사이트를 선택하도록 하자



다음을 누르면 아래와 같은 화면이 뜨는데 항목중에 Devel 항목이 Default로 표시되어 있을것이다. 클릭하여 Install로 바꿔주고 다음을 누른다.



다음을 누르면 엄청난 시간이 걸린다.. 잠시 쉬도록 하자



완료가 되면 다음과 같은 창이 뜬다.



이렇게 Cygwin 설치가 완료되었다.


환경변수 등록

환경변수를 등록하자

[내컴퓨터] -> [속성] -> [고급] -> [환경변수] 에서 시스템 변수Path 값을 편집한다.

C:\cygwin\bin;

C:\cygwin\usr\include;

두개의 환경변수를 등록한다.



환경변수 등록후 Cygwin을 실행하면 다음과 같은 화면이 나올 것이다.

이렇게 Cygwin설치를 완료한다.



NDK 설치

이제 NDK를 다운받아 설치하도록 하자


다운받기


각자 컴퓨터에 맞는 사양의 파일을 다운받는다.



다운로드 받은 파일을 압축 해제후 폴더안의 android-ndk-r9c(android-ndk-버전) 폴더를 C:\cygwin\home\Administrator 폴더로 이동시킵니다. (C:\cygwin\home\사용자계정)



이제 같은 경로에 있는 .bashrc파일을 수정한다. .bashrc파일을 이클립스에 드래그해서 열고 맨 아래에 다음 코드를 추가한다.

export ANDROID_NDK_ROOT=/home/사용자계정/ndk버전

ex) export ANDROID_NDK_ROOT=/home/Administrator/android-ndk-r9c



NDK를 이용한 프로그램을 작성한뒤 ndk build를 하기위해 android ndk의 폴더의 경로를 환경변수로 설정한다.

C:\cygwin\home\Administrator\android-ndk-r9c; (C:\cygwin\home\사용자계정\android-ndk-r9c)


이렇게 안드로이드 NDK 개발환경 구축이 완료되었다.


2014/01/27 - [Programming/안드로이드] - [안드로이드] NDK 기본 예제


2014/01/27 - [Programming/안드로이드] - [안드로이드] Eclipse에서 NDK-build 하기


64비트 컴퓨터에 OpenCV를 설치할 때 MSVCP100D.dll 과 MSVCR100D.dll이 없어 프로그램을 시작할수 없습니다. 라는 경고문구가 뜰때가 있다.

이럴때는 아래 파일을 다운받아 압축을 해제한 뒤 해당 dll파일을 SysWOW64폴더(C:\Windows\SysWOW64)에 넣어주면 된다.


msvcp100d.zip


msvcr100d.zip


지금까지 이미지 출력과 동영상파일 출력을 알아보았는데, 이번 시간에는 웹캠으로부터 받은 영상을 띄우는 방법에 대해 알아보도록 하겠다. 동영상파일 출력까지 해보았다면 카메라(웹캠)영상은 쉽게 띄울수 있을것이다.


먼저 간단한 코드는 다음과 같다.

#include <opencv\highgui.h>

int main() {
	IplImage *frame;
	
	CvCapture* capture = cvCaptureFromCAM(0);

	cvNamedWindow("Test",1);
	
	while(capture) {
		frame = cvQueryFrame(capture);
		cvShowImage("Test",frame);

		if(cvWaitKey(33) >= 27)
			break;
	}
	cvReleaseCapture(&capture);
	cvDestroyWindow("Test");

	return 0;
}

전체적으로 동영상을 출력할 때와 비슷하다. 동영상 출력과 다른점은 cvCaptureFromCAM()부분이다. cvCaptureFromCAM()함수를 이용하여 웹캠으로부터 영상을 받아온다. 인자로는 숫자를 입력하는데, 0을 넣을경우 가장 기본으로 연결되어 있는 웹캠으로부터 영상을 받아온다. 노트북의 경우 내장된 웹캠이 0번이고 추가적으로 연결을 한 웹캠이 1번으로 되어있을 것이다. PC의 경우 내장된 웹캠이 없으므로 연결한 웹캠이 0번이 된다. 

영상처리를 위한 코드는 while문 안의 cvQueryFrame()뒤에 넣어주면 된다.


실행화면 :



[영상처리] 이미지 파일 출력


[영상처리] 동영상파일(AVI) 출력

영상처리를 하기 위해 미리 녹화된 동영상을 쓰는 경우가 있다. 이번시간에는 동영상을 띄우는 방법에 대해 알아보도록 하겠다.

동영상 파일을 여는 일은 이미지 파일을 출력했던것 만큼 쉽다. 하지만 방법이 약간 다르다.

이미지 파일은 단순히 한장의 영상이지만, 동영상은 이미지 파일의 집합이라고 볼 수 있다. 여러개의 사진이 계속해서 바뀌는 개념이다. 그렇기 때문에 매 프레임마다 화면을 바꿔준다고 생각하면 될 것이다.


코드는 다음과 같다.

#include <opencv\highgui.h>

int main() {
	IplImage *frame;
	
	CvCapture* capture = cvCaptureFromFile("testAVI.avi");
	//CvCapture* capture = cvCreateFileCapture("testAVI.avi");
	//CvCapture* capture = cvCaptureFromAVI("testAVI.avi");

	cvNamedWindow("Test",1);
	
	while(capture) {
		frame = cvQueryFrame(capture);
		cvShowImage("Test",frame);

		if(cvWaitKey(33) == 27)
			break;
	}
	cvReleaseCapture(&capture);
	cvDestroyWindow("Test");

	return 0;
}

CvCapture형식의 capture에 영상을 저장한다.

동영상 파일을 불러올 때는 cvCaptureFromFile() 이나 cvCreateFileCapture() 또는 cvCaptureFromAVI()중 하나를 선택하여 사용한다. 각 함수의 차이점은 크게 없어보인다. 

인자로는 파일이름, 파일형식을 넣어준다. 

파일 형식은 avi, wmv, mp4, 3gp, mkv 등등이 되는 것 같다. 아마 왠만한 파일 형식은 로드가 될 것이지만 avi파일을 로드하는 것을 추천한다.

반복문이 시작하기 전에 cvNamedWindow()를 이용하여 영상을 띄울 윈도우를 생성한다.

while문을 사용하여 영상을 띄워준다. capture가 null이 아닐경우 반복문을 실행한다.

IplImage형식의 frame이라는 변수에 capture를 통해 얻어온 이미지를 cvQueryFrame()을 이용하여 입혀준다. 

cvWaitKey()를 이용하여 ESC를 입력하였을 때 종료하도록 한다.

cvWaitKey(33)에서 33은 프레임을 받아오는 속도이다. 단위는 미리 세컨드이다(1/1000초). 값이 높을수록 프레임이 느리다. 33을 입력하면 33/1000 이므로 대략 초당 30프레임정도를 받아올 것이다.


영상처리를 위한 코드는 while문 안에 cvQueryFrame()을 수행한 뒤에 넣어주면 된다.


실행화면 : 


capture의 값만 cvCaptureFromCAM()으로 변경해 준다면 웹캠영상도 띄울수 있다.


[영상처리] 이미지 파일 출력


[영상처리] 카메라(웹캠)영상 출력

OpenCV의 HighGUI라이브러리에는 다양한 포맷의 영상 파일을 불러올 수 있는 기능이 정의되어 있다.

HighGUI 라이브러리를 이용하여 영상을 불러와서 화면에 출력하는 예제이다.

#include <opencv\highgui.h>

int main() {
	IplImage *image = cvLoadImage("lena.jpg");

	cvNamedWindow("Test",1);
	cvShowImage("Test",image);
	cvWaitKey(0);

	cvReleaseImage(&image);
	cvDestroyWindow("Test");

	return 0;
}

cvLoadImage()는 영상 데이터의 구조체 포인터를 반환한다. 인자 값으로 파일명과 형식을 넣어준다.

구조체의 이름은 IplImage이며, 단일 채널, 다중 채널, 정수형, 실수형 등 모든 형태의 영상 데이터를 IplImage로 표현할 수 있다. 또한 BMP, DIB, JPEG, JPE, PNG, PBM, PGM, PPM, SR, RAS, TIFF 등의 영상 포맷을 지원한다.

*출력할 영상은 프로젝트 폴더내에 존재하여야 한다.


cvNamedWindow()는 영상을 표시할 윈도우를 하나 만드는 일을 한다.

첫 번째 인자는 윈도우의 이름으로 등록된다.

두 번째 인자는 윈도우의 속성을 지정한다. 여기에는 0(기본값) 또는 1이 들어갈 수가 있다.

인자값이 0으로 지정되면 불러오는 영상의 크기에 상관없이 윈도우 크기는 일정하게 고정이 되고, 영상이 윈도우의 크기에 맞게 확대 또는 축소되어 나타난다. 만약 1(CV_WINDOW_AUTOSIZE)이면 불러오는 영상의 실제 크기에 맞게 윈도우의 크기가 자동으로 조절된다.


cvShowImage()함수는 IplImage* 타입으로 생성된 영상을 해당 제목을 갖은 윈도우에 영상을 출력한다.

첫번째 인자는 윈도우의 이름이고, 두번째 인자는 IplImage이다.


cvWaitKey()함수는 프로그램의 동작을 잠시 멈추고 사용자로부터 키 입력을 기다린다.

양의 정수일 경우 밀리초(millisecond) 단위로 지정한 시간동안 대기한다.

인자값이 0이나 음수일 경우 키가 눌려질 때 까지 무한정 기다린다.


cvReleaseImage()함수는 할당된 메모리 공간을 해제한다. 

인자로 IplImage*의 주소값을 전달해준다. 이 함수가 실행된 후 해당 IplImage는 NULL로 설정된다.


cvDestroyWindow()함수는 윈도우를 닫고, 윈도우를 위해 동적할당된 메모리 공간을 모두 해제한다. 

cvDestroyAllWindows()함수를 이용하여 한번에 모든 창을 닫을 수도 있다.


간단한 프로그램의 경우 프로그램이 종료할 때 운영체제에 의해 할당된 모든 리소스들이 자동으로 반환되지만 cvReleaseImage()함수와 cvDestroyWindow()함수를 직접 호출하여 리소스를 반환하는것이 좋다.





이미지 파일을 출력하는 또 다른 방법이 있다. 다음과 같이 소스를 작성했을 경우 명령프롬프트 창을 이용하여 실행해야한다.

#include <opencv\highgui.h>

int main(int argc, char** argv) {
	IplImage *image = cvLoadImage( argv[1] );

	cvNamedWindow("Test",1);
	cvShowImage("Test",image);
	cvWaitKey(0);

	cvReleaseImage(&image);
	cvDestroyWindow("Test");

	return 0;
}

main함수에 인자가 있는 경우인데, 코드를 작성한뒤 디버깅을 해야 코드가 적용된다. 코드 작성후 디버깅을 한뒤 명령프롬프트 창에서 명령어를 입력해준다.

이때 출력할 영상파일이 같은 폴더에 존재하여야 한다. 


프로젝트폴더\Debug>프로젝트이름.exe 이미지파일.파일형식



다음과 같이 입력하면 영상이 출력되는 모습을 볼 수 있다.


[영상처리] 동영상파일(AVI) 출력


[영상처리] 카메라(웹캠)영상 출력

영어의 경우 평균 필기 속도는 초당 1.5~2.5 문자이고 최고속도는 l을 연속해서 쓸 경우 초당 5~10문자 정도가 된다.

한글의 경우 평균 필기 속도는 초당 0.5~1.5 문자이고 최고속도는 이 를 연속해서 쓸 경우 초당 2~3문자 정도가 된다.


테블릿의 경우 x,y축 방향에 0.1~0.5인치 간격으로 격자 형태의 도체가 있다.

정상 필기 속도를 감당하기 위해서는 1인치당 최소한 200개의 점을 표현할 수 있는 해상도를 가져야하며, 초당 최소한 100개의 점의 위치를 추출할 수 있어야 한다.


영어는 26개의 알파벳으로 구성되어 있는데, 각각 대문자와 소문자가 있다. 또 필기 방법에는 정차게와 흘림체가 있고, 한 단어에 5개의 문자가 포함된다. 한 문자는 대문자의 경우 평균 2개의 획으로, 소문자의 경우 평균 1개의 획으로 구성된다.

(획 = 펜을 누른 상태로 부터 뗄 때까지의 펜의 이동 자취)

영어에서는 문자의 위치와 크기가 중요하다. 대문자는 크고 바닥선(Baseline)에 위치하는 반면, 소문자는 작고 대부분 대문자 크기의 절반 정도이다.


한글은 초성 19개, 중성 21개, 종성 28개의 기본 자소가 규칙적으로 결합하여 하나의 문자를 생성한다.필기 방법에는 영어와 마찬가지로 정자체와 흘림체가 가능하고 한 문자는 평균 2~6개의 획으로 이루어진다.


비슷한 문자 문제

영어의 U-V, C-L, a-d, n-h, O-o, I(아이)-1, 1-l(엘), Z-2, S-5, G-6 등이 유사하다.

O-o와 I(아이)-1은 똑같이 필기 되기도 하기 때문에 문맥적 정보에 의해서만 구분이 가능하다.

대소문자가 형태가 같은경우 C-c, K-k, O-o, P-p, Y-y, Z-z 등이 있는데 이러한 문자는 크기로 구분 가능하고, P-p, Y-y의 경우 바닥선에 대한 문자의 위치에 의해 구별될 수 있다.


전처리(Preprocessing)후 정합(Matching)을 하게 된다.


전처리

외부 분리

잡음 제거

정규화


전처리는 각종 잡영을 줄여주는 신호처리 과정이다. 대표적인 잡영으로는 하드웨어 결함이나 필기자의 부주의로 나타나는 난폭점과 획의 처음과 끝에 빈발하는 삐침을 들 수 있다. 이러한 잡영을 없애는 일반적인 방법은 존재하지 않으며, 대부분 적절한 휴리스틱을 사용하여 해결한다. 

(ex. 따로 떨어져 있는 점이나, 획 중간에 갑자기 튄 점 등은 난폭점으로 간주하며, 획의 처음 또는 끝에 예리한 각도로 짧게 나타나는 세그먼트는 불필요한 삐침일 가능성이 높다고 판단하여 제거)

Visual Studio 2010에 OpenCV 2.4.8버전을 설치해 보겠다. Visual 6.0 + OpenCV 1.0 버전부터 Visual Studio2012까지 OpenCV를 설치해 보았지만 OpenCV를 설치하는 일이란 참 귀찮다.. 이번엔 Visual Studio 2010에 설치를 할텐데, Visual Studio 2012에 설치하는 방법이랑 별 다른 차이는 없을듯 하다.

1. OpenCV 다운받기

다운받으러 가기

설치하기 위해 OpenCV 최신버전을 받는다. 현재(2014.1.5) 최신버전은 2.4.8버전이다.

다운받은후 실행하여 압축을 해제한다. 난 C드라이브에 압축해제 하였다. 알아서 opencv라는 폴더가 생성이 될 것이다.



2. 환경변수 설정

내컴퓨터 - 속성 - 고급 시스템 설정 - 환경변수 - 시스템변수 - Path - 편집

이전 환경변수를 ;(세미콜론)으로 구분지어주고
(Opencv설치폴더)\build\x86\vc10\bin; 입력 후 확인

ex) C:\opencv\build\x86\vc10\bin;

Visual Studio 2010 의 경우 vc10
Visual Studio 2008 의 경우 vc9 를 선택하면 된다.

x86은 32bit
x64는 64bit 환경이다.

재부팅을 해야 환경변수가 적용이 된다. 재부팅을 하고 계속 진행을 하자


3. 속성 설정

Visual Studio 2010 실행 후 Win32 콘솔 응용 프로그램으로 프로젝트를 생성한다. 


빈 프로젝트로 생성한다.


프로젝트 생성후 속성 관리자에서 새 프로젝트 속성 시트를 추가한다.
Debug|Win32 - 마우스 오른쪽 클릭 - 새 프로젝트 속성 시트 추가


OpenCV_Debug로 생성된 속성을 열어 수정한다.
OpenCV_Debug - 마우스 오른쪽 클릭 - 속성

공용 속성 - C/C++ - 일반 - 추가 포함 디렉터리를 추가한다.
(OpenCV 설치 폴더)\build\include

ex) C:\opencv\build\include

공용 속성 - 링커 - 일반 - 추가 라이브러리 디렉터리를 추가한다.
(OpenCV 설치 폴더)\build\x86\vb10\lib

ex) C:\opencv\build\x86\vc10\lib

공용 속성 - 링커 - 입력 - 추가 종속성 을 추가한다.
필요한 것들만 추가해도 된다. 하나를 추가 할 때 마다 ;(세미콜론)으로 구분지어 줘야한다.

opencv_calib3d248d.lib
opencv_contrib248d.lib
opencv_core248d.lib
opencv_features2d248d.lib
opencv_flann248d.lib
opencv_gpu248d.lib
opencv_highgui248d.lib
opencv_imgproc248d.lib
opencv_legacy248d.lib
opencv_ml248d.lib
opencv_nonfree248d.lib
opencv_objdetect248d.lib
opencv_ocl248d.lib
opencv_photo248d.lib
opencv_stitching248d.lib
opencv_superres248d.lib
opencv_ts248d.lib
opencv_video248d.lib
opencv_videostab248d.lib

(추가 해주는 이름뒤에 숫자는(248) 2.4.8 버전 이라는 뜻이므로 다른 버전을 설치한다면 숫자를 바꿔줘야한다.
또한 Debug모드이기 때문에 맨 뒤에 d가 들어가는데 Release모드라면 d를 빼고 입력해주면 된다.)


4. 테스트 하기

모든 설정이 끝났기 때문에 테스트를 해보겠다. 소스파일을 하나 생성한다. 

소스 파일 생성후 다음과 같은 코드를 입력한다.

#include <opencv\cv.h>
#include <opencv\highgui.h>

int main() {
	IplImage *image = cvLoadImage("test.jpg");

	cvShowImage("Test",image);
	cvWaitKey(0);

	cvReleaseImage(&image);
}

출력할 이미지인 test.jpg 파일을 프로젝트 폴더안에 넣어두고 실행을 한다.
test.jpg의 이미지가 나온다면 힘겨웠던 opencv 설치가 완료된것이다.^^

앞으로 새로운 프로젝트를 생성했을시 지금 만들었던 속성을 불러와서 사용하면 된다.

힘겨운 Open CV 설치 과정이 끝났다. 잘 따라했는데 에러가 난다면 오타가 있거나 중간에 틀린 부분이 있을것이다.

그러나 잘 따라 했다고 해도 에러가 나는 경우가 있다 64비트 컴퓨터에 그러한 경우가 발생할 텐데 아래 글을 읽고 해결하도록 하자.

2014/01/25 - [Programming/영상처리] - [영상처리] 64bit에 OpenCV 설치 에러 해결방법



+ Recent posts