Camshift算法原理及其Opencv实现

admin

1. //对运动物体的跟踪：
   
2. //如果背景固定,可用帧差法 然后在计算下连通域 将面积小的去掉即可
   
3. //如果背景单一,即你要跟踪的物体颜色和背景色有较大区别 可用基于颜色的跟踪 如CAMSHIFT 鲁棒性都是较好的
   
4. //如果背景复杂,如背景中有和前景一样的颜色 就需要用到一些具有预测性的算法 如卡尔曼滤波等 可以和CAMSHIFT结合
   
5. 
   
6. #ifdef _CH_
   
7. #pragma package <opencv>
   
8. #endif
   
9. 
   
10. #ifndef _EiC
    
11. #include "cv.h"
    
12. #include "highgui.h"
    
13. #include <stdio.h>
    
14. #include <ctype.h>
    
15. #endif
    
16. 
    
17. IplImage *image = 0, *hsv = 0, *hue = 0, *mask = 0, *backproject = 0, *histimg = 0;
    
18. //用HSV中的Hue分量进行跟踪
    
19. CvHistogram *hist = 0;
    
20. //直方图类
    
21. int backproject_mode = 0;
    
22. int select_object = 0;
    
23. int track_object = 0;
    
24. int show_hist = 1;
    
25. CvPoint origin;
    
26. CvRect selection;
    
27. CvRect track_window;
    
28. CvBox2D track_box;
    
29. //Meanshift跟踪算法返回的Box类
    
30. //typedef struct CvBox2D{
    
31. //CvPoint2D32f center; /* 盒子的中心 */
    
32. //CvSize2D32f size; /* 盒子的长和宽 */
    
33. //float angle; /* 水平轴与第一个边的夹角，用弧度表示*/
    
34. //}CvBox2D;
    
35. CvConnectedComp track_comp;
    
36. //连接部件
    
37. //typedef struct CvConnectedComp{
    
38. //double area; /* 连通域的面积 */
    
39. //float value; /* 分割域的灰度缩放值 */
    
40. //CvRect rect; /* 分割域的 ROI */
    
41. //} CvConnectedComp;
    
42. int hdims = 16;
    
43. //划分直方图bins的个数，越多越精确
    
44. float hranges_arr[] = {0,180};
    
45. //像素值的范围
    
46. float* hranges = hranges_arr;
    
47. //用于初始化CvHistogram类
    
48. int vmin = 10, vmax = 256, smin = 30;
    
49. //用于设置滑动条
    
50. 
    
51. void on_mouse( int event, int x, int y, int flags, void* param )
    
52. //鼠标回调函数,该函数用鼠标进行跟踪目标的选择
    
53. {
    
54.     if( !image )
    
55.         return;
    
56. 
    
57.     if( image->origin )
    
58.         y = image->height - y;
    
59.     //如果图像原点坐标在左下,则将其改为左上
    
60.        
    
61.     if( select_object )
    
62.     //select_object为1,表示在用鼠标进行目标选择
    
63.     //此时对矩形类selection用当前的鼠标位置进行设置
    
64.     {
    
65.         selection.x = MIN(x,origin.x);
    
66.         selection.y = MIN(y,origin.y);
    
67.         selection.width = selection.x + CV_IABS(x - origin.x);
    
68.         selection.height = selection.y + CV_IABS(y - origin.y);
    
69.         
    
70.         selection.x = MAX( selection.x, 0 );
    
71.         selection.y = MAX( selection.y, 0 );
    
72.         selection.width = MIN( selection.width, image->width );
    
73.         selection.height = MIN( selection.height, image->height );
    
74.         selection.width -= selection.x;
    
75.         selection.height -= selection.y;
    
76.     }
    
77. 
    
78.     switch( event )
    
79.     {
    
80.     case CV_EVENT_LBUTTONDOWN:
    
81.             //鼠标按下,开始点击选择跟踪物体
    
82.         origin = cvPoint(x,y);
    
83.         selection = cvRect(x,y,0,0);
    
84.         select_object = 1;
    
85.         break;
    
86.     case CV_EVENT_LBUTTONUP:
    
87.             //鼠标松开,完成选择跟踪物体
    
88.         select_object = 0;
    
89.         if( selection.width > 0 && selection.height > 0 )
    
90.                 //如果选择物体有效，则打开跟踪功能
    
91.             track_object = -1;
    
92.         break;
    
93.     }
    
94. }
    
95. 
    
96. 
    
97. CvScalar hsv2rgb( float hue )
    
98. //用于将Hue量转换成RGB量
    
99. {
    
100.     int rgb[3], p, sector;
     
101.     static const int sector_data[][3]=
     
102.         {{0,2,1}, {1,2,0}, {1,0,2}, {2,0,1}, {2,1,0}, {0,1,2}};
     
103.     hue *= 0.033333333333333333333333333333333f;
     
104.     sector = cvFloor(hue);
     
105.     p = cvRound(255*(hue - sector));
     
106.     p ^= sector & 1 ? 255 : 0;
     
107. 
     
108.     rgb[sector_data[sector][0]] = 255;
     
109.     rgb[sector_data[sector][1]] = 0;
     
110.     rgb[sector_data[sector][2]] = p;
     
111. 
     
112.     return cvScalar(rgb[2], rgb[1], rgb[0],0);
     
113. }
     
114. 
     
115. int main( int argc, char** argv )
     
116. {
     
117.     CvCapture* capture = 0;
     
118.    
     
119.     if( argc == 1 || (argc == 2 && strlen(argv[1]) == 1 && isdigit(argv[1][0])))
     
120.             //打开摄像头
     
121.         capture = cvCaptureFromCAM( argc == 2 ? argv[1][0] - '0' : 0 );
     
122.     else if( argc == 2 )
     
123.             //打开avi
     
124.         capture = cvCaptureFromAVI( argv[1] );
     
125. 
     
126.     if( !capture )
     
127.     //打开视频流失败
     
128.     {
     
129.         fprintf(stderr,"Could not initialize capturing...\n");
     
130.         return -1;
     
131.     }
     
132. 
     
133.     printf( "Hot keys: \n"
     
134.         "\tESC - quit the program\n"
     
135.         "\tc - stop the tracking\n"
     
136.         "\tb - switch to/from backprojection view\n"
     
137.         "\th - show/hide object histogram\n"
     
138.         "To initialize tracking, select the object with mouse\n" );
     
139.         //打印程序功能列表
     
140.        
     
141.     cvNamedWindow( "Histogram", 1 );
     
142.     //用于显示直方图
     
143.     cvNamedWindow( "CamShiftDemo", 1 );
     
144.     //用于显示视频
     
145.     cvSetMouseCallback( "CamShiftDemo", on_mouse, 0 );
     
146.     //设置鼠标回调函数
     
147.     cvCreateTrackbar( "Vmin", "CamShiftDemo", &vmin, 256, 0 );
     
148.     cvCreateTrackbar( "Vmax", "CamShiftDemo", &vmax, 256, 0 );
     
149.     cvCreateTrackbar( "Smin", "CamShiftDemo", &smin, 256, 0 );
     
150.     //设置滑动条
     
151. 
     
152.     for(;;)
     
153.     //进入视频帧处理主循环
     
154.     {
     
155.         IplImage* frame = 0;
     
156.         int i, bin_w, c;
     
157. 
     
158.         frame = cvQueryFrame( capture );
     
159.         if( !frame )
     
160.             break;
     
161. 
     
162.         if( !image )
     
163.         //image为0,表明刚开始还未对image操作过,先建立一些缓冲区
     
164.         {
     
165.             image = cvCreateImage( cvGetSize(frame), 8, 3 );
     
166.             image->origin = frame->origin;
     
167.             hsv = cvCreateImage( cvGetSize(frame), 8, 3 );
     
168.             hue = cvCreateImage( cvGetSize(frame), 8, 1 );
     
169.             mask = cvCreateImage( cvGetSize(frame), 8, 1 );
     
170.             //分配掩膜图像空间
     
171.             backproject = cvCreateImage( cvGetSize(frame), 8, 1 );
     
172.             //分配反向投影图空间,大小一样,单通道
     
173.             hist = cvCreateHist( 1, &hdims, CV_HIST_ARRAY, &hranges, 1 );
     
174.             //分配直方图空间
     
175.             histimg = cvCreateImage( cvSize(320,200), 8, 3 );
     
176.             //分配用于直方图显示的空间
     
177.             cvZero( histimg );
     
178.             //置背景为黑色
     
179.         }
     
180. 
     
181.         cvCopy( frame, image, 0 );
     
182.         cvCvtColor( image, hsv, CV_BGR2HSV );
     
183.         //把图像从RGB表色系转为HSV表色系
     
184. 
     
185.         if( track_object )
     
186.         //track_object非零,表示有需要跟踪的物体
     
187.         {
     
188.             int _vmin = vmin, _vmax = vmax;
     
189. 
     
190.             cvInRangeS( hsv, cvScalar(0,smin,MIN(_vmin,_vmax),0),
     
191.                         cvScalar(180,256,MAX(_vmin,_vmax),0), mask );
     
192.             //制作掩膜板，只处理像素值为H：0~180，S：smin~256，V：vmin~vmax之间的部分
     
193.             cvSplit( hsv, hue, 0, 0, 0 );
     
194.                         //分离H分量
     
195.                        
     
196.             if( track_object < 0 )
     
197.             //如果需要跟踪的物体还没有进行属性提取，则进行选取框类的图像属性提取
     
198.             {
     
199.                 float max_val = 0.f;
     
200.                 cvSetImageROI( hue, selection );
     
201.                 //设置原选择框为ROI
     
202.                 cvSetImageROI( mask, selection );
     
203.                 //设置掩膜板选择框为ROI
     
204.                 cvCalcHist( &hue, hist, 0, mask );
     
205.                 //得到选择框内且满足掩膜板内的直方图
     
206.                 cvGetMinMaxHistValue( hist, 0, &max_val, 0, 0 );
     
207.                 cvConvertScale( hist->bins, hist->bins, max_val ? 255. / max_val : 0., 0 );
     
208.                 // 对直方图的数值转为0~255
     
209.                 cvResetImageROI( hue );
     
210.                 //去除ROI
     
211.                 cvResetImageROI( mask );
     
212.                 //去除ROI
     
213.                 track_window = selection;
     
214.                 track_object = 1;
     
215.                                 //置track_object为1,表明属性提取完成
     
216.                 cvZero( histimg );
     
217.                 bin_w = histimg->width / hdims;
     
218.                 for( i = 0; i < hdims; i++ )
     
219.                 //画直方图到图像空间
     
220.                 {
     
221.                     int val = cvRound( cvGetReal1D(hist->bins,i)*histimg->height/255 );
     
222.                     CvScalar color = hsv2rgb(i*180.f/hdims);
     
223.                     cvRectangle( histimg, cvPoint(i*bin_w,histimg->height),
     
224.                                  cvPoint((i+1)*bin_w,histimg->height - val),
     
225.                                  color, -1, 8, 0 );
     
226.                 }
     
227.             }
     
228. 
     
229.             cvCalcBackProject( &hue, backproject, hist );
     
230.             //计算hue的反向投影图
     
231.             cvAnd( backproject, mask, backproject, 0 );
     
232.             //得到掩膜内的反向投影
     
233.             cvCamShift( backproject, track_window,
     
234.                         cvTermCriteria( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 10, 1 ),
     
235.                         &track_comp, &track_box );
     
236.             //使用MeanShift算法对backproject中的内容进行搜索,返回跟踪结果
     
237.             track_window = track_comp.rect;
     
238.             //得到跟踪结果的矩形框
     
239.             
     
240.             if( backproject_mode )
     
241.                 cvCvtColor( backproject, image, CV_GRAY2BGR );
     
242.                
     
243.             if( image->origin )
     
244.                 track_box.angle = -track_box.angle;
     
245.             cvEllipseBox( image, track_box, CV_RGB(255,0,0), 3, CV_AA, 0 );
     
246.             //画出跟踪结果的位置
     
247.         }
     
248.         
     
249.         if( select_object && selection.width > 0 && selection.height > 0 )
     
250.         //如果正处于物体选择，画出选择框
     
251.         {
     
252.             cvSetImageROI( image, selection );
     
253.             cvXorS( image, cvScalarAll(255), image, 0 );
     
254.             cvResetImageROI( image );
     
255.         }
     
256. 
     
257.         cvShowImage( "CamShiftDemo", image );
     
258.         cvShowImage( "Histogram", histimg );
     
259. 
     
260.         c = cvWaitKey(10);
     
261.         if( (char) c == 27 )
     
262.             break;
     
263.         switch( (char) c )
     
264.         //按键切换功能
     
265.         {
     
266.         case 'b':
     
267.             backproject_mode ^= 1;
     
268.             break;
     
269.         case 'c':
     
270.             track_object = 0;
     
271.             cvZero( histimg );
     
272.             break;
     
273.         case 'h':
     
274.             show_hist ^= 1;
     
275.             if( !show_hist )
     
276.                 cvDestroyWindow( "Histogram" );
     
277.             else
     
278.                 cvNamedWindow( "Histogram", 1 );
     
279.             break;
     
280.         default:
     
281.             ;
     
282.         }
     
283.     }
     
284. 
     
285.     cvReleaseCapture( &capture );
     
286.     cvDestroyWindow("CamShiftDemo");
     
287. 
     
288.     return 0;
     
289. }
     
290. 
     
291. #ifdef _EiC
     
292. main(1,"camshiftdemo.c");
     
293. #endif
     

复制代码