2013年10月6日日曜日

DirectShowによるUSBカメラのリアルタイム画像処理・改良版

  Top  > Direct Show 関連 > 記事2及び記事3の改良版（バグ修正版）


2014_06_05_追記
バグを修正したバージョンをこの辺りに置いておく。
http://the-united-front.blogspot.jp/2014/05/directshowusb.html



追記：2013.10.07.月
バグの報告
現在（おそらくＰＣにカメラを複数接続している場合、）上手く認識できない場合があります。
取りあえずは何回かやり直したり、他のソフトで一旦カメラを起動してみたりすると上手く行きました。
カメラを複数接続とは最近ＰＣにデフォルトで搭載されているWebカメラを含みます。（というか私の環境だとこれが原因なのだが、外す訳にも行かず……）
原因を特定次第修正します。

追記：2013.10.07.月
「初回例外が 0x65D913C0 (msvcr110d.dll) で発生しました (Image_Processing_Ver2.1.exe 内): 0xC0000005: 場所 0x00000000 の読み取り中にアクセス違反が発生しました。」
例外が発生するのは
「memcpy(rgbValues, grabBuffer, (pVideoInfoHeader->bmiHeader.biSizeImage));」
の部分で、カメラの表示が始まるまで発生し続け、表示が始まり次第エラーを吐かなくなるので、
カメラの初期化が終了する前に(まだ準備されていないメモリ空間である)grabBufferへアクセスしようとしている事が原因だと思われる。
⇒初期化が完了するまでの間「WM_PAINT」メッセージを抑制できれば解決する？
⇒上の遣り方は良く分からないし、取りあえずメモリのコピーを
  「class cameraCB : public ISampleGrabberCB」
  の内部で処理する事にする。
  ⇒例外こそ発生しなくなったが、「class cameraCB : public ISampleGrabberCB」と「WM_PAINT」の処理するタイミングの問題で表示がバグる。(一部処理した画像で、一部はそのままの画像)
⇒スマートな解決方法が思いつかなかったので、
  「DirectShow_for_USB_Camera(hWnd);」の直後に、「Sleep(5000);」を入れておく。
  「
  DirectShow_for_USB_Camera(hWnd);
  Sleep(5000);//Direct Showの初期化を待つ。//他のもっとスマートな方法も考えたが、簡単なので取りあえず安直にスリープを入れておく。
  」
下のコードの方は書き直していないので注意してください。
その内新しい記事として書き直します。

DirectShowによるUSBカメラのリアルタイム画像処理

実行風景は記事2の
と殆ど同じです。（Click to stop.のメッセージボックスは終了処理をきちんと書き直したので無くなりました。）


ソースは
http://ux.getuploader.com/ADMIS/download/12/Image_Processing_Ver2.1.5.zip

一応以下にも掲載していますが、一部表示がバグっている上、見難いので一旦上記のファイル（プロジェクト）をダウンロードしてから見る事をお勧めします。

//MessageBox(0, _T("I'm here!"), _T("Message"), MB_OK);
/*
バグ報告、


最大化した時、Directshowで描写している方の画面(と言うかもう一つのウィンドウ)の位置が追随しないためズレる
⇒解決方法、「case WM_PAINT:」の時、に「pVWindow->SetWindowPosition(0, 0, 640, 480);」を実行すればいいのだが、
  このまま実行すると、再描写が重なるので、今している右側に表示する処理をウィンドウを新しく作ってそちらで処理させる
  必要があるが、面倒なので後回し。
⇒解決。上に提案した方法とは異なるが、以下の三行にて解決。
  「
   case WM_GETMINMAXINFO:
  pVWindow->SetWindowPosition(0, 0, 640, 360);
  return 0;
  」


終了時にMessageでOKをクリックして終了しようとするとCPU使用率が上昇する。
⇒Ver1.2からの症状。どうやら解放した後の「case WM_PAINT:」の時に暴走している。Messageで「OK」を押しても処理してもプログラムが終了せずに、解放したリソースにアクセス
  しようとするのが原因だが、最終的な実装で解決するはずなので放置
⇒解決


重心の描写時に、ターゲットが存在しないとCPU使用率が上がる
⇒SoTPが0の時0で割り算しているため
⇒解決


縮小表示にバグを発見(処理した画像をディスプレイに表示するときに一部表示されない、つまり、縮小表示すべき所を切り取り表示していた。)
「
 SetDIBitsToDevice(
 hdc , 650 , 0 ,
 pVideoInfoHeader->bmiHeader.biWidth , pVideoInfoHeader->bmiHeader.biHeight ,
 0 , 0 , 0 , pVideoInfoHeader->bmiHeader.biHeight ,
 rgbValues , &bmpInfo , DIB_RGB_COLORS
);
 」
 を
 「
 SetStretchBltMode(hdc , COLORONCOLOR);
 //これを挿入しないと「StretchDIBits」による縮小時に発生するノイズが酷い。
 StretchDIBits(
 hdc ,
 650 , 0 ,
 640 , 360 ,
 0 , 0 ,
 pVideoInfoHeader->bmiHeader.biWidth , pVideoInfoHeader->bmiHeader.biHeight ,
 rgbValues , &bmpInfo , DIB_RGB_COLORS,SRCCOPY
);
 」
 とする事で解決
⇒解決
*/


/*
http://hisoap.jugem.jp/?eid=140
のサンプルほぼそのまま

花形として
http://www.geekpage.jp/programming/directshow/renderfile.php
http://marupeke296.com/DSW_No5_FullScreenProgram.html
とかが参考になる。（結構似たような事をしてる）

http://wisdom.sakura.ne.jp/system/winapi/win32/win118.html
を参考にしてビットマップを右側に描写している。

http://tmp.junkbox.info/index.php?e=24
を参考にしてカラーフィルタを実装した。(ただしC#(涙))

http://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93
を参考に、RGBからHSVへ変換し色判定を行う。
*/

#include 
#include 

#include 
#include 
//#include //mallocに必要？
//#include //memcpy関数に必要？
#include //sin,cos,tanの三角関数などの計算に必要


#define WM_CAPTURE WM_APP+1

#pragma comment(lib,"strmiids.lib")

//===============================================
#pragma include_alias( "dxtrans.h", "qedit.h" )
#define __IDxtCompositor_INTERFACE_DEFINED__
#define __IDxtAlphaSetter_INTERFACE_DEFINED__
#define __IDxtJpeg_INTERFACE_DEFINED__
#define __IDxtKey_INTERFACE_DEFINED__
#include  // SampleGrabber用
/*
#include におけるエラー
「fatal error C1083: include ファイルを開けません。'qedit.h': No such file or directory」
の解決方法

#include の直前に
「
#pragma include_alias( "dxtrans.h", "qedit.h" )
#define __IDxtCompositor_INTERFACE_DEFINED__
#define __IDxtAlphaSetter_INTERFACE_DEFINED__
#define __IDxtJpeg_INTERFACE_DEFINED__
#define __IDxtKey_INTERFACE_DEFINED__
」
を追加する。すなわち、
「
#pragma include_alias( "dxtrans.h", "qedit.h" )
#define __IDxtCompositor_INTERFACE_DEFINED__
#define __IDxtAlphaSetter_INTERFACE_DEFINED__
#define __IDxtJpeg_INTERFACE_DEFINED__
#define __IDxtKey_INTERFACE_DEFINED__
#include 
」
とする。

また、
VisualStudio2012のメニューバーから
デバッグ(D)→***のプロパティ...
→構成プロパティ→全般→全般→プラットフォームツールセット
に置いて、
「Visual Studio 2012 (v110)」から「Visual Studio 2012 - Windows XP (v110_xp)」に変更する。

さらに、
C:\Program Files (x86)\Microsoft SDKs\Windows\v7.1A\Include
に「qedit.h」を(古いSDKもしくはインターネットから拾ってきて)追加する。
注意:この場合の「qedit.h」は無編集状態のもの。(エラー回避のためのコメントアウトをしていないもの)


追記
「C:\Program Files (x86)\Microsoft Visual Studio 11.0\VC\include」
に「qedit.h」を(古いSDKもしくはインターネットから拾ってきて)追加すれば、「Visual Studio 2012 (v110)」のままでOK
*/
//===============================================


//グローバル変数
const TCHAR szWndClass[] = _T("TestProgram");
static BITMAPINFO bmpInfo;

#define M_PI 3.14159265358979 /* 円周率 */

VIDEOINFOHEADER *pVideoInfoHeader;
BYTE *grabBuffer; //void *grabBuffer = NULL;でも良かったみたい。
     //&grabBuffer//grabBufferのアドレス
     // grabBuffer//画像の先頭アドレス
     //*grabBuffer//画像
unsigned char * rgbValues; //画像処理用の動的バッファのポインタ//unsignedにしないとバグる。具体的には「水色っぽい部分を見つけたら」「if ( rgbValues[p] > rgbValues[p + 1] && rgbValues[p] > rgbValues[p + 2]*2 )」などと判定する時にバグる。


//プロトタイプ宣言               // http://www.geocities.jp/ky_webid/cpp/language/038.html によれば、c++では必ずプロトタイプ宣言をしなくてはいけないらしい。(しないとリンクエラー「error LNK2001」になる)
LRESULT CALLBACK WndProc(HWND hWnd, UINT msg, WPARAM wParam, LPARAM lParam);
int DirectShow_for_USB_Camera(HWND hWnd);         
class cameraCB;                //これは無くてもエラー吐いてない……良く分からん……。
void ConvertRGBtoHSV(unsigned char * rgbValues,unsigned int *i,double *H,double *S,double *V);


// http://miraiware.net/memo/dshow-capture.html //
class cameraCB : public ISampleGrabberCB//ISampleGrabberCBクラスを継承
 {
 public:
 cameraCB(){};
 ~cameraCB(){};
 HWND hWnd;
 
 STDMETHODIMP_(ULONG) AddRef() { return 2; }//インターフェイスの参照カウントを 1 ずつ増やす。
 STDMETHODIMP_(ULONG) Release() { return 1; }//インターフェイスの参照カウントを 1 ずつ減少させる。
 

 //インターフェースの生成
 STDMETHODIMP QueryInterface(REFIID riid,void **ppv)
 {
  return E_NOINTERFACE;
 }
 
 /*
 * バッファサンプリング コールバック関数
 * @param dblSampleTime サンプル時間
 * @param pSample IMediaSample
 */
 STDMETHODIMP SampleCB( double dblSampleTime, IMediaSample* pSample ) {
  return S_OK;
 }

 /**
 * バッファサンプリング コールバック関数
 * @param dblSampleTime サンプル時間
 * @param pBuff バッファ
 * @param lBufSize バッファサイズ
 */
 STDMETHODIMP BufferCB( double dblSampleTime, BYTE* pBuff, long lBufSize ){
  grabBuffer = pBuff;

  static int ii=0;
  ii++;
  //SendMessage( hWnd, WM_CAPTURE, (WPARAM)pBuff, (LPARAM)lBufSize );

  InvalidateRect(hWnd, NULL, FALSE);// 再描画を促す
  return S_OK;
 }
};


//DirectShowの終了時に開放する必要のある変数=======
//本当は↑のグローバル変数宣言にまとめて宣言したかったのだが「cameraCB()のため断念」
//逆にグローバル変数の宣言をこちらへまとめると、↑のクラスで「grabBuffer」が引っかかるので無理。
HRESULT hr;
IGraphBuilder *pGraph = NULL;
IBaseFilter *pbf = NULL;
IBaseFilter *pSampleGrabberFilter;
ICaptureGraphBuilder2 *pCapture = NULL;
cameraCB *cb = new cameraCB();//これはクラスを宣言した後にする事
ISampleGrabber *pSampleGrabber;
IVideoWindow *pVWindow=NULL;
IMediaControl *pMC = NULL;
//=========================================ここまで


// The entry point for the application
int WINAPI WinMain(
 HINSTANCE hInstance, HINSTANCE hPrevInstance,
 LPSTR lpCmdLine, int nCmdShow)
{
 WNDCLASS wc;
 wc.style         = CS_HREDRAW | CS_VREDRAW;
 wc.lpfnWndProc   = WndProc;
 wc.cbClsExtra    = 0;
 wc.cbWndExtra    = 0;
 wc.hInstance     = hInstance;
 wc.hIcon         = LoadIcon(NULL, IDI_APPLICATION);
 wc.hCursor       = LoadCursor(NULL, IDC_ARROW);
 wc.hbrBackground = (HBRUSH) (COLOR_WINDOW + 1);
 wc.lpszMenuName  = NULL;
 wc.lpszClassName = szWndClass;

 if (!RegisterClass(&wc)) return FALSE;
 
 HWND hWnd = CreateWindow(
  szWndClass, _T("Title"),
  WS_OVERLAPPEDWINDOW,
  CW_USEDEFAULT, CW_USEDEFAULT,
  CW_USEDEFAULT, CW_USEDEFAULT,
  NULL, NULL,
  hInstance, NULL);
 
 if (!hWnd) return FALSE;

 ShowWindow(hWnd, nCmdShow);
 UpdateWindow(hWnd);


 DirectShow_for_USB_Camera(hWnd);


 MSG msg;
 while (GetMessage(&msg, NULL, 0, 0)) {
  TranslateMessage(&msg);
  DispatchMessage(&msg);
 }


 //DirectShowの終了処理==========================
 pMC->Stop();
 hr = pVWindow->put_Visible(OAFALSE);

 pMC->Release();    // http://marupeke296.com/DSW_No5_FullScreenProgram.html //⑪ 終了処理
 pVWindow->Release();  // 解放順番はきっと厳密ではないのだろうと思うのですが、一応作成順と逆に解放しておきます。

 // プレビュー停止時
 pSampleGrabber->SetCallback(NULL, 1);//これをしないと正しく終了できない。「ハンドルされない例外が 0x56F067C7 (qedit.dll) で発生しました(Image_Processing_Ver0.7.exe 内): 0xC0000005: 場所 0xFEEEFEF6 の読み取り中にアクセス違反が発生しました。」と言ってエラーを吐く。
 delete cb;

 pCapture->Release();
 pSampleGrabber->Release();
 pSampleGrabberFilter->Release();
 pbf->Release();
 pGraph->Release();

 CoUninitialize(); // COMを終了

 free(rgbValues);//バッファの解放
 //======================================ここまで


 return (int) msg.wParam;
}

// Processes messages for the main window
LRESULT CALLBACK WndProc(
 HWND hWnd, UINT msg, WPARAM wParam, LPARAM lParam)
{
 switch (msg) {
 case WM_PAINT:{

  // Bitmapをbyte[]へコピー
  memcpy(rgbValues, grabBuffer, (pVideoInfoHeader->bmiHeader.biSizeImage));


  //1pixel辺りの力(質量×重力加速度？)を1として計算する。
  //ターゲットとするピクセルの合計「Sum of target pixels」//物理で言う質量の合計
  unsigned int SoTP=0;
  //原点(画面の左上)(0,0)、を中心として時計回りに回転しようとする力(モーメント)の合計「Sum of Power」
  unsigned int xSoP=0;
  unsigned int ySoP=0;
  //重心「Center of gravity」
  unsigned int xCoG=0;//重心のx座標
  unsigned int yCoG=0;//重心のy座標

  unsigned int i=0;
  for (unsigned int y = 0; y < (unsigned int)(pVideoInfoHeader->bmiHeader.biHeight); y++)
  {
  for (unsigned int x = 0; x < (unsigned int)(pVideoInfoHeader->bmiHeader.biWidth ); x++)
  {
   double H=0;//0～360°
   double S=0;//0.0～1.0
   double V=0;//0.0～1.0//にするのが当然だが、計算コストの問題で0～255


   //RGBからHSVへ変換し色判定を行う。// http://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93 //
   ConvertRGBtoHSV(&rgbValues[0], &i, &H, &S, &V);
   

   /*
   次の値に大体合わせてみた。
   R G B
   81 83 123
   82 84 141
   112 152 255
   116 158 255

   H=60*2/42+240=2.857+240=242.857
   S=42/123=0.3414

   H=60*40/143+240=256
   S=143/255=0.56
   */

   // 水色っぽい部分を見つけたら
   if( 200<=H && H<=260 && 0.2bmiHeader.biHeight)-(ySoP/SoTP);//なんか良く分からんけどこのままだと画面の左下が原点(0,0)となってしまうので、次の表示のためにも原点(0,0)を画面の左上に変換しておく。

   flag=TRUE;

   // http://ja.wikipedia.org/wiki/%E4%B8%89%E8%A7%92%E6%B8%AC%E9%87%8F //
   //角度の導出   //カメラ同士の距離を18.8cmとして計算していく。
   //y:角度、x:座標
   //  y=((90-60)/320)*x+60
   //⇔y=(3/32)*x+60
   double theta1;//θ1[°]//右カメラ
   double theta2;//θ2[°]//左カメラ
   theta1 = ((0.09375)*xCoG)+60;//(3/32)だと何故か上手く計算してくれないので(0.09375)に書き直している。
   theta2 = (0.09375)*320+60;//取りあえずカメラが一台しか無いので固定値(つまり、ターゲットが、もう一台のカメラ(右カメラ)があるべき位置の真正面上を移動すると仮定して距離を計算していく)

   //ここで注意したいのはsin,cos,tanは度数法(度(°))では無く弧度法(ラジアン(rad))である事。
   //そのため上記の度数法で表している角度を弧度法に変換する。(一気に弧度法で計算していないのはデバックでブレークポイントを設置した時に弧度法で言われても分度器で角度を測れないため。必要が無い場合は計算をまとめて良い)
   //M_PIは自分で定義する必要がある。
   double rTheta1;//θ1[rad]//右カメラ
   double rTheta2;//θ2[rad]//左カメラ
   rTheta1 = M_PI*theta1/180;//[rad]=2π*[°]/360⇔[rad]=π*[°]/180
   rTheta2 = M_PI*theta2/180;

   //ターゲットとの距離を導出
   double dVertical; //垂直距離「     Vertical distance」//単位は[cm]//カメラとカメラを結ぶ直線にターゲットから垂線を下ろした時、その降ろした垂線の距離
   double dHorizontal; //水平距離「   Horizontal distance」//単位は[cm]//カメラとカメラを結ぶ直線にターゲットから垂線を下ろした時、に直線の交点とカメラとカメラの間の中点との距離
   double dStraight; //直線距離「Straight-line distance」//単位は[cm]//カメラとカメラの中点とターゲットとの間の直線距離
   dVertical = (double)(18.8)*(double)sin(rTheta1)*(double)sin(rTheta2)/(double)sin(rTheta1+rTheta2);//三角測量と同様の方法で導出
   dHorizontal = (dVertical/tan(rTheta1))-((18.8)/2);//三角関数より導出
   dStraight = sqrt(   (dVertical*dVertical)+(dHorizontal*dHorizontal)   );//三平方より導出

  }
  else
  {
   flag=FALSE;
  }



  //memcpy(grabBuffer, rgbValues, (pVideoInfoHeader->bmiHeader.biSizeImage));   //これをやると画面が両方真っ赤になる。のでダメ

  //背景の画像(右側の赤と黒の画像)を描写する
  HDC hdc;
  PAINTSTRUCT ps;
  hdc = BeginPaint (hWnd, &ps);
  //そのまま表示すると大き過ぎるので3分の1に縮小して表示する//640:480だと1920:1080に対してアスペクト比が変わるので640:360とする。
  SetStretchBltMode(hdc , COLORONCOLOR);//これを挿入しないと「StretchDIBits」による縮小時に発生するノイズが酷い。
  StretchDIBits(
   hdc ,
   650 , 0 ,
   640 , 360 ,
   0 , 0 ,
   pVideoInfoHeader->bmiHeader.biWidth , pVideoInfoHeader->bmiHeader.biHeight ,
   rgbValues , &bmpInfo , DIB_RGB_COLORS,SRCCOPY
  );

  if(flag){
   //重心の位置を描写する
   HPEN hPen;  // 論理ペンへのハンドル
   hPen = CreatePen(PS_SOLID, 1, RGB(0, 0xFF, 0));
   SelectObject(hdc, hPen);      // 論理ペンを登録
   
   MoveToEx(hdc, 650+xCoG/3, 0, NULL);  // (20, 20) に移動
   LineTo(hdc, 650+xCoG/3, (pVideoInfoHeader->bmiHeader.biHeight )/3);         // (200, 20) まで直線を描画
   MoveToEx(hdc, 650, yCoG/3, NULL);  // (20, 20) に移動
   LineTo(hdc, 650+(pVideoInfoHeader->bmiHeader.biWidth )/3, yCoG/3);         // (20, 200) まで直線を描画

   DeleteObject(hPen);           // 論理ペンを破棄
  }

  EndPaint( hWnd, &ps );
  return 0;
  }
 //case WM_CREATE:{
 // return 0;
 // }
 case WM_GETMINMAXINFO://最大化、最小化以外にもウィンドウサイズの変更の場合もメッセージが送られるためこのままだとウィンドウサイズを変更するときにチラツクが、実質的に問題無いので放置。
  pVWindow->SetWindowPosition(0, 0, 640, 360);
  return 0;
 case WM_DESTROY:
  PostQuitMessage(0);
  return 0;
 default:
  return DefWindowProc(hWnd, msg, wParam, lParam);
 }
}



int DirectShow_for_USB_Camera(HWND hWnd){
 //HRESULT hr;//外で定義
 
 // --- COMの初期化
 hr = CoInitialize(NULL);
 if(FAILED(hr)){
  printf("CoInitialize Failed!\n");
  exit(1);//return 1;と同義
 }

 // --- 1.フィルタグラフマネージャ作成（DirectShow の中心的なオブジェクト）
 //IGraphBuilder *pGraph = NULL;//外で定義
 CoCreateInstance(CLSID_FilterGraph, NULL, CLSCTX_INPROC, IID_IGraphBuilder, (void **)&pGraph);
        // http://marupeke296.com/DSW_No5_FullScreenProgram.html //② フィルタグラフマネージャの取得
        // フィルタグラフマネージャの取得
        //
        //　DirectShowのプログラムは実質ここから始まります。まずはフィルタグラフを管理するフィルタグラフマネージャを作成します。取得するインターフェイスはIGraphBuilderです。このインターフェイスはWindows自体が提供するためCoCreateInstance関数というグローバルな関数を用いて生成します。
        //
        //IGraphBuilder *pGB = NULL;
        //HRESULT hr = CoCreateInstance( CLSID_FilterGraph, NULL, CLSCTX_INPROC_SERVER, IID_IGraphBuilder, (void**)&pGB);
        //　CoCreateInstance関数はCOMとして登録されているインターフェイスを生成して返してくれます。
        //第1引数にインターフェイスを含むクラスIDを指定します。IGraphBuilderを取得するときに指定するIDはCLSID_FilterGraphと決まっているので、無条件で上のように与えます。
        //第2引数はCOMオブジェクトの内包状態を指定するフラグなのですが、殆どのCOMはNULLでOK。
        //第3引数は生成するCOMの実装ソースがあるDLLの所在を表します。IGraphBuilderについてはDLLがローカルにありますのでインプロセスであるCLSCTX_INPROC_SERVERを指定します。
        //第4引数に欲しいインターフェイスの固有IDを指定します。IGraphBuilderインターフェイスを表すIDはIID_IGraphBuilderです。
        //関数が成功すると第5引数にIGraphBuilderインターフェイスへのポインタが返ります。
        //
        //この処理はもう決まりきっていますので、変更のしようがありません。「IGraphBuilderの取得の仕方はこうだ！」と決めてしまってよいでしょう。
        //
        //　IGraphBuilderの役目はフィルタグラフにかかわるインターフェイスの提供、およびフィルタグラフの管理です。


 // --- 2.システムデバイス列挙子の作成（接続されているデバイスを調べるためのオブジェクト） // ⑥ キャプチャデバイス（USBカメラ等）を選択するため，システムデバイス列挙子を作成する．つまり，PCに接続されているデバイスを列挙するってこと．
 ICreateDevEnum *pDevEnum = NULL;
 CoCreateInstance(CLSID_SystemDeviceEnum, NULL, CLSCTX_INPROC, IID_ICreateDevEnum, (void **)&pDevEnum);
 
 // 列挙子の取得 // ⑦ 列挙したキャプチャデバイスのカテゴリ列挙子を取得する．音声なのか，映像なのか，とかそういうこと．ビデオキャプチャの場合は，CLSID_VideoInputDeviceCategoryを指定すればよい．
 IEnumMoniker *pClassEnum = NULL;
 pDevEnum->CreateClassEnumerator(CLSID_VideoInputDeviceCategory, &pClassEnum, 0);
 if(pClassEnum == NULL){
  printf("Device does not exist!\n");
  pDevEnum->Release();
  CoUninitialize();
  return 1;
 }
 pDevEnum->Release(); // 以後に不要なメモリーをリリース

 //IBaseFilter *pbf = NULL;//外で定義
 IMoniker *pMoniker = NULL;
 ULONG cFetched;    //ULONGはCOMの型……らしいのだが……？？？
 if(pClassEnum->Next(1, &pMoniker, &cFetched) == S_OK){    // IEnumMoniker.Next メソッド(http://msdn.microsoft.com/ja-jp/library/system.runtime.interopservices.comtypes.ienummoniker.next(v=vs.85).aspx)←ハイパーリンクがバグってる……。
                  // Next(1, &pMoniker, &cFetched)
                  //返されるモニカの数,列挙されたモニカへの参照を格納,列挙されたモニカの実数への参照を格納

  pMoniker->BindToObject(0, 0, IID_IBaseFilter, (void**)&pbf); // 最初のモニカをフィルタオブジェクトにバインド
  pMoniker->Release();
 }
 pClassEnum->Release(); // 以後に不要なメモリーをリリース
 
 pGraph->AddFilter(pbf, L"USB Camera Capture"); // グラフにフィルタを追加
        // http://marupeke296.com/DSW_No5_FullScreenProgram.html //⑥ ソースフィルタの作成と登録
        // IGraphBuilder::AddSourceFilter関数を使用した場合は自動的にフィルタグラフへの登録が行われるので、改めてIGraphBuilder::AddFilter関数を呼ぶ必要はない。
        // ファイル名に関して重要な注意があります。第2引数の型は「LPCWSTR」になっています。これはワイド文字（例えばunicode）というやつです。私たちが以前まで普通に使っていたのはマルチバイト文字でして、これは「LPCSTR」です。マルチバイト文字とワイド文字は互換性がありません。ですから、ワイド文字がコンパイラオプションに設定されていない環境では、文字をプログラマが明示的にワイド文字に変換する必要があります。ただリテラル（ダブルクォーテーションで囲まれた文字）で定義する場合は「L接頭子」を付けると常にワイド文字として扱われます。
 
 //============================================================================================
 // http://www.geekpage.jp/programming/directshow/samplegrabber.php //BitMapキャプチャ用フィルタの用意

 //IBaseFilter *pSampleGrabberFilter;//外で定義
 // SampleGrabber(Filter)を生成
 CoCreateInstance(CLSID_SampleGrabber,
      NULL,
      CLSCTX_INPROC,
      IID_IBaseFilter,
      (LPVOID *)&pSampleGrabberFilter);

 //ISampleGrabber *pSampleGrabber;//外で定義
 // FilterからISampleGrabberインターフェースを取得します
 pSampleGrabberFilter->QueryInterface(IID_ISampleGrabber, (LPVOID *)&pSampleGrabber);

 AM_MEDIA_TYPE am_media_type;
 // SampleGrabberを接続するフォーマットを指定。
 // ここがポイントです。
 // ここの指定の仕方によりSampleGrabberの挿入箇所を
 // 決定できます。このサンプルのような指定をすると
 // 画面出力の寸前でサンプルを取得できます。
 ZeroMemory(&am_media_type, sizeof(am_media_type));
 am_media_type.majortype = MEDIATYPE_Video;
 am_media_type.subtype = MEDIASUBTYPE_RGB24;
 am_media_type.formattype = FORMAT_VideoInfo;
 pSampleGrabber->SetMediaType(&am_media_type);

 // GraphにSampleGrabber Filterを追加
 pGraph->AddFilter(pSampleGrabberFilter, L"Sample Grabber");
 //============================================================================================

 // --- 3.キャプチャグラフ作成
 //ICaptureGraphBuilder2 *pCapture = NULL;//外で定義
 CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL, CLSCTX_INPROC, IID_ICaptureGraphBuilder2, (void **) &pCapture);
 pCapture->SetFiltergraph(pGraph); // フィルタグラフをキャプチャグラフに組み込む//ICaptureGraphBuilder2インターフェイスの初期化
             //
             //http://marupeke296.com/DSW_No5_FullScreenProgram.html //⑦ ICaptureGraphBuilder2インターフェイスの取得
             // フィルタの接続は意外と面倒なものなのですが、これに関してヘルパーインターフェイスが用意されています。「ICaptureGraphBuilder2」というインターフェイスは、フィルタの接続をある程度自動化してくれまして、使い勝手がとても良いものです。ここではこれを使うことにしましょう。このインターフェイスの取得にもCoCreateInstance関数を用います。
             // 取得したICaptureGraphBuilder2インターフェイスは初期化が必要なのですが、これはとても簡単でして先に取得したIGraphBuilderインターフェイスをICaptureGraphBuilder2::SetFiltergraph関数に渡すだけです。
// pCapture->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video, pbf, NULL, NULL); // キャプチャグラフの設定、グラバをレンダリング出力に設定//キャプチャ画像を表示するためのビデオプレビューグラフを作成する
 pCapture->RenderStream(NULL, NULL, pbf, pSampleGrabberFilter, NULL);//上記に変わってこのように第三引数以外全てNULLに指定してもなんとかなったりする。(キャプチャするには第4引数が必要)
             // 
 //注意:ここの第4引数に「pSampleGrabberFilter」 // http://www.crystal-creation.com/software/technical-information/library/directshownet/filter-graph/capture-graph-builder2.htm#contents-3
 //     を指定して、経由するフィルタを明示する。 // int RenderStream(
 //     これをしないとキャプチャを取れない。  //    DsGuid PinCategory,       // ピン カテゴリ      //接続元と先が明らかである場合はNULL指定によりIntelligent Connectに接続を任せることも出来ます。
             //    DsGuid MediaType,         // 出力ピンのメディア タイプ   //NULL指定をすると、すべてIntelligent Connectに任せます。
             //    object pSource,           // 接続先のフィルタ      //ここは必ず指定する必要があります。
             //    IBaseFilter pfCompressor, // 経由するフィルタ (圧縮フィルタなど) //NULLが指定できます。
             //    IBaseFilter pfRenderer    // シンク フィルタ (レンダラなど)  //NULLを指定した場合、関数はデフォルトの入力フィルタへ接続を試みる。
             //   );
             //
             // http://marupeke296.com/DSW_No5_FullScreenProgram.html //⑧ フィルタの接続 を参照
 

 //============================================================================================


 //解像度を指定する。// http://www.mvision.co.jp/WebHelpIM/_RESOURCE/MvCap_03.html // http://hisoap.jugem.jp/?eid=140 // http://d.hatena.ne.jp/shibusawa_1/20080909/1220963798 //
 IAMStreamConfig *pConfig = NULL;
 pCapture->FindInterface(&PIN_CATEGORY_CAPTURE ,0,pbf,IID_IAMStreamConfig,(void**)&pConfig);
 //pCapture->FindInterface(&PIN_CATEGORY_PREVIEW ,0,pbf,IID_IAMStreamConfig,(void**)&pConfig);

 int iCount=0, iSize=0;
 hr = pConfig->GetNumberOfCapabilities(&iCount, &iSize);//ピンがサポートするフォーマット機能の数を取得
 if (iSize == sizeof(VIDEO_STREAM_CONFIG_CAPS))// VIDEO_STREAM_CONFIG_CAPS構造体かサイズを確認
 {
  for (int iFormat = 0; iFormat < iCount; iFormat++)
  {
   VIDEO_STREAM_CONFIG_CAPS scc;    // ビデオ フォーマット構造体AM_MEDIA_TYPE 
   AM_MEDIA_TYPE *p_am_media_type;//am_media_typeの実体は既に宣言しているのだが、ポインタで欲しいと言うので仕方がないのでポインタを宣言したものの、何とかならないかな……。
   p_am_media_type = &am_media_type;
   hr = pConfig->GetStreamCaps(iFormat, &p_am_media_type,  reinterpret_cast(&scc));//フォーマット機能セットを取得

   //VIDEO_STREAM_CONFIG_CAPS構造体で、動画対応で最大の大きさである1280*720となる場合を選択する。
   if(SUCCEEDED(hr) && (int)scc.InputSize.cx==1920 && (int)scc.InputSize.cy==1080){//「if(p_am_media_type->lSampleSize==2764800){」としてもOK //1280*720*3==2764800より。*3しているのはRGBで三色あるから。(MEDIASUBTYPE_RGB24の場合、MEDIASUBTYPE_RGB32の場合は1280*720*4==3686400)
   //「LifeCam Studio for Business Win USB Port 50/60 Hz 5WH-00003」を使った場合
   //960:544だと31fpsくらい出る。
   //1280:720だと9fpsくらい出る。←なんでだ？
   //1920:1080だと16.1fpsくらい出る。
   //部屋が暗かったりすると値が出ない気がするし、なんかバラバラ……。
    //選択された中で条件に合う物を「SetFormat」する

    if((p_am_media_type->majortype == MEDIATYPE_Video)   //たぶん取得したフォーマット機能セットが期待した物である事を確認している。
    && (p_am_media_type->subtype == MEDIASUBTYPE_RGB24)   //期待したフォーマット機能セットでなかった場合はfor文でそのうち引っかかる
    && (p_am_media_type->formattype == FORMAT_VideoInfo)  //このif文は無くても動く。単に皆やってるから入れてみただけ。(必要の無い所にまでフレームレートを設定する必要もないので……)
    && (p_am_media_type->cbFormat >= sizeof(VIDEOINFOHEADER))
    && (p_am_media_type->pbFormat != NULL))
    {
     VIDEOINFOHEADER *pVih;
     pVih = (VIDEOINFOHEADER *)p_am_media_type->pbFormat;

     //フレームレートの設定
     //pVih->AvgTimePerFrame = 30;//カメラの最高値に合せておく。
            //性能を越えて100とかにしても初期設定と思われる16fpsくらいしか出ない。//ここの値に関わらず気まぐれなので放置
            //レートを下げる事くらいはできるかも……。(レートはCPU依存との話もあるが……これ如何に)

     // キャストして代入
     p_am_media_type->pbFormat=(BYTE*)pVih;

     //SetFormatでpbFormatの変更を適用
     pConfig->SetFormat(p_am_media_type);
    }
   }
  }
 }

 //============================================================================================


 // http://www.geekpage.jp/programming/directshow/samplegrabber.php //画像の縦横のpixelとデータサイズの取得
 // 接続情報取得。
 // この処理はRenderFileによりGraphが構成された後に
 // 行う必要があります。
 pSampleGrabber->GetConnectedMediaType(&am_media_type);
 pVideoInfoHeader = (VIDEOINFOHEADER *)am_media_type.pbFormat;

 // ビデオ ヘッダーには、ビットマップ情報が含まれる。
 // ビットマップ情報を BITMAPINFO 構造体にコピーする。
 CopyMemory(&bmpInfo.bmiHeader, &(pVideoInfoHeader->bmiHeader), sizeof(BITMAPINFOHEADER));// http://www.greenwood.co.jp/~k-aki/article/directshow_movie/directshow_movie.html //のdirectshow2.cpp// http://www.greenwood.co.jp/~k-aki/article/directshow_movie/directshow2/directshow2.cpp //

 hr = pSampleGrabber->SetBufferSamples(FALSE);//データを取得するか?「TRUE」or「FALSE」//コールバック関数を用いて連続キャプチャするので、FALSEで問題ない。//http://miraiware.net/memo/dshow-capture.html
 pSampleGrabber->SetOneShot(FALSE);

 // プレビュー開始時
 cb->hWnd = hWnd;//これが無いとウィンドウを識別できない……。
 pSampleGrabber->SetCallback(cb,1);
 
 // プレビュー停止時
 //pSampleGrabber->SetCallback(NULL, 1);
 //============================================================================================


 // http://ugd555.fc2web.com/frame.html //⑤
 // IVideoWindowインタフェース（ビデオウィンドウの設定）
 //IVideoWindow *pVWindow=NULL;//外で定義
 hr = pGraph->QueryInterface(IID_IVideoWindow, (void **)&pVWindow);
 // http://ugd555.fc2web.com/frame.html // ⑫
 // プレビューウィンドウの設定
 hr = pVWindow->put_Owner((OAHWND)hWnd);
 //hr = pVWindow->put_Owner(NULL);とすると子ウィンドウを切り離す事ができる。
 hr = pVWindow->put_WindowStyle(WS_CHILD | WS_CLIPCHILDREN);//WS_CHILD:子ウィンドウを作成します。|WS_CLIPCHILDREN:親ウィンドウの内部で描画するときに、子ウィンドウが占める領域を除外します。親ウィンドウを作成するときに使います。//WS_CLIPCHILDREN不要かと思ったけど、無いとウィンドウを消したとき？(うる覚え……)にバグる。
// RECT rc;
// GetClientRect(hWnd, &rc);//親ウィンドウのサイズを取得
// pVWindow->SetWindowPosition(0, 0, rc.right, rc.bottom);
 //pVWindow->SetWindowPosition(0, 0, pVideoInfoHeader->bmiHeader.biWidth, pVideoInfoHeader->bmiHeader.biHeight);
 pVWindow->SetWindowPosition(0, 0, 640, 360);//そのまま表示すると大き過ぎるので3分の1に縮小して表示する//640:480だと1920:1080に対してアスペクト比が変わるので640:360とする。
 hr = pVWindow->put_Visible(OATRUE);//ウィンドウを表示する。//無くても動くけど、たぶんあった方が良いって感じのものかな？//ShowWindow()関数に相当する物だと言う事にしておく。
 
 //画像処理用の動的メモリを確保
 rgbValues = (unsigned char *)malloc((pVideoInfoHeader->bmiHeader.biWidth)*(pVideoInfoHeader->bmiHeader.biHeight)*3 * sizeof(unsigned char));

 // --- 5.キャプチャ開始
 pGraph->QueryInterface(IID_IMediaControl, (LPVOID *)&pMC);  // MediaControlインターフェース取得（グラフの開始・停止を制御するインターフェイス）
 pMC->Run();
      // http://marupeke296.com/DSW_No5_FullScreenProgram.html //⑩ フィルタグラフの実行
      // フィルタグラフの接続が全て終了し、表示サイズを正しく指定すれば、いつでも動画を再生することができます。再生を担当するインターフェイスは、IGraphBuilderから生成できるIMediaControlインターフェイスです。

 return 0;
}


//RGBからHSVへ変換する関数// http://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93 //を元に実装
void ConvertRGBtoHSV(unsigned char * rgbValues,unsigned int *i,double *H,double *S,double *V){
 if( rgbValues[*i+2] > rgbValues[*i+1] && rgbValues[*i+2] > rgbValues[*i] )//赤>緑&&赤>青
 {
  //赤>緑&&赤>青
  if( rgbValues[*i+1] > rgbValues[*i] )//緑>青
  {
   //赤>緑>青
   *H = 60*(  ((double)rgbValues[*i+1]-(double)rgbValues[*i])/((double)rgbValues[*i+2]-(double)rgbValues[*i])    ) + 0;//60*(G-B)/(MAX-MIN)+0
   *S = ((double)rgbValues[*i+2]-(double)rgbValues[*i])/(double)rgbValues[*i];//(MAX-MIN)/MAX
   *V =  (double)rgbValues[*i+2];//MAX
  }
  else
  {
   //赤>青>緑
   *H = 60*(  ((double)rgbValues[*i]-(double)rgbValues[*i+1])/((double)rgbValues[*i+2]-(double)rgbValues[*i+1])  ) + 0;//60*(B-G)/(MAX-MIN)+0
   *S = ((double)rgbValues[*i+2]-(double)rgbValues[*i+1])/(double)rgbValues[*i+1];//(MAX-MIN)/MAX
   *V =  (double)rgbValues[*i+2];//MAX
  }
 }
 else if( rgbValues[*i+1] > rgbValues[*i] )//緑>青
 {
  //緑>青
  if( rgbValues[*i] > rgbValues[*i+2] )//青>赤
  {
   //緑>青>赤
   *H = 60*(  ((double)rgbValues[*i]-(double)rgbValues[*i+2])/((double)rgbValues[*i+1]-(double)rgbValues[*i+2])  ) + 120;//60*(B-R)/(MAX-MIN)+120
   *S = ((double)rgbValues[*i+1]-(double)rgbValues[*i+2])/(double)rgbValues[*i+2];//(MAX-MIN)/MAX
   *V =  (double)rgbValues[*i+1];//MAX
  }
  else
  {
   //緑>赤>青
   *H = 60*(  ((double)rgbValues[*i+2]-(double)rgbValues[*i])/((double)rgbValues[*i+1]-(double)rgbValues[*i])    ) + 120;//60*(R-B)/(MAX-MIN)+120
   *S = ((double)rgbValues[*i+1]-(double)rgbValues[*i])/(double)rgbValues[*i];//(MAX-MIN)/MAX
   *V =  (double)rgbValues[*i+1];//MAX
  }
 }
 else//青>緑
 {
  //青>緑>赤
  if( rgbValues[*i+1] > rgbValues[*i+2] )//緑>赤
  {
   //青>緑>赤
   *H = 60*(  ((double)rgbValues[*i+2]-(double)rgbValues[*i+1])/((double)rgbValues[*i]-(double)rgbValues[*i+2])  ) + 240;//60*(R-G)/(MAX-MIN)+240
   *S = ((double)rgbValues[*i]-(double)rgbValues[*i+2])/(double)rgbValues[*i+2];//(MAX-MIN)/MAX
   *V =  (double)rgbValues[*i];//MAX
  }
  else
  {
   //青>赤>緑
   *H = 60*(  ((double)rgbValues[*i+1]-(double)rgbValues[*i+2])/((double)rgbValues[*i]-(double)rgbValues[*i+1])  ) + 240;//60*(G-R)/(MAX-MIN)+240
   *S = ((double)rgbValues[*i]-(double)rgbValues[*i+1])/(double)rgbValues[*i+1];//(MAX-MIN)/MAX
   *V =  (double)rgbValues[*i];//MAX
  }
 }
}
  Top  > Direct Show 関連 > 記事2及び記事3の改良版（バグ修正版）

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)