Android 圖像處理軟件

在機器視覺實驗室呆了有一年半時間了，但由於自己“任性”。一直以來學習的內容都是自己來安排，我還是堅持認為沒有最好和最簡單的技術，只有自己喜歡的技術。不過說起來還是會覺得慚愧，經常聽到師兄們談論圖像處理各種算法，可是一直到此軟件誕生之前對機器視覺的知識可以說一概不知。自己研究的主要是Android系統的東西，從上層到下層都有所涉及。一直以來都想把自身所長和實驗室主題聯系上，這樣可以多和實驗室牛人溝通，也順便刷刷存在感~由此向師兄師弟們請教一二，學了一點圖像處理技術，做了一款Android平台的圖像處理工具，可以幫助用戶快速實時預覽所要處理的圖像在不同算法之下的結果。也由於本人所學算法太少，今後學了更多之後也會慢慢加入到軟件中，將軟件功能壯大起來。

首先講講軟件到目前為止可以實現的功能：
* 開啟手機相機預覽圖像
* 將采集到的圖像轉換成灰度圖預覽
* 將灰度圖像經過Sobel轉換後預覽
* 對Sobel之後的圖像進行二值化
* 二值化的過程中可以隨時動態調整分割阈值
* 通過拍照按鈕可以鎖定圖像，在按一次進行邊緣提取

軟件效果圖如下：

首先是打開軟件所看到的主界面：

然後點擊菜單，切換到灰度圖：

接著切換到Sobel變換

阈值為50的二值分割

最後進行邊緣提取：

其中涉及到的算法有四個，具體的算法實現可以在軟件源碼中找到，點擊下載源碼<喎?/kf/ware/vc/" target="_blank" class="keylink">vcD4KPHA+1fu49sjtvP7T0DO49sDgo6zSsr7NyP249rK7zay1xLmmxNyyv7fWo6zG5NbQTWFpbkFjdGl2aXR5LmphdmHKx9b3wOCjrM/Cw+awtNXVyP249rK7zay1xLmmxNyzybfWttTV+7j2yO28/rzcubnX9tK7uPbP6s+4tcTLtcP3o7o8L3A+CjxoMyBpZD0="1主界面">1、主界面

MainActivity.java ：

首先是界面布局，主要是一個ImageView用於顯示整個預覽框，另外加上一個拍照按鈕和一個菜單按鈕，點擊菜單按鈕彈出菜單。最後如果當前請求二值化算法，則顯示一個滑動進度條和一個文本輸入框來動態調整阈值。代碼如下：

接下來加入對菜單和拍照按鈕事件的監聽方法，如下：

public void onClick_menu(View view)
    {
        if (isMenuVisible)
        {
            listView.startAnimation(menuInvisible);
            listView.setVisibility(View.GONE);
            isMenuVisible = false;
        }
        else
        {
            listView.startAnimation(menuVisible);
            listView.setVisibility(View.VISIBLE);
            isMenuVisible = true;
        }
    }

    public void onClick_takePic(View view) throws IOException
    {
        getScreen.takePic();                //相機拍照
    }

其中菜單的顯示我添加了一個透明度動畫，讓軟件界面更柔和。透明度補間動畫比較簡單，在res/anim/目錄下添加兩個動畫資源用於顯示和消失，然後再單擊事件中播放動畫即可。
然後是對彈出來的菜單編寫點擊事件，這裡我用ListView做的菜單，用listView.setOnItemClickListener()方法設置回調方法。代碼如下：

listView.setOnItemClickListener(new OnItemClickListener()
        {
            @Override
            public void onItemClick(AdapterView parent, View view,
                    int position, long id)
            {
                if (position == 3)          // 灰度圖則打開進度條
                {
                    seekbar.setVisibility(View.VISIBLE);
                    inputThreshold.setVisibility(View.VISIBLE);
                }
                else
                {
                    seekbar.setVisibility(View.GONE);
                    inputThreshold.setVisibility(View.GONE);
                }
                whichToDisplay = position;              //切換算法
            }
        });

這裡主要作用有兩個：1、打開和關閉阈值進度條；2、切換用戶點擊的算法。當然，進度條打開之後也要有配套的監聽程序，這裡需要同時監聽seekBar和editText兩個控件，需要保持二者的同步，內容比較簡單易懂，如下：

// 處理SeekBar
        seekbar.setOnSeekBarChangeListener(new OnSeekBarChangeListener()
        {
            @Override
            public void onStopTrackingTouch(SeekBar arg0)
            {
                thresholdValue = arg0.getProgress() > 255 ? 255 : arg0
                        .getProgress();
            }

            @Override
            public void onStartTrackingTouch(SeekBar arg0)
            {

            }

            @Override
            public void onProgressChanged(SeekBar arg0, int arg1, boolean arg2)
            {
                inputThreshold.setText(arg0.getProgress() + );
            }
        });

        // 處理EditText
        inputThreshold.setOnEditorActionListener(new OnEditorActionListener()
        {

            @Override
            public boolean onEditorAction(TextView v, int actionId,
                    KeyEvent event)
            {
                seekbar.setProgress(Integer.parseInt(inputThreshold.getText()
                        .toString()));
                return false;
            }
        });

好了，到這裡基本上主界面的東西都考慮到了，下面是圖像的獲取部分。

2、獲取相機圖像並顯示預覽

GetScreen.java：
這一部分主要運用到對Android相機和預覽功能的使用方面的內容。
1. 對相機的使用：
按照我個人對相機的使用，可以簡單歸納為6個步驟：
① 打開相機—— Camera.open();
② 設置相機參數——Camera.getParameters();
③ 設置圖片預覽容器——Camera.setPreviewTexture();
④ 開始預覽——Camera.startPreview();
⑤ 設置預覽回調接口——Camera.setPreviewCallback();
⑥ 關閉相機——Camera.close();
整個過程其實很簡單，官方文檔中強調了幾個容易出錯的地方：一個是注意3和4兩個步驟的順序不能反，另外是相機用完一定要關閉，否則其他程序將無法啟動相機。經過本人的測試，如果不關閉相機，在退出的時候也會拋出異常，所以需要多加注意！

另外一個需要注意的是這裡回調傳入setPreviewCallback()方法的圖像是YuV420p格式，需要轉換成rgb格式方便處理。這裡用到了一個decodeYUV420SP算法，詳細內容見源碼。轉換成RGB格式之後可以很方便的生成Bitmap圖片，然後在ImageView上顯示即可。

其實這一部分比較麻煩的是對焦的步驟。首先我們通過亮度計算公式：

bright = 0.299 * r + 0.587 * g + 0.114 * b;
每隔500ms計算一次整幅圖片的亮度平均值，然後和上一次的值對比，如果在某一個區間內，則說明相機前端圖像已經趨於穩定，此時進行一次對焦，並設置相應標志位以保證在下一次穩定圖像出現之前不在進行對焦。對焦函數如下：

private void autoFocus()
    {
        long currentTime = 0, stableTime = 0;

        currentTime = System.currentTimeMillis();
        bright = Pictures.getLight(rgb);

        if (Math.abs(bright - lastBright) > focusThreshold)
        {
            lastBright = bright;
            hasFocus = false;
            stableTime = currentTime;
        }
        else
        {
            if (!hasFocus && currentTime - stableTime >= 500)
            {
                camera.autoFocus(new AutoFocusCallback()
                {
                    @Override
                    public void onAutoFocus(boolean success, Camera camera)
                    {

                    }
                });

                hasFocus = true;
            }
        }
    }

3、圖像算法

Pictures.java：
進入到這裡才真正開始涉及到圖像處理算法的部分，這裡會涉及到幾個比較簡單的算法，算法的原理這裡就不多說了，網上關於圖像處理技術的講解有很多。

軟件中主要有如下幾個算法的靜態方法：
* 前面提到的將YuV420p轉成RGB格式：decodeYUV420SP();
* 計算圖像的平均亮度： getLight();
* 獲取八位灰度圖像數組：getLightArray();
* 彩色圖轉換成灰度圖：convertToGrey();
* Sobel變換：sobel();
* 對圖片進行二值化處理：turnTo2();
* 邊緣提取：findFrame();

在這裡我把每個算法都寫成了靜態方法，這樣可以很方便的在其他代碼中使用算法處理圖像，對圖像的處理都在第二部分GetScreen的相機預覽回調函數onPreviewFrame()中，這裡也是整個軟件的核心步驟。代碼如下：

@Override
    public void onPreviewFrame(byte[] data, Camera camera)
    {
        rgb = new int[Pictures.PIC_LENGTH];
        sobelPic = new int[Pictures.PIC_LENGTH];
        grey = new int[Pictures.PIC_LENGTH];

        Pictures.decodeYUV420SP(rgb, data, width, height);

        switch (MainActivity.whichToDisplay)
        {
        case 1:                                     // 顯示灰度圖
            Pictures.convertToGrey(rgb, grey);
            display = grey;
            break;

        case 2:
            Pictures.convertToGrey(rgb, grey);      // sobel變換之後顯示
            Pictures.sobel(grey, width, height, sobelPic);
            display = sobelPic;
            break;

        case 3:                                     // 二值化顯示
            Pictures.convertToGrey(rgb, grey);
            Pictures.sobel(grey, width, height, sobelPic);
            Pictures.turnTo2(sobelPic);
            display = sobelPic;
            break;
        default:
            display = rgb;
        }
        bitmap = Bitmap.createBitmap(display, width, height, Config.RGB_565);
        MainActivity.setImageView(bitmap);

        autoFocus();
    }

首先將圖片轉換為RGB格式（為了方便處理），然後根據主界面的菜單選項切換不同的算法，並將不同的算法下的圖片顯示到ImageView上，最後進行對焦。

通常在做圖像處理過程中，會先在MATLAB或者Visual Stuio中進行仿真。這需要不斷的將圖片導入→然後編譯→最後輸出。而用這款Android圖像處理工具可以做到實時觀測各種圖像在不同算法下的結果圖，相比之下更方便。只是現在支持的算法不多，今後有時間會繼續學習一些常用的算法加入到軟件中。我也會即時更新博客與大家分享。

大家如果有什麼意見或者問題可以隨時留言一起討論~