本文記錄如何在 Ubuntu 16.04 (14.04) 上搭建 Cuda, Matlab 與 OpenCV 的開發環境。

Troubleshooting

先把 troubleshooting 放前面是因為本來就是為了解決第一個 error 才有了這一篇紀錄的。

Error 1

某人開發的程式,在編譯時出現錯誤:

編譯錯誤是發生在 Matlab 安裝完畢後,原本正常的編譯程序,在 include Matlab library 與 header 後才產生的。
如果編譯時不引用到 Matlab 的東西,就不會有事情。
但是這道程式就是必須要同時使用 Matlab 與 OpenCV。

根據 google 來的資料,應該是 OpenCV 編譯時沒有啟用 TIFF (?)
所以解決方法就是重新編譯 OpenCV (並且啟用 TIFF)

Error 2

重新編譯 OpenCV 時,出現錯誤:

/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFReadDirectory@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFWriteEncodedStrip@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFIsTiled@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFOpen@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFReadEncodedStrip@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFSetField@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFWriteScanline@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFGetField@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFScanlineSize@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFNumberOfStrips@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFSetWarningHandler@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFSetErrorHandler@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFReadEncodedTile@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFReadRGBATile@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to TIFFClose@LIBTIFF_4.0' /usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference toTIFFRGBAImageOK@LIBTIFF_4.0'
/usr/local/lib/libopencv_imgcodecs.so.3.1.0: undefined reference to `TIFFReadRGBAStrip@LIBTIFF_4.0'
collect2: error: ld returned 1 exit status
tools/CMakeFiles/compute_image_mean.dir/build.make:134: recipe for target 'tools/compute_image_mean' failed
make[2]: *** [tools/compute_image_mean] Error 1
CMakeFiles/Makefile2:473: recipe for target 'tools/CMakeFiles/compute_image_mean.dir/all' failed
make[1]: *** [tools/CMakeFiles/compute_image_mean.dir/all] Error 2
Makefile:127: recipe for target 'all' failed
make: *** [all] Error 2

同樣根據 error 1 的參考資料:https://github.com/BVLC/caffe/issues/4436
CMakeCache.txt 裡面發現:WITH_TIFF=ON, BUILD_TIFF=OFF

所以解決方法就是在 cmake 時,增加參數 -D BUILD_TIFF=ON

Error 3

OpenCV 已經編譯完成,但原本的程式重新編譯時出現:

/usr/bin/ld: cannot find -lippicv

根據查到的資料,解決方法就是在編譯 OpenCV 時,cmake 階段增加 -D WITH_IPP=ON


System environment

兩套環境:

  1. Ubuntu 16.04 with Nvidia GeForce GTX 970
  2. Ubuntu 14.04 with Nvidia GeForce GT 620 OEM

第一套環境是從 OS 開始安裝; 第二套是一個已經存在的環境,只是再重新編譯 OpenCV (為了解決 TIFF 問題)。

其他的系統資訊:

  • OpenCV: 3.2
  • CUDA: 8.0
  • Matlab: R2015b
  • Nvidia driver: 375
  • Java:
    • Oracla Java 8 (on site 1)
    • Oracle Java 7 (on site 2)
Continue Reading →

Heat 是 OpenStack 中,負責提供 Orchestration 服務的 component。

Heat 用 resource 來描述 OpenStack 的狀態。例如你設定一個 network resource,在這個 resource 中,設定名稱為 default。接下來 Heat 將會在你的 project 中,檢查是否有一個名稱為 default 的 network;如果沒有,則 Heat 將會在 project 建立 network。除了 network 之外,image、volume、port、instance 等都可以是 Heat 的 resource。

Resource 之間可以建立關連性,例如你可以先建立一個 volume resource。接下來再設定一個 instance resource ,並且在 instance resource 的 block_device_mapping 的屬性中,設定與 volume resource 建立關連性。這樣 Heat 就會先檢查 volume 是否存在,然後檢查 instance 是否存在並且 volume 是否已掛載到 instance 中。

這個想法與許多 deployment 軟體相同,例如 Puppet 是讓使用者設定 resource,然後 Puppet 根據 resource 的描述去配置 Linux;而 Saltstack 則是根據 user 設定的 state 來配置 Linux。

在開始之前,你必須要先準備:

  1. 一個 OpenStack Account。同時你必須要確定該 platform 有安裝 Heat 服務。本文是使用 SSCloud 做 demo。
  2. 熟悉 OpenStack 的基本操作:使用 OpenStack dashboard 或是使用 OpenStack command client。

Template

先前已經提過 Heat Resource 。在 Heat 中,由眾多 resource 所組合而成的檔案/物件就是樣版(template)。
你可以使用 heat 指令來查詢你的 OpenStack platform 支援哪些 template。

執行 heat template-version-list 會得到:

Continue Reading →
vim

VIM 在純 terminal 的環境下, 如果你設定 bg=light (預設),註解的顏色真是令人看到眼睛都快瞎了。

Solution

一般來說,解決的方法通常有:

  • 設定 bg=dark

~/.vimrc or /etc/vimrc 中設定: set bg=dark
這樣整個配色都會調整成:

但是這種配色又不合我的胃口。

  • 套用別人寫好的 color scheme 或是自己寫 color scheme

網路上已經有不少人寫好了 scheme,如果想要套用別人的 scheme,可以參考 Tsung's Blog 的挑選 Vim 顏色(Color Scheme)這篇做設定;自己編輯的話,嗯,自己 google 吧XD

不過對於我這種懶到不行的人來說,套用別人的 scheme 還是太麻煩惹~~~

Continue Reading →

FFmpeg 是一套跨平臺開發原始碼的影音轉換軟體。
利用 FFmpeg 我們可以在 Linux 上將 DVD 轉換成 mp4 或是其他格式。

Ubuntu 15.04 以上可以直接以 apt-get 安裝。不過我的平臺是 Ubuntu 14.04。
因此只能通過兩種方式安裝: ppa、手動編譯。

如果要從 PPA 安裝,請參考: https://launchpad.net/~mc3man/+archive/ubuntu/trusty-media

不過我是採用編譯的方式:https://trac.ffmpeg.org/wiki/CompilationGuide/Ubuntu

Continue Reading →

執行 ceph -s 出現:

cluster 1a1d374a-c6e9-48cb-9b45-525a6fdaa91e
 health HEALTH_WARN
        64 pgs degraded
        64 pgs stale
        64 pgs stuck degraded
        64 pgs stuck stale
        64 pgs stuck unclean
        64 pgs stuck undersized
        64 pgs undersized
 monmap e1: 1 mons at {twin-storage-01=172.16.91.1:6789/0}
        election epoch 2, quorum 0 twin-storage-01
 mdsmap e5: 1/1/1 up {0=twin-storage-01=up:active}
 osdmap e92: 7 osds: 7 up, 7 in
  pgmap v685: 832 pgs, 7 pools, 43573 kB data, 38 objects
        7491 MB used, 14889 GB / 14896 GB avail
             769 active+clean
              37 stale+active+undersized+degraded+remapped
              26 stale+active+undersized+degraded

很多 pg 卡在 degraded + undersized 狀態。

Continue Reading →

Squid 作為 Transparent proxy 時,不但可以加快區域網絡內的速度、降低網路流量
還可以控管區網內是否要開放/封鎖網站(監看區網內誰在玩FB或是看色情網站XD)

通常 Transparent proxy 都會放在區網對外的那台 server 上,例如下圖:

Squid-transparent-proxy.jpeg

對於 Proxy , Transparent proxy 沒有概念的人,可以先看鳥哥的文章,這邊就很不負責的說不再贅述了((懶~

實驗環境

Item Value
OS Gentoo
Docker version 1.7.9
Docker image sameersbn/squid:3.3.8-4

只要能跑 Docker, 實體機的 OS 是什麼都不重要 :D

Continue Reading →

利用 Saltstack 安裝 OpenStack Keystone。按照 OpenStack 官方安裝手冊,裝完 Keystone 之後,必須要為 Keystone 自己註冊 service 與 endpoint。

這一個步驟,我把他寫成 Saltstack states 如下:

waiting-keystone-startup:
  cmd.run:
    - name: sleep 1

registry-keystone-service:
  keystone.service_present:
    - name: keystone
    - service_type: identity
    - description: "OpenStack Identity"
    - require:
      - cmd: waiting-keystone-startup

registry-keystone-endpoint:
  keystone.endpoint_present:
    - name: keystone
    - publicurl: http://host-01:5000/v2.0
    - internalurl: http://host-01:5000/v2.0
    - adminurl: http://host-01:35357/v2.0
    - region: regionOne
    - require:
      - keystone: registry-keystone-service

結果執行時發生 KeyError:

user@host-01:/srv/salt/openstack/keystone$ salt '*' state.sls openstack.keystone.registry
host-01:
    The minion function caused an exception: Traceback (most recent call last):
      File "/usr/lib/python2.7/dist-packages/salt/minion.py", line 1161, in _thread_return
        return_data = func(*args, **kwargs)
      File "/usr/lib/python2.7/dist-packages/salt/modules/state.py", line 681, in sls
        ret = st_.state.call_high(high_)
      File "/usr/lib/python2.7/dist-packages/salt/state.py", line 2067, in call_high
        ret = dict(list(disabled.items()) + list(self.call_chunks(chunks).items()))
      File "/usr/lib/python2.7/dist-packages/salt/state.py", line 1623, in call_chunks
        running = self.call_chunk(low, running, chunks)
      File "/usr/lib/python2.7/dist-packages/salt/state.py", line 1769, in call_chunk
        self._mod_init(low)
      File "/usr/lib/python2.7/dist-packages/salt/state.py", line 612, in _mod_init
        self.states['{0}.{1}'.format(low['state'], low['fun'])]  # pylint: disable=W0106
      File "/usr/lib/python2.7/dist-packages/salt/utils/lazy.py", line 90, in __getitem__
        raise KeyError(key)
    KeyError: 'keystone.service_present'
Continue Reading →