“syzbot”と”syzkaller”について (Part 2) 「Azure上でsyzkallerは動くのか」

[関連リンク(最新5件)]

“syzbot”と”syzkaller”について (Part 1)

syzkaller

syzkallerに関しては、前回(“syzbot”と”syzkaller”について (Part 1))に説明したので、細かな説明は省きます。

実際にはsyzkallerは常に廻し続けてなければならないため、自宅のPCなどでやるよりは、やはりクラウド上に置いて実行したくなります。そこで、今回はAzure上でsyzkallerは動くのかを検証しました。

syzkallerが動くかどうかは、結局「Azure上でKVMが使えるかどうか」という事になります。そこで、大まかに下記のような手順で検証を行いました。

1. KVMが使えるかどうかを確認する(インストール含む)
2. syzkallerが動くかどうかを確認する(インストール含む)

検証

KVMが使えるかどうかを確認する(インストール含む)

Azure上でKVMを使って仮想マシンを動かすことが出来るかを確認します。ここが一番問題になるところだと思います。Azure上で動作しているマシン自体もVMゲストなので（Hyper-Vで提供されています）、VM on VMのいわゆる「Nested VM」が出来るかどうかという事になります。

まず、Web上の情報ですと、Azure VM で入れ子になった仮想化を有効にする方法等、方法はあるようです。実際にKVMが使えるかを確認してみます。

検証環境

• VM: Dv3のVM(HDDで標準で作成)
• OS: Ubuntu 18.04
• ポート: リモートから作業するためsshでアクセスできるように設定

1. まず、VMにログインして、Nested VMが出来るかどうかを確認してみます。/proc/cpuinfoの情報を見て、vmx(Intel)/svm(AMD)が見える化を確認します。

   
   root@Ubuntu1804:~# egrep '(vmx|svm)' /proc/cpuinfo
   flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology cpuid pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch invpcid_single pti tpr_shadow vnmi ept vpid fsgsbase bmi1 hle avx2 smep bmi2 erms invpcid rtm rdseed adx smap xsaveopt
   flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology cpuid pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch invpcid_single pti tpr_shadow vnmi ept vpid fsgsbase bmi1 hle avx2 smep bmi2 erms invpcid rtm rdseed adx smap xsaveopt
   

   で、「vmx」が見えますので、このVM上ではKVMを使ってVMが作れそうです。

2. KVMでVMが作れそうなので、必要なパッケージをインストールします。

   
   root@Ubuntu1804:~# apt install qemu-kvm libvirt-bin virtinst virt-manager linux-kvm
   

3. virt-installコマンドで仮想マシンを作ってみます

   
   root@Ubuntu1804:~# virt-install --connect qemu:///system -n vm10 -r 512 --vcpus=2 --disk path=/var/lib/libvirt/images/vm10.img,size=12 -c /dev/cdrom --vnc --noautoconsole --os-type linux --os-variant debiansqueeze --accelerate --hvm
   

syzkallerが動くかどうかを確認する(インストール含む)

基本的には“How to setup syzkaller”にある「Setup: Ubuntu host, QEMU vm, x86-64 kernel」を参考にすれば殆ど問題なく出来ます。前回と同じ手順になります。

1. gitでLinux Kernelをダウンロードする。
2. .configでKASAN等のオプションを有効にする
3. 作成したKernelイメージでQEMUを立ち上げる(立ち上げられるかをテストする)
4. syzkallerのインストールのためにgo言語をインストール。

   
   root@Ubuntu1804:~# apt install golang
   

5. Go言語でsyzkallerをGetしてインストールする。
   Go言語でsyzkallerをGetしてインストールする際に、.bashrcファイルでGOROOT・GOPATH・PATHをきちんと環境変数として登録しておかないと、エラーが出てGetに失敗する点です。今回は、/root/以下にgopathディレクトリを作成しましたが

   
   export GOROOT=/usr/lib/go
   export GOPATH=/root/gopath
   export PATH=$GOROOT/bin:$PATH
   

   と、Ubuntu標準のgolangを使う場合には、GOROOTを/usr/lib/goに設定しておかないとエラーになってGet以降が進まなくなりました。

6. syz-managerでsyzkallerを起動する。
   syz-managerを動作させる時には、gopath/src/github.com/google/syzkaller以下にmy.cfgファイルを作成します。今回は

   
   root@Ubuntu1804:~/gopath/src/github.com/google/syzkaller# cat my.cfg
   {
   "target": "linux/amd64",
   "http": "127.0.0.1:56741",
   "workdir": "/root/gopath/src/github.com/google/syzkaller/workdir",
   "kernel_obj": "/root/linux",
   "image": "/root/stretch.img",
   "sshkey": "/root/stretch.id_rsa",
   "syzkaller": "/root/gopath/src/github.com/google/syzkaller",
   "procs": 8,
   "type": "qemu",
   "vm": {
   "count": 4,
   "kernel": "/root/linux/arch/x86/boot/bzImage",
   "cpu": 2,
   "mem": 2048
   }
   }
   

   のようにしてあります。

   
   root@Ubuntu1804:~/gopath/src/github.com/google/syzkaller# ./bin/syz-manager -config=my.cfg
   2019/01/24 03:33:46 loading corpus...
   2019/01/24 03:33:46 serving http on http://127.0.0.1:56741
   2019/01/24 03:33:46 serving rpc on tcp://[::]:41439
   2019/01/24 03:33:46 booting test machines...
   2019/01/24 03:33:46 wait for the connection from test machine...
   2019/01/24 03:35:53 machine check:
   2019/01/24 03:35:53 syscalls                : 1339/2558
   2019/01/24 03:35:53 code coverage           : enabled
   2019/01/24 03:35:53 comparison tracing      : CONFIG_KCOV_ENABLE_COMPARISONS is not enabled
   2019/01/24 03:35:53 extra coverage          : extra coverage is not supported by the kernel
   2019/01/24 03:35:53 setuid sandbox          : enabled
   2019/01/24 03:35:53 namespace sandbox       : /proc/self/ns/user does not exist
   2019/01/24 03:35:53 Android sandbox         : enabled
   2019/01/24 03:35:53 fault injection         : CONFIG_FAULT_INJECTION is not enabled
   2019/01/24 03:35:53 leak checking           : CONFIG_DEBUG_KMEMLEAK is not enabled
   2019/01/24 03:35:53 net packet injection    : /dev/net/tun does not exist
   2019/01/24 03:35:53 net device setup        : enabled
   2019/01/24 03:35:53 corpus                  : 3135 (0 deleted)
   2019/01/24 03:35:56 VMs 4, executed 13, cover 0, crashes 0, repro 0
   2019/01/24 03:36:06 VMs 4, executed 32, cover 0, crashes 0, repro 0
   2019/01/24 03:36:16 VMs 4, executed 215, cover 8133, crashes 0, repro 0
   2019/01/24 03:36:26 VMs 4, executed 757, cover 15466, crashes 0, repro 0
   2019/01/24 03:36:36 VMs 4, executed 1354, cover 20155, crashes 0, repro 0
   

7. w3m等でsyzkallerの状態を確認する。
   Azure上ですので、w3m(CUIのWebブラウザ)で状態を確認します(下図)。

   
   

   
   

まとめ

という事で、無事Azure上でsyzkallerをインストール／動かすことが出来ました。これを用いてsyzbotの方も動作させることができると思います。