Caffe学习笔记8:Faster R-CNN运行及实时性DEMO测试

faster-rcnn:Fast Region-based Convolutional Neural Networks基于区域的卷积神经网络

http://blog.csdn.net/column/details/ym-alanyannick.html

先感谢敖川学长给我提供练手的电脑!
前面都学习CNN在图像分类上的巨大优势和应用,但是要把CNN用作目标检测改怎么实现,困扰了我很久。学了几天先作个笔记。
在Faster R-CNN之前还有R-CNN和Fast R-CNN。既然Faster R-CNN是前面的改进,我就先学Faster R-CNN。

如有错误请指正!

理论部分

在学习目标检测之前,我就想象CNN怎么用作目标检测。第一想法是将图像切割送入网络中。RCNN就是类是滑动窗的东西进行操作:
1.提取建议区域
2.利用CNN对建议区域进行分类

  • 提取建议区域方法的发展:1.滑动窗口 2.select search/edge box 3.rpn(Region Proposal Network)
  • 其他深度学习检测策略,利用CNN强大表述能力直接对目标位置进行回归,例如YOLO

R-CNN、Fast R-CNN、Faster R-CNN三者关系


image.png
SPP Net

一般CNNs后解full-connect layer或者classifier,他们都需要固定的输入尺寸。因此不得不对输入数据进行crop(修剪)或warp(弯曲),这些预处理会造成数据丢失或几何学上的失真。SPP Net的第一个贡献是将空间金字塔的思想加入到CNNs中,实现了数据的多尺度输入。

image.png

如图,在卷积层和全连接层之间加入SPP layer。此时网络的输入可以是任意尺寸,在SPP layer中每一个pooling的filter会根据输入调整大小,而SPP的输出尺寸始终是固定的。
在R-CNN中,每个proposed region先rescale成统一大小,然后分别作为CNNs的输入,这样是很低效的。
在SPP Net中,只对原图进行一次卷积得到整张图的feature map,然后找到每个proposed region在feature map上的映射patch,将此patch作为每个proposed region的卷积特征输入到SPP layer和之后的层。节省了大量的计算时间,比R-CNN有一百倍左右的加速。

Fast R-CNN整体结构
image.png

如图,Fast R-CNN的网络有两个输出层,一个softmax,一个bbox regressor(相对的R-CNN,SPP Net中分类和回归是两个部分,这里集成在了同一个网络中)。而且加入了一个RoI pooling layer(类似于一个尺度的SPP layer)。注意:Fast R-CNN提取建议区域的方法依然是select search。

  • RoI pooling layer
    这是SPP pooling的一个简化版本,可以看做是只有一个尺度 filter的‘金字塔’。输入是N个整幅图的feature map和一组R个RoI(proposed region)。每个特征映射都是HWC,每个RoI是一个元组(n,r,c,h,w),n是特征映射的索引,r,c,h,w分别是RoI的左上角坐标和高与宽。输出是max-pooling过得特征映射H’xW’xC,如上图中红色框线。
Faster-RCNN整体框架
image.png

Faster R-CNN的主要贡献是设计了提取建议区域的网络Region Proposal Network(RPN)。代替了费时的select search,使检测速度大为提高。下图为Faster R-CNN的结构图,黄色部分为RPN,可以看出除了RPN,其它部分继承了FR-CNN的结构

RPN整体结构
image.png

RPN的网络结构类似于FR-CNN,连接与最后卷基层输出的feature map,有一个RoI层,两个输出层,一个输出滑窗为建议区域的概率,另一个输出bbox回归的offset。其训练方式也类似于FR-CNN。注意:RPN与FR-CNN共用卷积层。

image.png

RPN通过一个滑动窗口(图中红色框)连接在最后一个卷积层输出的feature map上,然后通过全连接层调整到256-d的向量,作为输出层的输入。同时每个滑动窗对应k个anchor boxes,在论文中使用3个尺寸和3个比例的3*3=9个anchor。每个anchor对应原图上一个感受野,通过这种方法提高scale-invariant。

Multi-task loss
image.png

FR-CNN的有两个网络输出层,将原来与网络分开的bbox regression的操作整合在了网络中。并设计了一个同时优化两个输出层的loss函数。

image.png
RoI-centric sampling与Image-centric sampling
  • RoI-centric sampling:从所有图片的所有RoI中随机均匀取样,这样每个SGD的mini-batch中包含了不同图像中的样本(SPP Net采用)。SPP Net的反向传播没有到SPP pooling之前的层,因为反向传播需要计算每一个RoI感受野的卷基层,通常会覆盖整幅图像,又慢又耗内存。FR-CNN想要解决这个限制。
  • Image-centric sampling:mini-batch采用分层采样,先对图像采样,再对RoI采样。将采样的RoI限定在个别图像内,这样同一图像的RoI共享计算和内存。通过这种策略,实现了端到端的反向传播,可以fine-tuning整个网络。

为了使共用的卷积层在训练RPN和FR-CNN时都会收敛,论文里设计了一个四步训练的策略:

  • (1):对RPN进行end-to-end的训练,这里网络使用ImageNet pre-trained model进行初始化。
  • (2):使用第一步RPN生成的建议区域训练FR-CNN,这里也使用ImageNet pre-trained model进行初始化。
  • (3):使用上一步FR-CNN的参数初始化RPN,固定卷基层,只fine-tune RPN独有的层。(在此步已共享卷积层)
  • (4):固定卷基层,只fine-tune FR-CNN独有的层。
训练时采用的一些策略与参数设置

训练样本选择方法与其参数设置

Fast-RCNN中参数的设置
    ims_per_batch 1或2
    batch_size 128
    每个batch中正样本占得比率。  fg_fraction 0.25
    与GT的IOU大于阈值0.6的ROI作为正样本。  fg_thresh=0.6
    与GT的IOU在阈值0.1到0.5之间的ROI作为负样本。bg_thresh_hi=0.5、bg_thresh_lo=0.1

实现部分

参考:http://blog.csdn.net/u012177034/article/details/52288835

1.下载py-faster-RCNN源码
git clone --recursive https://github.com/rbgirshick/py-faster-rcnn
2.编译lib库
cd $FRCN_ROOT/lib
make
3.编译caffe

这部分巨恶心,由于py-faster-rcnn编写时的caffe版本很老无法直接编译,可以直接下载我提供的连接链接: https://pan.baidu.com/s/1pLkIFDx 密码: sj9y。我的配置为:GTX1070,CUDA8.0,cuDNN6.5,i7

cd caffe-fast-rcnn  
git remote add caffe https://github.com/BVLC/caffe.git  
git fetch caffe  
git merge caffe/master
4.运行demo
cd $FRCN_ROOT
./tools/demo.py
4.修改为视频流demo

faster-rcnn的确实不能满足实时性要求,fps在这配置下为8,延迟为0.5s左右
由于原代码使用了matplotlib绘图模块,每次显示需要手动关闭。如果要处理视频还是使用opencv,但是opencv的参数与matplotlib不同需注意。
demo_vedio.py
需要改的地方在vis_detections()这个函数里
我直接把整个代码贴上来

#!/usr/bin/env python

# --------------------------------------------------------
# Faster R-CNN
# Copyright (c) 2015 Microsoft
# Licensed under The MIT License [see LICENSE for details]
# Written by Ross Girshick
# --------------------------------------------------------

"""
Demo script showing detections in sample images.

See README.md for installation instructions before running.
"""

import _init_paths
from fast_rcnn.config import cfg
from fast_rcnn.test import im_detect
from fast_rcnn.nms_wrapper import nms
from utils.timer import Timer
import matplotlib.pyplot as plt
import numpy as np
import scipy.io as sio
import caffe, os, sys, cv2
import argparse

CLASSES = ('__background__',
           'aeroplane', 'bicycle', 'bird', 'boat',
           'bottle', 'bus', 'car', 'cat', 'chair',
           'cow', 'diningtable', 'dog', 'horse',
           'motorbike', 'person', 'pottedplant',
           'sheep', 'sofa', 'train', 'tvmonitor')

NETS = {'vgg16': ('VGG16',
                  'VGG16_faster_rcnn_final.caffemodel'),
        'zf': ('ZF',
                  'ZF_faster_rcnn_final.caffemodel')}


def vis_detections(im, class_name, dets, thresh=0.5):
    """Draw detected bounding boxes."""
    inds = np.where(dets[:, -1] >= thresh)[0]
    if len(inds) == 0:
        return

    for i in inds:
        bbox = dets[i, :4]
        score = dets[i, -1]
  
    font=cv2.FONT_HERSHEY_SIMPLEX
    cv2.putText(im, '{}>= {:.1f}'.format(class_name,thresh), (int(bbox[0]), int(bbox[3])), font, 1, (0,255,0), 2)
    cv2.rectangle(im,(int(bbox[0]), int(bbox[3])),(int(bbox[2]), int(bbox[1])),(0,255,0),5)
    cv2.imshow("im",im)
    
def demo(net, im):
    """Detect object classes in an image using pre-computed object proposals."""

    # Load the demo image
    #im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name)
    #im = cv2.imread(im_file)
    
    # Detect all object classes and regress object bounds
    timer = Timer()
    timer.tic()
    scores, boxes = im_detect(net, im)
    timer.toc()
    print ('Detection took {:.3f}s for '
           '{:d} object proposals').format(timer.total_time, boxes.shape[0])

    # Visualize detections for each class
    CONF_THRESH = 0.8
    NMS_THRESH = 0.3
    for cls_ind, cls in enumerate(CLASSES[1:]):
        cls_ind += 1 # because we skipped background
        cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]
        cls_scores = scores[:, cls_ind]
        dets = np.hstack((cls_boxes,
                          cls_scores[:, np.newaxis])).astype(np.float32)
        keep = nms(dets, NMS_THRESH)
        dets = dets[keep, :]
        vis_detections(im, cls, dets, thresh=CONF_THRESH)

def parse_args():
    """Parse input arguments."""
    parser = argparse.ArgumentParser(description='Faster R-CNN demo')
    parser.add_argument('--gpu', dest='gpu_id', help='GPU device id to use [0]',
                        default=0, type=int)
    parser.add_argument('--cpu', dest='cpu_mode',
                        help='Use CPU mode (overrides --gpu)',
                        action='store_true')
    parser.add_argument('--net', dest='demo_net', help='Network to use [vgg16]',
                        choices=NETS.keys(), default='vgg16')

    args = parser.parse_args()

    return args

if __name__ == '__main__':
    cfg.TEST.HAS_RPN = True  # Use RPN for proposals

    args = parse_args()

    prototxt = os.path.join(cfg.MODELS_DIR, NETS[args.demo_net][0],
                            'faster_rcnn_alt_opt', 'faster_rcnn_test.pt')
    caffemodel = os.path.join(cfg.DATA_DIR, 'faster_rcnn_models',
                              NETS[args.demo_net][1])

    if not os.path.isfile(caffemodel):
        raise IOError(('{:s} not found.\nDid you run ./data/script/'
                       'fetch_faster_rcnn_models.sh?').format(caffemodel))

    if args.cpu_mode:
        caffe.set_mode_cpu()
    else:
        caffe.set_mode_gpu()
        caffe.set_device(args.gpu_id)
        cfg.GPU_ID = args.gpu_id
    net = caffe.Net(prototxt, caffemodel, caffe.TEST)

    print '\n\nLoaded network {:s}'.format(caffemodel)

    # Warmup on a dummy image
    im = 128 * np.ones((300, 500, 3), dtype=np.uint8)
    for i in xrange(2):
        _, _= im_detect(net, im)

    videoCapture = cv2.VideoCapture('/home/noneland/PycharmProjects/Train0707/BR2.avi') 
    success, im = videoCapture.read()
    while success :
        demo(net, im)
        success, im = videoCapture.read() 
        if cv2.waitKey(10) & 0xFF == ord('q'):
            break
    videoCapture.release()
    cv2.destroyAllWindows()

很好的一张原理图:


image.png

推荐阅读更多精彩内容