开始训练模型之前，我们需要先把之前的标注文件清理好。如下是原作给出的代码示例。

#在这个引入部分，有一个新的pylidc包需要安装，使用pip安装即可。这个包是专门用来处理LIDC数据集的，现在用的LUNA数据集就是在这个基础上加工的，关于这个包的说明很简单：A library for working with the LIDC dataset.
import torch
import SimpleITK as sitk
import pandas
import glob, os
import numpy
import tqdm
import pylidc

安装完之后，首先读取原来的标注文件。这个文件里记录了1000多个结节的坐标和直径信息。

annotations = pandas.read_csv('D:/lunadata/annotations.csv')

然后对我们的数据进行扫描，记录恶性数据，是否有缺失数据等等

malignancy_data = []
missing = []
spacing_dict = {}
scans = {s.series_instance_uid:s for s in pylidc.query(pylidc.Scan).all()}
suids = annotations.seriesuid.unique()
for suid in tqdm.tqdm(suids):
    fn = glob.glob('D:/lunadata/subset*/{}.mhd'.format(suid))
    if len(fn) == 0 or '*' in fn[0]:
        missing.append(suid)
        continue
    fn = fn[0]
    x = sitk.ReadImage(fn)
    spacing_dict[suid] = x.GetSpacing()
    s = scans[suid]
    for ann_cluster in s.cluster_annotations():
        is_malignant = len([a.malignancy for a in ann_cluster if a.malignancy >= 4])>=2
        centroid = numpy.mean([a.centroid for a in ann_cluster], 0)
        bbox = numpy.mean([a.bbox_matrix() for a in ann_cluster], 0).T
        coord = x.TransformIndexToPhysicalPoint([int(numpy.round(i)) for i in centroid[[1, 0, 2]]])
        bbox_low = x.TransformIndexToPhysicalPoint([int(numpy.round(i)) for i in bbox[0, [1, 0, 2]]])
        bbox_high = x.TransformIndexToPhysicalPoint([int(numpy.round(i)) for i in bbox[1, [1, 0, 2]]])
        malignancy_data.append((suid, coord[0], coord[1], coord[2], bbox_low[0], bbox_low[1], bbox_low[2], bbox_high[0], bbox_high[1], bbox_high[2], is_malignant, [a.malignancy for a in ann_cluster]))

这里能看到处理的进度条。

image.png

其中的miss用来记录是否有源文件（mhd文件损坏或者缺失），好在我这里是0缺失的。用原始数据信息去匹配我们读取的数据，

df_mal = pandas.DataFrame(malignancy_data, columns=['seriesuid', 'coordX', 'coordY', 'coordZ', 'bboxLowX', 'bboxLowY', 'bboxLowZ', 'bboxHighX', 'bboxHighY', 'bboxHighZ', 'mal_bool', 'mal_details'])

processed_annot = []
annotations['mal_bool'] = float('nan')
annotations['mal_details'] = [[] for _ in annotations.iterrows()]
bbox_keys = ['bboxLowX', 'bboxLowY', 'bboxLowZ', 'bboxHighX', 'bboxHighY', 'bboxHighZ']
for k in bbox_keys:
    annotations[k] = float('nan')
for series_id in tqdm.tqdm(annotations.seriesuid.unique()):
    # series_id = '1.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222365663678666836860'
    c = candidates[candidates.seriesuid == series_id]
    a = annotations[annotations.seriesuid == series_id]
    m = df_mal[df_mal.seriesuid == series_id]
    if len(m) > 0:
        m_ctrs = m[['coordX', 'coordY', 'coordZ']].values
        a_ctrs = a[['coordX', 'coordY', 'coordZ']].values
        #print(m_ctrs.shape, a_ctrs.shape)
        matches = (numpy.linalg.norm(a_ctrs[:, None] - m_ctrs[None], ord=2, axis=-1) / a.diameter_mm.values[:, None] < 0.5)
        has_match = matches.max(-1)
        match_idx = matches.argmax(-1)[has_match]
        a_matched = a[has_match].copy()
        # c_matched['diameter_mm'] = a.diameter_mm.values[match_idx]
        a_matched['mal_bool'] = m.mal_bool.values[match_idx]
        a_matched['mal_details'] = m.mal_details.values[match_idx]
        for k in bbox_keys:
            a_matched[k] = m[k].values[match_idx]
        processed_annot.append(a_matched)
        processed_annot.append(a[~has_match])
    else:
        processed_annot.append(c)
processed_annot = pandas.concat(processed_annot)
processed_annot.sort_values('mal_bool', ascending=False, inplace=True)
processed_annot['len_mal_details'] = processed_annot.mal_details.apply(len)

我这块的输出显示没有需要丢掉的数据，那看起来LUNA数据集里提供的数据已经更新了。

image.png

最后把这个文件保存下来。

df_nona = processed_annot.dropna()
df_nona.to_csv('./data/part2/luna/annotations_with_malignancy.csv', index=False)

已经生成新的标注数据。

image.png

run('test13ch.prepcache.LunaPrepCacheApp')

在shell里面运行训练环节。

> python -m test13ch.training --epoch 20 --augmented final_seg

结果训练了一个epoch就内存溢出了。无奈，把batch size调小一点，从16改成了8个，这次就没问题了，我的设备还是不太行，真想买一台双3090Ti卡的机器。

image.png

这次看看效果。这里列出了第1,5,10,15,20个epoch的结果，可看到第1个epoch不管在训练集还是验证集的精确度很低，召回率还可以，在验证集上的fp（假阳性）达到了2442.7%，这主要是因为训练集使用的是裁剪后的小图片，而验证集使用的是完整的CT切片数据，所以假阳性很高也正常，多给出一些结果再让医生去看总比漏掉要好的多。

image.png

image.png

到了第10个epoch，又提升了一点点，但是验证集上给出的tp有些下降。

image.png

image.png

image.png

下面去TensorBoard上去看看效果。蓝色是训练集，红色是验证集，首先是损失情况，在训练集上前期损失下降比较快，后面就比较平缓，在验证集上的损失变化不大。

image.png

然后是fn，fp，tp指

image.png

image.png

最后看一看导入TensorBoard的图像效果。带有label_x的表示这是一个标注图像，上面没有颜色的表名这个图像上都是无标注的，在对应的预测结果上，有一些橙色结果是假阳性预测，对于下面带绿色就是阳性标注及阳性预测结果。

image.png

image.png

image.png

image.png