Tess4.0中英文正体斜体混合训练

Tesseract中英文正体斜体混合训练

当我们识别数据中包含中文正体,英文斜体字符时,Tess4.0识别英文斜体的效果并不理想。因此,我们需要训练新的模型,以满足识别正体斜体混合文本图片的需求。

预言

在看本篇文章之前,推荐阅读本人之前写的一篇题库特殊字符语言包训练流程(新),这篇文章里提到了Tess4正常的训练的流程,可以快速理解Tess的训练过程。

Tess4正斜体混合训练分析

针对中文正体,英文斜体混合文本识别,一个简单的训练思路是,将中英文混合文本放在一起分别转化成正体和斜体两种形式的图片,然后输入Tess4一起训练。然而,
针对英文文本的训练,Tess4可以有效地应用相应的斜体字体将txt转化成斜体字符图片,从而进一步训练斜体字符;但对于中文,因为没有找到中文斜体的相应字体,所以针对中文斜体识别便一筹莫展。
所以,针对中英文(中文正体,英文斜体)混合文本,Tess4只能将中文正体和英文斜体分开转换图片,然后手工进行合并,最后导入Tess4中的神经网络进行训练。

中英文混合输入数据准备

中文正体输入数据准备

中文正体输入数据的改变比较简单:

  1. 将需要识别的数据拷贝到./langdata/chi_sim/chi_sim.training_text文件中;
  2. 输入以下命令:
    training/tesstrain.sh --fonts_dir /usr/share/fonts --lang chi_sim --linedata_only
    --noextract_font_properties --langdata_dir ../langdata
    --fontlist "SIMSUN" --tessdata_dir ./tessdata --output_dir ~/tesstutorial/trainmerge

查看日志可以看到整个过程中执行了/usr/local/bin/text2image命令,此命令将txt文本数据转化成相应的chi_sim.SIMSUN.exp0.tif图片及其相应的chi_sim.SIMSUN.exp0.box文件,因此可以在/tmp/tmp.xxxxxxxxxx/chi_sim/文件夹下查看这两个文件。在后期合并数据时有用到这两个文件。

英文斜体输入数据准备

  1. 将需要识别的数据拷贝到./langdata/eng/eng.training_text文件中;
  2. 输入以下命令:
    training/tesstrain.sh --fonts_dir /usr/share/fonts --lang eng --linedata_only
    --noextract_font_properties --langdata_dir ../langdata
    --fontlist "Arial Italic" --tessdata_dir ./tessdata --output_dir ~/tesstutorial/traineng

这里,针对英文斜体,这里主要用了Arial Italic字体进行图片转换,同样/tmp/tmp.xxxxxxxxxx/chi_sim/文件夹下可以看到eng.Arial_Italic.exp0.tif图片及相应的eng.Arial_Italic.exp0.box文件。

合并中英文数据

合并tif图片

下载安装jTessBoxEditor工具,具体的工具使用方法可以查看日志:android中tesseract-ocr自定义字库的介绍。这里不再赘述。

将chi_sim.SIMSUN.exp0.tif和eng.Arial_Italic.exp0.tif拷贝到同一目录下,先将两张图片分别split,并删除chi_sim.SIMSUN.exp0.tif和eng.Arial_Italic.exp0.tif图片,然后将split出来的图片一起merge,具体方法查看android中tesseract-ocr自定义字库的介绍日志。注意:将合并后的tif图片命名为:chi_sim.SIMSUN.exp0.tif即可。

合并box文件

box文件的合并,本人写了一段python代码:

box_file1 = open('E:/jTessBoxEditorFX/tesseract-ocr/temp_roman/chi_sim.SIMSUN.exp0.box', 'rb').read().decode('utf-8')
box_file2 = open('E:/jTessBoxEditorFX/tesseract-ocr/temp_roman/eng.Times_New_Roman.exp0.box', 'rb').read().decode('utf-8')

box_content = box_file1 + '\n'
box1_page_num = 0
for line in box_file1.split('\n'):
    if len(line) > 0:
        page_num = int(line.split(' ')[len(line.split(' '))-1])
    if page_num > box1_page_num:
        box1_page_num = page_num

box1_page_num += 1
for line in box_file2.split('\n'):
    if len(line) > 0:
        page_num1 = int(line.split(' ')[len(line.split(' '))-1])
        sub_line = ''
        for i in range(len(line.split(' '))-1):
            sub_line += line.split(' ')[i] + ' '
        box_content += sub_line + str(page_num1+box1_page_num) + '\n'

open('E:/jTessBoxEditorFX/tesseract-ocr/temp_roman/merge.box', 'bw').write(box_content.encode('utf-8'))

注:在运行代码之前,需要在chi_sim.SIMSUN.exp0.box文件末尾加入换行提示行,内容如下:
[tab] 1710 222 1755 187 2
注意部分坐标值需要根据现实情况作出相应修改,这个应该不难,稍微总结一下box文件中的规律即可明白。

神经网络输入数据准备

  1. 合并完tif和box文件后,将它们覆盖到/tmp/tmp.xxxxxxxxxx/chi_sim/文件夹下面,(中文正体输入数据准备生成的目录),并将其他文件清空;
  2. 修改tesseract/training/tesstrain.sh文件内容:
    - 将61行phase_I_generate_image 8内容注释;
    - 将source "$(dirname $0)/tesstrain_utils.sh" 改为source "$(dirname $0)/tesstrain_utils1.sh";
  3. 修改tesseract/training/tesstrain_utils.sh文件内容,修改以下内容:
    - WORKSPACE_DIR=$(mktemp -d) 改成WORKSPACE_DIR="/tmp/tmp.xxxxxxxxxx"(目录为中文正体输入数据准备生成的目录)
    - export FONT_CONFIG_CACHE=$(mktemp -d --tmpdir font_tmp.XXXXXXXXXX)改成 export FONT_CONFIG_CACHE="/tmp/font_tmp.xxxxxxxxxx"(目录为中文正体输入数据准备生成的目录)
    - 注释initialize_fontconfig方法下的run_command text2image命令
  4. 运行命令:
    training/tesstrain.sh --fonts_dir /usr/share/fonts --lang chi_sim --linedata_only
    --noextract_font_properties --langdata_dir ../langdata
    --fontlist "SIMSUN" --tessdata_dir ./tessdata --output_dir ~/tesstutorial/trainchisim

训练数据

这里给出scratch训练方法:
training/lstmtraining --debug_interval 100
--traineddata ~/tesstutorial/trainmerge/chi_sim/chi_sim.traineddata
--net_spec '[1,0,0,1 Ct5,5,16 Mp3,3 Lfys64 Lfx128 Lrx128 Lfx512 O1c379]'
--model_output ~/tesstutorial/mergeoutput/base
--learning_rate 20e-4 --train_listfile ~/tesstutorial/trainmerge/chi_sim.training_files.txt
--eval_listfile ~/tesstutorial/evalmerge/chi_sim.training_files.txt
--max_iterations 3600 &>~/tesstutorial/mergeoutput/basetrain.log

更多训练教程可以查看:题库特殊字符语言包训练流程(新)

最后,合并模型,具体命令可以查看:题库特殊字符语言包训练流程(新)

推荐阅读更多精彩内容