Invalid characters with Tesseract 5.1.0 and tessdata_fast data (for German version) when using 32-bit Microsoft compiler

[krzysiekj94]

Environment

• Tesseract Version: 5.1.0
• Platform: Windows 32-bit

Current Behavior:

I have the following problem:

1. I prepared a custom build for Tesseract 5.1.0, so as to generate dlls, which I then use in the project of a 32-bit .exe application.
2. I prepared the following dependencies with CMake 3.23 (without SW build):
   a. tesseract 5.1.0, leptonica 1.82.0, libtiff 4.3.0, libjpeg-turbo 2.1.3, zlib 1.2.11, libpng 1.6.37.
   b. Links to src:

• tesseract 5.1.0 (https://github.com/tesseract-ocr/tesseract/releases) – 01.03.2022
• leptonica 1.82.0 (http://www.leptonica.org/download.html) – 22.09.2021
• libtiff 4.3.0 (http://download.osgeo.org/libtiff) – 20.04.2021
• libjpeg-turbo 2.1.3 (https://github.com/libjpeg-turbo/libjpeg-turbo/releases ) – 25.02.2022
• zlib 1.2.11 (https://github.com/madler/zlib/tags) – 15.01.2017
• libpng 1.6.37 (https://github.com/glennrp/libpng/releases/tag/v1.6.37) – 14.04.2019
  c. I also fix CMakeList.txt a bit for tesseract to be able to generate .dll files - see:
  CMakeLists.txt

3. After generating the dependencies, I used them in a wrapper that uses CAPI and generated a dll file (also 32 bit) that I used in the application. The list of all dependencies is as follows:
   
4. In the next step, I performed an OCR test in the application with tessdata germany data - deu.traineddata model: https://github.com/tesseract-ocr/tessdata_fast.
5. At this point, I noticed inferior recognition quality compared to the Tesseract 4.1.1 version, which I used earlier.
   
   a. test file:
   
6. I noticed that there is also a problem with slash, for example: It is then changed to "jj" - see:
   
7. I would like to add that I have also prepared a Tesseract 4.1.1 compilation with the dependencies as in point 2b. The quality of OCR did not change then.
8. I use tessdata_best as a temporary workaround (and it work), but the OCR speed for this model is not satisfactory for me.

Expected Behavior:

I expect Tesseract 5.1.0 to recognize characters correctly, ie not converting "l", "m" to "j" or "i" to "j" for example in the tessdata_fast mode. I would like character recognition to work similar to Tesseract 4.1.1.

Suggested Fix:

Consideration of an upgrade for deu.traineddata models on the website:
https://github.com/tesseract-ocr/tessdata_fast

[stweil]

Tesseract 5 still supports the model files from Tesseract 4 with the "legacy mode", so if you are happy with that, you can use it.

[stweil]

@krzysiekj94, I get a different result:

tesseract https://user-images.githubusercontent.com/12548678/158796308-0e0e8e57-ad24-4eb5-b70a-0c6b99722663.png - -l tessdata_fast/deu
Siegfried Aalfelden
Kurt-Schumacher-Platz 10
13405 Berlin

26.02.2019

Sehr geehrter Herr Aalfelden,

Informationen

Das Internet (von englisch internetwork, zusammengesetzt aus dem Präfix inter und
network „Netzwerk“ oder kurz net ‚Netz‘), umgangssprachlich auch Netz, ist ein
weltweiter Verbund von Rechnernetzwerken, den autonomen Systemen. Es ermöglicht
die Nutzung von Internetdiensten wie WWW, E-Mail, Telnet, SSH, XMPP, MOTT und
FTP. Dabei kann sich jeder Rechner mit jedem anderen Rechner verbinden. Der
Datenaustausch zwischen den über das Internet verbundenen Rechnern erfolgt über
die technisch normierten Internetprotokolle. Die Technik des Internets wird durch die
RFCs der Internet Engineering Task Force (IETF) beschrieben.

Die Verbreitung des Internets hat zu umfassenden Umwälzungen in vielen
Lebensbereichen geführt. Es trug zu einem Modernisierungsschub in vielen
Wirtschaftsbereichen sowie zur Entstehung neuer Wirtschaftszweige bei und hat zu
einem grundlegenden Wandel des Kommunikationsverhaltens und der Mediennutzung
im beruflichen und privaten Bereich geführt. Die kulturelle Bedeutung dieser
Entwicklung wird manchmal mit der Erfindung des Buchdrucks gleichgesetzt.

Die Übertragung von Daten im Internet unabhängig von ihrem Inhalt, dem Absender
und dem Empfänger wird als Netzneutralität bezeichnet.

Mit freundlichen Grüßen

[krzysiekj94]

Hello @stweil , thanks for response. I have more questions now:

1. Where exactly to get the tessdata_fast data for "legacy mode"?
   Based on the documentation https://github.com/tesseract-ocr/tessdata_fast I can see that legacy mode is not supported.
2. Can support legacy for tesseract be enforced when building a solution via CMakeList.txt from CMake? If so, where is that option?
   It's my preview of CMake with tesseract:
   
3. On which version of Tesseract did you get the correct result? Where can I get the exact version you used? Is it 32-bit or 64-bit? Can you send a link to this version?
4. Is it possible that there is a different behavior for tessdata_fast on 32-bit and 64-bit versions of Tesseract 5.0.1?
5. Can there be problems with the use of CAPI? Perhaps I should switch to object oriented programming?
   Below is an example of initialize a tesseract in my wrapper code:
   
   

Thanks in advance for your answer! Have a nice day.

[stweil]

Please try the OCR with the default tesseract application. If that works fine (like it does in my test) you have to find out what you have to fix in your application.

[stweil]

Please use the Tesseract user forum for questions. The GitHub issues are not a support forum.

You might try the Windows binaries from https://github.com/UB-Mannheim/tesseract/wiki/.

[zdenop]

Legacy model is available only in https://github.com/tesseract-ocr/tessdata.

[Shreeshrii]

I use tessdata_best as a temporary workaround (and it work), but the OCR speed for this model is not satisfactory for me.

Then please try, as suggested above, with model from https://github.com/tesseract-ocr/tessdata which has legacy models as well as the 'fast' version of 'tessdata_best' models. Both are available in the same traineddata file, invoked with different --oem settings.

[krzysiekj94]

Please try the OCR with the default tesseract application. If that works fine (like it does in my test) you have to find out what you have to fix in your application.

1. After installing the Mannheim installation, the OCR seems to form fine, but I don't know where it comes from. In case I prepared the console version 32-bit of the tesseract.exe application myself, it works incorrectly with the tessdata_fast data -> see:
   . In my opinion it may be something related to the Visual Studio compiler? Is this a good direction? I'll check it out again....

[krzysiekj94]

I found one of the articles that seems to be similar to my problem: #3283
I did one of the tests and changed the option related to O2 optimization to disabled. I was very surprised because disabling /O2 optimization caused OCR to return almost identical texts as in tesseract 4.1.1, which I expected. See below for settings in Visual Studio 2019 and for differences in text:

Attention:
Now I have a question: Would it be wise if I compiled tesseractlib 5.1.0 with the /O2 optimization option turned off? Does this have any unexpected consequences? Maybe someone has similar problems and experiences? I feel close to solving the problem.

[stweil]

Related issues: #2898 and #3283.

[stweil]

After installing the Mannheim installation, the OCR seems to form fine, but I don't know where it comes from.

The UB Mannheim binaries are build with the GNU compiler. Therefore they don't have this issue.

[zdenop]

64bit works for me.:

>tesseract -v
tesseract 5.1.0-7-g0e526
 leptonica-1.83.0 (Jan 26 2022, 19:15:03) [MSC v.1929 LIB Release x64]
  libgif 5.2.1 : libjpeg 6b (libjpeg-turbo 2.0.91) : libpng 1.6.37 : libtiff 4.3.0 : zlib 1.2.11
 Found AVX2
 Found AVX
 Found FMA
 Found SSE4.1
 Found OpenMP 2019
 Found libarchive 3.5.1 zlib/1.2.11 liblzma/5.2.4 bz2lib/1.0.6 libzstd/1.4.9
 Found libcurl/7.75.0 zlib/1.2.11 libssh2/1.10.1_DEV

>tesseract i3769.png - -l tessdata_fast/deu
Siegfried Aalfelden
Kurt-Schumacher-Platz 10
13405 Berlin

26.02.2019

Sehr geehrter Herr Aalfelden,

Informationen

Das Internet (von englisch internetwork, zusammengesetzt aus dem Präfix inter und
network „Netzwerk“ oder kurz net ‚Netz‘), umgangssprachlich auch Netz, ist ein
weltweiter Verbund von Rechnernetzwerken, den autonomen Systemen. Es ermöglicht
die Nutzung von Internetdiensten wie WWW, E-Mail, Telnet, SSH, XMPP, MOTT und
FTP. Dabei kann sich jeder Rechner mit jedem anderen Rechner verbinden. Der
Datenaustausch zwischen den über das Internet verbundenen Rechnern erfolgt über
die technisch normierten Internetprotokolle. Die Technik des Internets wird durch die
RFCs der Internet Engineering Task Force (IETF) beschrieben.

Die Verbreitung des Internets hat zu umfassenden Umwälzungen in vielen
Lebensbereichen geführt. Es trug zu einem Modernisierungsschub in vielen
Wirtschaftsbereichen sowie zur Entstehung neuer Wirtschaftszweige bei und hat zu
einem grundlegenden Wandel des Kommunikationsverhaltens und der Mediennutzung
im beruflichen und privaten Bereich geführt. Die kulturelle Bedeutung dieser
Entwicklung wird manchmal mit der Erfindung des Buchdrucks gleichgesetzt.

Die Übertragung von Daten im Internet unabhängig von ihrem Inhalt, dem Absender
und dem Empfänger wird als Netzneutralität bezeichnet.

Mit freundlichen Grüßen

[zdenop]

Can you try /Ox instead of /O2?