上の画面が出るとき、Java 起動時のメモリが不足していることが考えられます。

以下のファイルを編集して、メモリを増やしてから起動し直してみてください。

Windows の場合:
C:\Program Files\MolDeskBasic\MolDesk.ini (デフォルトでインストールした場合、Basic)
C:\Program Files\MolDeskScreening\MolDesk.ini (デフォルトでインストールした場合、Screening)

Linuxの場合:
MolDesk_Basic_Linux64/MolDesk.ini (ユーザが解凍したディレクトリ、Basic)
MolDesk_Screening_Linux64/MolDesk.ini (ユーザが解凍したディレクトリ、Screening)

Macの場合:
/Applications/MolDeskBasic.app/Contents/Eclipse/MolDesk.ini (Basic)
/Applications/MolDeskScreening.app/Contents/Eclipse/MolDesk.ini (Screening)

-vmargs
-Xms1024m
-Xmx4096m
-Duser.language=en
-Duser.country=US

↓ 最大使用メモリを 4GB から 16GB へ増やして起動する場合。の数値を大きくする。使用マシンのメモリ量を越えない範囲で指定してください。

-vmargs
-Xms1024m
-Xmx16384m
-Duser.language=en
-Duser.country=US