お世話になっております。
大量データの取り扱いに関して質問です。
600万件ほどのデータ取込をASTRIAで行わなくてはなりません。
データ量は、約3000MBです。
下記のような取り込み処理を組んでいます。
[Select]-ループを開始(300件毎に取り込む)
↓
[マッパー]
↓
[Branch] < 0件の場合 > ⇒ [Break](ループ処理を抜ける)
↓
[Insert]
↓
[ループ終了](Selectに戻る)
上記処理で、Javaがheap errorを起こして落ちてしまいます。
既に下記URLは確認済です。
https://support.asteria.com/hc/ja/artic ... 4%E3%81%A6
現在、開発環境で動かしているので、他環境よりメモリが少ないのもあるかと思いますが、
管理コンソールで最大メモリサイズを2GBに設定しているようです。他環境は2~4倍のメモリサイズのようです。
上記のような処理で落ちないようにするにはどのような対処法がありますでしょうか。
Java、Asteria、大量データの扱いに詳しくないため、助言を頂ければと思います。
何卒よろしくお願い致します。