東大ベンチャーELYZA、GPT-3.5 Turboレベルの日本語LLM発表
文● 田口和裕

　東京大学松尾研究室発のAIベンチャー「ELYZA」は3月13日、700億パラメーターの最新日本語大規模言語モデル（LLM）「ELYZA-japanese-Llama-2-70b」を発表した。

■100Bトークンの日本語コーパスで追加事前学習

　同モデルは英語の言語能力に優れたメタのLLM「Llama 2」シリーズに日本語能力を拡張するプロジェクトの一環で得られた成果物だ。

　具体的にはLlama 2に対し、日本語による追加事前学習と事後学習を実施。追加事前学習には約100Bトークンの日本語コーパスを用い、事後学習には「日本語での指示追従能力と一般的な知識を向上させることを目的としてELYZAが独自に構築した高品質なデータセット」を用いているという。

（以下略、続きはソースでご確認ください）

ascii　2024年03月13日 12時40分
https://ascii.jp/elem/000/004/188/4188943/