理光開發出高性能日語大語言模型

新華社東京6月4日電(記者錢錚)日本理光公司日前表示，該公司利用和日本理化學研究所共同研發得到的指令資料訓練理光的日語大語言模型，提高了模型的指令遵循性能。

理光公司3日發佈新聞公報說，他們用10329份指令資料對公司研發的130億參數日語大語言模型進行了指令調優。與調優前相比，大語言模型的指令遵循性能得分從1.19分大幅提高至3.02分。

指令調優是訓練大語言模型的一個過程，主要為了縮小模型的下一個標記預測目標與使用者期望的模型遵循人類指令的目標之間差距。

理光公司說，隨著老齡化和隨之而來的勞動人口減少，許多企業寄希望于利用人工智慧來提高生產效率，實現高附加值的勞動方法。而要將人工智慧應用於實際業務，需要讓大語言模型追加學習包括企業所處行業、所經營業務、以及企業固有用語等在內的大量資料。

相比英語國家圍繞大語言模型研發的競爭，日語大語言模型的研發相對滯後。這主要是因為日語的語法和表達與英語完全不同，以英語為基礎的模型難以充分發揮功能，而研發適合日語的模型首先必須花時間研究日語的特徵。

大語言模型的研發還需要大量資料，而日語的資料遠少於英語，品質和多樣性方面也存在問題，日語資料的收集和完善需要大量時間和成本。大語言模型研發還需要很高的算力，而日本超算和雲等計算資源原本就不足，能運用這些計算資源的技術和人才也不足。