2020-04-29から1日間の記事一覧
概要 BERTの事前学習の方法にwhole word masking(以下、WWM)という学習方法があるので調べてみた。 事前知識 事前学習 BERTの事前学習の方法については qiita.com が詳しく書かれています。 事前学習の方法を大雑把にまとめると、 入力する文章を形態素解…
概要 BERTの事前学習の方法にwhole word masking(以下、WWM)という学習方法があるので調べてみた。 事前知識 事前学習 BERTの事前学習の方法については qiita.com が詳しく書かれています。 事前学習の方法を大雑把にまとめると、 入力する文章を形態素解…