2020-04-01から1ヶ月間の記事一覧

BERTのwhole word maskingについて

概要 BERTの事前学習の方法にwhole word masking(以下、WWM)という学習方法があるので調べてみた。 事前知識 事前学習 BERTの事前学習の方法については qiita.com が詳しく書かれています。 事前学習の方法を大雑把にまとめると、 入力する文章を形態素解…

githubで「security alert」が出た

概要 vue.jsで作成したツールをgithubで管理していたところsecurity alertが出たので、そのときの解決方法 原因 「security aleat」の中身を見てみると、package.jsonの中にあるパッケージのバージョンが古かったために警告してくれた。 そのためにpackage.j…