七難ハック

生きづらいね、世界

今日はなんの話かって言えばポエムですね、ポエム。最近雑に思ってることの話でもしようかなと。

日本語事前学習済みのALBERTモデルを公開したんですが、その話のアフタートークです。本編はZennでしてます。

huggingface transformers have the potential to mix unwanted tokens when using the Sentencepiece based Tokenizer.