Language Models are Unsupervised Multitask Learners (GPT-2)
TL;DR:
用 Transformer-based (left-to-right) language model 在極大語料 (40GB) 上做訓練，並將所有 NLP 問題轉化成 language model 問題來解，是亂做一通，但也在一些 task (CoQA) 上有著還可以的表現，而另也有生成高品質文章的用途。
-
可於此 blog 觀賞其所產生之優美獨角獸文章：https://openai.com/blog/better-language-models/
-
可於此網站線上享用 GPT-2 的續寫功能：https://talktotransformer.com/
-
可於此網站使用有 GPT-2 幫你續寫的文字編輯器：https://transformer.huggingface.co/
-
可於此網站安裝 GPT-2 所搭建的 code 補全外掛程式：https://tabnine.com/
Slide:
Please wait a minute for the embedded frame to be displayed. Reading it on a computer screen is better.