正直またこのブログも放置しようかと思ったんですが。
気が変わったので今やってることでも書いておきます。
仕事が暇で特にやることがないので、Transformerを勝手に勉強しています。
あれですよ、Attention is all you needとかいう論文のあれです。
私は修士の頃にSelf attention機構を持ったなにかを使った覚えがあって、その頃にあの論文は読みました。ただそれ以降、機械学習関連の勉強をするとその頃の記憶がフラッシュバックするようになって、基本的に避けてきました。
そんな私がなぜ今更？仕事に使うわけでもないのに。
白状すると、Neuro-samaというAI VTuberをみて、「あれ欲しい！」となったからです。
あれまじですごいですね。どうやっているのか、言語生成（LLM）とゲームの動作、その他配信関連の動作（チャット読んだり、効果音出したり、3Dモデル動かしたり）が全部自律的に動いているんです。
もともとはOSUっていうゲームを遊ぶだけのツールだったらしいんですが、そこにLLM機能とかをガンガン追加していって今あれ、という感じっぽいです。
今やTwitchのHype Train最大レベル記録保持者という…
個人的にはVedal（親御さん）との絡みが好きで…って、これは今度でいいや。
とにかく、私も会話ができるAIがほしいんですよ。
ChatGPTとかGrokとかはすでにありますけど、こういうのは自分で作ってこそでしょう（というかどっちも手を触れたくない）。
というわけで、頑張ってTransformerを勉強しているわけです。
今の所、とにかく適当に「次のトークンを予測する」だけをひたすら試して、一応それっぽいことを言うようにはなってきた…程度です。
ちょっと動くようになったら、今度適当にプロンプトと出力集でもアップしてみますか。
ちなみにこのプロジェクトは「Jester」と名前をつけました。王の道化です。私のことを延々とバカにし続けることを課すつもりです。
コメント