ラブドール用にAIチャットを構築したいという雑談
最近、AIで遊んでいます。
ジジ裏のAIイラストや動画生成AIはもちろんですが、ラブドールに活用すべく、今は検閲のないローカルLLM（チャットbot）にも夢中です。
edolls.netを開設した当初からラブドールのFAQデータベースを作りたい、と言いつつ全然進まなかったのは、もう自分が持っているラブドールの知識なんて古いし、かといってほかのユーザーさんにFAQの更新を丸投げするのか？それでいいのか？という自問自答を繰り返して結論が出なかったからでもあります。
質問掲示板を設置したのも、その内容をまとめればFAQページになるのでは？という考えもあってのこと。
そして時代は進み、ここ数年でAIの進化が止まりません。現在のAIはまだかなりいい加減な部分もあるのですが、情報をまとめる能力には目を見張るものがあります。
一方で、ChatGPTやCopilotなどのWebサービス型では検閲の問題があり、ラブドールに関する情報収集がほとんど出来ません。mozudollのマンコの位置はどんな塩梅っスか？とか聞いても「話題を変えましょう」と言われるだけのこと。
そこで、ローカル…つまり自分の手元にあるパソコンにAIを搭載し、ChatGPT的なモノを動かし、ラブドールに関して学ばせて、なんなら質問掲示板の回答にも使えないか？とここしばらくお勉強していました。
ラブドール用にAIチャットを構築したいという雑談
おっさんが15分くらいだらだら話している雑談ですが、もし暇で暇で仕方がなかったらどうぞ。今AIで試行錯誤していることを話しています。
使用ソフト
LM Studio
Mistral Nemo-12Bベースの非検閲モデル：magnum-v4-12b-GGUF
LM Studioを快適に使用するにはnVidia製のGPUを搭載していることが望ましいですが、10倍くらい時間かかっても良いならCPUでも一応動きます。
まとめ
- ラブドールに関する質問に的確に答えてくれるAIが欲しい。
- ローカルLLMはWebサービスに比べると格段にアホ…だがそこは仕方がないので追加学習したい。
- ラブドールの製品情報3万件をLoRA学習させてみたところ、RTX4070搭載のPCで22時間かかった。60万くらいするRTX5090があれば4～5時間かもだけどどちらにしろ現実的ではない。
- RAG（Retrieval-Augmented Generation:検索拡張生成）という機能で、参考資料を基に回答を生成してくれる機能があるため、それを使ってみたらだいぶマシにはなった。
- LM StudioはローカルPCで動かしているが、独自のスクリプトを経由することで質問掲示板に返答することも可能
ローカルLLMはまだ使いはじめたばかりで右も左もわからないため、詳しい人いたら調教方法を教えてー！
