今日現在、Goggle Colabで利用できるGPUと、そのスペックは以下の通りです。 GPU システムRAM GPU RAM ディスク 使用率 A100 GPU 83.5 GB 40.0 GB 112.6 GB 6.86 L4 GPU 53.0 GB 22.5 GB 112.6 GB 2.09 T4 GPU 12.7 GB 15.0 GB 112.6 GB 1.43 無課金で利用で…

モデルの選び方 パラメータが小さいものを選ぶ パラメータとは強引に言えばLLMの語彙です。 語彙が多いLLMは話のレパートリーも表現も豊かです。 色々な話を聞かせてくれますが、大量のGPU RAMを必要とし、処理が遅いです。 語彙が少ないLLMは話のレパートリ…

ここまで２回にわたってLLMを動かしてきました。 次はLLMを活用したAIエージェントを作成してみたいです。 でもLangChainとかLangGraphとか難しいことはわかりません。 いずれ学びたいとは思いますが、そういう難しいことは一旦、飛ばして、AIエージェントで…

前回はGoogle Colabを使ってLLMを動かしました。 今回は自分のMacの上でLLMを動かしてみましょう。 当然ですが、私のMacbookにはGPUなんて高価なものは搭載されていません。 CPUはM1、メモリは16GBです。 そんなスペックですが、それでもLLMを動かしてみまし…

「そうだ、Hugging Face上で公開されているモデルを動かしてみよう」 と、ふと思い立ちました。 Hugging Faceという言葉を知ったのも最近、という超初心者の私が四苦八苦してようやく動かすことができたので記事にまとめたいと思います。 手順 手順1. Huggin…