HOT ! P40 24Gカスタムファン付/40b以下LLM動作確認済/ローカルLLM最適 NVIDIA P40とWindows 11非対応のPCでLLMする (備忘録) #AI - Qiita

NVIDIA P40とWindows 11非対応のPCでLLMする (備忘録) #AI - Qiita。006_l.png。001.png。ご覧いただきありがとうございます。自社サーバーでのLLMに挑戦！ローカルLLM＋RAG環境を構築してみた。この度、V100水冷コンピューティングドックへのシステム移行に伴い、これまでメイン機で愛用していた調教済みの Tesla P40 を数枚出品いたします。NVIDIA RTX A5000(24GB) プロカード中古良品。個人でローカルLLMを動かしたい方、コスパ良く大容量VRAMを確保したい方に最適なセットです。GEFORCE GTX 1060 5GB MSI JUNK/ ジャンク。【実測パフォーマンス（GGUF形式 / 8bit精度）】Qwen 2.5 32b クラス： 10〜13 tps（実用的な読解スピード）Gemma 3 12B クラス： 30 tps 前後（瞬時に回答が生成されます）2枚差し運用： 70Bクラスの大型モデルも3〜5 tpsで動作可能です。グラフィックボード・グラボ・ビデオカード msi rx6700xt 12g oc。1. 使用していない専用の「高圧デュアルファンユニット」を付で発送します。グラフィックボード・グラボ・ビデオカード Asrock Radeon RX 9070 CHALLENGER。温度目安（室温21℃）：Turbo（4500回転）：待機時38℃ / 演算時50℃前後Full（6000回転）：さらに強力に冷却可能注意点：ファンはマザーボード経由での制御を推奨します。MSI GeForce RTX 3060グラフィックボード 12GB。ケースファン等は付属のSATA/大4ピン変換アダプタへ逃がしてください（ご希望の変換タイプを取引メッセージでお知らせください）。グラフィックボード・グラボ・ビデオカード NVIDIA GeForce RTX 2070 8GB。2. 電源供給について本カードの端子は CPU 8ピン（EPS） です。グラフィックボード・グラボ・ビデオカード GTX1660super 6GB PALIT。一般的な電源のPCIe 8ピンから変換できる「専用変換ケーブル」を同封します。GIGABYTE GTX 1650 OC 4GLロープロファイル補助電源不要。予備のCPU電源端子がある場合は、ファンユニットを外して直挿しも可能です。グラフィックボード・グラボ・ビデオカード RTX4060Ti。3. ECC機能とVRAM表示ストレージ占有型ECCのため、OS上の認識は 22.5GB となりますが、仕様通り24GBの物理メモリをフル活用しています。MSI GeForce RTX 5070 VENTUS 2X 本体。4. 映像出力について計算専用カードのため映像出力端子はありません。PALIT jetstream 風 GeForce GTX 980 動作確認済み。CPUの内蔵グラフィックス（iGPU）または別のビデオカードと併用してください。【動作確認済】ZOTAC GeForce RTX 3070 8G。【BIOS設定のポイント】導入時、マザーボードのBIOSで以下の設定を必ずご確認ください。iGame GeForce RTX 2060 Super グラフィックボード。Above 4G Decoding： 「Enabled（有効）」Re-Size BAR Support： 「Enabled（有効）」CSM Support： 「Disabled（無効 / UEFIモード）」※これを設定しないとWindowsで認識されない場合があります。グラフィックボード・グラボ・ビデオカード ZOTAC GeForce RTX 2070 Super Mini 8GB。推奨電源：650W以上