大規模言語モデル (LLMs) 向けのフレームワーク、ツール、リソース。トレーニング、推論(vLLM、llama.cpp)、および RAG を網羅しています。
大規模言語モデル (LLMs)
リポジトリ
Ollama は、オープンソースの大規模言語モデルをローカルで実行・管理するための軽量フレームワークです。シンプルな CLI と REST API を提供し、Llama、Gemma、Mistral などのモデルをサポートし、さまざまなツールやプラットフォームに簡単に統合できます。
LangChain は、エージェントや LLM を活用したアプリケーションを構築するためのフレームワークです。相互運用可能なコンポーネントとサードパーティ統合を連鎖させ、AI アプリケーション開発を簡素化します。
Open WebUI は、完全にオフラインで動作するように設計された、拡張可能で機能豊富、ユーザーフレンドリーな自己ホスト型 AI プラットフォームです。Ollama や OpenAI 互換 API など、さまざまな LLM ランナーをサポートし、RAG 用の組み込み推論エンジンを備えています。
DeepSeek-V3 は、総パラメータ数 671B、トークンあたり 37B を活性化させる強力な Mixture-of-Experts(MoE)言語モデルです。マルチヘッド潜在アテンション、FP8 訓練、マルチトークン予測を採用し、主要なクローズドソースモデルと同等の性能を達成しながら、効率的で安定した訓練を実現します。
DeepSeek-R1 は、数学、コード、推論タスクで OpenAI-o1 と同等の性能を達成した第一世代の推論モデルです。6710 億パラメータの MoE アーキテクチャを採用し、MIT ライセンスでオープンソース化されています。
GPT4All は、一般的なデスクトップやラップトップで大規模言語モデル(LLM)をプライベートに実行できるオープンソースエコシステムです。API 呼び出しや GPU は不要で、アプリをダウンロードするだけでローカル AI モデルとのチャットを開始できます。
vLLM は、LLM 推論とサービングのための高速で使いやすいライブラリです。UC バークレーで開発され、PagedAttention による効率的なメモリ管理、連続バッチ処理、Hugging Face モデルとのシームレスな統合を特徴としています。
学術研究に特化したAIアシスタント。GPT/GLM/Qwen/DeepSeekなど複数の大規模言語モデルをサポート。論文翻訳・校正、コード解析、学術執筆機能を備え、モジュール型プラグインシステムとカスタマイズ可能なショートカットを提供。
Meta公式Llama 2推論コードリポジトリ。Llamaモデル(7B-70Bパラメータ)のロードと実行の最小実装を提供し、テキスト補完とチャットアプリケーションをサポート。モデル重み、トークナイザー、ローカルデプロイ例スクリプトを含む。
xAIのGrok-1:3140億パラメータのMixture-of-Expertsモデル、JAX実装を提供。オープンソースの重みとアーキテクチャで高度なAI研究と展開を支援。
LlamaIndexは、大規模言語モデル(LLM)アプリケーションを構築するためのオープンソースデータフレームワークです。特に検索拡張生成(RAG)に焦点を当て、データコネクタ、インデックスツール、クエリインターフェースを提供します。
マイクロソフト公式の1ビット大規模言語モデル推論フレームワーク。CPUとGPU上での高速かつロスレスな推論を提供し、最適化されたカーネルで効率的なエッジデバイス展開をサポート。
LightRAGは軽量で効率的な検索拡張生成フレームワークで、知識グラフとベクトル検索を統合し、マルチモーダル文書処理、複数のストレージバックエンドをサポートし、APIとWeb UIインターフェースを提供します。
Qwen3はアリババクラウドが開発したオープンソース大規模言語モデルシリーズで、思考/非思考デュアルモード、100万トークンの長文コンテキスト、多言語サポート、最先端の推論能力を特徴とします。
Open R1はDeepSeek-R1の推論能力を完全に再現するコミュニティ主導のプロジェクトです。SFT、GRPO、データ生成のためのトレーニングパイプライン、評価スクリプト、データセットを提供し、透明なAI推論モデル開発を可能にします。
上級ユーザー向けのローカルLLMフロントエンド。複数のAI API、画像生成、TTSに対応し、没入型のロールプレイ体験を実現する高度なカスタマイズ機能を提供。