主権モデル
エンジニアリングで専門性を高める
デバイスで扱えるパラメーター規模には限りがあるため、専門性は工学的手法で実現します。主要基盤モデルへのDay0+対応により新バージョン公開当日から接続し、職務別タスクに向けた小規模モデルを微調整。投機的デコーディングで推論を高速化し、用途に応じてモデルと実行場所を選びます。企業自身の機器でモデルを動かし、専門能力を企業資産として蓄積します。
モデル適応と最適化
- Day0+
複数基盤モデルへの迅速な対応Qwen、DeepSeek、GLMなどの主要モデルに対応し、特定の基盤に固定しません。基盤の更新を専門業務の処理系に速やかに取り込めます。
- SFT
領域別微調整と効率的なLoRA適応法律・税務・会計の専用コーパスと専門家のアノテーションで微調整し、職務特化型の小規模モデルを作ります。LoRA（低ランク適応）により微調整の計算コストを削減します。
- 4/8bit
量子化による導入4bit / 8bit精度に量子化してモデルを圧縮し、デバイスの計算・メモリ予算内で専門推論を行います。
- SPEC
投機的デコーディングによる高速化MTP・DFlash・DSparkに対応。下書き機構が複数トークンをまとめて提案し、主モデルが並列検証します。出力を維持しながら速度を数倍に高めます。
- RAG
専用データによる強化と長期記憶RAG（検索拡張生成）で専用コーパスを整備・統合し、MCP（Model Context Protocol）で業務システムに接続。プロジェクトの文脈を長期記憶として蓄積します。
用途別の選定
4つの選定基準データの機密性遅延要件モデル規模コスト
3種類の投機的デコーディングに対応
デバイス上のデコーディングはメモリ帯域に制約され、トークンを一つ生成するたびに全重みを読み取ります。投機的デコーディングは軽量な下書き機構で複数の候補トークンを提案し、主モデルが一度に並列検証して一致する部分だけを採用します。出力を変えずに数倍の高速化が可能です。LoLRモデル体系は3つの主要方式に対応しています。
MTP複数トークン予測Multi-Token Prediction
主モデルと共同学習した予測ヘッドが、現在の隠れ状態から後続トークンを先行作成します。重みに組み込まれている場合、GPUメモリの追加使用はほぼありません。
適用：MTPヘッド内蔵の基盤モデル · GPUメモリに制約のあるデバイス
DFlashブロック拡散による下書きBlock Diffusion Drafting
軽量なブロック拡散下書きモデルが主モデルの文脈特徴を条件として、一回の順伝播でブロック全体を並列生成します。対象モデルごとに下書きモデルを個別学習できます。
適用：多様な基盤モデル・推論フレームワーク · 長文生成
DSpark信頼度に基づく投機的デコーディングConfidence-Scheduled · Semi-Autoregressive
半自己回帰型の下書き器がブロック内のトークン依存関係を保持します。検証段階ではリクエストごとの信頼度に応じて検証長を動的に調整し、低品質の下書きを早期に打ち切ります。
適用：高同時処理サービス · 部門・組織ノード
3方式とも出力を維持した高速化を行い、最終出力は主モデルの検証で決まります。LoLR.AI OSが基盤モデルの特性、導入フレームワーク、ノードの同時処理状況に応じて自動選択します。
