AIで開発したシステムの「本番投入判断」を支援 七夕研究所、品質評価サービス「AI Production Readiness」を提供開始
コード・テスト・CI/CD・運用・LLM出力品質を横断評価。実際のLLMアプリケーションを対象とした評価レポートのサンプルも公開
株式会社七夕研究所（本社：神奈川県小田原市、代表取締役：北島哲郎、以下「七夕研究所」）は、AI開発の独立検証ブランド「OriTech」において、生成AIやAIコーディングツールを活用して開発されたソフトウェアについて、本番投入を判断するために必要な技術的リスクや未確認事項を評価するサービス「AI Production Readiness」を、2026年9月3日より提供開始することをお知らせします。
近年、Claude CodeやCodexなどの普及により、ソフトウェアを開発する速度は大きく向上しています。
一方で、
- テストがすべて通っている
- AIによるコードレビューで問題が見つからない
- 一通り動作確認できている
というだけでは、「本番環境へ投入してよい」と判断するには十分でないケースがあります。
「AI Production Readiness」では、ソースコードだけでなく、テスト、CI/CD、セキュリティ、権限管理、運用・復旧設計、本番環境で確認できる証拠などを横断的に確認します。
LLMを組み込んだシステムでは、ソフトウェアとして正常に動作するかだけでなく、LLMの回答内容そのものを評価する仕組みがあるかについても確認します。
そのうえで、
「何が確認できており、何がまだ確認できていないのか」
を明らかにし、本番投入を判断するための技術的な根拠を整理します。
テスト1,000件、行カバレッジ91％でも「条件付きPASS」
サービス提供開始にあわせ、七夕研究所が実際に開発し、社外の利用者がいる環境で運用しているLLMアプリケーション（Discord常駐型LLMエージェント）を対象とした評価レポートのサンプルを公開します。
対象システムでは、
- テスト1,000件がすべて成功
- 行カバレッジ91％
- 生成を担当するLLMとは別系統のLLMによるレビュー記録12件
- 運用手順書3本
- 実環境で発生した不具合を回帰テストへ反映する開発プロセス
などを確認しました。
一方で、LLMが生成する回答について、モデルやプロンプトを変更した際に品質が悪化していないことを再確認する仕組みが存在しないことなどを確認しました。
そのため、現在の限定的な利用条件では運用可能としつつ、利用範囲を広げる前に追加対応が必要な**「条件付きPASS」**と判定しています。あわせて、稼働中の本番環境のように必須の証拠が取得できていない観点については、無理に可否を述べず「判定不能」とし、判定を保留した範囲をレポート上で明示しています。
ソフトウェアのテストが十分に存在することと、LLMの回答品質まで確認できていることは別の問題です。
この違いが、「AI Production Readiness」が対象とする代表的な品質課題です。
開発速度が上がるほど、「作れた」と「本番で使ってよい」を分ける必要がある
七夕研究所では、近年の社内ソフトウェア開発の多くでLLMを活用しています。
実装だけでなく、テストコード、ドキュメント、レビュー、運用設計などにもAIを利用しています。
その一方、実際の環境で運用する中では、
- テスト環境では問題がなくても、本番環境との差によって不具合が発生する
- AIレビューを受けて行った修正が、別の不具合を生む
といった問題も経験してきました。
こうした経験から、AI時代のソフトウェア開発では「コードを速く書くこと」だけでなく、
「何を根拠に、このシステムを本番へ投入してよいと判断するか」
を設計することの重要性が高まると考え、本サービスを立ち上げました。
「AI Production Readiness」4つの特徴
1．コードだけでなく、本番投入に関わる仕組みを横断的に確認
一般的なコードレビューだけではなく、必要に応じて、
- ソースコード
- テスト
- CI/CD
- 仕様とテストの対応関係
- セキュリティ・権限管理
- 運用・復旧手順
- 本番環境・監視・証跡
- LLM出力の評価体制
などを確認します。
「コードに問題がないか」だけでなく、システムを実際に運用するための条件が揃っているかを確認します。
2．AIが出した指摘をそのまま採用しない
調査にはClaude、CodexなどのLLMも活用します。
ただし、AIが生成した指摘をそのまま顧客へ納品することはありません。
AIを使って広範囲に問題候補を探索したうえで、人間が内容と根拠を確認し、必要に応じて反証を行います。
確認できた事実と、その事実から合理的に導けるリスクを区別し、確認方法を説明できる指摘のみを報告します。
七夕研究所では、
AIによる「生成」と、人間による「判断」を分離すること
を、AIを活用した品質管理の基本原則としています。
3．LLMの「回答内容そのもの」の品質も対象
チャットボット、RAG、AIエージェントなどでは、プログラムが正常に動作するだけでは十分ではありません。
LLMが、
- 事実に基づいた回答をしているか
- 必要な根拠を示しているか
- 指示に従っているか
- 過剰な断定をしていないか
- モデルやプロンプト変更後も品質を維持しているか
といった、回答内容そのものの品質も問題になります。
OriTechでは、評価用事例集（ゴールデンセット）や評価ルーブリックの設計、人間によるブラインド評価、LLMを評価者として利用する際の人間評価との整合確認を、後述の上位サービス「LLM Product Readiness Assessment」として提供します。
4．判定と是正を分離する（独立性）
「BLOCK」の判定が追加受注につながる構造を作らないため、判定と是正実装を同一契約・同一担当では受けません。
是正をご依頼いただく場合は別契約・別担当とし、是正後の再判定は検証側の担当が行います。
3種類のサービスと再判定を提供
AI Production Readiness Quick Scan
対象システムの主要な危険箇所を短期間で把握するサービスです。
書面調査のみで、ソースリポジトリ、仕様書、テスト、CI設定などを確認し、優先度を付けた危険箇所（各指摘に確認方法を付します）と、確認していない範囲、次に取るべき対応を報告します。仕様書が存在しない状態でも着手できます。
Quick Scanでは、本番投入の可否そのものは判定しません。
「まず現在の状態を把握したい」「本格的なAssessmentが必要か判断したい」といったケースを想定しています。
価格：50万円（税別・定額）／実働3日
AI Production Readiness Assessment
本番投入や利用範囲の拡大を判断するために必要な証拠を整理し、技術的な判定レポートを作成するサービスです。
調査対象に応じて必要な証拠をあらかじめ定義し、それぞれについて取得・確認できたかを記録します。
判定には、
- PASS
- 条件付きPASS
- BLOCK
- 判定不能（INSUFFICIENT EVIDENCE）
を使用します。
必要な証拠が確認できない場合には、無理に安全・危険の判断を行わず、「判定不能」とします。
価格：120万円（税別）〜／1〜2週間
LLM Product Readiness Assessment
Assessmentの範囲に加えて、LLMの出力そのものの品質を評価するサービスです。
評価基準（ルーブリック）の設計、実際の利用ログからのゴールデンセットの作成、言語・社会科学系のバックグラウンドを持つ担当による人間のブラインド評価、モデル更新・プロンプト変更時の回帰検査の設計を行います。
価格：250万円（税別）〜／3〜4週間
再判定
是正後に「いまは本番へ出せるのか」に答える再判定を、初回の40〜50％の価格（実働3〜5日、初回から6か月以内・同一対象）で提供します。再判定は検証側の担当が行います。
本サービスは「認証」や「安全性の保証」ではありません
「AI Production Readiness」は、認証や法定監査、安全性の保証を目的としたサービスではありません。
確認できた証拠に基づいて、
- 現在確認できていること
- 技術的なリスク
- 未確認の事項
- 本番投入や利用拡大の前に対応すべき事項
を整理し、顧客自身が本番投入を判断するための材料を提供します。
システムの品質や安全性について無条件の保証を与えるものではありません。
公開サンプル
サービスの成果物イメージとして、七夕研究所が実際に開発・運用しているLLMアプリケーションを対象にした以下のサンプルを公開します。
AI Production Readiness Quick Scan 報告書https://oritech.tanabata-inst.com/reports/production-readiness-quick-scan.pdf
AI Production Readiness Assessment 判定レポートhttps://oritech.tanabata-inst.com/reports/production-readiness-assessment.pdf
対象は七夕研究所自身が開発したシステムであるため、このサンプル自体は独立した第三者評価ではありません。
実際の顧客案件で使用する考え方とレポート形式を確認いただくための公開サンプルです。
株式会社七夕研究所について
会社名：株式会社七夕研究所（Tanabata Institute Inc.）
代表者：代表取締役 北島哲郎
所在地：神奈川県小田原市
設立：2023年7月7日
事業内容：社会調査・制度設計・R&D支援・組織変容コンサルティング
Webサイト：https://www.tanabata-inst.com/
本件に関するお問い合わせ：
お問い合わせフォーム：https://docs.google.com/forms/d/e/1FAIpQLSdANsWMhVM-Y3jQUrIFEwaptrZBuKW1nnxb6y1lByZee0l4Gw/viewform?usp=dialog
SNS：note https://note.com/tanabata_lab ／ X https://x.com/TanabataInst