import_ground_truth_data.py

画像ピクセルから8つの comp_*診断特徴量を直接計算し、別途あらかじめ計算済みのグローバル／知覚系メトリクスと合わせてSQLiteデータベースにインポートします。 DOI 1.8自身の報告書は、これをDOI 1.0〜1.7全体で使われていた comp_*定義のリファレンスコードだとしています。この計算式は今まで一度も正式に文書化されておらず、DOI 1.8はそれを初めて書面で定義するために公開されました。

収録場所	DOI 1.8のZenodoアーカイブ（`Merutan_DOI1.8.zip`）に収録——公開されたのはそこが最初だが、実際にはそれより前から使われていた
使用時期	DOI 1.8自身の報告書によればDOI 1.0〜1.7——これらの初期の報告書で使われていたcomp_*定義のリファレンスコードです。DOI 1.8が新たに導入したものではなく、それまでコードとしてしか存在しなかった定義を、後から文書として正式に仕様化した報告書がDOI 1.8です。
状態	comp_*定義のリファレンスとして現行（その定義が当時の検証用データベースに統合されていたJOINの工程については置き換え済みファイルを参照）。

入力として想定しているもの

detailed_*ディレクトリです：元画像が入った images_baseサブフォルダに加えて、モデルごとに 1つのサブフォルダがあり、その中にさらに画像IDごとのサブフォルダがある構造。それぞれの画像IDサブフォルダには、このスクリプト自身は生成しない2つのファイル ——analysis_results.json（グローバル／知覚系メトリクス：SSIM、MS-SSIM、PSNR、MAE、LPIPS、CLIP類似度、 ΔE、LAB色空間統計）とp6_local_quality_data.csv （ブロック単位のローカルSSIM）——があらかじめ存在している必要があります。これらは、このスクリプトより前段の、別の外部解析ステップが生成したものです。

やっていること

見つかった画像それぞれについて：

あらかじめ計算済みのanalysis_results.jsonをそのままglobal_comparison_metricsテーブルに読み込みます——このスクリプトはこれらの値を再計算せず、インポートするだけです。
p6_local_quality_data.csvに列挙されたブロックそれぞれについて、元画像・処理後画像の両方から対応するピクセル領域を読み込み、8つのcomp_*特徴量すべてをピクセルから直接計算します：シャープネス（ラプラシアン分散）、コントラスト（ピクセル標準偏差）、エントロピー（ヒストグラムベース）、2つのアーティファクト指標（ブロック境界の不連続性と、リンギング用のエッジ周辺分散）、テクスチャ（GLCMベースの複合指標）、ノイズ（適応的なDCT高周波エネルギー）、エッジ（Sobel勾配密度）。
ブロックごとに1行——CSVのローカルSSIMと、ここで新たに計算した8つのcomp_*値（元画像・処理後画像の両方）——を local_comparison_metricsテーブルに書き込みます。

存在理由

このファイルのcalculate_sharpness・ calculate_contrast・calculate_entropy・ detect_artifacts・calculate_texture・ calculate_noise・calculate_edges・ calculate_ringingの各関数が、「comp_sharpnessって実際には何を計算しているの？」という問いへの、公開済みの具体的な答えです。DOI 1.8自身の報告書は、これがDOI 1.0〜1.7の報告書全体で使われていたのと同じ定義だとしています。この定義自体は、コードとしてしか存在せず、正式に文書化されたことは一度もありませんでした ——DOI 1.8はその空白を埋めるために公開されています。

その後データ不整合バグが見つかったJOINの工程と、それに代わる新パイプライン build_notta_tta_comp_db.py （DOI 1.12以降で使用）については、置き換え済みファイルページを参照してください。各comp_*定義の要約版は用語集にあります。

生成物

2つのテーブルを持つSQLiteデータベースです：

global_comparison_metrics —— モデル・画像のペアごとに1行。その画像の analysis_results.jsonから直接取った知覚系・グローバルメトリクスと、LAB色空間統計を保持します。
local_comparison_metrics —— ブロックごとに1行。CSVのローカルSSIMと、ここで計算した 8つのcomp_*特徴量値（元画像・処理後画像の両方、合計ブロックあたり16値）を保持します。

このデータベースの列名（sharpness_original_block、 sharpness_processed_blockなど）は、このシリーズの他の場所で参照されているblocksテーブルの comp_sharpness_notta / comp_sharpness_ttaという命名規則とは異なります ——このデータベースは、このスクリプト自身の実行結果として独立した成果物であり、そのblocksテーブルとは別物です。

実行方法

python3 import_ground_truth_data.py \
    --root_dir /path/to/detailed_modelname \
    --db_path output.db \
    [--original_images_dir DIR] [--processed_images_dir DIR]

detailed_*ディレクトリ1つにつき1回実行します（モデルごとに1回）。--original_images_dirと --processed_images_dirは省略可能です——省略した場合、スクリプトは元画像用にimages_baseサブフォルダを探し、処理後画像についてはルートディレクトリ自体を使います。

再実行について

build_notta_tta_comp_db.py のようなスキップ式の再開機能はありません：実行のたびに root_dir以下の全画像が再処理され、全行が INSERT OR REPLACEで書き込まれます。そのため再実行しても安全ではありますが、途中から再開するのではなく、常にピクセル単位のcomp_*計算をすべてやり直すことになります。