About
組織概要
Meritcs /ˈmɛrɪtɪks/ ——「メリティクス」と読みます。
この名称は"Merit"(価値・真価)と"Metrics"(指標)を組み合わせた 造語です。ある品質指標が本当に信頼を得ているのか、それとも 見かけ上そう見えるだけなのかを見極める——私たちの活動の核心を 表しています。
さらにこの名前には、理念としての意味も込めています。
MERIT —— Metric Reliability & Integrity (指標の信頼性と整合性)
SSIMのような画質評価指標が、いつ・どこで信頼できて、どこから 信頼できなくなるのか。その境界を数式レベルで明らかにし、 実データで検証すること——それが私たちの一貫した取り組みです。
SSIMが1枚の画像を平均値だけで評価していることへの疑問。
既存の可視化モデルを段階的に改良し、殻・膜・黄身の三層構造にたどり着く。
卵メタファーの3D/2Dシステムによる体系的なブロック単位の分析から、SSIM公式の閉形式を導出。
第三者による確認を求めて申請し、キュレーターによる審査を経て承認された。
両ビューアともDOI 1.2の実演動画で公開後、DOI 1.5で正式にドキュメント化し、分類も訂正。
JOINに起因するデータ整合性バグへの対応が、既公開分の再検証と、JOINを使わない新しいデータパイプラインの設計につながった。
沿革
研究の動機
この研究の出発点は、SSIMが1枚の画像を平均値だけで評価していることへの 疑問でした。
可視化モデルの構築
その平均という一つの数字が何を隠しているのかを検証するため、複数の 可視化モデルの開発・検証を重ねました。初期のモデルは、3D空間で 表現しようとすると破綻することが判明しました。段階的な改良の末、 殻(Shell)・膜(Membrane)・黄身(Yolk)の三層構造からなる 「卵メタファー」に到達しました。
ブロック単位の分析で見えてきたこと
この卵メタファーをもとにした3D/2Dの可視化システムを用いて、 1ブロックずつ体系的に比較・分析を行いました。
低いスコアのブロックは消えたわけではなく、平均の中で見えなくなっていただけでした。
わずかな差の統計的な意味
この例が示す通り、ブロック単位の乱れは画像全体の平均スコアに 埋もれてしまいます。これと関連する懸念として、既存の文献では SSIMのスコア差0.01という わずかな水準で、モデルの優劣がランキング・比較されていることが 挙げられます。上記の不安定さを踏まえると、この程度の僅差が持つ 統計的な意味は限定的です——SSIMが医療画像の評価に用いられる場合には、 特に直接的な影響を持つ懸念です。この問題意識が、より詳細な ブロック単位の分析を動機づけ、その統計的挙動の閉形式(closed-form) による導出へとつながりました。
Luminance Bias(輝度バイアス)
この分析の中で見つかった、あるブロックが、そのメカニズムを 具体的に示しています——完全に平坦な純黒のground-truthブロック (平均輝度・分散ともにゼロ)を、8bit値でわずか1階調だけずらした 復元ブロックと比較したところ、肉眼では見分けがつかない 差にもかかわらず、計算されたSSIMは0.867 でした。この低下は輝度項(L項)だけに起因しており、この項は 輝度がゼロに近い領域では、通常の明るさの領域とは全く異なる 振る舞いを示します。この1件が、この項の振る舞いが変化する境界を 閉形式で導出する出発点となりました。
どちらのブロックも肉眼では同一に見える——復元後は255段階中たった1階調だけずれているだけ——それでもSSIMの輝度項だけで、このペアは0.867と評価される。
Structural Masking(構造マスキング)
逆方向の例もあります——同じデータセットの別のブロックでは、 GT側に実際に測定可能なテクスチャ(comp_textureスコア5.05、 comp_entropy 2.29)がありましたが、復元結果は完全に 平坦になっていました——モデルがテクスチャを完全に 消し去っていました(comp_texture・comp_entropyともに0に 低下)。実際にディテールが失われているにもかかわらず、 計算されたSSIMは0.975でした。同じマスキングの 仕組みが、今回は復元側自身の分散がほぼゼロであることによって 働いています。
復元結果は実際に測定可能なテクスチャを完全に消し去っていた——それでもSSIMは0.975と評価された。
ここまでの分析全体で使われてきたこの可視化フレームワーク自体も、 独立した成果として後に正式文書化されました——卵メタファーは、 実際に動くMerutan DB 3D ViewerとMerutan DB Viewer(2D)という2つのシステムとして開発され、 実演動画ページで公開されています。 両ビューアともDOI 1.2の実演動画で既に公開されていましたが、 のちに両システムを正式にドキュメント化し、分類の訂正とあわせて 別途DOIに登録しました。
研究の方法論
背景にある課題
AI研究における透明性とサンプル規模の課題
この過程を通じて、AI関連の研究には「ブラックボックス」的な 不透明さが広く見られ、分野全体で再現性が大きな課題になっている という傾向が浮かび上がりました。関連する懸念として、実験規模も 挙げられます——多くの研究結論が、数枚〜数十枚程度のごく少数の 画像だけに基づいています。
この2つの課題には共通の根本原因があります:主張を独立に検証する 手段が存在しない、という点です。オープンサイエンスはこれに直接 対応するもので、プロセス・データ・手法のすべてを公開し、ある結果が どれだけの根拠に基づいているかを誰もが検証できるようにします。 これを標準的な方法として採用し、Zenodoとその発行するDOI(デジタル オブジェクト識別子、公開ごとに付与される恒久的な識別番号)を主たる 発表媒体としています。
CERN(欧州原子核研究機構)とは
CERNは、スイス・ジュネーブ郊外に 本部を置く、世界最大の素粒子物理学研究所です。1954年設立、大型 ハドロン衝突型加速器(LHC)の運用や、2012年のヒッグス粒子発見で 知られています。1989年には、CERNの研究者Tim Berners-Lee氏が World Wide Webを考案しており、オープンな情報基盤づくりの歴史も 持つ組織です。
学術リポジトリ「Zenodo」の由来
Zenodoは、欧州委員会の資金 提供のもと、OpenAIREプロジェクトの一環としてCERNが構築・運営 する無料の学術リポジトリで、2013年5月に公開されました。名前は、 古代アレクサンドリア図書館の初代司書で、最初のメタデータ作成者 として知られるゼノドトス(Zenodotus)に由来しています。現在は 年間2500万件のアクセス、300万件以上のアップロード、1ペタバイト 超のデータを扱う規模に成長しています。
第三者審査
審査制「AI/MLコミュニティ」への参加
DOI 1.0の公開後、 Artificial Intelligence and Machine Learningコミュニティへの 参加を申請しました。このコミュニティは、CERN Data Centre・OpenAIRE・ 欧州委員会(EU)のインフラを基盤とする、Zenodo内でAI・機械学習分野を 専門に扱う審査制のコミュニティで、Zenodo内でも活発なコミュニティの 一つです。申請はコミュニティのキュレーターによる審査を経て、 承認されました。
この審査を通じて確認されたのは、検証可能性そのものが、研究者が 信頼を得るための土台になるという設立時からの確信でした。Meritcsは、 その確信を形にしたものです。
データ整合性の訂正
その後の内部監査で、データベースの構築方法に起因する整合性バグが 判明しました。特定のSQLのJOIN処理が、意図しないブロックの値を 静かに拾ってしまうというものです。対応には既公開分の再検証が 必要でした。この調査が、この種の誤りを個別に修正するのではなく 構造的に排除する、JOINを使わない新しいデータパイプラインの設計に つながりました。
発表プロセス
ここまでに登場したDOIは、すべて同じ3段階のプロセスを経ています:
どの段階も、鵜呑みにするのではなく確認できるように設計されています。
謝辞
本ウェブサイトは、特定非営利活動法人 日本がん臨床試験推進機構 (JACCRO)副理事長である市川度先生より、「研究成果を独立して 公開・発信できる組織的なプラットフォームを構築すべきである」 とのご提案をいただいたことから始まりました。
また、学術論文の構成や表現に関する先生からのご示唆は、システム 内における実際のバグ発見に直接つながり、結果としてDOI 1.10と して公開した「C1/C2/C3定数」の修正版という、極めて重要な成果を もたらしました。先生の洞察に満ちたご提案と、極めて貴重な学術的 ご指導に深く感謝の意を表します。
あわせて、市川先生が所属される JACCRO(http://www.jaccro.com/) に対し、心より感謝申し上げます。JACCROは、がん患者を対象とした 質の高い多施設共同臨床試験・臨床研究の企画・支援を通じて、がん 治療の発展に寄与している日本の特定非営利活動法人です。