はじめに
Metaが2025年12月18日、同社のAIモデル「SAM（Segment Anything Model）」と「DINO」が、米国国防高等研究計画局（DARPA）主催の医療トリアージチャレンジにおいて、ペンシルベニア大学のチームによって活用されたことを発表しました。本稿では、この取り組みを通じて、コンピュータビジョン技術がどのように緊急医療対応の最前線で応用されているかを解説します。
参考記事
- タイトル: How DINO and SAM are Helping Modernize Essential Medical Triage Practices
- 発行元: Meta AI Blog
- 発行日: 2025年12月18日
- URL: https://ai.meta.com/blog/upenn-dino-sam-helping-medical-triage/
要点
- DARPAは3年間のチャレンジを通じて、自律システムによる大規模災害時のトリアージ技術革新を推進している
- ペンシルベニア大学のPRONTOチームは、ドローンと地上ロボットを組み合わせた多機体システムでMetaのSAM 2とDINOを活用している
- SAM 2は画像やビデオ内の任意のオブジェクトをセグメンテーションし、DINOはラベル付きデータなしで視覚特徴を抽出できる
- Phase 2では暗闇、粉塵、霧などの過酷な環境が再現され、チームは負傷者の位置特定、心拍数、呼吸数、負傷状態を自動検出した
- 収集されたデータセットは、異なる大規模災害対応戦略を評価するための独自のインフラとして活用される
詳細解説
トリアージの進化とDARPAチャレンジの背景
トリアージという用語は、フランス語の「trier（分類する）」に由来し、ナポレオン時代の戦場で負傷者の優先順位を決定する方法として生まれました。Metaによれば、現代では標準化されたプロトコル、つまり軍事・民間の救急対応者が生死を分ける判断を行うための決定木が整備されていますが、ビル倒壊や爆発事故などの大規模災害時には、こうした厳格なプロトコルに従うことは困難とされています。
従来、トリアージの有効性は複雑なシステム設計だけでなく、現場に配置された医療資源と人員の規模に依存していました。しかし、コンピュータビジョン、ロボティクス、機械学習の進歩により、この制約が事実上解消されつつあります。
こうした技術革新を促進するため、DARPAは3年間のチャレンジを発表しました。このチャレンジでは、自律システムに搭載されたスタンドオフセンサーを使用して、重症度を示す生理学的シグネチャを検出・識別することが求められます。センサーとロボット移動プラットフォームに加えて、限られた接続環境や接続のない環境で、リアルタイムに負傷者を識別し、負傷状態を評価するアルゴリズムの構築が必要です。
実際の大規模災害を模擬するため、チャレンジコースには暗闇、粉塵、霧、爆発音、点滅する光といったセンサーにとって困難な条件が設定されています。負傷者は瓦礫の下に埋もれているか、発見が困難な場所に配置されています。チームは、負傷者の識別率、負傷分類の精度、緊急度の高い負傷者の早期発見に基づいて採点されます。
PRONTOチームによるMetaのAIモデルの活用
ペンシルベニア大学のPenn Robotic Non-contact Triage and Observation（PRONTO）チームは、Penn Medicineの外傷専門家と、Penn EngineeringおよびGRASP（General Robotics, Automation, Sensing, and Perception）ラボのロボティクスおよびコンピュータビジョンの専門家で構成されています。最先端のロボティクスとMetaのSAMおよびDINOモデルを組み合わせることで、災害シナリオにおける負傷の自律的かつ迅速な検出と評価を実現しています。
PRONTOは2024年のPhase 1で、ドローンを使用して現場を素早く調査して被災者を特定し、地上ロボットでより安定した画像撮影とバイタルサイン取得を行うシステムの初期版を展開しました。この演習で収集されたデータは、**Meta’s Segment Anything Model 2（SAM 2）**に投入されました。SAM 2は、画像やビデオ内の任意のオブジェクトをセグメンテーションするように設計されており、これまで見たことのないオブジェクトやドメインでも処理できる点が特徴です。SAM 2は、オブジェクト上のポイントまたはオブジェクトのバウンディングボックスの2つの方法でセグメンテーションを可能にします。
Challenge 1で収集されたデータは、Phase 2に向けてトリアージアルゴリズムの改善に使用されました。PRONTOには、SAMとDINOを使用する複数の並列負傷分類パイプラインが含まれています。
従来のモデルとは異なり、DINOはラベル付きデータを必要としないため、さまざまなタスクに対してより効率的でスケーラブルです。このモデルは、医療画像や衛星画像を含む多様なドメインに対して汎化でき、注釈付きデータが少ない、または利用できない環境で優れた性能を発揮します。これにより、PRONTOはDINOを使用してロボットの画像から視覚特徴を抽出し、カスタマイズされた深層ニューラルネットワークを介して負傷を識別できます。
DINOは、SAMおよびGrounding DINO（オープンボキャブラリーオブジェクト検出モデル）と連携して、包括的なトリアージソリューションを提供します。例えば、PRONTOはGrounding DINOを「wound?（傷？）」や「blood?（血液？）」といったテキストプロンプトとともに使用し、各画像領域内の負傷関連の特徴を検出します。
体の姿勢を推定し、傷と骨格の比較アルゴリズムを使用して負傷を評価する追加モジュールとともに、PRONTOの多機体ロボットシステムはこれらの分類パイプラインを使用して負傷を検出・特徴付けし、患者の心拍数、呼吸数、意識レベル、傷や切断の有無を識別します。各被災者の位置、説明、負傷の臨床シグネチャは、モバイルインターフェース上で救急隊員向けに可視化され、医療従事者が限られたリソースを最適に優先順位付けして生存率を向上させることができます。
Phase 2の成果と今後の展開
現在、どのトリアージ技術がシナリオの状況に応じて最も多くの被災者を救えるかについての確定的な証拠はほとんどなく、エビデンスに基づくアプローチでトリアージプロトコルを比較することは困難です。DARPAチャレンジはこの状況を変えつつあります。
DARPAチャレンジのPhase 2は2025年9月27日から10月4日まで実施され、リアルタイムの大規模災害シナリオの特徴が組み込まれました。3年間の競技会の各年は前年よりも難易度が高く、救命技術を現場での効果的な展開に近づけることを目指しています。
最初の2つのフェーズを通じて、DARPAは膨大なデータセットを蓄積し、異なる大規模災害対応戦略を評価するためのより一般的に使用できる独自のインフラを確立しました。第3フェーズでは、チームは学習内容を活用し、MetaのSAMとDINOの最新バージョンがトリアージにどのように適用できるかを探求する予定です。
PRONTOチームのリーダーであるEric Eaton教授は、「私たちはこのアプリケーションを現実世界で機能させることに本当に興味があります。私のチームには、毎日最前線でこれに対処している外傷外科医と、最先端のロボティクスと機械学習に取り組んでいる研究者がいます。一緒に、命を救うのに役立つ技術を開発しようとしています」と述べています。
この取り組みは、ラベル付きデータが限られた状況でも高精度な物体検出とセグメンテーションを実現できるSAMとDINOの汎化能力が、医療現場のような高度に専門的なドメインでも有効であることを示しています。特に、リアルタイム処理と限られた接続環境での動作が求められる災害対応において、こうした基盤モデルの柔軟性は重要な要素と考えられます。
まとめ
MetaのSAM 2とDINOモデルは、ペンシルベニア大学のPRONTOチームによってDARPAの医療トリアージチャレンジで実証され、自律システムによる緊急医療対応の可能性を大きく広げました。ラベル付きデータを必要とせず多様なドメインに汎化できるこれらのモデルは、災害現場のような過酷で予測不可能な環境でも機能する技術基盤を提供しています。Phase 3では、さらに進化したバージョンの適用が期待され、救命技術の実用化に向けた重要な一歩となると思います。
