HyperKvasir、総合マルチ

Scientific Data volume 7、記事番号: 283 (2020) この記事を引用

22,000 アクセス

109 件の引用

48 オルトメトリック

メトリクスの詳細

人工知能は現在、医学の分野で注目を集めています。しかし、医療データは多くの場合、法的規制や、手動でトレーニングデータにラベルを付ける面倒で退屈なプロセスを行う医療従事者の不足により、まばらで入手が困難です。これらの制約により、病気やその他の病変の検出などの自動分析のためのシステムの開発が困難になります。この点において、この記事では、現在利用可能な消化管の最大の画像およびビデオデータセットである HyperKvasir を紹介します。データはノルウェーのバイラム病院での実際の胃内視鏡検査および結腸内視鏡検査中に収集され、経験豊富な消化器内視鏡医によって部分的にラベル付けされています。このデータセットには 110,079 枚の画像と 374 本のビデオが含まれており、解剖学的ランドマークだけでなく病理学的所見や正常な所見も表しています。画像とビデオのフレームの合計数は約 100 万です。初期実験では、人工知能ベースのコンピューター支援診断システムの潜在的な利点が実証されています。 HyperKvasir データセットは、胃内視鏡検査や結腸内視鏡検査だけでなく、医療の他の分野でも、より優れたアルゴリズムとコンピューター支援検査システムを開発する上で貴重な役割を果たすことができます。

測定

消化管の内腔・結腸の内腔

テクノロジーの種類

消化器内視鏡検査・結腸内視鏡検査

サンプルの特徴 - 生物

賢い人

報告されたデータを説明するマシンからアクセス可能なメタデータファイル: https://doi.org/10.6084/m9.figshare.12759833

人間の胃腸 (GI) 管には、軽微な不快感から致死性の高い疾患に至るまで、多数の異なる粘膜異常所見が見られます。たとえば、世界保健機関 (WHO) のがん専門機関である国際がん研究機関 (https://gco.iarc.fr/today/fact-sheets-cancers) によると、消化器がんは世界的に毎年約350万人の新規感染者。これらの種類のがんは通常、合計死亡率が約 63% で、年間 220 万人が死亡しています 1、2、3。

内視鏡検査は現在、胃腸管を検査するための最も標準的な手順ですが、その有効性はオペレータの能力のばらつきによってかなり制限されています4、5、6。これにより、たとえば、結腸におけるポリープの欠落率は平均 20% になります 7。したがって、内視鏡の性能の向上、質の高い臨床検査、体系的なスクリーニングは、消化器疾患に関連した罹患率や死亡を防ぐ重要な要素となります。最近の人工知能 (AI) 対応サポートシステムの台頭により、大規模な質の高いケアを提供するために必要なツールを医療従事者に提供できることが期待されています 8,9。効率的な AI ベースのシステムの中核は、画像内での前がん病変やがんの検出など、現実世界の問題を解決するようモデルに教える高品質のデータとアルゴリズムの組み合わせです。今日の AI ベースのシステムは、主に機械学習 (ML) と呼ばれる AI のサブフィールドを使用しています。通常、特定のタスクを適切に実行するには、数千のデータサンプルに関するトレーニングが必要です。しかし、健康データは多くの場合、法的制約やデータ収集の構造上の問題により、まばらで入手が困難です。それにもかかわらず、内視鏡検査における診断を目的とした有望な AI ソリューションがますます開発されています10、11、12、13、14、15、16、17。 CVC18、19 や ASU-Mayo ポリープデータベース 20 など、これらのシステムに使用されるデータセットは、ML 研究の文脈ではかなり小規模です。他の非医療 ML 分野では、ImageNet21 などのデータセットは 1,400 万枚の画像で構成されています。表 1 は、私たちの知る限り、人間の消化管からの画像とビデオの既存のデータセットすべての概要を示しています。観察できるように、それらはかなり小さく、多くの場合ポリープに限定されます。これらのいくつかは最近入手できなくなっています。

HyperKvasir の画像とビデオは、2008 年から 2016 年にかけてノルウェーの病院で実施された定期臨床検査から前向きに収集されたものです。私たちは、電子医療記録システムのプラグインである Picsara 画像文書データベース (CSAM、ノルウェー) から画像を取得しました。最初のステップとして、これらの画像のうち 4,000 枚が医療専門家によって 8 つの異なるクラスにラベル付けされ、Kvasir データセットとして公開されました22。データセットは後に 8,000 枚の画像に拡張されました。 Kvasir を使用して、世界中の研究者が消化管内視鏡検査用のさまざまな ML モデルと AI システムの開発を開始しました23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38 。さらに、Kvasir データセットは、国際コンテスト、つまり、2017 年と 2018 年の MediaEval での Medico Task や、ACM Multimedia 2019 BioMedia Grand Challenge41 の開催に使用されています。

Kvasir データセットの公開とコンテストの開催から学んだ教訓に基づいて、医療 AI における最大の課題の 1 つは依然としてデータの可用性であることが明らかになりました。医療システムからデータを取得するのは難しく、医療委員会からの承認を得るのも難しく、医療専門家の時間は限られており、そのようなデータにラベルを付ける効率的なツールはありません。したがって、HyperKvasir では、教師あり学習用のラベル付き医療データの量を大幅に増加し、大量のラベルなしデータも公開します。新しいデータセットには、さまざまな消化器検査からの 110,079 枚の画像と 374 枚のビデオが含まれており、合計 100 万枚の画像とフレームになります。ラベルなしデータの価値に関しては、ML コミュニティの最近の取り組みにより、データ不足という課題に対処するための顕著な改善が見られました。アルゴリズムは、注釈付きデータの大規模なセットから学習するのではなく、まばらにラベルが付けられたデータとラベルのないデータから学習できるようになりました。この技術は半教師あり学習として知られており、最近ではさまざまな医用画像解析に適用されて成功しています42。半教師あり学習の例としては、自己学習 43,44 やニューラルグラフ学習 45 があり、どちらも少数のラベル付きデータに加えてラベルなしデータを利用して追加情報を抽出します 43,44,46。私たちは、これらの新しいアルゴリズムは、AI を医療用途でさらに役立つようにするために必要な開発である可能性があると考えています。 HyperKvasir のラベルなしデータは、医療および技術コミュニティで半教師ありおよび教師なしの手法を検討するために使用することを目的としており、データのユーザーは、ラベルを提供するために独自の地元の専門家を雇用することを検討することもできます。その後、データの説明に加えて、データセットのラベル付きクラスを使用したベースライン分析と、データセットの使用に興味がある研究者向けの実現可能な今後の研究の方向性を提供します。

画像およびビデオデータは、ノルウェーのヴェストレヴィケンホスピタルトラストのバイラム病院消化器科で、オリンパス (オリンパスヨーロッパ、ドイツ) およびペンタックス (ペンタックスメディカルヨーロッパ、ドイツ) の標準内視鏡装置を使用して収集されました。 Vestre Viken は 490,000 人に医療サービスを提供しており、そのうち 189,000 人はバイラム病院がカバーしています。収集されたデータの一部には、クラスラベルとセグメンテーションマスクの注釈が付けられました。注釈は、バイラム病院、ノルウェーのがん登録局、またはスウェーデンのカロリンスカ大学病院の少なくとも 1 人の経験豊富な消化器科医と、若手医師や博士号などの医療分野で働く 1 人以上の経験豊富な人物によって行われました。学生。複数の医師がデータセットのラベル付けされた各データ記録を評価しましたが、評価の一部は、特に軽度の逆流性食道炎や潰瘍性大腸炎などの微妙な変化に関して、よく知られている観察者の変動によって偏っている可能性があります。このような矛盾は以前の研究で実証されています47,48。これにさらに取り組むために、バイアスがかかりやすい調査結果の一部を 1 つのクラスに結合することにしました (クラスと組み合わせの詳細については、データレコードの説明を参照してください)。最後に、ラベルのない多数の画像が提供されます。

この研究はノルウェープライバシーデータ保護局によって承認され、データは完全に匿名であったため患者の同意は免除された。バイラム病院の内部 IT 部門がファイルを中央サーバーからエクスポートする前に、すべてのメタデータが削除され、すべてのファイルがランダムに生成されたファイル名に変更されました。この研究は、データの収集が患者に与えられるケアを妨げなかったため、ノルウェー南東部医療・健康研究倫理地域委員会からの承認を免除された。データは匿名であるため、データセットはノルウェー法および一般データ保護規則 (GDPR) 法に基づいて公的に共有できます。これを除けば、データはいかなる方法でも前処理または拡張されていません。

画像にラベルを付ける方法は、3 つの異なるステップに分割できます。まず、プロジェクトに関与した経験豊富な消化器科医が、医学的関連性と収集されたデータに基づいて、どのクラスをラベル表示プロセスに含めるべきかを決定しました。選択されたクラスは医療専門家によって詳細に説明されました。 2番目に、2人の若手医師または博士。現場で働く学生たちは、提供されたクラスに対して画像のサブセットに注釈を付けました。このラベル付け前のステップが完了すると、医療専門家がラベルをチェックし、必要に応じて調整しました。同意が見つからなかったケースは破棄され、データセットの新しい画像に置き換えられました。私たちが作成した最初のデータセットは、8 つのクラスからの 4,000 枚の画像で構成されていました22。これは後に、同じ 8 つのクラスに対して 8,000 枚の画像に拡張されました。 HyperKvasir の場合、データセットはさらに 10,662 個の画像と 23 個のクラスに拡張されます。 HyperKvasir には、胃腸管からの合計 110,079 枚の画像 (10,662 枚のラベル付き画像と 99,417 枚のラベルなし画像) が含まれています。

HyperKvasir には、ポリープクラスからの 1,000 個の画像の対応するセグメンテーションマスクと境界ボックスを備えた画像が含まれています。セグメンテーションマスクを作成するために、1,000 個のポリープ画像を Labelbox プラットフォーム (https://www.labelbox.com/) にアップロードしました。 Labelbox は、画像領域のピクセル精度のラベル付けを可能にするツールです。まず、若手医師と博士号です。学生は 1,000 枚の画像を事前にセグメント化しました。その後、消化器科医がすべての画像を調べて、事前にラベル付けされたセグメンテーションマスクを検証および修正しました。アノテーションプロセスの詳細な説明とデータセットの使用例については、49、50 を参照してください。

動画ごとのラベルを取得するために、Augere Medical AS (ノルウェー、オスロ) が提供する動画注釈プラットフォームに動画データをアップロードしました。各ビデオは経験豊富な消化器科医によって分析され、ラベルが付けられました。消化器科医によって選択されたクラスラベルは、ビデオ内の主要な所見を可能な限り正確に表していました。たとえば、ビデオにポリープの映像が含まれている場合、そのビデオのラベルは「ポリープ」になります。さらに、同じビデオ内に複数の発見結果の例があります。その場合、これらの詳細な説明が video-labeling.csv ファイルに含まれています。

すべての画像、ビデオ、メタデータを含む完全な HyperKvasir51 データセットは、https://doi.org/10.17605/OSF.IO/MH9SJ のリンクを介して Open Science Framework (OSF) から入手できます。データセットは https://datasets.simula.no/hyper-kvasir でも入手できます。 HyperKvasir はオープンアクセスであり、クリエイティブコモンズ表示 4.0 インターナショナル (CC BY 4.0) に基づいてライセンスされています。合計で、データセットは 4 つの主要なデータレコードで構成されます。レコードは、ラベル付き画像、セグメント化された画像、ラベルなし画像、およびラベル付きビデオです。ラベルを付けたさまざまなクラスすべてを図 1 に示します。すなわち、上部消化管からの 16 クラス (図 1a) と下部消化管からの 24 クラス (図 1b) です。データセットのサイズは約 66.4 GB (メタデータファイルとセグメンテーションマスクを含まない)、ビデオ用に 32.5 GB、画像用に 33.9 GB です。データセット内のすべてのデータレコードの概要を表 2 に示します。一部の画像とビデオには、Olympus ScopeGuideTM (Olympus Europe、ドイツ) を表すピクチャインピクチャ (左下隅の緑色のサムネイル) が含まれています。内視鏡医が結腸の地形図を取得します。画像とビデオの解像度とビデオフレームレートの詳細については、図を参照してください。 2 および 3. 以下のサブセクションでは、各データレコードの追加の詳細を説明します。

画像やビデオのさまざまなラベル付きクラスの画像例。

HyperKvasir の 110,079 枚の画像の解像度。

HyperKvasir の 374 本のビデオの統計。

データセットには合計 10,662 枚のラベル付き画像が含まれており、JPEG 形式で保存されています。図 4 は、ラベル付き画像を表す 23 の異なるクラスと各クラスの画像の数を示しています。画像 (ファイル名) と各画像のラベル間のマッピングを示す CSV ファイル (image-labels.csv) が提供されます。これらのクラスは、図 5 に示すように、消化管内の位置と所見の種類に応じて構造化されています。所見を 4 つの主なカテゴリに定義しました。1 番目と 3 番目は上部消化管と下部消化管の両方で見つかりました。

解剖学的ランドマーク: 解剖学的ランドマークは、内視鏡処置中に方向を定めるために使用される消化管の特徴です。さらに、検査の全範囲を確認するためにも使用されます。ランドマークは、上部消化管 (食道、胃、十二指腸) と下部消化管 (回腸終末、結腸、直腸) の両方に存在します。しかし、小腸では、病変の地形的な位置特定に使用される特定のランドマークはありません。

粘膜観察の品質: 病理学的所見を見逃さないためには、すべての粘膜を完全に視覚化することが重要です。結腸には、粘膜の可視化の質を評価するための分類であるボストン腸準備スケール (BBPS) が存在します52。

病理学的所見: 消化管のあらゆる部分に疾患による異常や所見が見られる可能性があります。ほとんどの病理学的所見は、腸壁粘膜の多かれ少なかれ明らかな変化として見られます。これらの所見は、世界内視鏡機関によって定義された最小限の標準用語に従って分類されます53。

治療的介入：病変または病理学的所見が検出された場合、その状態を治療するために治療的介入、たとえばポリープの持ち上げおよび切除、狭窄の拡張、または出血性潰瘍への注射がしばしば必要となります。

ファイルフォルダーに応じた、さまざまな HyperKvasir ラベル付きイメージクラス内のイメージの数。

位置とタイプの下で構造化されたさまざまな画像クラス、および保存された画像の構造。

各クラスとそれに属する画像は、それが属するカテゴリの対応するフォルダーに保存されます。たとえば、下部消化管の病理学的所見カテゴリの「ポリープ」フォルダにはすべてのポリープ画像が含まれ、上部消化管の病理学的所見カテゴリの「バレット」フォルダにはバレット食道のすべての画像が含まれます。図 2 では、クラスごとの画像数のバランスが取れていません。これは、一部の所見が他の所見よりも頻繁に発生するという事実による、医療分野における一般的な課題です。データに適用されるメソッドは少量のトレーニングデータからも学習できる必要があるため、これは研究者にとってさらなる課題となります。以下で、各クラスをさらに詳しく説明します。

内視鏡検査で検査される上部消化管には、食道、胃、十二指腸が含まれます。以下に、ここで見つかったさまざまなクラスの発見について説明します。

図 5 に見られるように、上部消化管の解剖学的ランドマークの 3 つのクラスにラベルを付けました。通常の Z ラインは、食道の扁平上皮と胃の円柱上皮の間の解剖学的接合部です。通常の Z ラインは胃食道接合部と同じレベルにあります。胃の後屈とは、内視鏡を後屈させて胃の上部の噴門と胃底を視覚化するために後ろを向いていることを意味します。幽門は胃と十二指腸球との間の解剖学的接合部であり、胃から十二指腸への排出プロセスを調節する括約筋です。

以下のクラスはすべて、上部消化管の病理学的所見として定義されます。逆流性食道炎は、主に食道の下 3 分の 1、Z ライン付近に起こる炎症です。逆流性食道炎は、ロサンゼルス (LA) の分類に従って等級分けできます54。食道炎 LA 分類は、次の 4 つのクラスに定義されます。(A) 5 mm 未満の粘膜断裂。粘膜ひだ全体に連続性がなく、微妙な変化が正常な Z ラインと区別するのが困難な場合。 (B) 2 つの粘膜ひだの上部の間に及ばない 5 mm を超える粘膜の裂傷。 (C) 2 つ以上の粘膜ひだの上部の間で連続しているが、周囲の 75% 未満を含む 1 つ (または複数) の粘膜裂傷。 (D) 2 つ以上の粘膜ひだの上部の間で連続し、周囲の 75% 以上に及ぶ 1 つ (または複数) の粘膜の裂傷。低悪性度食道炎の評価には重要な観察者のばらつきが存在するため、食道炎を 2 つのクラスに分割しました 47。 2 つのクラスは、A 食道炎と BD 食道炎です。この画像の二値分類により、正常と食道炎の間の誤分類がグレード A のみに関係するかどうかを評価することが可能になります。バレット食道は、食道の扁平上皮が胃のような円柱上皮に化生変化したことを示しています。バレット食道は前がん状態であると考えられており、がんに発展する可能性があります。特殊な腸上皮化生の存在を示す生検により診断が確定します。バレット食道は、疾患の周方向および縦方向の広がりを表すプラハ分類に従って等級分けできます55。バレット食道の画像を 2 つのクラスに分割しました。バレット長食道とバレット短食道では、短い部分の縦方向の伸びが 3 cm 未満であることが特徴です55。

結腸内視鏡検査で検査される下部消化管には、回腸末端 (小腸の最後の部分)、結腸、および直腸 (大腸) が含まれます。以下に、データセット内の下部消化管のクラスについて説明します。

我々は、下部消化管の解剖学的ランドマークの 3 つのクラスにラベルを付けました。回腸は小腸の遠位 2/3 であり、目に見える腸絨毛によって認識されます。内視鏡的には、回腸は小腸の他の部分と区別できません。結腸内視鏡検査では、回腸末端と呼ばれる回腸の遠位 5 ～ 20 cm に到達して検査できます。回腸末端の視覚化により、完全な結腸内視鏡検査が確認されます。盲腸は大腸の近位端であり、虫垂開口部と回盲腸弁が視覚化されているのが特徴です。結腸全体の完全な検査は、盲腸の内側壁、つまり虫垂開口部と回盲腸弁の間の領域が視覚化されている場合にのみ確認できます。直腸の最も遠位の部分は、結腸のブラインドゾーンの 1 つです。したがって、内視鏡を直腸内で後屈させて歯状線と肛門管の近位開口部の周囲を視覚化します。これは直腸後屈と呼ばれます。

病理学的所見を検出するには腸が清潔であることが不可欠であるため、粘膜像の質は重要な品質指標であり、常に評価する必要があります。この点において、結腸内視鏡検査中の腸洗浄の程度はボストン腸準備スケール (BBPS) によって表されます56。 BBPS は、次の 4 つの異なる程度で構成されます。 (BBPS 0) 除去できない固形便により粘膜が見られず、準備が整っていない結腸セグメント。 (BBPS 1) 結腸部分の粘膜の一部が見られるが、結腸部分の他の領域は、染色、残留便および/または不透明な液体のためによく見えない。 (BBPS 2) 少量の便の小さな破片および/または不透明な液体が見られますが、結腸部分の粘膜はよく見えます。 (BBPS 3) 結腸セグメントの粘膜全体がよく見え、便や不透明な液体の破片が残っていません。洗浄後の結腸の 3 つのセグメントすべてで BBPS スコアが 2 または 3 であれば、腸洗浄は適切であると見なされます。したがって、画像を BBPS 0-1 および BBPS 2-3 の 2 つのクラスに分類しました。クラス 0-1 は腸の準備が不十分であることを表し、クラス 2-3 は腸の準備が適切であることを表します。さらに、50 歳以上の人によく見られるのは、憩室と呼ばれる結腸壁のポケットであり、数が多い場合は憩室症と呼ばれます。場合によっては便がこれらの憩室に影響を及ぼし、憩室炎のリスクが高まる可能性があります。データセットでは、これは埋伏便クラスで表されます。

下部消化管の病理学的所見として次のクラスが定義されます。潰瘍性大腸炎は、20 代で発症することが多い慢性炎症性腸疾患です。病気の程度と範囲は結腸内視鏡検査によって決定され、メイヨースコアに従って分類できます57。潰瘍性大腸炎のメイヨースコアは次のように定義されます: (スコア 0) 粘膜が正常な血管パターンのみを持つ非活動的。 (スコア 1) 軽度の紅斑、血管パターンの減少、軽度の破砕性。 (スコア 2) 中等度の紅斑、血管パターンの欠如、軽度の破砕性、びらん。 (スコア 3) 自然出血と潰瘍を伴う重度。潰瘍性大腸炎については、メイヨースコアクラス (潰瘍性大腸炎 1/2/3) と、正確なクラスを決定することが難しい中間のいくつかのクラスの両方の 6 つの異なるラベル付きクラスを提供します。これは、以前の研究で、潰瘍性大腸炎における重要な観察者のばらつきが示されているためです。炎症の程度の評価（潰瘍性大腸炎 0-1/1-2/2-3）48．ポリープは、最も頻繁に大腸の腫瘍性病変です。それらには主に 3 つの異なる形状があります。パリ分類によると、内腔内に突き出ていて、平らであるか、または掘削されています58。大きさは1mmから数cmまで様々です。有病率は年齢とともに増加します。最も一般的な種類のポリープは前癌性であり、癌に変化する可能性があります。したがって、内視鏡検査ではポリープを発見し、疑わしいポリープを切除することが重要です。痔核は、肛門または直腸下部にある病的に腫れた静脈です。直腸にある場合は内痔核、肛門にある場合は外痔核と呼ばれます。

最後に、治療的介入は、検出された病理学的所見の治療を示します。これには、例えば腫瘍組織（ポリープ）の持ち上げと除去、出血性潰瘍の注射療法などが含まれます。染色リフトポリープクラスには、インジゴカルミンを含む溶液を使用した粘膜下注射でリフトされたポリープの画像が含まれています。これは、診断をより良くし、切除を容易にするために、ポリープ切除の前に行われます。染料はポリープの下の青色によって認識されます。染色したポリープをスネアで切除すると、インジゴカルミン溶液の影響で切除縁と切除部位が青く見えます。これらのタイプの切除縁の画像は、染色された切除縁クラスに表示されます。

セグメント化された画像のセットについては、元の画像、セグメンテーションマスク、およびポリープクラスからの 1,000 個の画像の境界ボックスが提供されます。マスクでは、対象領域であるポリープ組織を表すピクセルが前景 (白いマスク) で表され、背景 (黒) にはポリープピクセルが含まれません。境界ボックスは、見つかったポリープの最も外側のピクセルとして定義されます。このセグメンテーションセットには、画像用とマスク用の 2 つのフォルダーがあり、それぞれに 1,000 個の JPEG 圧縮画像が含まれています。対応する画像の境界ボックスは、JavaScript Object Notation (JSON) ファイルに保存されます。画像とそれに対応するマスクのファイル名は同じです。画像とファイルはセグメント化された画像フォルダーに保存されます。 Kvasir データセットのポリープクラスの画像が画像フォルダー内に重複していたことを指摘することが重要です。これらの重複画像は、結腸からの高品質のポリープ画像に置き換えられ、セグメント化されました。

合計で、データセットには 99,417 個のラベルのない画像が含まれています。ラベルなし画像は、他のラベル付き画像フォルダとともに、画像フォルダ内のサブフォルダであるラベルなしフォルダ内にあります。ラベルなしのイメージファイルに加えて、抽出されたグローバルフィーチャと、可能性のある教師なしクラスタリングの割り当ても、HyperKvasir Github リポジトリで属性リレーションファイル形式 (ARFF) ファイルとして提供されます。 ARFF ファイルは、WEKA 機械学習ライブラリなどを使用して開いて処理したり、カンマ区切り (CSV) ファイルに簡単に変換したりできます。

ラベル付きビデオは臨床目的で記録されており、日常の診療を表しています。データセットには合計 374 個のビデオが提供されており、これは 9.78 時間のビデオと、必要に応じて画像に変換できる 889,372 個のビデオフレームに相当します。経験豊富な消化器内科医は合計 30 クラスの所見を特定しました。図 6 は、各クラスについて特定したビデオの数を示しています。このクラスでは、主な所見を使用してビデオ全体を説明しますが、さらに、多くのビデオには複数のカテゴリと複数のクラスが含まれており、たとえば、1 つのビデオにポリープ、染色されたリフトポリープ、および染色された切除縁が含まれる場合があります。ビデオファイル形式は Audio Video Interleave (AVI) で、ラベル付きビデオというフォルダーに保存されます。図 7 に見られるように、ビデオは上部消化管または下部消化管のいずれかに従ってさらに編成され、次に上記のラベル付き画像の場合と同様に 4 つの主要なカテゴリに従って保存されます。ビデオファイルに加えて、ビデオのビデオ ID とラベルを含む CSV ファイル (video-labels.csv) も提供されます。ここで、VideoID には対応するビデオファイル名が含まれており、ラベルには、ビデオの上部または下部の場所、カテゴリ、クラスとビデオの詳細な説明が含まれています。以下では、上部消化管からの合計 60 個のビデオと下部消化管からの 60 個のビデオのカテゴリごとの新しいクラスについて説明します。

ファイルフォルダーに応じた、さまざまな HyperKvasir ラベル付きビデオクラス内のビデオの数。

さまざまなビデオクラスは位置とタイプに基づいて構造化されており、これはビデオフォルダーの構造でもあります。

図 7 に見られるように、ビデオと画像に同じクラスが多数ありますが、すべてのビデオにラベルを付けたので、上部消化管と下部消化管の両方にさらに多くのクラスが追加されます。上部消化管では、3 つのクラスの解剖学的ランドマーク (Z ライン、幽門、後屈胃) が上記のラベル付き画像のセクションで説明されています。病理学的所見のカテゴリーでは、バレット食道と食道炎の両方についても上記に記載されていますが、ここではいくつかの新しいクラスも追加しました。 1 つ目はポリープで、結腸内のポリープに関する上記の説明は上部消化管にも当てはまります。さらに、これまでに説明されていない 5 つの新しいクラスが含まれています。粘膜潰瘍は上部消化管で非常に一般的です。潰瘍は、ほとんどの場合、ヘリコバクターピロリ感染、潰瘍形成性薬剤、または癌によって引き起こされます。潰瘍は、出血のリスクを予測するためにフォレスト分類に従って特徴付けられます59。フォレスト I は進行中の出血を表し、フォレスト II は以前の出血の兆候を示しています。そしてフォレストIIIには出血の兆候は見られません。 2 番目のクラスの胃前庭部血管拡張症 (GAVE) は、胃前庭部の粘膜の拡張した小さな表在血管を表します。これらの病変は慢性出血とその後の貧血を引き起こす可能性があり、さらなる出血を防ぐためにアルゴン血漿凝固療法（APC）によって治療されることがよくあります。食道と胃底の両方にある静脈瘤（拡張した静脈）は、肝硬変を合併した慢性肝疾患によって引き起こされることが最も多いです。静脈瘤は、重度の出血の大きなリスクを表します。食道および胃のがんは、上部消化管でよく見られる所見です。最後のクラスの胃バンド穿孔では、まれな所見が示されます。これは、以前の胃バンド固定手術の合併症であり、バンドが胃の壁に穴をあけています。治療的介入のカテゴリーは、特に上部消化管に対して導入されています。その理由は、治療的介入はほぼ常にビデオで説明されており、重要な教育目的にも役立つためです。ほとんどの治療介入は病理学的所見に続発するものとして提示されるため、胆管異常を治療するための処置である内視鏡的逆行性胆管膵臓移植術 (ERCP) のみを独立したクラスとして含めます。ただし、2 つの温熱法などの他の一般的な治療介入もあります。 APC とヘザープローブ、アドレナリンの注射療法、止血のための止血スプレーの適用は、CSV ファイルの 2 番目の所見の下にあります。粘膜視野の品質カテゴリに、胃内の不透明な液体や十二指腸内の気泡による視野の低下を示す映像も追加しました。視野が狭くなると、病変が見逃されるリスクが高まります。逆に、最適なビューは十二指腸の優れた視覚化を示します。

下部消化管からのビデオは、ラベル付き画像と主に同じカテゴリとクラスを示しています。それにもかかわらず、それらはデータセットの多様性を高めます。カテゴリの解剖学的ランドマークは、盲腸クラスのみを含み、二次所見としてのみ定義される回腸末端および直腸後屈のクラスを含まないため、ラベル付き画像とは異なります。病理学的所見と治療的介入という 2 つのカテゴリも、ラベル付けされた画像と比較すると少し異なります。病理学的所見のカテゴリには、上記のポリープと痔のクラスがまだあります。ただし、潰瘍性大腸炎のすべてのクラスは大腸炎に統合され、虚血性大腸炎や感染性大腸炎も含まれます。世界で 2 番目に死亡率の高いがんで 60 ある、新しいクラスの結腸直腸がんが追加されました。結腸直腸がんは、直径 1 cm の小さな病変から、腸の内腔全体を閉塞し、数センチの腸部分を覆う大きな腫瘍まで、結腸内でさまざまな形で発生します。さらに、結腸内を動き回る小さな虫である寄生虫がよく見られますが、熱帯地域ではより頻繁に遭遇します。狭窄は、炎症または悪性疾患によって引き起こされる腸の狭い閉塞を特徴とします。がんのような大きな腫瘍性病変は外科的に切除され、その後正常な腸機能を回復するために吻合が行われます。吻合はフォローアップ結腸内視鏡検査中に視覚化できます。大腸手術後に懸念される合併症は吻合部の漏出であり、特に直腸において、より小さなまたはより大きな吻合部の漏出空洞を引き起こす可能性があります。過去 10 年間の低侵襲内視鏡治療介入は、結腸の大きなポリープや狭窄の治療に関して、従来の腹腔鏡手術にある程度取って代わりました。染色されたリフトポリープと染色された切除縁のクラスはラベル付きの画像の下に説明されていますが、ビデオにより技術の説明がわかりやすくなります。単純なスネア切除または内視鏡的粘膜切除術 (EMR) によるポリープの除去を示す 3 つの新しいクラスが表示されます。これらの切除後の出血を防止または停止するために、金属クリップのクリップ配置が示されています。自己拡張型ステントは、良性または悪性の狭窄を広げて拡張するために使用されます。最後に、粘膜ビューの品質カテゴリでは、画像に対して存在する埋伏便クラスを削除し、上記の BBPS 0 ～ 1 および BBPS 2 ～ 3 クラスのみを含めます。ここで、BBPS 2 ～ 3 のビデオの多くは完全にクリーン (BBPS 3) であることも注目に値します。つまり、csv ファイルで説明されているように、これらには正常な粘膜のビデオ (所見 2 としてもマークされています) が含まれています。必要に応じて通常の画像またはビデオから抽出できます。

データセットの技術的品質を実証するために、いくつかのベースライン指標を提供し、データセットの統計的品質についての洞察を得るために複数の実験を実行しました。読者が分類とセグメンテーションのアプローチに関する情報や、このデータセットの一部を使用した最先端の方法を比較する実験に関する情報を必要とする場合は、他の研究を参照してください49。

提示されたデータセットは、さまざまなタスクに適していますが、その 1 つが画像分類です。最先端の方法が HyperKvasir のラベル付けされた部分でどのように機能するかを評価するための予備ステップとして、胃腸管画像分類で以前に良好な結果を達成した方法に基づいて一連の実験を実行しました。これらの実験の目的は、将来の研究で結果を比較および測定するために使用するベースライン結果の例を示すことだけです。合計で、異なる方法を使用して 5 つの実験を実行しました。これらのメソッドは主に、MediaEval Medico Task で提示された最も優れたパフォーマンスを発揮するメソッドから選択されました 39,40。各方法は、画像分類において現在最先端のディープ畳み込みニューラルネットワークに基づいています。すべての実験に共通するのは、ネットワークに供給される前に画像が 224 × 224 にサイズ変更されていることです。すべてのネットワークは共通のアーキテクチャに基づいており、23 の異なるクラスの画像を分類するというタスクに対応するためにわずかに変更されています。各メソッドの詳細については、以下でさらに説明します。

Pre-Trained ResNet-50 は、ImageNet で初期化された重みを使用した ResNet-50 アーキテクチャの TensorFlow 実装です。ネットワークは 2 つのステップでトレーニングされました。まず、7 エポックにわたる初期トレーニング、次に 100 番目のインデックス以降のレイヤーのみをトレーニングする 3 エポックにわたる微調整ステップです。画像はバッチサイズ 32 を使用してロードされ、重みは学習率 0.001 の Adam を使用して最適化されました。

Pre-Trained ResNet-152 は、ImageNet で初期化された重みを使用した ResNet-152 アーキテクチャの PyTorch 実装です。このネットワークは、バッチサイズ 32 を使用して 50 エポックにわたってトレーニングされ、学習率 0.001 の確率的勾配降下 (SGD) を使用して最適化されました。この方法では微調整は使用されませんでした。

事前トレーニングされた DenseNet-161 は、ImageNet で初期化された重みを使用した標準 DenseNet-161 アーキテクチャの PyTorch 実装です。ネットワークは、バッチサイズ 32 を使用して 50 エポックにわたってトレーニングされ、学習率 0.001 の SGD を使用して最適化されました。この方法では微調整は使用されませんでした。

Averaged ResNet-152 + DenseNet-16138,61 は、最終予測として両方のモデルの出力を平均することにより、ResNet-152 と DenseNet-161 のアプローチを組み合わせたアプローチです。両方のモデルを介して平均損失を逆伝播することにより、両方のモデルを同時にトレーニングしました。全体として、ネットワークは 32 のバッチサイズを使用して 50 エポックに対してトレーニングされました。SGD を使用して、学習率 0.001 で重みを最適化しました。 ResNet-152 モデルと DenseNet-161 モデルは両方とも、上記の事前トレーニングされた ResNet-152 および事前トレーニングされた DenseNet-161 実装の最適な重みを使用して初期化されました。

ResNet-152 + DenseNet-161 + MLP38,61 は、ResNet-152 と DenseNet-161 の両方を使用して予測を生成する前の方法に似ています。ただし、この方法では、各モデルの出力を平均する代わりに、単純な多層パーセプトロン (MLP) を使用して、各モデルの出力を平均する最適な方法を推定します。すべてのネットワークは、バッチサイズ 32 を使用して 50 エポックにわたって同時にトレーニングされました。重みは、学習率 0.001 の SGD を使用して最適化されました。 ResNet-152 モデルと DenseNet-161 モデルは両方とも、事前トレーニングされた ResNet-152 と事前トレーニングされた DenseNet-161 の上記 2 つの実装の最適な重みを使用して初期化されました。

各方法は、マクロ平均およびミクロ平均の F1 スコア、精度、再現率などの標準的な分類メトリックを使用して評価されました。さらに、RK としても知られるマルチクラス一般化を使用して、各実験のマシューズ相関係数 (MCC) を計算しました。表 3 の結果は、各方法がランダムおよび多数決クラスのベースラインを大幅に上回っていることを示しています。ただし、提示された数値は、改善の余地があることも示しています。図 8 の混同行列を見ると、一部のクラスが他のクラスよりも識別するのが難しいことがわかります。たとえば、潰瘍性大腸炎と食道炎のグレードの違いについては多くの混乱があります。さらに、染色された隆起ポリープと染色された切除縁、バレット食道炎や正常な Z ラインとの区別など、特定のクラスの間にもいくつかの混乱があります。少なくとも、Z ライン、食道炎、およびバレット食道のクラス間の混同は、これらの病変の評価における人間のばらつきと同様です。したがって、グラウンドトゥルースを作成することは困難です。

両方の分割を含む、平均 ResNet-152 + DenseNet-161 および事前トレーニング DenseNet-161 の混同行列。これらの混同行列は、パフォーマンスに基づいて選択されました。平均化された ResNet-152 + DenseNet-161 は最高のマイクロ平均結果を達成しましたが、事前トレーニングされた DenseNet-161 は最高のマクロ平均結果を達成しました。カラーコードは、各クラス内の画像の総数のパーセンテージを表します。クラスのラベル付けは次のとおりです。(A) Barrett's。 (B) bbps-0-1; (C) bbps-2-3; (D) 染色された持ち上げられたポリープ。 (E) 染色された切除縁。 (F) 痔核。 (G) 回腸。 (H) 埋伏便。 (I) 正常な盲腸。 (J) 正常な幽門。 (K) 通常の Z ライン。 (L) 食道炎-a; (M) 食道炎-bd。 (N) ポリープ。 (O) 直腸後屈。 (P) 胃の後屈。 (Q) バレットの短いセグメント。 (R) 潰瘍性大腸炎グレード0～1。 (S) 潰瘍性大腸炎グレード 1～2。 (T) グレード 2 ～ 3 の潰瘍性大腸炎。 (U) 潰瘍性大腸炎グレード 1。 (V) グレード 2 の潰瘍性大腸炎。 (W) 潰瘍性大腸炎グレード 3。

ラベルなしデータのおおよその構成を示すために、医療専門家からの注釈付きラベルのない提供されたデータを分析するためのいくつかの初期実験を示します。事前トレーニングされた分類モデルを使用して、ラベルなしデータを単純に分類し、ラベルなしデータの数を示します。ラベル付きクラスはラベルなしデータ内にあり、99,417 枚の画像のデータ分布に関する全体的なアイデアを得ることができます。特に、前の実験からの最良の 2 つの分類モデル、つまり、前の実験からの split_0 と split_1 を使用した事前トレーニング DenseNet-161 と平均 ResNet-152 + DenseNet-161 を使用しました。結果を図 9 に示します。この結果では、多数の予測が正常幽門のクラスに割り当てられているのに対し、少数の予測が痔核およびグレード 1 ～ 2 の潰瘍性大腸炎のクラスに割り当てられていることがわかります。ただし、これらの予測は、ラベル付きデータに対する ML モデルのクラスレベルの精度と同様です。したがって、ラベル付き画像で多数の正しい予測を達成したクラスは、ラベルなしデータでもより正確であると仮定できます。対照的に、モデルの精度が十分でないため、予測数が少ないラベルについて結論を出すことは困難です。将来の作業として、研究者はラベルなしデータの分類を徹底的に調べ、たとえば、より大きなラベル付きデータセットを作成したり、クラスが混乱したり誤って分類された理由を調べるために失敗分析を実行したりすることができます。この実験中に作成されたクラスラベルは、GitHub リポジトリで利用できます。

平均 ResNet-152 + DenseNet-161 および事前トレーニング DenseNet-161 のラベルなし画像データ予測。

技術的検証セクションでは、ベースライン指標を提供し、データセットの統計的品質についての洞察を提供して、技術的品質を実証しました。 HyperKvasir では多数の画像が利用できるため、他の研究者が医療分野向けに新しく改良された方法を調査し、開発することを奨励します。これには、評価に観察者間で大きなばらつきがあるクラスでグラウンドトゥルースを作成するための改善された方法論も含まれており、他の研究者がデータセットのラベルとセグメンテーションの数を増やすために使用できる可能性があります。

消化管の正常所見と異常所見を検出、分類、セグメント化する研究において、私たちは知る限り、最大かつ最も多様なデータセットを収集しました。これらのデータは研究コミュニティのリソースとして利用できるため、研究者はさまざまな胃腸所見の検出または分類を研究できるだけでなく、所見の重症度を区別することもできます。

つまり、ラベル付けされたデータを使用して、コンピュータービジョンと ML アプローチの両方を使用して消化管所見の分類とセグメント化を研究し、患者検査のライブ分析および事後分析に使用できる可能性があります。潜在的な利用分野は、コンピューターサイエンス分野からの特定の発見や特定の特性を含む画像とビデオの分析、分類、セグメンテーション、および検索です。ラベル付きデータは、医学教育の教育やトレーニングにも使用できます。専門の消化器科医がさまざまな所見についての真実を提供することで、HyperKvasir は将来の臨床医にユニークで多様な学習セットを提供します。さらに、ラベルなしのデータは半教師ありおよび教師なしの手法に適しており、さらに多くのグラウンドトゥルースデータが必要な場合、データのユーザーは地元の医療専門家を利用して必要なラベルを提供できます。最後に、ビデオは、内視鏡から直接キャプチャされたかのようにビデオをシステムに供給するライブ内視鏡のシミュレーションにも使用でき、開発者は画像分類を行うことができます。

データセットには、研究者が分類などの標準的な ML タスクでデータセットの使用をすぐに開始できるようにすることを目的とした一連のスクリプトとテキストファイルが含まれています。これらは、データセットの GitHub リポジトリ http://www.github.com/simula/hyper-kvasir で入手できます。さらに、相互検証実験に使用できるデータセットの 3 つの公式分割を提供します。メソッド間で分割の一貫性を保つことは、結果の公平な比較を維持するのに役立ちます。再現性と透明性を高めるために、プロットの生成、データのさまざまな分割への分割、注釈ファイルの生成に使用されるスクリプトが含まれています。これらのファイルは、データセットをさらに実験するために使用することもできます。最後に、予備実験の作成に使用したファイルを含めます。

現在、GI 画像およびビデオ解析の分野では多くの研究が行われており、この分野での将来の貢献を歓迎し、奨励します。これは、実験の比較と再現性のためにデータセットを使用することに限定されず、将来的に新しいデータを公開および共有することも含まれます。

データの公開に加えて、実験に使用したコードも公開します。実験に必要なすべてのコードと追加データは、GitHub (http://www.github.com/simula/hyper-kvasir) で入手できます。

Brenner, H.、Kloor, M.、および Pox, CP 結腸直腸がん。ランセット 383、1490–502、https://doi.org/10.1016/S0140-6736(13)61649-9 (2014)。

記事 Google Scholar

ロサンゼルス、トーレら。世界のがん統計、2012 年。CA: A Cancer J. for Clin。 65、87–108、https://doi.org/10.1056/NEJMoa0907667 (2015)。

記事 Google Scholar

世界保健機関 - 国際がん研究機関。 2012 年の世界のがんの推定罹患率、死亡率、有病率 (2012)。

ヒューエット、DG、カヒ、CJ & レックス、DK 結腸内視鏡検査の有効性と有効性: ギャップをウェブブリッジでどのように行うか? 胃腸検査。エンドスク。クリン。 20、673–684、https://doi.org/10.1016/j.giec.2010.07.011 (2010)。

記事 Google Scholar

リー、SHら。内視鏡の経験により、従来の内視鏡と最適なバンド画像システムによるロサンゼルス分類による食道炎の等級付けにおける観察者間の合意が向上します。腸肝臓 8、154、https://doi.org/10.5009/gnl.2014.8.2.154 (2014)。

論文 PubMed Google Scholar

ヴァン・ドールン、サウスカロライナ州ほか。ポリープの形態学: 国際的な専門家によるパリ分類の観察者間評価。ザ・アム。 J. ガストロエンテロル。 110、180–187、https://doi.org/10.1038/ajg.2014.326 (2015)。

論文 PubMed Google Scholar

カミンスキー、MF 他結腸内視鏡検査の品質指標とインターバルがんのリスク。新しい英語。 J. Medicine 362、1795–1803、https://doi.org/10.1056/NEJMoa0907667 (2010)。

記事 CAS Google Scholar

トポル、EJ 高性能医療: 人間と人工知能の融合。ナット。 Medicine 25、44–56、https://doi.org/10.1038/s41591-018-0300-7 (2019)。

記事 CAS Google Scholar

Riegler、M. et al. マルチメディアと医療: 病気の発見と生存を向上させるためのチームメイト。マルチメディアに関する ACM 国際会議 (ACM MM) の議事録、968 ～ 977、https://doi.org/10.1145/2964284.2976760 (2016)。

Riegler、M. et al. EIR - 消化器内視鏡検査のための効率的なコンピュータ支援診断フレームワーク。コンテンツベースのマルチメディアインデックス作成 (CBMI) に関する IEEE 国際ワークショップの議事録、1 ～ 6、https://doi.org/10.1109/CBMI.2016.7500257 (2016)。

アランマリ、A.ら。 cnn を使用した大腸内視鏡検査ビデオにおける潰瘍性大腸炎の重症度の分類。情報管理およびエンジニアリングに関する ACM 国際会議 (ACM ICIME) の議事録、139 ～ 144、https://doi.org/10.1145/3149572.3149613 (2017)。

Wang, Y.、Tavanapong, W.、Wong, J.、Oh、JH & De Groen、PC ポリープアラート: 大腸内視鏡検査中のほぼリアルタイムのフィードバック。計算します。メソッドプログラム Biomed。 120、164–179、https://doi.org/10.1016/j.cmpb.2015.04.002 (2015)。

論文 PubMed Google Scholar

平沢哲、青山和也、藤崎淳、多田哲 113 内視鏡画像における胃癌の検出のための畳み込みニューラルネットワークを使用した人工知能の応用。胃腸検査。エンドスク。 87、AB51、https://doi.org/10.1016/j.gie.2018.04.025 (2018)。

記事 Google Scholar

Wang, L.、Xie, C. & Hu, Y. Iddf2018-abs-0260 ポリープセグメンテーションのための深層学習。 Gut 67、A84–A85、https://doi.org/10.1136/gutjnl-2018-IDDFabstracts.181 (2018)。

記事 Google Scholar

森祐也ほか結腸内視鏡検査中の小型ポリープの識別における人工知能のリアルタイム使用: 前向き研究。アナールズのインターン。医学 169、357–366、https://doi.org/10.7326/M18-0249 (2018)。

記事 Google Scholar

ビシュコフ、D.ら。深層学習ベースの組織分析により、結腸直腸がんの転帰を予測します。科学。レポート 8、3395、https://doi.org/10.1038/s41598-018-21758-3 (2018)。

記事 ADS CAS Google Scholar

ミン、M.ら。リンクされたカラーイメージング結腸内視鏡検査を使用して組織像を予測する、結腸直腸ポリープのコンピューター支援診断。科学。レポート 9、2881、https://doi.org/10.1038/s41598-019-39416-7 (2019)。

記事 ADS CAS Google Scholar

Bernal, J. と Aymeric, H. Miccai の内視鏡視覚は、ポリープの検出とセグメンテーションに挑戦しています。 https://endovissub2017-giana.grand-challenge.org/home/、アクセス日: 2017-12-11 (2017)。

ベルナル、J.ら。結腸内視鏡検査で正確にポリープを強調表示するための Wm-dova マップ: 医師による検証対顕著性マップ。計算します。医学。画像グラフ。 43、99–111、https://doi.org/10.1016/j.compmedimag.2015.02.007 (2015)。

論文 PubMed Google Scholar

Tajbakhsh, N.、Gurudu, SR & Liang, J. 形状とコンテキスト情報を使用した結腸内視鏡検査ビデオでの自動ポリープ検出。医学に関するIEEEトランザクション。イメージング 35、630–644、https://doi.org/10.1109/TMI.2015.2487997 (2016)。

記事 Google Scholar

デン、J.ら。 ImageNet: 大規模な階層型画像データベース。コンピュータービジョンとパターン認識 (CVPR) に関する IEEE 会議議事録、248 ～ 255、https://doi.org/10.1109/CVPR.2009.5206848 (2009)。

ポゴレロフ、K.ら。 Kvasir: コンピュータ支援による胃腸疾患検出のためのマルチクラス画像データセット。 ACM マルチメディアシステム会議議事録 (ACM MMSYS)、164 ～ 169、https://doi.org/10.1145/3083187.3083212 (2017)。

ポゴレロフ、K.ら。医療ビデオでのポリープ検出のためのディープラーニングと手作りの特徴ベースのアプローチ。コンピュータベースの医療システム (CBMS) に関する IEEE 国際シンポジウム議事録、381 ～ 386、https://doi.org/10.1109/CBMS.2018.00073 (2018)。

Berstad、TJD et al. バイナリとマルチクラスのニューラルネットワーク分類を使用したトレードオフ。形式的な医療の複数の病気の検出。マルチメディアに関する IEEE 国際シンポジウム (ISM) の議事録、1 ～ 8、https://doi.org/10.1109/ISM.2018.00009 (2018)。

de Lange, T.、Halvorsen, P.、Riegler, M. 消化器内視鏡検査のパフォーマンスを向上させる機械学習アルゴリズムを開発する方法論。 World J. Gastroenterol. 24、5057–5062、https://doi.org/10.3748/wjg.v24.i45.5057 (2018)。

記事 PubMed PubMed Central Google Scholar

ヒックス、S.ら。 383 ディープラーニングによる内視鏡レポートの自動生成。胃腸検査。エンドスク。 89、AB77、https://doi.org/10.1016/j.gie.2019.04.053 (2019)。

記事 Google Scholar

Ahmad, J.、Muhammad, K.、Lee, MY & Baik, SW クラスター化された畳み込み特徴を使用した内視鏡画像の分類と検索。 J.Med. システム。 41、196、https://doi.org/10.1007/s10916-017-0836-y (2017)。

論文 PubMed Google Scholar

Owais, M.、Arsalan, M.、Choi, J.、Mahmood, T. & Park, KR 臨床診断に内視鏡ビデオを使用した、人工知能に基づく複数の消化器疾患の分類。Ｊ．クリン． Medicine 8、986、https://doi.org/10.3390/jcm8070986 (2019)。

記事 Google Scholar

Ahmad, J.、Muhammad, K.、Baik, SW 反応性の高い畳み込み機能を使用して、周波数領域で生成されたコンパクトなバイナリコードによる医療画像検索。 J.Med. システム。 42、24、https://doi.org/10.1007/s10916-017-0875-4 (2017)。

論文 PubMed Google Scholar

Harzig, P.、Einfalt, M. & Lienhart, R. 消化管検査のための自動疾患検出およびレポート生成。 ACM 国際マルチメディア会議会議録 (ACM MM) 5、2573–2577、https://doi.org/10.1145/3343031.3356066 (2019)。

記事 Google Scholar

Kasban, H. & Salama, DH ウェーブレット最適化と適応ブロックトランケーションコーディングに基づく堅牢な医療画像検索システム。マルチメッド。ツールアプリケーション 78、35211–35236、https://doi.org/10.1007/s11042-019-08100-3 (2019)。

記事 Google Scholar

Ghatwary, N.、Zolgharni, M. & Ye, X. Gfd 高速 r-cnn: 内視鏡画像における食道異常の自動検出のためのガボールフラクタルデンスネット高速 r-cnn。医用画像処理における機械学習に関する国際ワークショップ (MLMI) 11861、89–97、https://doi.org/10.1007/978-3-030-32692-0_11 (2019)。

記事 Google Scholar

Ghatwary, NM, Ye, X. & Zolgharni, M. ガボール機能を備えたデンスネットベースの高速 r-cnn を使用した食道の異常検出。 IEEE Access 7、84374–84385、https://doi.org/10.1109/ACCESS.2019.2925585 (2019)。

記事 Google Scholar

ヒックス、SA et al. Mimir: 医療分野における深層学習ベースの分析のための自動レポートおよび推論システム。 ACM マルチメディアシステム会議議事録 (ACM MMSYS)、369 ～ 374、https://doi.org/10.1145/3204949.3208129 (2018)。

ヒックス、S.ら。ディープニューラルネットワークを分析して、医療画像の分類と分類の理解を向上させます。コンピュータベースの医療システム (CBMS) に関する IEEE 国際シンポジウム議事録、363 ～ 368、https://doi.org/10.1109/CBMS.2018.00070 (2018)。

ヒックス、SA et al. ディープラーニング分析に基づいたわかりやすい推論と健康診断レポートの自動化。 ACM マルチメディアシステム会議議事録 (ACM MMSYS)、490–493、https://doi.org/10.1145/3204949.3208113 (2018)。

ポゴレロフ、K.ら。 Opensea: オープンな検索ベースの分類ツール。 ACM マルチメディアシステム会議議事録 (ACM MMSYS)、363–368、https://doi.org/10.1145/3204949.3208128 (2018)。

Tambawita、VL et al. 消化管の異常分類に適用される機械学習のためのクロスデータセットのバイアスと評価指標の解釈に関する広範な研究。コンピューティング上の ACM トランザクション。ヘルスケア用。（2020年）。

Riegler、M. et al. 医療のためのマルチメディア: mediaeval 2017 での医療タスク。マルチメディア評価ワークショップのための MediaEval ベンチマークイニシアチブ (MediaEval) (2017) の議事録。

ポゴレロフ、K.ら。 mediaeval 2018 での Medico マルチメディアタスク。マルチメディア評価ワークショップのための MediaEval ベンチマークイニシアチブ (MediaEval) (2018) の議事録。

ヒックス、S.ら。 Acm マルチメディアバイオメディア 2019 グランドチャレンジの概要。マルチメディアに関する ACM 国際会議 (ACM MM) の議事録、2563 ～ 2567、https://doi.org/10.1145/3343031.3356058 (2019)。

Cheplygina, V.、de Bruijne, M.、Pluim, JP 教師なし: 医用画像解析における半教師あり、マルチインスタンス、転移学習の調査。医学。画像分析 54、280–296、https://doi.org/10.1016/j.media.2019.03.009 (2019)。

記事 Google Scholar

Hénaff, OJ、Razavi, A.、Doersch, C.、Eslami, S.、Oord, AVD 対照予測コーディングによるデータ効率の高い画像認識。 arXiv プレプリント arXiv:1905.09272 (2019)。

Misra, I. & van der Maaten, L. 口実不変表現の自己教師あり学習。 arXiv プレプリント arXiv:1912.01991 (2019)。

Bui, TD、Ravi, S. & Ramavajjala, V. ニューラルグラフの学習: グラフを使用したニューラルネットワークのトレーニング。 Web 検索とデータマイニング (WSDM) に関する ACM 国際会議議事録、64 ～ 71、https://doi.org/10.1145/3159652.3159731 (2018)。

He, K.、Fan, H.、Wu, Y.、Xie, S. & Girshick, R. 教師なし視覚表現学習の勢いのコントラスト。 arXiv プレプリント arXiv:1911.05722 (2019)。

天野裕ほか非びらん性食道炎の内視鏡診断の分類に関する観察者間の合意。内視鏡検査 38、1032–1035、https://doi.org/10.1055/s-2006-944778 (2006)。

論文 CAS PubMed Google Scholar

De Lange, T.、Larsen, S.、Aabakken, L. 潰瘍性大腸炎の内視鏡所見の評価における観察者間の合意。 BMC 消化器病学 4、9、https://doi.org/10.1186/1471-230X-4-9 (2004)。

記事 PubMed PubMed Central Google Scholar

Jha、D. et al. Kvasir-seg: セグメント化されたポリープデータセット。マルチメディアモデリングに関する国際会議 (MMM) の議事録、vol. 11962、451–462、https://doi.org/10.1007/978-3-030-37734-2_37 (2020)。

Jha、D. et al. Resunet++: 医療画像セグメンテーションのための高度なアーキテクチャ。マルチメディアに関する国際シンポジウム (ISM) の議事録、225–230、https://doi.org/10.1109/ISM46123.2019.00049 (2019)。

ボルグリ、H. et al. HyperQuasir データセット。オープンサイエンスフレームワーク、https://doi.org/10.17605/OSF.IO/MH9SJ (2020)。

アラバマ州カルダーウッドおよびブリティッシュコロンビア州ジェイコブソンボストン腸準備スケールの包括的な検証。胃腸検査。内視鏡検査 72、686–692、https://doi.org/10.1016/j.gie.2010.06.068 (2010)。

記事 Google Scholar

アーバケン、L.ら。標準化された内視鏡レポート。 J. ガストロエンテロル。ヘパトール。 29、234–240、https://doi.org/10.1111/jgh.12489 (2014)。

論文 PubMed Google Scholar

ランデル、LR et al. 食道炎の内視鏡的評価：臨床的および機能的相関関係およびロサンゼルス分類のさらなる検証。 Gut 45、172–180、https://doi.org/10.1136/gut.45.2.172 (1999)。

論文 CAS PubMed PubMed Central Google Scholar

Sharma, P. et al. バレット食道の内視鏡等級付けシステムの開発と検証: プラハ C & M 基準。消化器病学 131、1392–1399、https://doi.org/10.1053/j.gastro.2006.08.032 (2006)。

論文 PubMed Google Scholar

Lai, EJ、Calderwood, AH、Doros, G.、Fix, OK & Jacobson, BC ボストン腸準備スケール: 結腸内視鏡検査指向の研究のための有効で信頼性の高い機器。胃腸検査。エンドスク。 69、620–625、https://doi.org/10.1016/j.gie.2008.05.057 (2009)。

記事 PubMed PubMed Central Google Scholar

Schroeder, KW、Tremaine, WJ & Ilstrup, DM 軽度から中等度の活動性潰瘍性大腸炎に対するコーティング経口 5-アミノサリチル酸療法。新しい英語。 J. Medicine 317、1625–1629、https://doi.org/10.1056/NEJM198712243172603 (1987)。

記事 CAS Google Scholar

Lambert, R. パリの内視鏡による表層腫瘍性病変の分類: 食道、胃、結腸: 2002 年 11 月 30 日から 12 月 1 日。Gastrointest Endosc 58、S3–S43、https://doi.org/10.1016/S0016-5107(03)02159-X (2003) 。

記事 Google Scholar

フォレスト JH、フィンレイソン N.、シャーマン D. 胃腸出血の内視鏡検査。ランセット 304、394–397、https://doi.org/10.1016/s0140-6736(74)91770-x (1974)。

記事 Google Scholar

ブレイ、F.ら。 2018 年の世界のがん統計: Globocan は、185 か国、36 のがんについて世界中での罹患率と死亡率を推定しています。 CA: 臨床医向けのがんジャーナル 68、394–424、https://doi.org/10.3322/caac.21492 (2018)。

記事 Google Scholar

Tambawita、V. et al. メディコタスク 2018: グローバル機能とディープラーニングを使用した消化管内の疾患の検出。マルチメディア評価ワークショップのための MediaEval ベンチマークイニシアチブ (MediaEval) (2018) の議事録。

Bernal, J.、Sánchez, J.、Vilarino, F. ポリープ外観モデルによる自動ポリープ検出に向けて。パターン認識。 45、3166–3182、https://doi.org/10.1016/j.patcog.2012.03.002 (2012)。

記事 Google Scholar

アリ、S.ら。内視鏡アーチファクト検出 (ead 2019) チャレンジデータセット。 arXiv プレプリント arXiv:1905.03209 (2019)。

Silva, J.、Histace, A.、Romain, O.、Dray, X.、および Granado, B. 結腸直腸癌の早期診断のための WCE 画像におけるポリープの埋め込み検出に向けて。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 9、283–293、https://doi.org/10.1007/s11548-013-0926-3 (2014)。

論文 PubMed Google Scholar

Koulaouzidis、A. et al. Kid プロジェクト: 研究目的のカプセル内視鏡検査に関するインターネットベースのデジタルビデオアトラス。エンドスク。インターナショナルオープン 5、E477–E483、https://doi.org/10.1055/s-0043-105488 (2017)。

記事 Google Scholar

Bernal, J. & Aymeric, H. 胃腸画像解析 (GIANA) 血管異形成 D&L チャレンジ。 https://endovissub2017-giana.grand-challenge.org/home/、アクセス日: 2017-11-20 (2017)。

アンガーマン、Q.ら。結腸内視鏡検査ビデオでのリアルタイムポリープ検出に向けて: 静止フレームベースの方法論をビデオシーケンス分析に適応させます。コンピュータ支援およびロボット内視鏡検査および臨床画像ベースの手順 (CARE CLIP) 10550、29–41、https://doi.org/10.1007/978-3-319-67543-5_3 (2017)。

記事 Google Scholar

ベルナル、J.ら。 gtcreator を使用した結腸内視鏡検査ビデオでのポリープ検出ベンチマーク: 画像データベースに簡単かつ迅速に注釈を付けるための、完全に構成可能な新しいツールです。コンピューター支援放射線学および手術 (CARS) の議事録、https://hal.archives-ouvertes.fr/hal-01846141 (2018)。

Gastrolab - 胃腸のサイト、http://www.gastrolab.net/index.htm。アクセス日: 2019 年 12 月 12 日。

Weo 臨床内視鏡アトラス、http://www.endoatlas.org/index.php。アクセス日: 2019 年 12 月 12 日。

通常の結腸内視鏡検査データセットにおける消化管病変、http://www.depeca.uah.es/colanoscopy_dataset/、アクセス日: 2019 年 12 月 12 日。

消化器内視鏡のアトラス、http://www.endoatlas.com/atlas_1.html。アクセス日: 2019 年 12 月 12 日。

エルサルバドルの消化管ビデオ内視鏡アトラス、http://www.gastrointestinalatlas.com/index.html。アクセス: 2019-1216。

ポゴレロフ、K.ら。 Nerthus: 腸準備の高品質ビデオデータセット。 ACM マルチメディアシステム会議議事録 (ACM MMSYS)、170–174、https://doi.org/10.1145/3083187.3083216 (2017)。

リファレンスをダウンロードする

データを提供していただいたバイラム病院のさまざまな方々に感謝いたします。さらに、この研究はノルウェー研究評議会、プロジェクト番号 263248 (Privaton) および 282315 (AutoCap) から部分的に資金提供を受けています。

これらの著者は同様に貢献しました: Hanna Borgli、Vajira Tambawita、Pia H. Smedsrud、Steven Hicks、Debesh Jha、Hugo L. Hammer、Michael A. Riegler、Pål Halvorsen、Thomas de Lange。

この作品は、Michael A. Riegler、Pål Halvorsen、Thomas de Lange の著者が共同で監修しました。

SimulaMet、オスロ、ノルウェー

ハンナ・ボルグリ、ヴァジラ・タンバウィタ、ピア・H・スメズルド、スティーブン・ヒックス、デベシュ・ジャー、ヒューゴ・L・ハマー、マイケル・A・リーグラー、ポール・ハルヴォルセン

オスロメトロポリタン大学、オスロ、ノルウェー

ヴァジラ・タンバウィタ、スティーブン・ヒックス、ヒューゴ・L・ハマー、ポール・ハルヴォルセン

オスロ大学、オスロ、ノルウェー

ハンナ・ボルグリ、ピア・H・スメズルド、クリスティン・ランハイム・ランデル、カールステン・グリウォツ、ホーコン・K・ステンスランド

ノルウェー、バイラムのバイラム病院医学研究部門

シグルーン・L・エスケランド & トーマス・デ・ランゲ

ベルゲン大学、ベルゲン、ノルウェー

ドク・ティエン・ダン・グエン

Incre Medical AS、オスロ、ノルウェー

ピア・H・スメズルド & トーマス・デ・ランジュ

UIT ノルウェー北極大学、トロムソ、ノルウェー

デベシュ・ジャー & ダグ・ヨハンセン

Simula Research Laboratory、オスロ、ノルウェー

コンスタンチン・ポゴレロフ & ホーコン・K・ステンスランド

スウェーデン、ストックホルム、カロリンスカ研究所医学部 (ソルナ)

ピーター・T・シュミット

ノルウェーがん登録（ノルウェー、オスロ）

クリスティン・ランハイム・ランデル

クラーゲンフルト大学、クラーゲンフルト、オーストリア

マティアス・ラックス

スウェーデン、モルンダル、サールグレンスカ大学病院モルンダル医学部

トーマス・オブ・ランゲ

SINTEF Digital、オスロ、ノルウェー

エンリケ・ガルシア＝セハ

スウェーデン、ストックホルムのエルスタ病院医学部

ピーター・T・シュミット

PubMed Google Scholar でこの著者を検索することもできます

SAH、VT、PH、HLH、MAR および TdL が実験を考案し、SAH、VT、HLH および MAR が実験を実施、HB、SAH、MAR、PH および TdL が出版用にデータを準備およびクリーニングし、著者全員が結果を分析し、原稿をレビューしました。

ポール・ハルヴォルセンへの通信。

著者のPHS、DJ、CG、MAR、PH、TdLは全員、結腸内視鏡検査用のAIソリューションを開発しているAugere Medical AS社の株式を所有している。オージェールビデオ注釈システムを使用してビデオにラベルを付けました。この出版物およびデータセットに関して、オージェールには商業的利益はありません。それ以外の場合、著者は競合する利益を宣言しません。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

Creative Commons Public Domain Dedication の権利放棄 http://creativecommons.org/publicdomain/zero/1.0/ は、この記事に関連付けられたメタデータファイルに適用されます。

転載と許可

Borgli、H.、Tambawita、V.、Smedsrud、PH 他。 HyperKvasir は、消化管内視鏡検査用の包括的なマルチクラスの画像およびビデオデータセットです。サイデータ 7、283 (2020)。 https://doi.org/10.1038/s41597-020-00622-y

引用をダウンロード

受信日: 2019 年 12 月 31 日

受理日: 2020 年 7 月 21 日

公開日: 2020 年 8 月 28 日

DOI: https://doi.org/10.1038/s41597-020-00622-y

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

科学データ (2023)

科学レポート (2023)

科学レポート (2022)

ニュース