Lilly Cao, et al. What makes a great radiology review course lecture: the Ottawa radiology resident review course experience. BMC Medical Education 2014, 14:22
一寸定量的な文献を息抜き代わりに挟んでみよう。
Abstract
背景: 優れた講義とは何かについて、客観的な証拠はほとんどありません。私たちの目的は、肯定的な聴衆の評価に関連付けられている放射線学のレビュー コースの講義の質を決定することでした。
方法: オタワ レジデント レビュー コース (2012 年) からの 57 のプレゼンテーションが、聴衆評価の結果を知らされていないPGY4 放射線科レジデントによって分析されました。抽出された客観的データは次のとおりです: 1 分あたりのスライド数、テキストスライドあたりのテキスト行数、テキスト スライドあたりの単語数、1 分あたりのケース数、1 分あたりの画像数、ケースあたりの画像数、聴衆の笑いの数、聴衆に提示された質問の数、要約の数、学習目標の組み込み、時間通りの終了、事前/事後テストの使用、および特殊効果の使用。 1 日の視聴者評価 (1 話あたり 60 点まで) から各話の平均視聴者評価点を 100 点満点で標準化しました。連続変数と視聴者評価点の間の相関係数を計算しました。スチューデント T 検定は、カテゴリ変数と視聴者評価スコアに対して実行されました。
結果: 視聴者評価スコアとの最も強い正の関連は、画質 (r = 0.57) と視聴者が笑った数 (r = 0.3) でした。最も強い負の関連性は、ケースごとの画像と視聴者スコアの間でした (r = －0.25)。特殊効果のある会話はより良い評価を受けました (平均スコア 94.3 対 87.1、p < 0.001)。最高の画質を持つトークは、より良い評価を受けました (平均スコア 94.1 対 87.5、p < 0.001)。事前/事後テストを含むトークは、より良い評価を受けました (平均スコア 92 対 87.8、p = 0.004)。
結論: 優れた復習コースの講義を作成するには、多くの要因が関係しています。オタワ大学レジデント レビュー コースでは、高品質の画像、特殊効果の使用、事前/事後テストの使用、およびユーモアが、高い視聴者評価スコアと最も強く関連していました。ケースあたりの画像量が多いと、視聴者の評価スコアに悪影響を与える可能性があります。
Background
画像診断の教育用プレゼンテーションは、多くの場合、経験、直感、および以前の講義からのフィードバックに基づいて作成されます。優れた放射線医学の講義や一般的な講義を作成するために何が必要かについて多くの記事が書かれていますが、これらは客観的なデータに基づいていないことが多く、「専門家の意見」の領域にあります [1‑5]。特定の講義変数 (事例数、スライド数など) と講義の効果との関係についてはほとんど知られていません。
多くの特性が効果的なプレゼンテーションに関連付けられていますが、それらが聴衆の評価と相関するかどうかを判断するために必ずしも客観的に研究されているわけではありません.これらには、目的が明確に述べられた講義、高品質の画像、聴衆の質問などの聴衆の参加を促すテクニック、およびユーモアを含む聴衆の動機付けと楽しませるための戦略が含まれます [1]。スライドごとに行数が多すぎるテキストスライドやスライドごとに単語が多すぎるテキストスライドなどの他の特性は、プレゼンテーションの質の低下に関連付けられています[2]。National Radiology Continuing Medical education Course で受け取ったコメントを分析したところ、画像が暗すぎる、または画面に不完全に投影されるなどの画質の悪さが一般的に否定的なフィードバックをもたらすことが示されました [3]。
放射線レジデント レビュー コースは一般的であり、レジデントが理事会試験に備えることを目的としています [6‑9]。これらのコースでの講義は要求が厳しく、他の画像診断コースで行われる講義よりもケース集約的なスタイルが必要になる場合があります。オタワ大学は、レジデントがカナダ放射線委員会の試験に向けて準備することを目的とした、毎年 1 週間のレジデント レビュー コースを実施しています [9]。このコースは 2011 年に開始され、3 年間で 500 人以上が受講しました。コースの質を継続的に改善するために、コース ディレクターは、各講義に関する出席者からのフィードバックを収集します。私たちの研究の目的は、どの放射線学レビューコースの講義変数が肯定的な聴衆の評価に関連しているかを評価することです。
Methods
地元の研究倫理委員会は、この研究の承認は免除されました（オタワ病院研究倫理委員会）。
2012年3月25日から 30日にかけて開催され、39人の個別の講演者によって合計57のプレゼンテーションが行われました。 150人以上が参加しました。 参加者の大部分 (>80%) は、カナダのレジデンシー プログラムの放射線科レジデントでした。残りの参加者は、アメリカの放射線学レジデンシープログラムの研修医とカナダで診療している放射線科医の組み合わせでした。スライドのビデオキャプチャとプレゼンターの同時オーディオが保存されました。各講演のPDF 版もレビュー用に保存されました。 57のプレゼンテーションのうち46には、レビュー可能なビデオファイルがありました(一部のスピーカーは録音に同意しませんでした)。 57のプレゼンテーションすべてにPDFファイルが用意されていました。各講義について、受講者から聴講評価を収集しました。講義は1〜5点（5が最高）で採点され、自由記述も可能であった。各講演の点数を合計し、20倍して、回答者数で割ることにより、最高100点とした。回答者の総数で割ったものです。
データ抽出
客観的データは、記録された講義(利用可能な場合) または講義のpdfファイルを検討することによって収集されました: 目的またはアウトラインの使用、1分あたりの合計スライド数、テキストスライドあたりのテキスト行数、テキスト スライドあたりの単語数、ケース1分あたりの画像数、1件あたりの画像数、1プレゼンテーションあたりの聴衆の笑いのエピソード数、1プレゼンテーションあたりの聴衆への質問の数、要約または要約スライドの数、アニメーションの使用。 「合計スライド」は、プレゼンテーションに含まれるすべてのスライドとして定義されました。 「テキストスライド」は、テキストコンテンツのみを含み、画像を含まないスライドとして定義されました。
以下の客観的データを、録音された講義（可能な場合）または講義のPDFファイルを確認することによって収集した：目的またはアウトラインの使用、1分あたりの総スライド数、テキストスライドあたりのテキスト行数、テキストスライドあたりの単語数、1分あたりのケース数、1分あたりの画像、ケースあたりの画像、発表あたりの聴衆笑いのエピソード数、発表あたりの聴衆への質問数、要約または要約スライドの枚数、アニメーションの使用。総スライド」は、プレゼンテーションに含まれる全スライドと定義した。テキストスライド」は、テキストコンテンツのみを含み、画像を含まないスライドと定義された。講義は、「教則本」と「症例不明プレゼンテーション」のいずれかに分類された。講義は、症例の大半が診断名なしで発表された場合、「症例不明プレゼンテーション」に分類された。画質は、録画された講義を確認し、主観的な1-5スケールで採点し、5を最高とした。適切にトリミングされ、適切なコントラストを持ち、関連する所見を明確に示している画像には、より高いスコアが与えられました。画質評価の枠組みは、放射線医学の講義に関する先行研究[3]で頻繁に引用された画質批判から導き出されたものである。データ収集は、PGY4放射線科研修医（L.C.）が行った。データ収集者は、音声ファイルから話者を識別することが可能であったため、話者に対する盲検化は行わなかった。コース評価のコメントは、定性的に検討された。よくあるコメントは集計された。よくあることとは、3回以上とした。
Data analysis
ピアソン相関係数は、非二分スコアリングで抽出された各変数と出席者によるプ
レゼンテーション評価スコアとの間で計算されました。
二値採点の変数については、スチューデントのt検定分析が行われました (目的/概要の使用、聴衆の笑いの存在、時間通りに終了する、プレゼンテーション中の要約の使用、聴衆への質問、事前または事後の使用)。テスト、未知対教訓、アニメーションなどの特殊効果の使用)。1分あたりのスライド数が平均よりも1標準偏差 (SD) を超えているトークを、残りのプレゼンテーションと比較しました。画像付きの 55 のプレゼンテーション、1分あたりの症例数、1分あたりの画像数、または平均値より1SD上の症例あたりの画像数を含む講義が、残りの講演と比較されました。同様に、画像を含む44のビデオトークのうち、画質スコアが5のトークと、スコアが1～4のトークが比較されました。
低スコアグループとを超えるトークとして定義されました。上記のパラメーターの多くの平均値は、スチューデントt検定を使用して、高得点グループと低得点グループの間で比較されました。割合として分析されたパラメータは、特徴を有するグループ内のプレゼンテーションのいずれもなし、1は特徴を有するすべてのプレゼンテーション、およびトークの割合に対応する中間の値
Results
各プレゼンテーションの評価件数は26～60件で、平均47.8件でした。プレゼンテーションの点数は72点から97点（100点満点）の範囲であった。平均点は87.8点で、標準偏差は6.5であった。94.3以上のスコアを獲得した発表が9件あり、「高スコア群」と定義された。スコアが81.3点未満の発表が11件あり、これを「低スコア群」と定義している。57件の発表のうち、55件がMRI、CT、US、単純X線撮影などの画像診断（DI）画像を含むものであった。高得点群の発表でよく見られた定性的なポジティブコメントと、低得点群の発表でよく見られた定性的なネガティブコメントを表1に示す。
プレゼンテーションのスコアと様々なパラメータとの相関を表2に示す。最も強い相関があったのは、プレゼンテーションスコアと画質スコアの間で、r = 0.57であった。2番目に強い相関は、プレゼンテーションスコアと講演中に聴衆が笑った回数の間で確認され、r = 0.3であった。最も強い負の相関があったのは、プレゼン得点と「症例あたりの画像数」の間であった。 最も強い負の相関は、プレゼン得点と「1件あたりの画像数」r = -0.25であった。
表3、表4、表5に、さまざまな特徴に基づくスコアの比較をまとめています。特殊効果の高いプレゼンテーションの平均得点は94.3点、それ以外のプレゼンテーションの平均得点は87.1点でした（p < 0.01）（表3）。プレテストとポストテストの一方または両方を含むプレゼンテーションは平均92点であったのに対し、どちらも含まないプレゼンテーションは平均87.8点であった（p=0.004）（Table 3）。画質スコアが5の発表は、平均94.1点を獲得したのに対し、その他の発表は平均87.5点でした（p < 0.01）（表4）。興味深い結果は、1症例あたりの画像が平均より1標準偏差以上高い症例の平均スコアが83.4であったのに対し、それ以外の症例の平均スコアは88.8であった（表5）。
表6と表7は、さまざまなパラメータについて、高スコア群と低スコア群の比較をまとめたものである。高スコア群と低スコア群では、平均画質スコアが4.4対3.6（p=0.006）、特殊効果あり・なしの割合が0.625対0（p=0.006）となり、高スコア群と低スコア群では、平均画質スコアに差があることがわかった。
Discussions
これまでの報告と同様に、適切に切り取られ、よく映し出され、適切なコントラストを持ち、関連する所見を明確に示している高品質の画像が、参加者の高い評価得点と最も強く関連していることが示されました。また、「観客が笑った回数」は、2番目に高いスコアと強い相関があり、ユーモアがより高い評価を得るために有効であることが示唆されました。これは、学習しやすい環境を作るために、観客の興味と関心を維持するためのエンターテインメントの役割を支持するものです。この指標は、聴衆の笑いのある講義とない講義を比較したときに、統計的にほぼ有意となったことは興味深いことです。我々の研究における相関関係は特に強いものではありませんでした。最も強いのはイメージクオリティーのスコアでr = 0.57、残りは0.5未満であり、質の高い画像診断の講義を決定する要因は多因子である可能性が高いことを示唆しています。特殊効果の使用もまた、より高いスコアと強く関連していた。これは、適切な所見を示す明確な注釈の使用や、ビルドやスライド間の移行を含むアニメーションの効果的な使用を含むと思われます。また、プレテストやポストテストを用いて、聴衆の注意を講義の顕著なポイントにインタラクティブに集中させることも、より高いスコアと関連することがわかりました。これは、ダイナミックな学習プロセスにおいて、聴衆との対話と参加が果たす中心的な役割を強調するものです。しかし、単に聴衆に非公式な質問を投げかけることは、より高いスコアと関連しませんでした。直感的に高い評価点との関連が予想される多くの要因が、本研究では確認されなかったのは興味深いことです。例えば、講演の目的を明確にすることや、講演中に資料を要約することは、講演者の効果を高めると考えられています。時間通りに終わらないことは、聴衆の否定的なフィードバックの原因としてよく知られていますが、今回の結果では統計的に有意であることは確認されませんでした。また、スライド1枚あたりの文字数が多すぎる、あるいは行数が多すぎるテキストスライドは効果がないと考えられてきましたが、今回の調査では、聴衆の評価スコアとの間に弱い負の相関があることが確認されました。
放射線医学は画像ベースの専門分野であるにもかかわらず、画像数が多いほど聴衆の評価スコアが高いというわけではありませんでした。実際、過去の報告とも矛盾しないが、1症例あたりの画像枚数が多いことは、本研究で最も強い負の相関を示した。このことは、画像の質は画像の量よりもはるかに重要であることを示唆している。これは、画像の数が多いと、乱れたり、急いだりして、プレゼンターのメッセージを効果的に伝えられない可能性があるためと思われます。そのため画像を使いすぎたり、単に聴衆の印象に残るような画像を使ったりすべきではないことが示唆されています。本来の講義の目的を達成するのに役立たないものは排除することで、余分な画像は避けることができます。さらに、HSGとLSG（表3、6）では、教訓的な講義と事例ベースの講義の割合が同じであることから、講義のスタイルだけでは講義の成功は決められないということもわかりました。
このことは、講義のスタイルだけが成否を決定するわけではないことを示している。我々の研究の弱点は、すべての発表にビデオファイルが用意されているわけではないことである。我々が研究した会議は、研修医レビューコース参加者という特定の聴衆を対象としていたため、放射線科や他の専門分野の他のコースへの適用が制限される可能性がある。異なるこのようなパターンが他のテーマのコースでも持続するかどうかを確認するのに役立つ可能性がある。その他の制限としては、聴衆の評価数がまちまちであること（出席者の20～50％の範囲）、および一人の個人がすべての客観的データを抽出したことが挙げられます。参加者のコメントから、構成、話のテンポ、講演者の音量、講演の正確さなど、今後さらに研究を進めるべき点がいくつか指摘されました。講演の構成、講演のペース、講演者の音量、スライドの正確さなどです。
Conclusion
本研究では、質の高い画像診断レビューコースの講義には、多くの決定要因があることを明らかにした。講義の成功に最も強く貢献する要因は、高画質画像、症例あたりの画像枚数が少ないこと、画像所見を明確に伝えたり、難しい概念を明確にする特殊効果の使用、プレテスト/ポストテストの使用です。
画像所見を明確かつ正確に伝えたり、難しい概念を明確にする特殊効果の使用、プレテスト/ポストテストツールの使用、そしておそらく最も重要なのは、ユーモアの散りばめ方です。これらの知見は、講義の準備を最適化し、さらなる研究の指針とすることができます。
私見
humorは多少肯定的なのね！笑いの回数を数えたという定量的な評価なのね。単純でいいかな。
日本の大学すべてで救急の講義や実習に学生さんから評価してもらったらいいのにな～。いい先生の講義は公開して、給料倍（ダメか）！
救急は画像、実際の動画とかかな？あまりグロテスクなのは気を付けて出さないとな。。。
たくさんt検定とかしないで重回帰分析とかすればよいのになとちょっと思いました。
コメント