社会的インパクト評価において、短期アウトカム指標を設定する際のポイントはありますか?

短期アウトカム指標とは、事業実施中や事業終了時に、短期アウトカムの達成の度合いをどのように測るかを示すものです。短期アウトカムに対して、どのような判断基準であれば「アウトカムを達成した」といえるのか、具体的な状況に落とし込むことで、指標を導き出します。指標を設定する際には、たとえば、5W1H(対象、種類、量、質、時期、地域・場所)のような具体的な判断基準を意識して設定します。短期アウトカムを測定する指標がその分野で確立されていない場合には、「信頼性」「妥当性」「感度」の観点から、設定する指標を検討します。信頼性は繰り返し同じ測定方法で測定した際に、一貫した解釈が可能な程度、妥当性は測定しようと意図しているものを実際に測定できている程度、感度は短期アウトカムの変化や差異を捉える程度を指します。
適切な指標が定まらない時には、短期アウトカムの変化を多面的に捉え、お互いの測定尺度の弱点を補うように検討します。特に、短期アウトカムの変化や差異の質を捉えるためには複数の指標設定が有効です。また、新しい取組みを行う事業では、事業期間をとおして指標の見直しを行い、より的確に短期アウトカムを捉える指標を開発していくことが求められます。短期アウトカム指標は、収集するデータの特定に基づいて定量あるいは定性データを選択します。定量と定性データのどちらかに偏りすぎず、それぞれの特徴を理解して短期アウトカムの変化を捉えるようにします。

短期アウトカムや短期アウトカムを実現するために設定する指標・目標値は、絶対に変えてはいけないというものではありません。むしろ、事業を改善していく過程で、その必要性が認められる場合には、積極的により良い内容に変えていくことが推奨されます。ただし、短期アウトカムは事業目標として設定しているため、変更する場合には、関係者や資金分配団体、JANPIAと協議し、合意形成した上で変更してください。

評価アドバイザー(評価専門家)または分野の専門家には、評価の考え方を活用し、戦略的な事業設計、事業の進捗管理や事業の見直し、成果の可視化、評価結果の活用の促進に関する助言などを依頼することができます。支援内容としては、事業への伴走支援、ロジックモデル(事業設計図)の検証の助言、成果・モニタリング指標の設定、評価計画作成等が考えられます。
また、評価アドバイザーに対する謝金は、評価関連経費を活用することができます。評価関連経費とは、資金分配団体・活動支援団体及び実行団体が質の担保された主体的な自己評価を実施するために必要な外部の支援(主に評価や分野専門家から助言を得る)等を受けるために助成する費用です。

データ収集のために受益者にアンケートやインタビューなどの調査をする際は、倫理的な側面にも十分に配慮する必要があります。
調査を行う際には、倫理的な問題についても十分に配慮し、対象者の人権の尊重やプライバシーの保護、被りうる不利益への十二分な配慮を行うことが大切です。
また、社会調査ではさまざまな個人情報を扱います。調査協力者(アンケートやインタビューの回答者)の権利が守られていない場合や、個人情報が適切に管理されていない場合は、たとえ調査者に悪気がなくても、「調査暴力」になり得ます。意図せぬ「暴力」がおこらないよう、調査への協力依頼をきちんと行い、調査協力者に伝えるべき内容をおさえておくことが大切です。
詳細は、JANPIAのホームーページで公開されている〈参考資料集〉をご確認ください。

▽参考資料集

https://www.janpia.or.jp/_assets/download/dormant-deposits/ongoing/guideline/hyoka_sanko_shiryoshu_202203.pdf(外部リンク)

資金分配団体、実行団体向けに、社会的インパクト評価の結果が理解できるよう、報告書に必ず含めていただきたい事項を示した「事後評価報告書に含める事項」という資料を休眠預金活用プラットフォームで提供しています。事後評価計画時、報告書作成時にご参考ください。なお、事後評価報告書の書式は自由です。ファイル形式や項目の記載順等は各団体でお決め頂いて構いません。

事後評価報告書をはじめ休眠預金活用事業実施中に団体から提出される書類は、休眠預金活用事業 情報公開サイトで公開されます。
 

休眠預金活用事業 情報公開サイト|トップページ(外部リンク)

事業の効率性とは、資金分配団体や実行団体が実施した事業(資金分配団体の場合は実行団体への支援を含む)で、資金や人員等のインプットがアウトプットやアウトカムを生み出すために最適かつ効率的に用いられたかを検証し、資源の有効活用、費用対効果等などについて検証する項目です。国民の資産を原資とし、社会課題の解決やその仕組みづくりを目指した事業であることを踏まえた考え方が重要であり、一般的な効率性の分析をそのまま当てはめるのではなく、インプット(投入されたヒト・モノ・カネ)が適切に使用され、アウトプットやアウトカムを生みだすために活用されたかを検証することを基本におきます。
一般的に効率性の分析として使われる費用便益分析と費用効果分析は、資源配分に有用な情報を提供しますが、分析には一定の専門性が必要です。このため、自己評価ではこうした分析を必須とはしませんが、個々の団体の判断で取り入れていただくのは構いません。またビジネスで用いられるコスト効率の観点のみを当てはめることも、休眠預金等活用制度の性質上、適切ではないと考えます。

個別事業の事後評価結果は休眠活用事業情報公開サイトで公開され、休眠預金を原資とした助成金が国内の社会課題解決にどのように活用されたのかを広く伝えます。また、事業の価値に対する理解を広げることにより、賛同者や支援者が増え、新たな資金や人材の獲得のきっかけをつくります。 収集した各事業の事後評価報告書は、JANPIAにて横断的に分析して広く公開し、説明責任を果たします。さらに、社会の諸課題の解決に結びつく具体的事例や事業からの学び(提言、知見・教訓)が関係者に共有され、活用されていくことで民間公益活動全般の質の向上を図ります。

今後も社会課題解決のための取り組みを継続的に進めていくうえで、実行団体がどのような役割を果たすことが望ましいのかを、下記のような視点から、事後評価結果を踏まえて記載します。実行団体の事後評価報告書においては、自団体や、地域の誰がどのような役割を果たすことが望ましいのかを記載します。

<記載の視点例>
○実行団体が地域でどのような役割を果たしていく必要があるか
○今後どのような活動や検討が必要か
○地域や関係者との連携強化のためにどのような活動が必要か
○実施体制の工夫、改善はあるか 必要な組織基盤強化はあるか
○活動の財源確保のために必要な活動や検討課題はあるか
○本事業での成果をどのように活用していくことができるか

事業の経験や学びから、将来、他の地域で実施される類似課題への取組みに参考となる具体的な学びや教訓となり得る事項を下記の視点を参考に記載します。個々の事業からの学びが休眠預金活用事業全体のナレッジとなり活用されることが望まれます。
<記載の視点例>
○ 非資金的支援の組み立て方についてどのような戦略・学びがあったか
○ 実行団体の選定方法についてどのような工夫・学びがあったか
○ 実行団体の組織課題の見極めについてどのような工夫・学びがあったか
○ 事業期間中の事務作業の停滞への対応についてどのような工夫・学びがあったか
○ アンケート等調査の実施の難しさへの対応についてどのような工夫・学びがあったか
○ コミュニティ醸成(対象地域での関係者、実行団体間など)においての工夫・学びがあったか
○ 事業の関係者(実行団体、資金分配団体、JANPIA、専門家等)との信頼関係構築にあたっての工夫・学びはあったか
○ 評価の取り組みからの学び
・事前評価時に、捉えている社会課題の構造、直接対象グループやニーズ、事業を取り巻く関係者、ロジックモデルや指標等を見直した過程において、どのような学びがあったのか
・事業中間時点での進捗確認と実施状況の評価をしたことで、どのような改善ができたか
・事後評価時に、設定したアウトカムの評価を行ったことで、どのような学びがあったか
・実行団体の事後評価報告から見えてきた知見や教訓はあるか
○実行団体への伴走支援への工夫や、支援から見えてきた学びはあるか