서 론

농촌개발 환경 보호, 지역 경제 활성화, 농촌 공동체의 삶의 질 향상 등 다면적 요소를 포괄하는 복합적인 과제이다. 특히 개발도상국의 지속가능한 농촌개발을 위해서는 장기적이고 통합적인 접근이 요구되며, 개발 과정의 영향을 면밀히 추적하고 성과를 측정할 수 있는 체계적인 평가시스템이 필수적이다(Pavlov and Palatkin, 2021).

그러나 현재 한국의 농촌개발 공적개발원조(Official Development Assistance, 이하 ‘ODA’) 사업에서 활용되는 성과관리 체계는 여러 한계점을 보이고 있다. 첫째, ODA 프로젝트의 성과 목표와 지표가 과다 설정되어 효율적인 성과관리가 어렵다. 둘째, 경제적 성과와 인구 특성에 치중된 단편적인 지표들이 많아 통합적이고 지속가능한 발전을 충분히 반영하지 못하고 있다(Abreu and Mesías, 2020). 셋째, 공여기관 주도의 모니터링 체계로 인해 수원국의 지역적 필요와 특성이 충분히 반영되지 못하는 등의 한계가 있다(Wescoat et al., 2016).

본 연구는 이러한 문제의식에서 출발하여 한국의 농촌개발 ODA 사업을 위한 통합적 성과평가 프레임워크를 개발하고자 한다. 구체적으로는 FAO의 SAFA(Sustainability Assessment of Food and Agriculture systems) Tool을 기반으로 경제, 사회, 환경, 거버넌스 영역에서 균형 잡힌 평가가 가능한 프레임워크를 구축하고, 이를 실제 사례에 적용하여 그 효과성을 검증하는 것을 목적으로 한다.

연구의 시간적 범위는 KOICA가 사업 설계 매트릭스(Project Design Matrix, 이하 ‘PDM’)를 도입한 2007년부터 2023년까지로 설정하였으며, 이 기간 중 종료평가가 실시된 55개의 농촌개발 ODA 사업을 분석대상으로 하였다. 분석방법으로는 계층화 분석법(AHP)과 중요도-성과 분석법(IPA)을 활용하여 목표와 지표의 위계성을 체계화하고 우선순위를 도출하였다. 개발된 프레임워크의 실효성은 베트남 뚜옌꽝성 농촌개발 프로그램을 사례로 검증하였다.

본 연구는 기존 PDM의 한계를 극복하는 새로운 성과관리 방법론을 제시했다는 점에서 학술적 의의가 있으며, 특히 프로젝트의 기획-실행-평가 전 단계에 활용 가능한 통합적 프레임워크를 제공함으로써 농촌개발 ODA 사업의 실무적 개선에도 기여할 수 있을 것으로 기대된다.

이론적 배경

통합적 농촌개발 이론

통합적 농촌개발(Integrated Rural Development, 이하 ‘IRD’) 은 농촌 지역의 다양한 요구와 과제를 포괄적으로 해결하기 위한 접근 방식으로, 경제적 성장, 사회적 복지, 환경적 지속 가능성을 동시에 추구하는 개발 이론이다. IRD는 단순한 경제 성장에 그치지 않고, 빈곤 완화와 농촌주민들의 삶의 질 향상을 목표로 하며, 지역사회의 자원을 효율적으로 활용하여 농촌개발을 촉진하고자 한다. 이러한 통합적 접근은 농업 중심의 전통적 개발 모델에서 벗어나, 다양한 부문(교육, 보건, 인프라 등)을 아우르며 지역사회 전반의 지속 가능한 발전을 도모한다(Chambers, 1983).

IRD 이론은 1970년대부터 국제 개발 정책에서 중요한 위치를 차지하게 되었으며, 특히 개발도상국 농촌 지역의 다각적인 문제를 해결하기 위한 주요 전략으로 자리잡았다. 이는 농촌 지역의 문제들이 상호 연관되어 있기 때문에 하나의 분야에 국한된 해결책으로는 한계가 있음을 의미한다. 예를 들어, 농업 생산성 증대만으로는 농촌 빈곤과 교육, 보건 문제를 해결할 수 없기 때문에, 각 부문이 통합된 개발 전략을 통해 효과적인 개선을 추구해야 한다는 것이다(Chambers, 1983).

한국의 새마을운동은 IRD 이론의 대표적인 사례이다. 새마을운동은 1970년대 한국 농촌 지역에서 주민 참여를 바탕으로 농촌개발을 이끌어냈으며, 경제적 자립과 생활 환경 개선을 동시에 달성하고자 하였다. 이러한 접근은 경제 성장뿐만 아니라, 주민의 삶의 질과 공동체 자립을 도모하는 데 기여했으며, IRD 이론이 추구하는 목표와 일치하는 부분이 많다(Park, 2012). 또한, 한국 정부는 2023년 부처 간 협력을 통해 “글로벌 식량위기 극복과 개도국 농업 발전을 위한 농업 분야 개발협력 추진전략”을 수립하고, 식량안보 강화, 자생적 농촌개발, 농산업화 이행, 디지털 농업, 기후 스마트 농업 등 다면적 접근을 통한 통합적 농촌개발을 확대하고 있다(OPC, 2023).

농촌개발 성과 측정 모델

농촌개발 프로젝트의 성과를 측정하기 위해서는 다양한 모니터링 툴과 지표들이 사용되며, 이 중 지속 가능한 개발 목표(Sustainable Development Goals, 이하 ‘SDGs’)와 국제기구의 농업, 농촌개발 지표는 전 세계적으로 널리 활용되고 있다.

SDGs는 2015년 UN이 채택한 국제적 지표 체계로, 빈곤 감소, 식량안보, 물 및 위생 관리, 경제 성장, 기후변화 대응 등 농촌개발 프로젝트와 관련된 여러 목표를 포괄한다. 특히, SDG 2번(기아 종식과 지속 가능한 농업)의 세부 지표인 영양 불균형 해소, 농업 생산성 제고, 기후 변화 적응 등은 농업 중심의 농촌개발 프로젝트 성과를 평가할 때 유용하다 (UN, 2015). OECD의 농업 환경 지표 집합(OECD Compendium of Agri-environmental Indicators)은 농업이 환경에 미치는 영향을 다차원적으로 평가하는 지표들을 포함하고 있으며, 토지 이용 효율성, 영양, 수질 보전, 토양 보전, 생물 다양성 유지, 온실가스 배출량 등 다양한 측면에서 농업과 환경에 대한 성과 지표를 제시하고 있다(OECD, 2013).

세계은행(World Bank)의 농촌개발 지표와 세계식량계획 (World Food Programme, 이하 ‘WFP’)의 식량안보 및 영양 지표는 농촌개발에서 빈곤 감소, 식량안보, 생활 수준 향상을 목표로 하는 프로젝트에서 자주 사용된다. 세계은행은 농촌 지역의 인프라 접근성, 교육 및 건강 상태, 경제적 기회 등의 지표(World Development Indicators)를 제공하며(World Bank, 2024), WFP는 식량 불안정과 영양 상태를 측정하는 세부 지표들을 통해 농촌개발의 사회적 성과를 평가한다(WFP, 2019). 식량농업기구(Food and Agriculture Organization of the United Nations, 이하 ‘FAO’)는 SAFA(Sustainability Assessment of Food and Agriculture Systems, 이하 ‘SAFA’), RIMA(Resilience Index Measurement and Analysis), SHARP(Self-evaluation and Holistic Assessment of climate Resilience of farmers and Pastoralists) 등 다양한 평가 도구와 지수를 사용해 농촌개발 프로젝트의 지속가능성과 회복력을 평가하고 있다(FAO, 2014;FAO, 2015;FAO, 2016).

농촌개발 사업에 대한 국내 연구도 활발하게 진행되었다. Han el al.(2007)은 농촌의 다원적 기능 확충을 통해 지역 주민의 ‘삶의 질’ 향상을 목적으로 하는 농촌마을 종합개발사업 의 중간평가 지표를 AHP 방식을 통해 개발했으며, 4개 평가 목표(추진 실적 및 내실화, 주민의 참여도, 경영⋅관리 능력, 지역성장동력)와 6개 평가 항목(사업 추진 실적, 주민 역량강화, 마을 운영관리 및 주민 만족도, 경영능력, 관리능력, 지역 사회 활성화)을 기반으로 서면 평가를 실시하고, 2개 평가 항목(사업 목표 이행의 충실도와 계획 및 전략의 실현성)을 대상으로 현지 점검 평가를 실시하는 복합 평가 지표를 개발하 였다. Long and Lee(2023)는 지속가능한 농촌마을 평가 지표 개발을 위해 지속가능한 마을의 개념을 경제, 사회, 환경으로 구분하고, 전문가 델파이 분석과 한⋅중⋅일 지속가능 마을 사례 분석을 통해 환경지속성 측면에서 생활 환경과 자연환경 지표, 사회 지속성 측면에서 지역공동체와 기본 수요, 경제 지속성 측면에서 생계 자본과 경제 활성화 지표를 개발하 였다.

이 외에도 Kim el al.(2014)은 농촌마을을 다섯 가지 유형 (생활 기반형, 농업형, 유통⋅가공형, 도농교류형, 생활만족형)으로 분류하고, 사회 지표, 환경 지표, 지역경제 지표 측면 에서 총 75개 지표를 농촌마을 유형별 평가 지표로 수립하였으며, 농림수산식품부(2010)는 농어촌기업 매출, 참여 농가 소득증가, 일자리 창출, 기업 유치 실적 등 경제적 측면에서 농촌마을의 활력 증진 평가 지표를 수립했다(MIFAFF, 2010). 개발도상국 농촌개발 사업의 평가 지표로는 새마을운동 세계화 사업의 평가 지표와 KOICA의 농촌개발 분야 성과 지표 등이 있다(Lim and Lim, 2013;KOICA, 2023).

이 지표들은 각각의 목적과 특성에 따라 농촌개발의 특정 측면을 평가하는 데 유용하나, 통합적 농촌개발의 다면적 성과를 체계적으로 측정하는 데는 한계가 있다. 특히 한국의 농촌개발 ODA 사업은 새마을운동 경험을 바탕으로 경제, 사회, 환경, 거버넌스를 아우르는 포괄적 접근을 시도하고 있어, 통합적 특성을 반영할 수 있는 평가체계가 필요하다. 이러한 맥락에서 본 연구는 농업 시스템의 지속가능성을 네 가지 핵심 영역에서 종합적으로 평가하는 FAO의 SAFA Tool을 기반으로 통합적 성과평가 프레임워크를 구축하고자 한다.

FAO SAFA Tool

SAFA의 구성은 농업 및 식품 시스템의 지속가능성을 네 가지 핵심 영역, 즉 환경적 무결성, 경제적 회복력, 사회적 웰빙, 굿 거버넌스로 구분하고 있고 각 영역은 4∼6개의 테마로 세분화하며, 각 테마는 하위 세부 테마로 다시 구분한다. 가장 하단에는 측정 지표로 구성되는데 SAFA는 하위 테마 지표 58개와 측정 지표 116개 등, 총 169개의 지표를 수립하였 다(FAO, 2014). SAFA의 환경적 무결성 영역은 환경 보전을 위한 토지와 수자원 관리, 온실가스 배출량 및 생물 다양성 유지 지표를 통해 농업의 환경적 지속가능성을 평가하며, 경제적 회복력 영역은 농촌 지역의 경제적 안정을 평가하고, 소득 분배 및 시장 접근성 등 경제적 지속가능성을 강화하는 전략을 수립하는 데 필수적인 지표를 제공한다. 사회적 웰빙 영역은 농촌 공동체의 복지와 생활 수준을 평가하는 요소로, 특히 농촌 인구의 보건, 교육 등 복지 요소, 사회적 관계 및 지역사회 결속력 강화와 관련된 지표를 통해 통합적 농촌개발의 사회적 측면을 구체적으로 반영한다. 굿 거버넌스 영역은 농촌개발을 위한 정책적 투명성과 책임성을 보장하는 요소로, 지역 거버넌스와의 협력을 강화하여 지속 가능한 농촌 개발의 신뢰성을 향상할 수 있다(FAO, 2014).

본 연구는 Fig. 1의 SAFA 프레임워크를 계층화 분석법을 통해 계층적으로 변환하고, SAFA의 네 가지 영역을 기준으로 농촌개발을 다각도로 평가하는 프레임워크를 구축하고자 한다. 이를 통해, 농촌개발의 다차원적 목표를 체계적으로 설계할 수 있는 기획 모델, 프로젝트 개입의 적절성을 정기적으로 점검할 수 있는 모니터링 모델, 단계별 성과를 통합적으로 측정할 수 있는 평가 모델로서 활용하고자 한다.

연구 방법

연구 대상

본 연구의 대상은 KOICA ODA 도서관에서 수집한 종료 평가가 실시된 농촌개발 사업이며, 선정 이유는 다음과 같다. 예비조사나 기획조사 보고서에 포함된 PDM은 사업 진행 과정에서 최종 완료 시점까지 지속적으로 수정될 수 있는 특성이 있다. 또한, 초기 단계의 보고서는 한국 전문가들이 중심이 되어 작성된 지표로 구성되어 있어, 현지 이해관계자와의 협의 부족이나 실제 현장 상황에 대한 이해가 미흡할 가능성이 있다. 이에 따라 종료평가 보고서를 통해 보다 완성된 사업의 성과와 평가 지표를 분석하는 것이 본 연구의 목적에 부합한다고 판단하였다(KOICA, 2012).

연구 대상 사업 선정 기준은 KOICA가 성과관리 방식으로 PDM을 도입한 2007년부터 2023년까지 추진된 사업 중, 종료평가가 실시된 사업으로 한정하였으며(KOICA, 2012), 농업 분야 ODA 사업의 특성을 포괄적으로 반영하기 위해, 농업, 농촌, 새마을, 지역개발, 소득, 생산, 빈곤, 식량, 산림, 친환경, 기후변화, 자립 등의 키워드 설정을 통해 1차 스크리닝 하였다. 이후 상세 내용을 분석 후 농업, 농촌개발 분야와 관련된 프로젝트들을 2차로 선별하여 총 55개의 프로젝트를 선별하였다. 이를 통해 국제 농업 개발 지원의 지속가능성을 평가하는 데 필요한 자료를 수집하고, 사업의 성과 및 도전과제에 대한 심도 있는 분석이 가능하도록 연구 대상을 구성하였다(Fig. 2).

본 연구는 대상 사업의 PDM을 분석해 통합적 농촌개발 평가 프레임워크를 구축하는 것이다. 55개의 대상 사업의 PDM은 영향 목표, 성과 목표와 지표, 산출물 목표와 지표, 활동과 투입으로 구성되어 있어 영향 목표의 수는 평균 1.23 개로 대다수의 프로젝트는 SDGs 목표 수준의 최종 목표 약 1개씩을 수립하고 있다. 성과 목표의 경우 평균 2.88개로 사업 당 약 3개의 성과 목표가 설정되어 있으며 성과 지표는 4.9개로 사업 당 약 5개, 목표당 1.7개의 지표를 수립했다. KOICA PDM 가이드라인(2018)은 합리적인 성과관리를 위해 사업 당 1∼2개의 성과 목표와 지표 수립을 권고하고 있으나 실제 프로젝트에서는 2배 이상 과다 수립되고 있다(KOICA, 2018). 산출물의 목표와 지표의 경우, KOICA는 3∼4개 목표와 지표 수립을 권고하지만, 연구 대상 사업의 산출물 목표 개수의 평균은 5.1개, 산출물 지표는 10.1개로 산출물 성과관리에 많은 자원이 투입되고 있음을 확인할 수 있다. 최다 산출물 지표 사업은 28개 지표가 수립된 사업이었으며, 지표 분석 결과 산출물의 성격이 사업활동을 통해 직접적으로 도출 할 수 있는 재화 또는 서비스로서의 산출물 지표가 아니라, 활동의 단순한 완료 상태, 즉 활동의 동어 반복을 산출물 지표로 제시한 경우가 많았다.

Table 1에 따르면 국별협력사업의 경우, 개별 프로젝트의 사업 기간은 4.75년이며, 사업 기간 전체 평균 예산은 약 80 억 원으로서, 국제기구 지원사업(2.75년/38.5억 원), 시민사회 협력사업(2.15년/10.2억 원), 개발컨설팅사업(4년/16.5억 원) 보다 기간이 길고 예산 규모가 컸다. 하지만 지표의 수는 예산 규모나 사업 기간과는 관련이 없었으며 국제기구 지원사업, 시민사회협력사업, 국별협력사업 순으로 지표의 수가 많았다. 기타 1개 사업은 개발컨설팅사업(Development Experience Exchange Program)으로서 샘플 수가 적어 분석에서 제외하 였다.

분석 방법

계층화 분석법(AHP)

본 연구는 통합적 농촌개발 성과평가를 위한 프레임워크 수립을 위해 계층화 분석법(Analytic Hierarchy Process, 이하 ‘AHP’)을 활용하였다. AHP는 Saaty(1987)가 개발한 의사결정방법으로, 복잡한 의사결정 문제를 계층구조로 분해하고 각 요소의 상대적 중요도를 쌍대비교를 통해 측정하는 방법이다.

농촌개발 프로젝트의 성과평가는 경제적, 사회적, 환경적, 거버넌스적 측면 등 다양한 요소들을 고려해야 하며, 이해관계자들의 의견을 종합적으로 반영할 필요가 있다. AHP는 이러한 다기준 의사결정 상황에서 전문가들의 정성적 판단을 정량화할 수 있고, 의사결정 과정의 일관성을 검증할 수 있다는 장점이 있다(Saaty and Vargas, 2012). 특히 공여기관, 수원기관, 수혜자 그룹 등 다양한 이해관계자들의 의견을 체계적으로 수렴하고, 각 평가 요소들의 상대적 중요도를 도출하는 데 효과적이다. 또한, AHP는 KOICA의 현행 PDM 체계가 가지고 있는 한계, 즉 지표의 과다 설정과 위계성 문제를 해 결하는 데도 도움이 될 수 있다. AHP를 통해 도출된 중요도 를 바탕으로 핵심적인 성과 지표들을 선별하고 우선순위화할 수 있기 때문이다(Mu and Pereyra-Rojas, 2017). 이는 프로젝트의 성과를 효율적으로 관리하면서도, 통합적 관점에서 사업의 다각적 측면을 평가할 수 있게 해준다.

본 연구의 통합적 성과평가 프레임워크는 AHP의 방법론적 구조를 차용하여 설계되었다. 먼저 평가 요소들을 계층화 하기 위해 통합적 농촌개발을 최상위 계층으로 하고, 상위 계층에 4대 영역(경제, 사회, 환경, 거버넌스), 중위 계층에 영역별 성과 목표 4개씩 총 16개, 하위 계층에 성과별 산출물 지표 4개씩 총 64개로 구조화하였다. 각 계층별로 구성요소 간 쌍대비교를 실시할 수 있으며, 상위 계층에서는 4개 영역 간, 중위 계층에서는 각 영역 내 4개 성과 목표 간, 하위 계층에서는 각 성과 목표 내 4개 산출물 지표 간 비교할 수 있다. 상대적 중요도는 최상위 계층, 상위 계층의 경우 고정총합척 도법(Constant sum scaling)을 활용해 총합이 100이 되도록 직접 비교하였으며(Comrey, 1950), 중위 계층과 하위 계층은 11점 척도를 활용해 각 지표의 중요도를 100점 만점으로 환산할 수 있도록 구성할 수 있다.

응답의 논리적 일관성은 일관성 비율(CR)을 통해 검증하며, CR이 0.1 이하일 때 일관성이 있다고 판단한다. 최종적으로는 각 계층의 가중치를 종합하여 개별 지표의 최종 가중치를 도출하였는데, 이는 상위 계층 가중치와 해당 계층 가중치를 곱하여 산출하게 된다.

중요도-성과 분석(IPA)

중요도-성과 분석(Importance-Performance Analysis, 이하 ‘IPA’)은 Martilla and James(1977)가 개발한 방법으로, 특정 속성의 중요도와 성과를 동시에 분석하여 우선순위를 도출하고 개선방안을 제시하는 기법이다. IPA는 중요도와 성과를 각각 Y축과 X축으로 하는 매트릭스를 통해 4개의 사분면으로 구분하여 시각화함으로써, 의사결정자들이 직관적으로 결과를 이해하고 실행 전략을 수립할 수 있도록 돕는다.

본 연구에서 IPA 분석은 통합적 농촌개발 프로젝트의 성과 지표들이 얼마나 중요하게 인식되고 있으며, 실제 성과 달성도는 어떠한지를 파악하는 데 활용된다. 특히 현재 PDM 체계에서 과다 설정되는 경향이 있는 성과 지표들의 우선순위를 파악하고, 제한된 자원을 효율적으로 배분하는 데 유용한 정보를 제공할 수 있다. 또한, 공여기관, 수원기관, 수혜자 등 다양한 이해관계자들이 인식하는 각 지표들의 중요도와 실제 성과 간의 격차를 분석함으로써, 향후 프로젝트 기획과 실행 과정에서 중점적으로 관리해야 할 요소들을 식별할 수 있다(Oh, 2001).

IPA 매트릭스의 각 사분면은 다음과 같은 의미를 가진다:

이러한 IPA 분석은 앞서 수행된 AHP 분석 결과와 결합하여, 통합적 농촌개발 프로젝트의 성과평가 프레임워크를 보다 실효성 있게 구축하는 데 기여할 수 있다.

연구 모형 설계

성과평가 프레임워크 구성

통합적 성과평가 프레임워크는 2장 3절과 Fig. 1의 SAFA Tool을 기반으로 Goal, Dimension(4대 영역), Theme (영역별 성과 및 지표), Sub-Theme(성과별 산출물) / Indicator(산출물 지표)로 구성할 수 있다.

Goal은 경제적, 사회적, 환경적, 거버넌스적 개선을 통한 ‘포용적이고 지속적인 농촌개발’로 수립할 수 있다. 또는 지역의 상황을 고려해 빈곤 감소, 식량안보 등 시급한 과제를 포함할 수 있다.

4대 영역은 경제적, 사회적, 환경적, 거버넌스이며, 각 영역은 중점 지원 방향과 층위를 고려해 성과목표(테마)를 제시할 수 있다. 종료평가 보고서의 PDM 지표와 국제기구의 농촌개발 프로젝트 지표, SAFA 지표 등에서 중복된 목표와 지표를 분류한 결과, 경제적 영역에서 농업 생산성 향상, 농가소득 증대, 시장 접근성 강화, 일자리 창출 등이었으며, 사회적 영역은 교육 접근성 강화, 보건의료 서비스 향상, 사회적 자본(공동체 의식) 강화, 취약계층 포용성 제고이다. 환경적 영역은 기후변화 대응력 강화, 수자원 관리, 토양 및 산림 보전, 친환경 농업 확대이며, 거버넌스 영역은 주민 참여 및 의사결정, 지방정부 역량강화, 마을 조직의 활성화, 모니터링 체계 개선으로 제시할 수 있다(OECD, 2013;World Bank, 2013;FAO, 2014;KOICA, 2023).

하위 테마는 성과별 산출물 목표와 지표의 분류이며, KOICA의 사업 분류를 고려하여 인프라 지원, 기자재 지원과 같은 물적협력수단(Hardware), 역량강화와 전문가 파견과 같은 인적협력수단(Software)으로 구분하였다(OPC, 2024).

Fig. 3의 프레임워크는 추진과정에서 변경 가능하며 사업 대상지의 시급성과 주요 개입 활동에 따라 제시된 체계 내에서 수정하거나 삭제할 수 있다.

지표 선별

단계별 지표는 목표당 1개씩을 기본으로 하되 사업의 성격과 이해관계자들의 합의에 따라 지표 은행(Indicator Bank)에서 성과 지표 16개, 산출물 지표 64개를 일차적으로 수립할 수 있다. 지표 은행은 현 시점 기준 55개 사업의 총 지표를 나열한 후, 지표 적합성을 고려해 적정 지표를 선정하고 적합 한 지표가 없을 경우 국내외 문헌 조사와 예비조사, 기획조사를 통해 보완할 수 있다.

먼저 Goal 지표는 KOICA 방침에 따라 일반적으로 수립하지 않으나 본 연구에서는 통합적 성과평가 프레임워크의 지수 자체가 Goal 수준의 지표로서 활용될 수 있다. 또한, 사업 대상지의 시급성을 고려해 빈곤 감소, 식량안보 등을 영향 수준의 목표로 설정할 경우, 대상 지표는 다면적 빈곤 지수나 식량안보의 다면적 영역을 모두 측정할 수 있는 글로벌 식량 안보 지수(Global Food Security Index) 수준으로 수립하는 것이 적절하다(NTI, 2024).

성과 지표의 경우, 테마별 성격에 따라 KOICA 성과 프레임워크와 55개 사업 PDM에서 선별한 지표는 Table 2와 같다. 사업수행기관과 수원기관, 주요 이해관계자는 선별 지표의 중요도와 기초선 시점의 성과를 고려해 최우선 지표를 선별해 프레임워크를 구성할 수 있다.

산출물 목표와 지표의 경우, 성과 목표별 4대 분류에 따라 구성할 수 있다. 예를 들어 1.1. 농업 생산성 향상의 성과 목표는 농업 생산성 향상을 위한 인프라 구축 지표(인프라), 생산 기자재 활용 지표(기자재), 재배 역량향상 지표(역량강화), 선진 기술 개선 지표(전문가 파견) 등 4개의 산출물 지표를 수립할 수 있다. 또한, 산출물 지표 구성 시에는 선별 지표의 중요도와 기초선 시점의 성과 유무, 예산 제약 등을 고려해 최우선 지표를 선정하고 프레임워크에 포함할 수 있다.

프레임워크에서 제시한 16개의 성과 지표와 64개의 산출물 지표는 실제 사업에서 모두 사용되기 어렵다. 사업대상지의 핵심 문제와 사업의 활동을 고려해 지표 중 일부를 사용 해야 하며, 또는 지표 간 논리적 연계를 파악해 핵심 지표로 통합해 평가의 용이성을 높일 수 있다. Fig. 4는 경제적 측면의 성과 지표 4개의 논리적 연계를 분석해 ‘가구 소득’이라는 핵심 지표로 통합하고, 농업 생산성의 산출물 지표 4개를 ‘생산 시설 수’와 ‘생산 역량이 강화된 주민 수’로 통합한 결과이다. 또한 환경적 측면에서도 ‘기후변화 회복력’이라는 핵심 성과 지표로 통합하고, 친환경 농법과 관련한 산출물 지표를 ‘유기농 비료 사용량’, ‘친환경 농법 보유 주민 수’ 등 2개로 통합하는 등, 필요에 따라 지표 수와 구성을 단순화할 수 있다.

연구 결과

통합적 성과평가 프레임워크 활용

통합적 성과평가 프레임워크는 시기, 목적, 수립 주체 등에 따라 다양한 형태로 활용될 수 있다. Fig. 5와 같이 도식화된 모델에 따르면, 공여기관은 정기적으로 농촌개발 사업 PDM 데이터를 점검하여, 우수한 목표와 지표를 기반으로 농촌개발 ODA 성과 모형을 구축할 수 있다. 이 성과 모형은 유관 기관과 부서의 성과관리 과업에서 일관성과 효율성을 제고하는 데 기여한다.

또한, 해외 사무소는 이 성과 모형을 활용해 수원기관과 협력하여 해당국의 농촌개발 분야에서 통합적 성과평가 프레임워크를 구축할 수 있다. 이 과정에서 대상국의 CPS(국가협력전략), 정부 정책 등을 반영해 프레임워크를 표준화하면, 국가 단위 농촌개발 프로젝트 성과관리를 위한 지침으로 활용될 수 있다.

프로젝트 착수 이후, 프레임워크는 사업대상지 단위에서 성과관리 지침으로 작동하며, 이를 기반으로 PDM이 설계되어 체계적인 기획, 모니터링 및 평가가 가능해진다.

사례 적용

통합적 성과평가 프레임워크는 다분야 농촌개발 프로젝트의 기획, 모니터링, 평가에 적용할 수 있다. 본 연구에서는 KOICA가 베트남에서 추진한 국별협력사업인 “뚜옌꽝성 포용적 농촌개발 프로그램(이하 ‘뚜옌꽝성 사업’)”을 대상으로 프레임워크를 가상으로 적용해보았다. 뚜옌꽝성 사업은 연구진이 KOICA의 종료평가 용역을 의뢰 받아 2024년 7월 현장을 방문하고 종료평가를 실시한 사업이며, 농촌개발 프로젝트임에도 여성 역량 강화, 보건 접근성, 교육 접근성, 거버넌스 등 다분야의 사업 요소가 포함되어 있어 프레임워크를 적용하기에 적합하였다. 프로젝트의 개요는 Table 3과 같다.

사업 종료 시점 PDM 상의 성과 목표와 산출물 목표는 6개이며, 성과 지표는 10개, 산출물 지표는 30개로서, 사업의 기획부터 적절한 지표 체계가 수립되지 않았으며 사업 기획과 모니터링, 평가단계에서 지표 관리에 과도한 자원이 투입된 것으로 분석되었다.

기획 단계의 적용(PDM 수립)

뚜옌꽝성 사업의 기획 단계에서 성과평가 프레임워크가 활용되었다면, 개입 방식의 적절성과 현지 맥락이 충분히 반영된 PDM이 수립될 수 있다. 기존에 설계된 성과평가 프레임워크(안)을 활용해 예비조사 기간 동안 공여기관, 수원기관, 조사 전문가, 수혜자 그룹이 모여 PDM 초안을 합의하고 IPA 방식을 통해 지표별 중요도와 현재 성과를 도출해 적절한 산출물과 성과 체계를 수립할 수 있다.

먼저 산출물 지표의 경우 IPA 분석을 통해 Fig. 6와 같이 지표별 중요도와 성과를 분석할 수 있으며, 시급한 2사분면 지표를 최우선 활동과 지표로 선정하고, 기간과 예산을 고려 해 3사분면의 차순위 지표와 활동도 추가 고려할 수 있다.

Fig. 3 성과 프레임워크(안)의 64개 산출물 지표에 대한 IPA 분석 시, 중요도 25점을 기준으로 높은 지표는 상단에, 낮은 지표는 하단에 배치되며, 성과 50점을 기준으로 높은 지표는 우측에, 낮은 지표는 좌측에 위치하게 된다.

지표별 중요도 측정은 Table 4와 같이 산출물 분류별 4개의 지표를 대상으로 총합이 100점이 되도록 점수를 부여하는 방식이며, 조사 전문가, 공여기관 및 수원기관 관계자, 수혜자 등이 평가한 평균 점수를 Table 4의 예시와 같이 기입할 수 있다. 지표별 성과 측정은 각 지표의 현재 성과를 리커드 척도 –5점에서 +5점에서 선택 후 100점 만점으로 환산하는 방식이며, 예시와 같이 각 관계자가 측정한 후 평균 점수를 환산한다. 2사분면과 3사분면 지표는 영역별, 성과 목표별 중요도 분석을 통한 가중치 적용 후 최종 확정된다.

산출물 지표의 최종 확정을 위해 영역과 성과 목표별 중요도를 분석하고 가중치를 부여해야 한다. 이를 통해 2사분면과 3사분면의 지표를 최종 확정하게 된다. 영역, 성과목표, 산출물별 중요도는 식 (1)과 같이 구할 수 있다.

where,

Table 5의 5-1과 5-2는 조사에 참여한 이해관계자들이 영 역별 중요도, 성과목표 중요도에 대해 기입한 예시이며, 평균 치를 도출해 Table 4에서 측정한 산출물 지표별 중요도에 가 중치를 부여할 수 있다. Table 5-1, 5-2의 결과와 같이 경제적 영역의 중요도가 높고, 경제적 영역 달성을 위한 시장 접근성 목표의 중요도가 높다면 시장 접근성과 관련한 4개 산출물 지표의 중요도는 모두 상단으로 조정될 수 있다.

식 (1)의 가중치를 지표별로 적용하면, 지표별 중요도 기준은 25점에서 1.5625점으로 변경된다. Table 5-3에서 중요도가 25점보다 낮아 사분면 하단에 위치했던 기자재 활용 지표(18점)와 선진 기술 전수 지표(20점)는 가중치 적용 후 각각 2.16점, 2.4점으로 상승하여 중요도 기준을 초과, 사분면 상단으로 이동한다. 따라서 생산성 향상과 관련된 지표와 활동은 현재 성과가 낮을 경우 모두 2사분면, 최우선 순위에 포함된다.

뚜옌꽝성 사업의 성과 목표와 지표 개선을 위해 프레임워 크의 영역별 분류 방식을 적용하면 Table 6과 같이 개선될 수 있다.

기존 PDM은 분야별 지원 규모와 우선순위에 관계없이, 6개 분야를 모두 성과 목표 수준으로 설정하였으므로, 사업의 중점 분야나 사업대상지의 시급한 문제를 파악하기 어려웠다. 프레임워크가 적용된 PDM을 통해 뚜옌꽝성 사업이 경제적 영역과 사회적 영역에 중점을 두고 거버넌스와 환경 분야는 상대적으로 비중이 낮음을 알 수 있다. 실제로 사업대상지의 환경과 거버넌스 영역이 취약함에도 불구하고, 이러한 PDM을 수립하였다면 적절한 PDM이 아니다. 지표 측면에서 도 기존 PDM의 성과 지표는 활동 및 산출물과의 연계성이 낮은 지표가 많지만 프레임워크 적용 PDM의 지표는 하위 목표와의 연계성이 높고 프레임워크 내에서 목표와 지표 선정이 이뤄지므로 지표 수립에 소요되는 시간과 자원을 절약할 수 있다.

실행 단계의 적용(모니터링 Tool)

성과평가 프레임워크는 실행 단계에서 모니터링 Tool로 활용될 수 있다. 실행 단계는 산출물 지표를 기준으로 하며, 산출물 지표의 성격에 따라 정량적, 정성적 측정 결과를 달성도로 환산한다. 모니터링 Tool의 목적은 먼저 산출물 지표의 추적(Tracking)을 통해 우선순위를 조정하는 것이다. 뚜옌꽝성 사업에서 실행 중반 모니터링 Tool을 활용해 측정한다면, 조기/초과 달성한 지표와 개선이 더딘 지표를 확인해 우선순위와 자원을 재조정할 수 있으며 차순위 지표를 추가할 수 있다.

모니터링 Tool의 또 다른 목적은 사업 전반의 추진 성과를 확인하는 것이다. 산출물 지표 기반 모니터링 지수를 도출하기 위해 식 (2)를 구성하였다.

where,

식 (2)의 모니터링 지수는 100점 만점으로 환산되며, 뚜옌 꽝성 사업의 최종 목표 점수가 100점이라면, 모니터링 측정 시점의 지수 결과를 통해 사업의 달성 정도를 정량적으로 측정할 수 있게 된다.

종료단계의 적용(평가 Tool)

성과평가 프레임워크는 종료단계에서 평가 Tool로 활용될 수 있다. OECD DAC의 효과성 평가 기준은 산출물 단위, 성과 단위의 지표 달성도를 측정하는데, 산출물 단위의 지표 달성도는 식 (2)의 모니터링 지수의 최종 점검 결과와 같다.

성과 단위의 지표 달성도는 식 (3)과 같이 성과 목표 지수 를 도출할 수 있다.

where,

본 연구에서는 최종적으로 성과평가 프레임워크를 활용해 영향 목표 지표 수준의 통합적 농촌개발 지수를 식 (4)와 같이 도출하며, 이를 통해 뚜옌꽝성 사업 대상지의 전반적인 개발 변화 정도를 파악할 수 있다.

where,

식 (4)는 성과 지표와 산출물 지표가 동시에 포함되므로 α 는 성과 단위 지표 달성도 가중치, β는 산출물 단위 지표 달성도 가중치로서, α + β = 1 이 된다. α와 β의 가중치는 사업 기간과 성격에 따라 가중치를 합의할 수 있다. 사업 기간이 비교적 단기간이고 사업 성격이 산출물의 완료에 초점이 맞춰져 있다면 β의 비중이 높아지고, 사업 기간이 비교적 중장기적이고, 사업 성격이 산출물을 통한 변화에 초점이 맞춰져 있다면 α의 비중이 높아진다.

IRD Index는 16개의 성과지표, 64개의 산출물 지표 전체 를 대상으로 하며, 기초선조사, 중간선조사, 종료선조사를 통해 IRD 수치를 정기적으로 측정한다면 사업의 개입을 통한 뚜옌꽝성 지역의 개발 변화를 정량적으로 파악할 수 있다.

프레임워크의 효과성 검증

뚜옌꽝성 사업에 프레임워크를 가상으로 적용한 결과, 여러 측면에서 프레임워크의 효과성이 예측된다. 먼저 지표체계 측면에서, 기존 PDM의 과다지표(성과지표 10개, 산출물 지표 30개)가 16개의 성과지표로 체계화되었으며, 지표 간 위계성과 연계성이 강화되어 지표 수립과 관리에 소요되는 자원이 절감될 수 있다. 영역별 균형 측면에서는 경제(0.40), 사회(0.30), 거버넌스(0.18), 환경(0.12) 영역의 명확한 가중치가 도출되어 사업의 전략적 우선순위가 명확해졌으며, 환경과 거버넌스 영역의 취약성이 식별되어 보완이 필요함을 확인할 수 있다. 모니터링과 평가 측면에서는 IPA 분석을 통한 지표별 우선순위 설정이 가능해졌고, 지표 추적을 통한 자원배분 최적화와 IRD Index를 통한 정량적 성과측정이 가능해졌다. 특히 공여기관, 수원기관, 수혜자 등 다양한 이해관계자의 의견을 반영하여 지표의 중요도와 성과에 대한 합의를 도출하고, 현지 맥락을 반영한 PDM 수립이 가능해졌다는 점에서 프레임워크의 실효성이 입증되었다고 볼 수 있다.

결 론

본 연구는 농촌개발 ODA 프로젝트 성과평가의 한계를 극복하고자, FAO의 SAFA Tool을 기반으로 통합적 성과평가 프레임워크를 개발하는 것이 목적이다. 연구를 통해 확인한 주요 결과와 시사점은 다음과 같다.

먼저, 한국 정부가 지원하는 농촌개발 ODA 프로젝트에 통합적 성과평가 프레임워크를 구축하여, 경제적, 사회적, 환경적, 거버넌스적 영역에서의 성과를 포괄적으로 평가할 수 있는 모델을 제시했다. AHP와 IPA 분석법을 통해 단계별 목표와 지표의 중요도 및 성과를 측정함으로써 프로젝트의 통합적 성과를 정량적으로 평가할 수 있게 되었다.

또한, 개발된 프레임워크는 프로젝트의 전 주기에 걸쳐 유용하게 활용될 수 있음을 확인했다. ODA 프로젝트에 가상으로 적용해, 기획 단계에서는 체계적인 목표 설정과 지표 선정을 지원하고, 실행 단계에서는 실시간 모니터링 도구로 활용되며, 종료단계에서는 통합적 성과평가 도구로 기능함을 확인했다. 특히 베트남 뚜옌꽝성 포용적 농촌개발 프로그램 사례 적용을 통해, 본 프레임워크가 과다 설정된 지표를 체계화 하고 목표 간 위계와 논리적 연계를 명확히 하는데 효과적임을 확인하였다.

본 연구의 프레임워크는 현행 PDM이 가진 한계를 극복하는 동시에, 이해관계자들의 의견을 체계적으로 반영할 수 있는 방안을 제시하였다. AHP를 통한 지표 간 가중치 설정과 IPA를 통한 우선순위 결정은 객관적인 의사결정을 가능하게 하며, 프로젝트의 투명성과 책임성을 높이는데 기여할 수 있다. 또한, 실시간 모니터링을 통해 즉각적인 의사결정과 자원 재배분이 가능해져, 프로젝트의 효과성과 효율성을 높일 수 있다.

다만 본 연구는 단일 사례 적용을 통해 프레임워크의 유효성을 검증하였다는 한계를 가진다. 또한, 장기적 관점의 성과 측정을 위한 데이터가 부족하다는 점도 한계로 지적될 수 있다. 향후에는 다양한 지역과 사업유형에 본 프레임워크를 실제 적용하여 일반화 가능성을 검증할 필요가 있으며, 빅데이터 기반의 성과평가 시스템으로 발전시킬 필요가 있다.

결론적으로, 본 연구에서 개발된 통합적 성과평가 프레임워크는 농촌개발 ODA 프로젝트의 체계적인 성과관리를 가능하게 하며, 특히 다분야 프로그램 방식의 농촌개발 프로그램에 효과적으로 적용될 수 있다. 본 연구의 성과평가 프레임워크와 모니터링 도구는 프로젝트 전 과정에 걸쳐 투명성과 효율성을 높이며, 사업대상지의 통합적인 발전에 기여할 수 있을 것이다. 이는 향후 ODA 프로젝트의 성과관리체계 개선에 기여하는 의미 있는 첫걸음이 될 것으로 기대된다.

적 요

본 연구는 한국의 농촌개발 공적개발원조(ODA) 사업에 대한 통합적 성과평가 프레임워크를 개발하고, 이를 실제 적용을 통해 효과성을 검증함. 해당 프레임워크는 FAO의 SAFA (Sustainability Assessment of Food and Agriculture systems) 툴을 기반으로 경제, 사회, 환경, 거버넌스의 4개 분야에서 균형 있는 평가를 가능하게 설계됨.