Operational poverty targeting by proxy means tests : models and policy simulations for Malawi

Abstract

There is a long standing belief that accurate targeting of public policy can play a major role in alleviating poverty and fostering pro-poor economic growth. Many development programs fail to reach the poor in that a sizeable amount of program benefits leak to higher-income groups and a substantial proportion of poor are excluded. This is also the case in Malawi, one of the poorest countries in Sub-Saharan Africa. In response to widespread poverty and endemic food insecurity, the country decision makers enacted various programs, including free food, food-for-work, cash-for-work, subsidized agricultural inputs, etc. To target these programs at the poor and smallholder farmers in the country, policy makers rely mainly on community-based targeting systems in which local authorities, village development committees, and other community representatives identify program beneficiaries based on their assessment of the household living conditions. However, most of these programs have been characterized by poor targeting and significant leakage of benefits to the non-poor due to a number of factors, including various local perceptions, favoritism, abuse, lack of understanding of targeting criteria, political interests, etc. Almost all interventions are poorly targeted in the country. Therefore, this research explores potential methods and models that might improve the targeting efficiency of agricultural and development policies in the country. Using the Malawi Second Integrated Household (IHS2) survey data and a variety of estimation methods along with stepwise selection of variables, we propose empirical models for improving the poverty outreach of agricultural and development policies in rural and urban Malawi. Moreover, the research analyzes the out-of-sample performances of different estimation methods in identifying the poor and smallholder farmers. In addition, the model robustness was assessed by estimating the prediction intervals out-of-sample using bootstrapped simulation methods. Furthermore, we estimate the cost-effectiveness and impacts of targeting the poor and smallholder farmers. It is often argued that targeting is cost-ineffective and once all targeting costs have been considered, a finely targeted program may not be any more cost-efficient and may not have any more impact on poverty than a universal program. We assess whether this is the case using household-level data from Malawi. More importantly, we evaluate whether administering development programs using the newly developed models is more target- and cost-efficient than past agricultural subsidy programs namely the 2000/2001 Starter Pack and the 2006/2007 Agricultural Input Support Program (AISP). Estimation results suggest that under the newly designed system, mis-targeting is considerably reduced and the targeting efficiency of development policies improves compared to the currently used mechanisms in the country. Findings indicate that the estimation methods applied achieve the same level of targeting performance. The rural model achieves an average poverty accuracy of about 72% and a leakage of 27% when calibrated to the national poverty line of 44.29 Malawi Kwacha (MK). On the other hand, the urban model yields on average a poverty accuracy of about 62% and a leakage of 39% when calibrated to the same poverty line. The results are also confirmed by the Receiver Operating Characteristic (ROC) curves of the models which show that there is no sizeable difference in aggregate predictive accuracy between the estimation methods. The ROC curve is a powerful tool that can be used by policy makers and project managers to decide on the number of poor a program or development policy should reach and ponder on the number of non-poor that would also be wrongly targeted. Calibrating the models to a higher poverty line improves its targeting performances, while calibrating the models to a lower line does the opposite. For example, under the international poverty line of US$1.25 (i.e. MK59.18 in Purchasing Power Parity), the rural model covers about 82% of the poor and wrongly targets only 16% of the non-poor, whereas the urban model covers about 74% of the poor and wrongly identifies 26% of the non-poor. On the other hand, using an extreme poverty line of MK29.81 disappointingly reduces the model?s poverty accuracy and leakage: the rural model yields a poverty accuracy of 51% and a leakage of 39% while the urban model yields a poverty accuracy of about 48% and a leakage of 68%. Furthermore, a breakdown of targeting errors by poverty deciles indicates that the models perform well in terms of those who are mistargeted; covering most of the poorest deciles and excluding most of the richest ones. These results have obvious desirable welfare implications for the poor and smallholder farmers. It is all important to mention that the models selected cannot explain but predict poverty. A causal relationship should not be inferred from the results. There is compelling evidence in favor of targeting since considering all costs does not make targeting cost- and impact-ineffective. Findings suggest that the new system is considerably more accurate and more target-efficient than the currently used mechanisms for targeting agricultural inputs in the country. Likewise, simulation results indicate that targeting the poor and smallholder farmers is more cost- and impact-effective than universal coverage of the population. Better targeting not only reduces the Malawian Government?s direct costs for providing benefits, but also reduces the total costs of a targeted program. Though administrative costs increase with finer targeting, the results indicate that the overall benefits outweigh the costs of targeting. Likewise, finer targeting reduces the costs of leakage by a sizable margin and produces the highest impacts on poverty compared to universal regimes. However, the finest redistribution does not consistently yield the best transfer efficiency, nor does it consistently improve post-transfer poverty. Furthermore, the newly designed system appears to be more cost-efficient than the 2000/2001 Starter Pack and the 2006/2007 Agricultural Input Support Program (AISP). While the Starter Pack and the AISP transferred about 50% of total transfer, under the new system about 73% of transfer is delivered to the poor and smallholder farmers. Likewise, under the new proxy system the costs of leakage are cut down by 55% and 57% for the Starter Pack and AISP, respectively. Thus, under the new system it is possible to reduce leakage and undercoverage rates and improve the cost and transfer efficiency of development programs in the country. The proxy indicators selected reflect the local communities? understandings of poverty and include variables from different dimensions, such as demography, education, housing, and asset ownership. These indicators are objective and most can be easily verified. However, the collection of information on those indicators might entail an effective verification process. Likewise, the emphasis put on proxy means tests in this research does not imply that other potential targeting methods should be disregarded. Indeed, proxy means tests are not perfect at targeting; the system developed can be combined with other methods in a multi-stage targeting process. Furthermore, targeting can be a politically sensitive issue; the system developed does not take into account the reality that policy makers, program managers, or development practitioners may adjust eligibility criteria due to political, administrative, budgetary, or other reasons. The models developed can be used in a wide range of applications, such as identifying the poor and smallholder farmers, improving the existing targeting mechanisms of agricultural input subsidies, assessing household eligibility to welfare programs and safety net benefits, producing estimates of poverty rates and monitoring changes in poverty over time as the country and donors cannot afford the costs of frequent household expenditure surveys, estimating the impacts of development policies targeted to those living below the poverty line, and assessing the poverty outreach of microfinance institutions operating in the country. This broad range of applications makes the models potentially interesting policy tools for the country. However, the models developed are not sufficient. They must also be coupled with investments in education, rural infrastructure, economic growth related sectors, and strong political will to impact on the welfare of Malawian people. The research also provides a framework for developing and evaluating a simple and reasonably accurate system for reaching the poor and smallholder farmers in Malawi, but the methodology can be useful in other areas of applied research and replicated in other developing countries with similar targeting problems.

Es ist eine generell akzeptierte Annahme, dass öffentliche Politikmaßnahmen eine wichtige Rolle bei der Armutsbekämpfung und bei der Entwicklung von Wirtschaftswachstum spielen können. Als Antwort auf die weitverbreitete Armut und endemische Ernährungsunsicherheit haben die Entscheidungsträger Malawis verschiedene Programme, insbesondere die Subventionierung landwirtschaftlicher Betriebsmittel, die ein wichtiges Element der Entwicklungspolitik des Landes darstellen, entwickelt. Um diese Programme gezielt auf die Armen und Kleinbauern des Landes auszurichten, bauen die Verantwortlichen meist auf gemeindebasierte Systeme bei denen lokale Behörden Programmbegünstigte auf Basis der Beurteilung der jeweiligen Lebensbedingungen der Haushalte identifizieren. Die meisten dieser Programme sind jedoch durch eine schlechte Zielgenauigkeit gekennzeichnet und hohe Anteile des Nutzens der Programme gehen aufgrund verschiedener Faktoren, darunter lokale Vorstellungen, Vetternwirtschaft, Missbrauch, Mangel an Verständnis für die Zielkriterien, politische Interessen etc, irrtümlicherweise an Nicht-Arme. Fast alle Maßnahmen im Land leiden unter einer unzureichenden Zielgenauigkeit. Daher untersucht diese Arbeit potenzielle Methoden und Modelle, die die Zielgenauigkeit von Agrar- und Entwicklungsmaßnahmen des Landes verbessern können. Darüber hinaus schätzen wir die Kosteneffektivität und Auswirkungen einer Fokussierung auf Arme und Kleinbauern. Es wird häufig argumentiert, dass zielgruppengenaue Programme nicht kosteneffektiv sind und dass, wenn sämtliche Kosten der Zielgruppenfindung berücksichtigt werden, ein gut abgestimmtes zielgruppenorientiertes Programm nicht kosteneffizienter wäre und keine größeren Effekte auf die Armutsreduzierung hätte als ein generelles Programm. Wir untersuchen diese These anhand von Haushaltsdaten aus Malawi. Darüber hinaus bewerten wir, ob die Administration und Durchführung von Entwicklungsprogrammen mit Hilfe der neu entwickelten Modelle zielgruppengenauer und kosteneffizienter ist als bisherige Programme zur Subventionierung von landwirtschaftlichen Betriebsmitteln, insbesondere das Starter Pack von 2000/2001 und das Agricultural Input Support Program (AISP) von 2006/2007. Unter Verwendung von Daten des Malawi Second Integrated Household Survey (IHS2) und einer Reihe von Schätzmethoden mit schrittweiser Auswahl von Variablen entwickeln wir empirische Modelle zur Verbesserung der Armutsminderung durch Agrar- und Entwicklungsprogramme im ländlichen und städtischen Malawi. Zusätzlich analysiert die Arbeit die über die Stichprobe hinausgehende Güte der verschiedenen Modelle bei der Identifizierung der Armen und Kleinbauern. Die Robustheit der Modelle wurde darüber hinaus mit Hilfe von Bootstrapping-Simulationen für die Vorhersageintervalle außerhalb der Stichprobe geschätzt. Die Schätzergebnisse legen nahe, dass mit dem neuentwickelten System eine fehlgerichtete Ausrichtung erheblich reduziert werden kann und dass die Zielgruppenausrichtung von Entwicklungsmaßnahmen im Vergleich zu bisher im Land genutzten Mechanismen verbessert werden kann. Die Ergebnisse legen nahe, dass die angewendeten Schätzmethoden alle die gleiche Zielgenauigkeit erreichen. Das ländliche Modell erreicht bei Kalibrierung auf die nationale Armutslinie eine Genauigkeit bei der Erreichung von Armen von 72% und ein Durchsickern an Nichtzielgruppen von 27%. Auf der anderen Seite erreicht das städtische Modell im Durchschnitt eine Zielgruppengenauigkeit von 62% und ein Durchsickern von 39% (ebenfalls bei Kalibrierung auf die nationale Armutslinie). Diese Ergebnisse werden ebenfalls durch die Receiver Operating Characteristic (ROC) Kurven der Modelle bestätigt, die keine beträchtlichen Unterschiede zwischen der aggregierten Vorhersagegenauigkeit der Schätzmodelle zeigen. Die ROC-Kurve ist ein mächtiges Werkzeug das von Programmverantwortlichen und Projektmanagern zur Entscheidungsfindung darüber genutzt werden kann, wieviele Arme ein Programm oder eine Entwicklungsmaßnahme erreichen soll und wieviele fälschlicherweise begünstigte Nicht-Arme gefördert werden. Die Kalibrierung der Modelle auf eine höhere Armutslinie verbessert ihre Zielgenauigkeit, während eine Kalibrierung auf eine niedrigere Linie zum Gegenteil führt. Zum Beispiel erreicht das ländliche Modell bei Verwendung der internationalen Armutslinie von 1,25 USD (d.h. MK 59,18 PPP) etwa 82% der Armen und fördert fälschlicherweise nur 16% der Nicht-Armen. Auf der anderen Seite verschlechtert die Verwendung einer extremen Armutslinie von MK 29,81 die Genauigkeit und das Durchsickern der Modelle: Das ländliche Modell erzielt eine Armutsgenauigkeit von 51% und ein Durchsickern von 39% während das städtische Modell eine Genauigkeit von 28% und ein Durchsickern von 68% erreicht. Darüber hinaus deutet ein Herunterbrechen der Fehlausrichtungen nach Armutsdezilen an, dass die Modelle in Bezug auf die fälschlicherweise Begünstigten gut funktionieren: Sie decken die meisten der ärmsten Dezile ab, während die meisten der reichsten Dezile nicht berücksichtigt werden. Diese Ergebnisse haben naheliegende wünschenswerte Wohlfahrtseffekte für Arme und Kleinbauern. Es ist wichtig zu erwähnen, dass die ausgewählten Modelle Armut nicht erklären sondern lediglich voraussagen können. Ein kausaler Zusammenhang kann auf Grundlage der Ergebnisse nicht hergestellt werden. Es bestehen zwingende Anhaltspunkte zu Gunsten von Zielgruppenorientierung da auch die Berücksichtigung sämtlicher Kosten die Zielgruppenorientierung nicht kosten- und ergebnisineffizient werden lässt. Die Ergebnisse legen nahe, dass das neue System erheblich genauer und zieleffizienter ist als der bisher verwendete Mechanismus zur zielgruppengenauen Programmgestaltung für landwirtschaftliche Betriebsmittel. Ebenso deuten die Simulationsergebnisse an, dass die Fokussierung auf Arme und Kleinbauern kosten- und ergebniseffektiver ist als eine globale Erfassung der gesamten Bevölkerung. Bessere Zielgruppenausrichtung verringert nicht nur die direkten Kosten der Regierung Malawis für unterstützende Maßnahmen sondern reduziert auch die Gesamtkosten eines Programms. Obwohl die administrativen Kosten mit genauerer Zielgruppenausrichtung ansteigen, zeigen die Ergebnisse, dass die Vorteile insgesamt die Kosten überwiegen. Ebenso verringert eine genauere Ausrichtung die Kosten für das Durchsickern in großem Maßstab und sorgt für die größten Auswirkungen auf die Armut verglichen mit generellen Verfahren. Mit steigender Genauigkeit der Ausrichtung erhöht sich jedoch weder in jedem Fall die Verteilungseffizienz, noch verringert sich in jedem Fall die Folgearmut. Weiterhin scheint das neu entwickelte System kosteneffizienter zu sein als das Starter Pack von 2000/2001 und das Agricultural Input Support Program (AISP) von 2006/2007. Während das Starter Pack und das AISP etwa 50% sämtlicher Mittel an Arme und Kleinbauern verteilen, erreichen unter dem neuen System etwa 73% der Mittel Arme und Kleinbauern. Ebenso werden unter dem neuen System die Kosten des Durchsickerns um 55% gegenüber dem Starter Pack und um 57% gegenüber dem AISP gesenkt. Unter dem neuen System ist es daher möglich, Durchsickern und Fehlallokation zu verringern und die Kosten- und Verteilungseffizienz von Entwicklungsprogrammen des Landes zu verbessern. Die ausgewählten Indikatoren spiegeln das Armutsverständnis lokaler Gemeinden wider und beinhalten demografische Variablen ebenso wie Bildung, Lebensverhältnisse und Eigentum. Diese Indikatoren sind objektiv und die meisten können leicht verifiziert werden. Die Sammlung von Informationen bezüglich dieser Indikatoren könnte jedoch effektiv einen Überprüfungsprozess darstellen. Es sollte erwähnt werden, dass der Schwerpunkt in dieser Arbeit zwar auf Proxy Means Tests gelegt wurde, was aber nicht impliziert, dass andere mögliche Methoden zur Zielgruppenfokussierung abgelehnt werden sollten. Proxy Means Tests sind tatsächlich nicht einwandfrei bei Armutsidentifizierung und das entwickelte System kann in einem Mehrstufenprozess mit anderen Methoden kombiniert werden. Zielgruppenfokussierung kann darüber hinaus eine politisch sensible Angelegenheit sein; das entwickelte System berücksichtigt nicht die Tatsache, dass Programmverantwortliche und Projektmanager oder Entwicklungshelfer die Kriterien zur Anspruchsberechtigung aufgrund von politischen, verwaltungs- und haushaltsbezogenen oder anderen Gründen anpassen. Die entwickelten Modelle können in einem weiten Spektrum von Fällen verwendet werden, z.B. bei der Identifizierung von Armen und Kleinbauern, bei der Verbesserung bestehender Vergabemechanismen für subventionierte landwirtschaftliche Betriebsmittel, bei der Beurteilung der Anspruchsberechtigung von Haushalten, zur Schätzung von Armutshöhe und beim Monitoring von Armutsveränderungen im Zeitverlauf. Da sich das Land und Geldgeber die Kosten häufiger Untersuchungen zu den Lebenshaltungskosten der Haushalte oft nicht leisten können, sind die Modelle auch hilfreich bei der kostengünstigen Schätzung der Auswirkungen von Entwicklungsprogrammen die auf Bedürftige unterhalb der Armutslinie abzielen und bei der Beurteilung der Armutsbekämpfung von im Land tätigen Mikrofinanzinstitutionen. Diese große Bandbreite von Anwendungen lässt die Modelle zu potenziell interessanten Politikinstrumenten für das Land werden. Die entwickelten Modelle sind jedoch nicht ausreichend. Sie müssen einhergehen mit Investitionen in Bildung, ländliche Infrastruktur, Wirtschaftswachstum in verwandten Wirtschaftssektoren und mit einem starken politischen Willen, die Wohlfahrt der Bevölkerung Malawis zu steigern. Diese Arbeit stellt ein Grundgerüst für die Entwicklung und Bewertung eines einfachen und recht genauen Systems zur Identifizierung von Armen und Kleinbauern in Malawi bereit, doch die Methodik kann auch in anderen Bereichen angewandter Forschung nützlich sein und kann in anderen Entwicklungsländern mit ähnlichen Problemen bei der Zielgruppenfokussierung repliziert werden.