Design av statistiska undersökningar och statistiska system – komplexa beslutsprocesser Bo Sundgren 2010-03-06
Att utforma en statistisk undersökning kan betraktas som en komplex beslutsprocess. Det gäller förstås i ännu högre grad design av statistiska system, bestående av många undersökningar, register, databaser m.m. För att se likheter med andra komplexa beslutsprocesser kan man beskriva design av en statistisk undersökning på följande sätt:
Det finns flera intressenter i beslutsprocessen, t.ex. o finansdepartementet som statistikanvändare och finansiär o fackdepartement som statistikanvändare och finansiärer o forskare och analytiker som statistikanvändare och ibland finansiärer o företag som statistikanvändare och uppgiftslämnare o allmänheten som statistikanvändare och uppgiftslämnare o lärare och studenter o journalister
Olika intressenter har olika, och delvis motstridiga (önske)mål beträffande statistikens innehåll, kvalitet (olika aspekter: relevans, aktualitet, precision, jämförbarhet, etc) samt kostnader (inkl uppgiftslämnarbörda)
Även varje intressent för sig har delvis motstridiga (önske)mål på statistiken i nämnda avseenden
Det finns ett mycket stort antal beslutsalternativ (tänkbara designer) som kan vara svåra att överblicka på ett systematiskt sätt – och ännu svårare att utvärdera och jämföra vad gäller utfall i förhållande till de olika intressenternas olika (önske)mål, särskilt som vissa faktorer kan vara kvantifierbara (på olika sätt), samtidigt som andra inte är det
Den här typen av beslutssituationer förekommer i många olika sammanhang, och det finns forskning i beslutsanalys, bl.a. vid Stockholms universitet, Institutionen för data- och systemvetenskap (DSV), som studerar sådana beslutsproblem och tar fram verktyg som stöd för beslutsprocesserna. Några typiska drag i nu pågående forskning är att man fokuserar på att
få en konstruktiv samverkan mellan olika intressenter under hela beslutsprocessen strukturera beslutsalternativen på ett överblickbart sätt strukturera olika intressenters önskemål och preferenser bl.a. med hjälp av vikter göra beslutsprocessen transparent, bl.a. med hjälp av känslighetsanalyser hitta satisfierande och paretooptimala lösningar, lösningar som intressenterna ”kan leva med”, snarare än totaloptimala lösningar (som knappast finns) ta fram metoder och verktyg/verktygslådor som stöder den komplexa beslutsprocessen enligt ovan
1
Ett vanligt tillämpningsområde för dessa teorier, metoder och verktyg för beslutsanalys och beslutsstöd, som bl.a. EU satsar mycket på inom sina forskningsprogram, är konstruktiv medborgarmedverkan i politiska beslutsprocesser, särskilt på lokal nivå, beslutsprocesser där medborgarna vanligen har kommit in relativt sent i processen och därvid ofta varit hänvisade till passivt informationsmottagande alternativt högljutt men relativt onyanserat protestengagemang med inriktning på att stoppa något. En forskargrupp vid DSV har tagit fram en beslutsprocessmodell och en verktygslåda för denna typ av processer, DSV-DECIDE. Modellen och verktygslådan har prövats i ett antal projekt, bl.a. i några svenska kommuner, och beskrivs kortfattat i bifogade appendix, ”The DSV-DECIDE model for participative decision analysis and decision support”, som togs fram i anslutning till en ansökan om forskningsstöd från EU. Tillämpningarna kan t.ex. gälla lokalisering av oattraktiva verksamheter (som ingen vill ha på sin bakgård) eller projekt med mångfacetterade och komplicerade miljökonsekvenser. Enligt Lasse Lyberg är det ännu relativt sparsamt med artiklar och böcker i den statistiska metodlitteraturen, som behandlar avvägningar mellan olika (önske)mål vid design av statistiska undersökningar, t.ex. avvägningar mellan olika kvalitetsaspekter och mellan kostnader och olika kvaliteter hos statistiken. Han har dock själv tillsammans med Paul Biemer givit ett bidrag i boken ”Introduction to Survey Quality” (Wiley, 2003), kapitel 10. En möjlig fortsättning av den diskussion, som Lyberg&Biemer för i nyssnämnda bok, och den diskussion som Eva Elvers tar upp i sitt underlag till SCB:s Vetenskapliga råd, vore att SCB inledde en diskussion med forskargruppen kring beslutsanalys och beslutsstöd vid Stockholms universitet, DSV. Det bedrivs också kvalificerad forskning och metod- och verktygsutveckling i dessa frågor vid universitet och forskningsinstitutioner i andra länder.
2
Appendix. The DSV-DECIDE model for participative decision analysis and decision support
Bo Sundgren, Aron Larsson 2009-08-14 The DSV-DECIDE model enhances traditional decision models in a representative democracy by enabling citizens concerned by a decision to provide input in a constructive way in all steps of the decision-making process. This is in contrast to decision-making processes, where politicians and civil servants have already by and large made up their minds, before the citizens are possibly involved – if they are involved at all – and where the citizens concerned can then do little except trying to stop the decision. The DSV-DECIDE model also enhances traditional decision models used by governmental bodies and public agencies by enabling the people involved in the decision-making process to get a multi-faceted and nuanced understanding of all factors affecting and being affected by the decision, both more or less objective, fact-oriented factors, and more subjective and valueoriented factors. Stakeholders and decision-makers could vary the assumptions concerning different factors, and relationships between factor, thus increasing the transparency of the decision-making process, and getting a good feeling for the sensitivity or robustness of the optimal outcome of the decision to variations of different assumptions in the decision model. The model has been applied and evaluated in a smaller number of public decision processes reported in Danielson et al. (2005, 2008, 2009a. 2009b). The DSV-DECIDE model is not the only model of its kind. There are similar models proposed or investigated in, e.g., Hämäläinen et al. (2001), Bollinger and Pictet (2003) and others. An excellent overview of models and various tools in this area is given by Rios Insua et al. (2007) in their paper “Towards decision support for participatory democracy”. Typcial characteristics of the DSV-DECIDE model are:
The decision process model is closely associated with a tool, or rather a tool box, the DECIDE tool box.
The decision process model is structured into three layers: o The stakeholder layer, containing the political process and the interaction with the citizens. o The investigation layer, consisting of the local government‟s internal administrative process, where decision makers and civil servants are stimulated in order to arrive at reasonable sets of alternatives and civil servants make investigations and assessments necessary for taking the process futher. External consultancy firms may also be utilised. o The analysis layer, or inner decision layer, into which the data from the other two layers are entered and modelled by using techniques and tools from the area of multi-criteria decision analysis; the values and views of the decision makers (and possibly stakeholders) are incorporated as weights or rankings of the criteria together with assessments of the different decision alternatives score (or fulfilment) with respect of each criterion. 3
Great emphasis is put on sensitivity analysis, that is, the sensivity of the outcome of the decision to changes in preferences, priority weights or rankings of criteria, taking into account that different stakeholders may very well differ in their values and views. Among other things, the sensitivity analysis may help to find solutions that will be more satisfactory to some stakeholders than other alternatives, without really “hurting” the interests of other stakeholders. Thus, it can be viewed as a tool for search of a perceived Pareto optimality.
So far, most of the development and practical use of the DSV-DECIDE model has been internal part of the decision process (the investigation layer and the analysis layer), involving politicians (decision makers) and civil servants (experts). A natural next step is to expand the involvement of external stakeholders in a structured way, that is, citizens, businesses, and others, affected one way or the other by the decision under consideration. This step will involve development and deployment of tools as well as new and adequate decision process models, including testing and theoretical development of decision process models, methods, and tools in practical applications. Naturally, this step requires access to „real‟ decision makers and decision problems or opportunities. References D. Bollinger and J. Pictet (2003): Potential use of e-democracy in MCDA processes. Analysis on the basis of a Swiss Case. Journal of Multi-Criteria Decision Analysis 12, pp. 65-76. D. Rios Insua, G. E. Kersten, J. Rios, and C. Grima (2007): Towards decision support for participatory democracy. Information Systems and E-Business Management 6(2), pp. 161191. M. Danielson, L. Ekenberg, A. Larsson, and M. Riabacke (2009a): Transparent public decision making. Forthcoming. M. Danielson, L. Ekenberg, A. Larsson, and M. Riabacke (2009b): Structured eDemocracy beyond eDiscussion. Proceedings of eChallenges 2009. M. Danielson, L. Ekenberg, Å. Grönlund, and A. Larsson (2005): Public decision support – using a DSS to increase democratic transparency. International Journal of Public Information Systems 2005:1, pp 3-25 M. Danielson, L. Ekenberg, A. Ekengren, T. Hökby, and J. Lidén (2008): Decision process support for participatory democracy. Journal of Multi-Criteria Decision Analysis 15, pp. 1530 R.P. Hämäläinen, E. Kettunen, M. Marttunen, H. Ehtamo (2001): Evaluating a framework for multistakeholder decision support in water resources management. Group Decision and Negotiation 10(4), pp. 331–353
4
