1/8/2015

What is evaluation?

Evaluating palliative care  services – practical tips

Why evaluate? Quality * Improvement * Funding • • • • • •

Are we doing a good job? How can we improve? What do patients, families and staff think? How do we compare with others? Are we providing good value? Can we get funding? 

How could we evaluate? • • • • • •

Keep good records Team discussions Ask people individually Ask people in groups Paper or online surveys Compare with research

1

1/8/2015

When could we evaluate?

Plan What do we  want to achieve? Increase number  of people  recei ing receiving palliative care Families feel  more supported

Survey

Asking questions

Please answer these questions to help us.

1. Focus on your goals

What is your name? When did you come to have your white blood cells measured? How old are you?

How will we  How will we  know we did it? measure it? 10% increase  • Records of  since last year patients seen  this ear and this year and  last year 50% of families  • Ask at clinic /  say they feel  homes visits supported • Quick survey

20-30 30-40 40-50

We have made lots of improvements recently. Do you like it? Are most of the doctors and nurses here good at palliative care?

• Make sure every question is needed for your goal • Keep it as short as possible 2. Be clear and simple • • • • • •

Can a five year old understand it? Test on friends & colleagues Have clear intro and hand in instructions Use really easy questions at the start Leave age, gender etc until the end Be as precise as possible (don’t say ‘usually’) Avoid medical words (eg hypertension)

2

1/8/2015

3. Use questions that are easy to answer and analyse • • • • • •

Use multi‐choice and scales as much as possible Open questions give more detail – include at least one Use equal number of positive / negative in scales Try to avoid ‘don’t know’ / ‘neutral’  Mutually exclusive answers (only one possible) Avoid questions asking to rank – hard to answer

4. Avoid common pitfalls of survey design • • • • • •

Don’t have open ended question first Don’t ask two questions at once (double barrelled) Avoid leading questions (eg overly positive wording) Avoid assumptions about what people know / did Make sure there is enough space / looks nice Use large writing

Examples

Top tips • • • • • • •

Use pictures and simple tools Do it regularly Ask staff and patients the best way to do it A k t ff ti t Ask staff, patients and families for feedback d f ili f f db k Compare change over time Use it to improve Publicise your results

Examples “My sister will die, but  having cancer does not  mean she cannot still live a  good life now and see her  children grow She does not children grow. She does not  need to be always in pain.  She needs to eat good and  have medicine. That is what  I learnt from the nurse.”

3

1/8/2015

STEP‐UP • Keep it simple so you do it regularly. It is a  routine part of your work, not an added extra  • Get help with survey questions or other tools  but don’t rely on other people to evaluate  what you do this is a core part of your work what you do – this is a core part of your work • Remember the point is to answer ‘so what’ – people’s stories and photos are just as  important as numbers because it is all about  the impact we are having

4