Mentorluk işe yarıyor iddiası hangi karşılaştırmaya dayanıyor

İddia tam olarak neye dayanıyor

Mezun mentorluk programlarının dönem sonu raporları büyük ölçüde birbirine benziyor: katılımcıların çoğunluğu programdan memnun olduğunu, önemli bir bölümü kariyerine katkı gördüğünü, çoğu da programı bir başkasına tavsiye edeceğini söylüyor. Bu cümlelerin hepsi doğru olabilir. Hepsi birden doğru olsa bile programın işe yaradığını göstermez. Göstermesi için, mentorluk almamış ama başka bakımlardan benzer bir grubun aynı dönemde nereye geldiğinin bilinmesi gerekir.

Memnuniyet ile sonuç aynı şey değil

Ayrım burada başlıyor. Alandaki program değerlendirme rehberleri sonuçu, katılımın kendisinden kaynaklanan tutum, davranış veya bilgi değişimi olarak tanımlıyor ve bunu memnuniyet ölçümlerinden ayrı tutuyor [3]. Memnuniyet, programın nasıl yürütüldüğüne dair bir göstergedir; kişinin katılmasaydı nerede olacağına dair bilgi taşımaz. İki ölçü aynı ankette yan yana durduğu için çoğu zaman aynı kanıt sanılıyor.

Karşılaştırma olmadan ayrıştırılamayan iki şey

Yöntemsel eleştirilerde tekrar eden ilk sorun, öncesi–sonrası ölçümlerin doğal gelişimi programın hanesine yazması. İkincisi seçilim yanlılığı: programa kendi isteğiyle başvuran kişiler, ölçülmemiş yönlerden başvurmayanlardan sistematik olarak farklı olabilir [2]. Meta-analiz yazarları aynı olasılığı tersinden dile getiriyor; mentor bulabilmek, ilişkinin sonucu kadar önkoşulu da olabilir [1].

Ölçülebilen etkinin büyüklüğü

Eby ve arkadaşlarının derlemesi (Journal of Vocational Behavior, 2008), 1985–2006 arasında yayımlanmış 112 çalışmadan 116 bağımsız örneklemi birleştiriyor: 53'ü işyeri, 40'ı gençlik, 23'ü akademik mentorluk [1]. Bildirilen korelasyonlar alana göre değişiyor; gençlik mentorluğunda .03 ile .14, işyerinde .03 ile .19, akademik mentorlukta .11 ile .36 aralığında. Yazarların kendi değerlendirmesi açık: etkilerin tamamı küçük ve okuru mentorluğun potansiyel etkisini abartmamaya çağırıyorlar [1]. Aynı çalışma, örneklemlerin çoğunun kesitsel ve deneysel olmayan tasarımlar olduğunu, bu nedenle korelasyonların nedensel bir etkiyi yansıtıp yansıtmadığının bilinemeyeceğini de not ediyor.

Gençlik mentorluğuna odaklanan daha yeni bir derleme ise 70 sonuç çalışmasında ortalama .21 düzeyinde bir etki bildiriyor ve bunu mütevazı sayıyor; aktarılan bilgiye göre önceki kapsamlı meta-analizlerde de aralık .18–.21 [4]. Yani ölçülen etki büyüklüğü, uygulama pratiklerindeki gelişmeye rağmen belirgin biçimde artmış görünmüyor.

Bir programın kendi verisiyle kurabileceği asgari karşılaştırmalar

Rastgele atama çoğu mezun programı için gerçekçi değil. Buna karşılık kayıtlarda zaten var olan üç tasarım, memnuniyetten daha fazlasını söyleyebilir:

1. Başvurup eşleşemeyenler. Aynı çağrıya başvurmuş, ancak uygun mentor bulunamadığı için eşleşememiş kişiler doğal bir karşılaştırma grubudur; iki grup da başvurma kararını vermiştir, bu da seçilim farkının bir bölümünü kapatır. Sınırı şudur: eşleşememe rastgele değilse — örneğin belirli mesleklerde mentor kıtlığı varsa — fark yeniden içeri sızar ve bunun raporda yazılması gerekir.
2. Bekleme listesi. Kapasite zaten talebin altındaysa, sıraya alma bir tasarıma dönüştürülebilir: sonraki döneme kalanlar, önceki dönemin karşılaştırma grubudur. Rehberler bu kurguda karşılaştırma grubunun hizmeti almadığını açıkça hatırlatıyor [3]; bu yüzden gecikme süresi kısa tutulmalı ve gerekçesi kapasiteye bağlı kalmalı.
3. Kohort öncesi–sonrası izleme. Girişte ve çıkışta aynı soruların sorulması nedensellik kurmaz; ama ölçümü memnuniyetten sonuca taşır [3]. Üçünün en zayıfıdır, yine de hiç ölçmemekten farklıdır.

Rastgele atamanın mümkün olmadığı durumlar için literatürde önerilen ara çözüm, katılımcıları yaş, bölüm, mezuniyet yılı ve giriş ölçümleri üzerinden eşleştirmek ya da eğilim skoru eşleştirmesi kullanmak [2][3]. Bunların hiçbiri deneyin yerini tutmaz; hepsi, karşılaştırmasız bir rakamdan daha az yanıltır.

Karşılaştırma yalnız abartıyı değil, kötümserliği de önler

DuBois ve arkadaşlarının 1999–2010 arasında 73 bağımsız değerlendirmeyi tarayan incelemesinde dikkat çekici bir örüntü aktarılıyor: en yaygın durum, mentorluk alanların ölçütlerde ilerlemesi ve almayanların gerilemesi [5]. Pratik karşılığı şu: karşılaştırma grubu olmayan bir programda yatay seyreden bir gösterge başarısızlık gibi okunur; oysa karşılaştırma grubu aynı dönemde geriye gittiyse, aynı yatay çizgi bir kazanımdır. Karşılaştırmanın yokluğu tek yönde değil, iki yönde birden yanıltıyor.

Sonuç olarak tartışma, mentorluğun değerli olup olmadığı değil. Ölçülen etkiler küçük ama gerçek. Asıl mesele, bir programın kendi başarısını anlatırken hangi karşılaştırmaya dayandığını açıkça yazıp yazmadığı — ve yazmıyorsa, elindeki başvuru kayıtlarının çoğu zaman buna zaten yettiği.