Cilt 7, Sayı 3, Sayfalar 265 - 277 2017-09-30

Simulation Study on Performance of Balance Metrics in Propensity Score Weighting Method
Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması

Osman Demir [1] , Anıl Dolgun [2] , İlker Etikan [3] , Yunus Emre Kuyucu [4] , Osman Saraçbaşı [5]

27 60

Objective: In the situation that randomization is not avaliable, to minimize the biasness in treatment arm assignments, the use of propensity score weighting method and the assessment of performances related to results obtained from generalized boosted and multinomial logistic regression (MLR) of propensity score weighting are aimed. 

Method: Results obtained from MLR and GBM are to compare with the help of a simulation study. In simulation study, data with n=500, 1000, 2000 sample size will be derived using 1000 repetitions on seven scenarios with three categorized treatment group, continuous outcome variable and continuous/binary covariates. The propensity weights will be found with the help of Propensity scores obtained from MLR and GBM and using these weights, the balance will be assessed using balance metrics with average treatment effect estimation (ATE). In study, “twang” package in R program is used. 

Results: As the number of samples increases, the balance values decreases more, so it seems that the biasness has fallen. As the scenarios become more complex, GBM produces better balance results. There are better results for MLR at main effect model. Trimming or removing excess weights ensures improving of balance.


Amaç: Randomizasyonun sağlanamadığı durumlarda bireylerin tedavi kollarına atanmasında yanlılığı minimize etmek için propensity skor ağırlıklandırma yönteminin kullanılmasını ve bu yöntemin genelleştirilmiş boosted ve çok kategorili lojistik regresyondan elde edilen bulgulara ilişkin performanslarının değerlendirmesini amaçlamaktadır. 

Yöntem: Çok kategorili lojistik regresyon (MLR) ve genelleştirilmiş boosted modelden (GBM) elde edilen sonuçlar bir benzetim çalışması yardımıyla karşılaştırılacaktır. Benzetim çalışmasında üç kategorili tedavi grubu, sürekli yanıt değişkeni ve sürekli/dikotom ortak değişkenlerin olduğu, yedi farklı senaryo üzerinde 1000 tekrar kullanılarak, n=500, 1000, 2000 örneklem büyüklüğüne sahip veriler türetilecektir. MLR ve GBM’den elde edilen propensity skorları yardımıyla propensity ağırlıklarına ulaşılacak ve bu ağırlıkları kullanarak, tedavi etkilerini değerlendirmede kullanılan, ortalama tedavi etkisi (OTE) kestirimi ile denge metrikleri kullanılarak, dengenin değerlendirmesi yapılacaktır. Çalışmada R programındaki “twang” paketi kullanılacaktır. 

Bulgular: Örneklem sayısı arttıkça denge değerlerinin daha azaldığı dolayısı ile yanlılığın düştüğü görülmektedir. Senaryolar daha kompleks hale geldikçe GBM’nin daha iyi denge sonuçları ürettiği görülmektedir. Ana etkilerin olduğu bir modelde MLR için daha iyi sonuçlar görülmektedir. MLR regresyon modelden elde edilen OTE ağırlıkları kararsız ve zayıf bir denge göstermektedir. Aşırı ağırlıkların kırpılması ya da kaldırılması dengenin düzelmesini sağlamaktadır. 


  • 1.Ellenberg, S.S., Fleming, T.R.,DeMets, D.L. (2003). Data monitoring committees in clinical trials: a practical perspective: John Wiley & Sons.
  • 2.Doll, R. (1998) Controlled trials: the 1948 watershed. BMJ: British Medical Journal, 317 (7167), 1217. 3.Hannan, E.L. (2008) Randomized clinical trials and observational studies: guidelines for assessing respective strengths and limitations. JACC: Cardiovascular Interventions, 1 (3), 211-217.
  • 4.Austin, P.C. (2011) An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavioral Research, 46 (3), 399-424.
  • 5.Lee, B.K., Lessler, J.,Stuart, E.A. (2010) Improving propensity score weighting using machine learning. Statistics in medicine, 29 (3), 337-346.
  • 6.McCaffrey, D.F., Griffin, B.A., Almirall, D., Slaughter, M.E., Ramchand, R.,Burgette, L.F. (2013) A tutorial on propensity score estimation for multiple treatments using generalized boosted models. Statistics in medicine, 32 (19), 3388-3414.
  • 7.Rosenberger, W.F.,Lachin, J.M. (2002). Randomization in clinical trials: theory and practice: John Wiley & Sons.
  • 8.Alpar, R. (2010). Spor, Sağlık ve Eğitim Bilimlerinde Uygulamalı İstatistik ve Geçerlik-Güvenirlik: Birinci Baskı, Ankara: Detay Yayıncılık.
  • 9.Sümbüloğlu, V., Alpar, R.,Özdemir, P. (1998) Değişkenler Arası İlişkilerin İncelenmesi. İç Hastalıkları Dergisi, 5 (6), 416.
  • 10.Aalen, O.O.,Frigessi, A. (2007) What can statistics contribute to a causal understanding? Scandinavian Journal of Statistics, 34 (1), 155-168.
Konular Sağlık Bilimleri
Dergi Bölümü Orjinal Çalışma
Yazarlar

Yazar: Osman Demir
E-posta: mosmandemir@hotmail.com
Kurum: Gaziosmanpaşa Üniversitesi Tıp Fakültesi, Biyoistatistik Anabilim Dalı, Tokat
Ülke: Turkey


Yazar: Anıl Dolgun
E-posta: mosmandemir@hotmail.com

Yazar: İlker Etikan
E-posta: ietikan@gmail.com
Kurum: Yakın Doğu Üniversitesi, Tıp Fakültesi, Biyoistatistik Anabilim Dalı, Kıbrıs,
Ülke: Cyprus


Yazar: Yunus Emre Kuyucu
E-posta: kuyucuemre@hotmail.com
Ülke: Turkey


Yazar: Osman Saraçbaşı
E-posta: mosmandemir@hotmail.com
Kurum: Hacettepe Üniversitesi Tıp Fakültesi, Biyoistatistik Anabilim Dalı, Ankara

Bibtex @araştırma makalesi { gopctd349948, journal = {Journal of Contemporary Medicine}, issn = {}, address = {Selçuk Üniversitesi}, year = {2017}, volume = {7}, pages = {265 - 277}, doi = {10.16899/gopctd.349948}, title = {Simulation Study on Performance of Balance Metrics in Propensity Score Weighting Method}, language = {en}, key = {cite}, author = {Etikan, İlker and Kuyucu, Yunus Emre and Saraçbaşı, Osman and Demir, Osman and Dolgun, Anıl} } @araştırma makalesi { gopctd349948, journal = {Journal of Contemporary Medicine}, issn = {}, address = {Selçuk Üniversitesi}, year = {2017}, volume = {7}, pages = {265 - 277}, doi = {10.16899/gopctd.349948}, title = {Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması}, language = {tr}, key = {cite}, author = {Etikan, İlker and Kuyucu, Yunus Emre and Saraçbaşı, Osman and Demir, Osman and Dolgun, Anıl} }
APA Demir, O , Dolgun, A , Etikan, İ , Kuyucu, Y , Saraçbaşı, O . (2017). Simulation Study on Performance of Balance Metrics in Propensity Score Weighting Method. Journal of Contemporary Medicine, 7 (3), 265-277. DOI: 10.16899/gopctd.349948
MLA Demir, O , Dolgun, A , Etikan, İ , Kuyucu, Y , Saraçbaşı, O . "Simulation Study on Performance of Balance Metrics in Propensity Score Weighting Method". Journal of Contemporary Medicine 7 (2017): 265-277 <http://dergipark.gov.tr/gopctd/issue/31840/349948>
Chicago Demir, O , Dolgun, A , Etikan, İ , Kuyucu, Y , Saraçbaşı, O . "Simulation Study on Performance of Balance Metrics in Propensity Score Weighting Method". Journal of Contemporary Medicine 7 (2017): 265-277
RIS TY - JOUR T1 - Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması AU - Osman Demir , Anıl Dolgun , İlker Etikan , Yunus Emre Kuyucu , Osman Saraçbaşı Y1 - 2017 PY - 2017 N1 - doi: 10.16899/gopctd.349948 DO - 10.16899/gopctd.349948 T2 - Journal of Contemporary Medicine JF - Journal JO - JOR SP - 265 EP - 277 VL - 7 IS - 3 SN - -2146-6009 M3 - doi: 10.16899/gopctd.349948 UR - http://dx.doi.org/10.16899/gopctd.349948 Y2 - 2017 ER -
EndNote %0 Journal of Contemporary Medicine Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması %A Osman Demir , Anıl Dolgun , İlker Etikan , Yunus Emre Kuyucu , Osman Saraçbaşı %T Propensity Skor Ağırlıklandırma Yönteminde Denge Metriklerinin Performansı Üzerine Benzetim Çalışması %D 2017 %J Journal of Contemporary Medicine %P -2146-6009 %V 7 %N 3 %R doi: 10.16899/gopctd.349948 %U 10.16899/gopctd.349948