DRM LISTS CREATED WITH CHATGPT: ANALYSING RECOGNITION MEMORY WITH CLIMATE-CHANGE THEMED LISTS


ŞAHİN G.

ÖNERİ, vol.19, no.62, pp.1-17, 2024 (Peer-Reviewed Journal) identifier

  • Publication Type: Article / Article
  • Volume: 19 Issue: 62
  • Publication Date: 2024
  • Doi Number: 10.14783/maruoneri.1363643
  • Journal Name: ÖNERİ
  • Journal Indexes: TR DİZİN (ULAKBİM)
  • Page Numbers: pp.1-17
  • Karadeniz Technical University Affiliated: Yes

Abstract

Machine learning and natural language processing have led to the development of powerful language models such as ChatGPT, which can generate consistent and human-like responses to a wide range of queries. In many domains, ChatGPT provides appropriate responses to given commands. One of the aims of this study is to investigate the use of these association lists, such as the Deese-Roediger-McDermott (DRM) lists popular in cognitive psychology studies, by ChatGPT by giving the necessary instructions. The same method was then used to create association lists around a specific topic (climate change). The results of the first study showed that participants gave more false answers when discriminating whether critical words were presented during the test phase than when related and unrelated words were presented. This finding shows that DRM lists generated by ChatGPT can be used to search for memory errors. In line with the literature, false answers for critical words were predominantly rated as ‘remember’. The results of the second study, which was applied to the lists created on the topic of climate change and compared the responses of the groups with the climate denial scores, show that there is no significant difference in the emergence of false memories between the two groups. The level of climate change denial did not significantly affect the participants’ responses to the critical words in the climate- related lists. The low level of climate denial in the sample is a limitation of this study. It is recommended that future studies compare memory performance across an appropriate sample.
Makine öğrenimi ve doğal dil işleme, ChatGPT gibi çok çeşitli istemlere karşılık tutarlı ve insan benzeri yanıtlar üretebilen güçlü dil modellerinin geliştirilmesine yol açmıştır. Birçok alanda, ChatGPT verilen komutlara uygun yanıtlar sağlamaktadır. Bu çalışmanın amaçlarından biri, bilişsel psikolojide bellek yanılgıları çalışmalarında popüler olan Deese-Roediger-McDermott (DRM) listelerinin benzerlerinin, gerekli yönergeler verilerek ChatGPT tarafından oluşturulması ile bu çağrışım listelerini kullanarak bellek yanılgılarını incelemektir. Devamında aynı yöntem belirli bir tema çerçevesinde (iklim değişikliği) çağrışım listelerinin oluşturulması için kullanılmıştır. İlk çalışmanın sonuçları, katılımcıların test aşamasında kritik kelimelerin sunulup sunulmadığını ayırt etmekte ilişkili ve ilişkisiz kelimelere kıyasla daha fazla yanlış yanıt verdiklerini ortaya koymuştur. Bu bulgu ChatGPT ile oluşturulan DRM listelerinin de bellek yanılgılarını araştırmaya imkan verdiğini göstermektedir. Bununla birlikte kritik kelimeler için verilen yanlış yanıtlar, literatürle uyumlu şekilde, ağırlıklı olarak ‘hatırlıyorum’ şeklinde değerlendirilmiştir. İklim değişikliği temasında hazırlanan listelerle uygulanan ve iklim inkarı puanları ile gruplanan kişilerin yanıtlarının karşılaştırıldığı ikinci çalışmanın sonuçları, iki grup arasında yanlış yanıtların ortaya çıkmasında anlamlı bir fark olmadığını göstermektedir. İklim değişikliğini reddetme düzeyi, katılımcıların iklim temalı listelerdeki kritik kelimelere verdikleri yanıtları anlamlı düzeyde etkilememiştir. Örneklemin genelinde iklim inkarının düşük düzeyde olması bu çalışmanın bir sınırlılığıdır. İleride yapılacak çalışmalarda uygun örneklem üzerinden bellek performansının karşılaştırılması önerilmektedir.