Perceptions and Uses of a Chatbot as a Course Tutor in Educational Sciences
Article Sidebar
Main Article Content
Abstract
This article examines first-year students’ use and perception of a chatbot in higher education in Belgium. With education now being accessible to most people, pedagogical adaptations are becoming necessary in modern universities. As digital tools, chatbots offer an opportunity to diversify access to educational content, offering a possible solution to the challenge of providing quality education for all. The study addresses two research questions. How do students (N=89) perceive the use of chatbots as course tutors? What is its role according to Bernatchez’s typology (2003)? The results, in line with other studies, reveal a positive evaluation in terms of effectiveness, usability, acceptability and user experience, although lower scores were observed for motivation and behaviour. The analysis shows the students’ preference for pedagogical-cognitive support from the chatbot rather than technical support. These results are in line with other studies, highlighting the effective use of chatbots in education, with few irrelevant interactions. In conclusion, the study highlights the effectiveness and acceptability of chatbots as tutors and suggests ways in which they can be integrated into personalised learning paths.
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
References
Ade-Ibijola, A. et Okonkwo, C. W. (2020). Python-Bot: A chatbot for teaching python programming. Engineering Letters, 29(1). https://www.engineeringletters.com/issues_v29/issue_1/EL_29_1_03.pdf
Albero, B., Armatte, M. Linard, M., et Robin, J. Y. (2008). Petite fabrique de l’innovation à l’université : quatre parcours de pionniers. Harmattan.
Arnoldi, A. (2022). Comment évaluer un chatbot comme assistant de cours utilisé en formation à distance? [Mémoire, Université de Genève]. https://tecfa.unige.ch/tecfa/maltt/memoire/Arnoldi2022.pdf
Baah, P. K. Essel, H. B., Johnson, E. E., Tachie-Menson, A., et Vlachopoulos, D. (2022). The impact of a virtual teaching assistant (chatbot) on students’ learning in Ghanaian higher education. International Journal of Educational Technology in Higher Education, 19(1), 1-19. https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-022-00362-6 DOI: https://doi.org/10.1186/s41239-022-00362-6
Barr, R.B., et Tagg, J. (1995). From teaching to learning: A new paradigm for undergraduate education. Change, 27(6), 13 25. https://doi.org/10.1080/00091383.1995.10544672 DOI: https://doi.org/10.1080/00091383.1995.10544672
Bédard, D., et Béchard, J. P. (2009). L’innovation pédagogique dans le supérieur : un vaste chantier. Innover dans l’enseignement supérieur. Presses universitaires de France. DOI: https://doi.org/10.3917/puf.bedar.2009.01.0019
Ben Youssef, A., et Rallet, A. (2009). Présentation. Usage des T.I.C. dans l’enseignement supérieur [numéro thématique]. Réseaux, 155, 9-20. https://doi.org/10.3917/res.155.0009 DOI: https://doi.org/10.3917/res.155.0009
Bernatchez, P. A. (2003). Vers une nouvelle typologie des activités d’encadrement et du rôle des tuteurs. DistanceS, 6(1), 5-25.
Bertrand, C., et Bonnafous, S. (2014). Soutenir la transformation pédagogique dans l’enseignement supérieur. Rapport à Madame Simone Bonnafous, directrice générale pour l’enseignement supérieur et l’insertion professionnelle. République Française : Ministère de l’Enseignement supérieur et de la recherche. https://www.stephanekinoo.fr/wordpress4/wp-content/uploads/2012/10/rapport-CB.pdf
Brémaud, L., et Boisclair, M. (2012). Pédagogie universitaire et partenariat université-entreprise : enjeux, écueils, perspectives. Revue internationale de pédagogie de l’enseignement supérieur, 28(1). https://doi.org/10.4000/ripes.577 DOI: https://doi.org/10.4000/ripes.577
Bru, M. (2006). Les méthodes en pédagogie. Presses universitaires de France. DOI: https://doi.org/10.3917/puf.bru.2006.01
Chang, C. Y., Hwang, G. J., et Gau, M. L. (2021). Promoting students’ learning achievement and self-efficacy: A mobile chatbot approach for nursing training. British Journal of Educational Technology. https://doi.org/10.1111/bjet.13158 DOI: https://doi.org/10.1111/bjet.13158
Collin, S., et Marceau, E. (2022). Enjeux éthiques et critiques de l’intelligence artificielle en enseignement supérieur. Éthique publique. Revue internationale d’éthique sociétale et gouvernementale, 24(2). https://doi.org/10.4000/ethiquepublique.7619 DOI: https://doi.org/10.4000/ethiquepublique.7619
Davis, F. D. (1989). Technology acceptance model: TAM. Al-Suqri, MN, Al-Aufi, AS: Information Seeking Behavior and Technology Adoption, 205, 219.
Dahmani, M., et Ragni, L. (2009). L’impact des technologies de l’information et de la communication sur les performances des étudiants. Réseaux, 155, 81-110. https://doi.org/10.3917/res.155.0081 DOI: https://doi.org/10.3917/res.155.0081
Delaherche, E., et Glafkides, J. P. (2022, mai). Conception collective d’un tuteur virtuel pour l’apprentissage individualisé des étudiants. In Association Internationale de Pédagogie Universitaire 2022. https://hal.science/hal-04441968/
Deveci Topal, A., Dilek Eren, C., et Kolburan Geçer, A. (2021). Chatbot application in a 5th grade science course. Education and Information Technologies, 26(5), 6241-6265. https://doi.org/10.1007/s10639-021-10627-8 DOI: https://doi.org/10.1007/s10639-021-10627-8
Diouf, F. M., et Marone, R. M. N. (2024). Conception d’un « chatbot » pour soutenir les services d’information dans les bibliothèques universitaires. JIS-Journal of Information Sciences, 22(2), 1-25. https://hal.science/hal-04427709/
Djebara, A., et Dubrac, D. (2015). La pédagogie numérique : un défi pour l’enseignement supérieur : avis du Conseil économique, social et environnemental. Les éditions des journaux officiels.
Dsouza, R., Kalbande, D. R., Patil, R., et Sahu, S. (2019). Chat with bots intelligently: A critical review et analysis. 2019 International Conference on Advances in Computing, Communication and Control (ICAC3), 1-6. https://doi.org/10.1109/ICAC347590.2019.9036844 DOI: https://doi.org/10.1109/ICAC347590.2019.9036844
Dubois, C., Salotti, J., Seminel, D., et Simonazzi, N. (2019). Le chatbot : un outil de la relation aux clients. Hermès, La Revue, 84, 95-97. https://doi.org/10.3917/herm.084.0095 DOI: https://doi.org/10.3917/herm.084.0095
Duguet, A., et Morlaix, S. (2018). Le numérique à l’université : facteur explicatif des méthodes pédagogiques? Revue internationale de pédagogie de l’enseignement supérieur, 34(3). https://doi.org/10.4000/ripes.1682 DOI: https://doi.org/10.4000/ripes.1682
Duplaa, E., Galisson, A., et Choplin, H. (2003). Le tutorat à distance existe-t-il? Propositions pour du tutorat proactif à partir de deux expérimentations de FOAD. Environnements Informatiques pour l’Apprentissage Humain 2003, 477-484. https://edutice.archives-ouvertes.fr/edutice-00000169/
Fryer, L. K., Nakao, K., et Thompson, A. (2019). chatbot learning partners: Connecting learning experiences, interest and competence. Computers in human Behavior, 93, 279-289. https://doi.org/10.1016/j.chb.2018.12.023 DOI: https://doi.org/10.1016/j.chb.2018.12.023
Garcia-Brustenga, G., Fuertes-Alpiste, M., et Molas Castells, N. (2018). Briefing Paper: chatbots in Education. Universitat Oberta de Catalunya (UOC). https://doi.org/10.7238/elc.chatbots.2018 DOI: https://doi.org/10.7238/elc.chatbots.2018
Gonda, D. E., Luo, J., Wong, Y. L., et Lei, C. U. (2018, December). Evaluation of developing educational chatbots based on the seven principles for good teaching. Dans 2018 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE) (p. 446-453). IEEE. DOI: https://doi.org/10.1109/TALE.2018.8615175
Graesser, A. C., VanLehn, K., Rose, C. P., Jordan, P. W., et Harter, D. (2001). Intelligent tutoring systems with conversational dialogue. AI magazine, 22(4), 39. https://doi.org/10.1609/aimag.v22i4.1591
Groccia, J. E. (2012). Building Teaching Capacities in Higher Education: A Comprehensive International Model. Stylus Publishing.
Hew, K. F., Huang, W., Du, J., et Jia, C. (2023). Using chatbots to support student goal setting and social presence in fully online activities: learner engagement and perceptions. Journal of Computing in Higher Education, 35(1), 40-68. https://link.springer.com/article/10.1007/s12528-022-09338-x DOI: https://doi.org/10.1007/s12528-022-09338-x
Hiremath, G., Hajare, A., Bhosale, P., Nanaware, R., et Wagh, K. S. (2018). Chatbot for education system. International Journal of Advance Research, Ideas and Innovations in Technology, 4(3), 37-43.
Huang, W., Hew, K. F., et Fryer, L. K. (2022). Chatbots for language learning—Are they really useful? A systematic review of chatbot‐supported language learning. Journal of Computer Assisted Learning, 38(1), 237-257. https://doi.org/10.1111/jcal.12610 DOI: https://doi.org/10.1111/jcal.12610
Huu Binh, N. (2014). Fiabilité et validité du Modèle d’acceptation de la technologie (TAM) dans le contexte d’apprenants vietnamiens du français comme langue étrangère face aux TIC. Revue internationale des technologies en pédagogie universitaire/International Journal of Technologies in Higher Education, 11(3), 38-50. DOI: https://doi.org/10.7202/1035702ar
Jutras, F, et Lison, C. (2014). Innover à l’université : penser les situations d’enseignement pour soutenir l’apprentissage. Revue internationale de pédagogie de l’enseignement supérieur, 30(1). https://doi.org/10.4000/ripes.769 DOI: https://doi.org/10.4000/ripes.769
Kamanzi, P. C., Goastellec, G., et Picard, F. (2017). L’envers du décor : massification de l’enseignement supérieur et justice sociale. PUQ. DOI: https://doi.org/10.1353/book52910
Kirakowski, J., O’Donnell, P., et Yiu, A. (2009). Establishing the Hallmarks of a Convincing chatbot-Human Dialogue. Dans I. Maurtua (Eds.), Human-Computer Interaction (p. 145-154). Rijeka, Croatie : BoD – Books on Demand. http://doi.org/10.5772/7741 DOI: https://doi.org/10.5772/7741
Knoerr, H. (2005). TIC et motivation en apprentissage/enseignement des langues. Une perspective canadienne : recherche et pratiques pédagogiques en langues de spécialité. Cahiers de l’APLIUT, 24(2), 53-73. https://doi.org/10.4000/apliut.2889 DOI: https://doi.org/10.4000/apliut.2889
Lameul, G., et Loisy, C. (2014). La pédagogie universitaire à l’heure du numérique. De Boeck Supérieur. DOI: https://doi.org/10.3917/dbu.lameul.2014.01.0203
Lallemand, C., Kœnig, V., Gronier, G., et Martin, R. (2015). Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de l’expérience utilisateur des systèmes interactifs. European Review of Applied Psychology, 65(5), 239-252. https://doi.org/10.1016/j.erap.2015.08.002 DOI: https://doi.org/10.1016/j.erap.2015.08.002
Lemieux-Vermette, V. (2023). L’impact de l’empathie perçue sur les préoccupations pour la vie privée en ligne, le sentiment de malaise et la confiance d’un utilisateur dans un contexte chatbot [Mémoire, Université du Québec]. Archipel. https://archipel.uqam.ca/16633/1/M17923.pdf
Llorca, M.-C. (2020). Pédagogie et numérique. Médecine des Maladies Métaboliques, 14(3), 218-229. https://doi.org/10.1016/j.mmm.2020.03.004 DOI: https://doi.org/10.1016/j.mmm.2020.03.004
Lund, A. M. (2001). Measuring usability with the use questionnaire12. Usability interface, 8(2), 3-6. https://tinyurl.com/2t8x46j5
Malik, R., Shrama, A., Trivedi, S. et Mishra, R. (2021). Adoption des chatbots pour l’apprentissage chez les étudiants universitaires : rôle de la commodité perçue et de l’amélioration des performances. Revue internationale des technologies émergentes dans l’apprentissage, 16(18), 200-212.
https://online-journals.org/index.php/i- jet/article/view/24315
Mandeville, L. (2009). Une expérience d’apprentissage significatif pour l’étudiant. Dans D. Bédard et J.- P. Béchard (dir.), Innover dans l’enseignement supérieur (p. 125-138). Presses Universitaires de France.
Mendoza, S., Hernández-León, M., Sánchez-Adame, L.M., Rodríguez, J., Decouchant, D., et Meneses Viveros, A. (2020). Supporting Student-Teacher Interaction Through a chatbot. Learning and Collaboration Technologies. Human and Technology Ecosystems, 93-107. https://doi.org/10.1007/978-3-030-50506-6_8 DOI: https://doi.org/10.1007/978-3-030-50506-6_8
Mikic-Fonte, F. A., Llamas-Nistal, M., et Caeiro-Rodríguez, M. (2018). Using a chatterbot as a FAQ assistant in a course about computers architecture. IEEE frontiers in education conference (FIE). https://doi.org/10.1109/FIE.2018.8659174 DOI: https://doi.org/10.1109/FIE.2018.8659174
Monfort, E., Quillion-dupre, L. Jouanneaux, N. et Deschaintre, M. (2018). USE-Age Traduction et validation d’un questionnaire d’évaluation de l’acceptation de l’informatique par les personnes âgées. (EA4145), 21-26. https://tinyurl.com/mx5ndszs
Nadarzynski, T., Miles, O., Cowie, A., et Ridge, D. (2019). Acceptability of artificial intelligence (AI)-led chatbot services in healthcare: A mixed-methods study. Digital health, 5. https://doi.org/10.1177/2055207619871808 DOI: https://doi.org/10.1177/2055207619871808
Nguyen, Q. N., Sidorova, A., et Torres, R. (2022). User interactions with chatbot interfaces vs. Menu-based interfaces: An empirical study. Computers in Human Behavior, 128, 107093. https://doi.org/10.1016/j.chb.2021.107093 DOI: https://doi.org/10.1016/j.chb.2021.107093
Nieves, B. (2018). IA Conversacional: definición y conceptos básicos. Planeta chatbot.
https://planetachatbot.com/ia-conversacional-conceptos-basicos-y-definicion/
Ologeanu, R. (2002). Visioconférence dans l’enseignement supérieur : le processus d’innovation, des expérimentations aux usages [Thèse de doctorat, Université Stendhal-Grenoble III]. HAL. https://theses.hal.science/edutice-00000312/
Ondáš, S., Pleva,M., et Hládek, D. (2019). How chatbots can be involved in the education process. 17th international conference on emerging elearning technologies and applications (ICETA), 575-580. https://doi.org/10.1109/ICETA48886.2019.9040095 DOI: https://doi.org/10.1109/ICETA48886.2019.9040095
Pham, X. L., Pham, T., Nguyen, Q. M., Nguyen, T. H., et Cao, T. T. H. (2018). Chatbot as an intelligent personal assistant for mobile language learning. Proceedings of the 2018 2nd International Conference on Education and E-Learning, 16-21. https://doi.org/10.1145/3291078.3291115 DOI: https://doi.org/10.1145/3291078.3291115
Quintin, J. J. (2008). Accompagnement d’une formation asynchrone en groupe restreint : modalités d’intervention et modèles de tutorat. Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation (STICEF), 15, 1-23. https://hal.science/hal-00696373/ DOI: https://doi.org/10.3406/stice.2008.981
Schreiberova, P., et Smutny, P. (2020). Chatbots for learning: A review of educational chatbots for the Facebook Messenger. Computers et Education, 151. https://doi.org/10.1016/j.compedu.2020.103862 DOI: https://doi.org/10.1016/j.compedu.2020.103862
Schrepp, M., et Thomaschewski, J. (2019). Design and validation of a framework for the creation of user experience questionnaires. International Journal of Interactive Multimedia and Artificial Intelligence, 5(7), 88-95. http://doi.org/10.9781/ijimai.2019.06.006 DOI: https://doi.org/10.9781/ijimai.2019.06.006
Sinha, S., Basak, S., Dey, Y., et Mondal, A. (2020). An educational chatbot for answering queries. Dans J. K. Mandal et D. Bhattacharya (dir.), Advances in intelligent systems and computing (p. 55-60). Springer. DOI: https://doi.org/10.1007/978-981-13-7403-6_7
Temperman, G. (2013). Visualisation du processus collaboratif et assignation de rôles de régulation dans un environnement d’apprentissage à distance [Thèse de doctorat, Université de Mons].
https://theses.hal.science/tel-01005304
Vallerand, R. J., Blais, M. R., Brière, N. M., et Pelletier, L. G. (1989). Construction et validation de l’échelle de motivation en éducation (EME). Canadian Journal of Behavioural Science/Revue canadienne des sciences du comportement, 21(3), 323. https://doi.org/10.1037/h0079855 DOI: https://doi.org/10.1037/h0079855
Verchier, Y. et Lison, C. (2020). Repenser l’expérience d’enseignement et d’apprentissage en situation de confinement pédagogique. Revue internationale des technologies en pédagogie universitaire / International Journal of Technologies in Higher Education, 17(2), 127-135. https://doi.org/10.18162/ritpu-2020-v17n2-13 DOI: https://doi.org/10.18162/ritpu-2020-v17n2-13
Venkatesh, V., Morris, M. G., Davis, G. B., et Davis, F. D. (2003). User acceptance of information technology: Toward a unified view. MIS quarterly, 27(3), 425-478. https://doi.org/10.2307/30036540 DOI: https://doi.org/10.2307/30036540
Wakefield, J., et Frawley, J. K. (2020). How does students’ general academic achievement moderate the implications of social networking on specific levels of learning performance? Computers et Education, 144. https://doi.org/10.1016/j.compedu.2019.103694 DOI: https://doi.org/10.1016/j.compedu.2019.103694
Wu, R., et Yu, Z. (2024). Do AI chatbots improve students learning outcomes? Evidence from a meta-analysis. British Journal of Educational Technology, 55, 10-33. https://doi.org/10.1111/bjet.13334 DOI: https://doi.org/10.1111/bjet.13334
Xu, A., Liu, Z., Guo, Y., Sinha, V., et Akkiraju, R. (2017, mai). A New chatbot for Customer Service on social media [document de conference]. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 3506‐3510. https://doi.org/10.1145/3025453.3025496 DOI: https://doi.org/10.1145/3025453.3025496
Yin, J., Goh, T. T., Yang, B., et Xiaobin, Y. (2021). Conversation technology with micro- learning: The impact of chatbot-based learning on students’ learning motivation and performance. Journal of Educational Computing Research, 59(1), 154-177. https://doi.org/10.1177/0735633120952067 DOI: https://doi.org/10.1177/0735633120952067
Zhang, S., Shan, C., Lee, J. S. Y., Che, S., et Kim, J. H. (2023). Effect of chatbot-assisted language learning: A meta-analysis. Education and Information Technologies, 1-21. https://doi.org/10.1007/s10639-023-11805-6 DOI: https://doi.org/10.1007/s10639-023-11805-6