Оценка валидности самоотчетов об использовании смартфона: сравнение субъективных и объективных данных

Научная статья
  • Анастасия Владимировна Сапонова Национальный исследовательский университет «Высшая школа экономики», Москва, Россия asaponova@hse.ru ORCID: https://orcid.org/0000-0002-9393-3509
    Elibrary Author_id 1090985 SPIN 9286-6830
    ResearchID AAD-1892-2021
Выражение признательности
Автор выражает благодарность И.Ф. Девятко, А.М. Климовой, И.В. Задорину за важные содержательные комментарии в процессе проведения исследования, а также рецензентам и редакции «Социологического журнала» за ценные замечания к тексту статьи. Отдельно автор благодарит семью и друзей за их безусловную поддержку при подготовке настоящей работы.
Для цитирования
Сапонова А. В. Оценка валидности самоотчетов об использовании смартфона: сравнение субъективных и объективных данных // Социологический журнал. 2024. Том 30. № 4. С. 79-103. DOI: https://doi.org/10.19181/socjour.2024.30.4.4 EDN: KFTAFH

Аннотация

В настоящее время смартфоны являются главным источником для доступа к онлайн-платформам и сервисам, а также основным драйвером проникновения Интернета как в России, так и за рубежом. Расширение функционала смартфонов и регистрация статистики их использования создает для исследователей новый и важный источник цифровых данных о поведении пользователей. Однако получение данных такого типа требует разработки новых методологических подходов и решения ряда технологических, юридических и этических вопросов. Значимым элементом в этом процессе является и сравнительная оценка опросных данных, основанных на ретроспективных самоотчетах, традиционно используемых для исследований онлайн-активности пользователей, и объективных данных о поведении, основанных на цифровых следах онлайн-активности. В рамках настоящей статьи представлены результаты эксперимента по кросс-валидации данных самоотчета об использовании смартфона и цифровых поведенческих данных (N = 80). Данные для эксперимента были собраны в рамках методического подхода «пожертвование данных» (data donation), который заключается в том, что участники опроса делятся с исследователями информацией, которую уже собрали их мобильные устройства. Результаты эксперимента позволяют сделать вывод об умеренной позитивной корреляции между ретроспективным самоотчетом и цифровыми поведенческими данными об использовании смартфонов. Статистически значимого эффекта «временно́го окна» для оценки объема использования смартфона за короткий (день) и более длительный (текущую неделю) период выявлено не было, что позволяет говорить о сравнительной устойчивой валидности самоотчета и, следовательно, его надежности/воспроизводимости в рамках недельного интервала. Таким образом, в условиях невозможности сбора и интеграции в исследование цифровых поведенческих следов респондентов использование ретроспективного самоотчета может быть целесообразным.
Ключевые слова:
использование смартфона, самоотчет, связывание данных, цифровые поведенческие следы, интеграция данных

Биография автора

Анастасия Владимировна Сапонова, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия
аспирант, преподаватель, кафедра анализа социальных институтов, департамент социологии

Литература

1. Девятко И.Ф. Диагностическая процедура в социологии. Очерк истории и теории. М.: Наука, 1993. — 175 с.

2. Девятко И.Ф. Инструментарий онлайн-исследований: попытка каталогизации // Онлайн исследования в России 3.0 / Отв. ред.: И.Ф. Девятко, А.В. Шашкин, С.Г. Давыдов; науч. ред. И.Ф. Девятко. М.: Online market intelligence, 2012. С. 17–30. EDN: XFYLBZ

3. Мягков А.Ю. Социально-демографические переменные в социологическом исследовании: Проблемы достоверности самоотчетов респондентов. М.: Флинта: Наука, 2002. — 474 с. EDN: MHTBUC

4. Ним Е.Г. «Вы есть ваши данные»: селф-трекинг как феномен глубокой медиатизации // Вестник Московского университета. Серия 10: Журналистика. 2020. № 5. C. 29–53. DOI: 10.30547/vestnik.journ.5.2020.2953 EDN: LEECMI

5. Araujo T., Wonneberger A., Neijens P., de Vreese C. How Much Time Do You Spend Online? Understanding and Improving the Accuracy of Self-Reported Measures of Internet Use. Communication Methods and Measures. 2017. Vol. 11. No. 3. P. 173–190. DOI: 10.1080/19312458.2017.1317337

6. Baranowski T. Validity and Reliability of Self Report Measures of Physical Activity: An Information-Processing Perspective. Research Quarterly for Exercise and Sport. 1988. Vol. 59. No. 4. P. 314–327. DOI: 10.1080/02701367.1988.10609379

7. Baumgartner S.E., Sumter S.R., Petkevič V., Wiradhany W. A Novel iOS Data Donation Approach: Automatic Processing, Compliance, and Reactivity in a Longitudinal Study. Social Science Computer Review. 2023. Vol. 41. No. 4. P. 1456–1472. DOI: 10.1177/08944393211071068

8. Beuthner C., Weiss B., Silber H., Keusch F., et al. Consent to Data Linkage for Different Data Domains — the Role of Question Order, Question Wording, and Incentives. International Journal of Social Research Methodology. 2023. Vol. 27. No. 4. P. 1–14. DOI: 10.1080/13645579.2023.2173847

9. Boase J., Ling R. Measuring Mobile Phone Use: Self-Report Versus Log Data. Journal of Computer-Mediated Communication. 2013. Vol. 18. No. 4. P. 508–519. DOI: 10.1111/jcc4.12021

10. Cahalan D. Correlates of Respondent Accuracy in the Denver Validity Survey. Public Opinion Quarterly. 1968. Vol. 32. No. 4. P. 607–621. DOI: 10.1086/267649

11. Cannell C.F., Miller P.V., Oksenberg L. Research on Interviewing Techniques. Sociological Methodology. 1981. Vol. 12. P. 389–437. DOI: 10.2307/270748

12. Cohen A.A., Lemish D. Real Time and Recall Measures of Mobile Phone Use: Some Methodological Concerns and Empirical Applications. New Media & Society. 2003. Vol. 5. No. 2. P. 167–183. DOI: 10.1177/1461444803005002002

13. Del Boca F.K., Darkes J. The Validity of Self-Reports of Alcohol Consumption: State of the Science and Challenges for Research. Addiction. 2003. Vol. 98. P. 1–12. DOI: 10.1046/j.1359-6357.2003.00586.x

14. Deng T., Kanthawala S., Meng J., Peng W., et al. Measuring Smartphone Usage and Task Switching with Log Tracking and Self-reports. Mobile Media & Communication. 2019. Vol. 7. No. 1. P. 3–23. DOI: 10.1177/2050157918761491

15. Everitt B.S., Howell D.C. Encyclopedia of Statistics in Behavioral Science. Hoboken: John Wiley & Sons, 2021. 2368 p.

16. Ezzati M., Martin H., Skjold S., Hoorn S.V., et al. Trends in National and State-Level Obesity in the USA after Correction for Self-Report Bias: Analysis of Health Surveys. Journal of the Royal Society of Medicine. 2006. Vol. 99. No. 5. P. 250–257. DOI: 10.1177/014107680609900517

17. Fitzgerald J.L., Mulford H.A. Self-report Validity Issues. Journal of Studies on Alcohol. 1987. Vol. 48. No. 3. P. 207–211. DOI: 10.15288/jsa.1987.48.207

18. Gower A.D., Moreno M.A. A Novel Approach to Evaluating Mobile Smartphone Screen Time for iPhones: Feasibility and Preliminary Findings. JMIR mHealth and uHealth. 2018. Vol. 6. No. 11. DOI: 10.2196/11012

19. Greenberg B.S., Eastin M.S., Skalski P., Cooper L., et al. Comparing Survey and Diary Measures of Internet and Traditional Media Use. Communication Reports. 2005. Vol. 18. No. 1–2. P. 1–8. DOI: 10.1080/08934210500084164

20. Haeffel G.J., Howard G.S. Self-Report: Psychology’s Four-Letter Word. The American Journal of Psychology. 2010. Vol. 123. No. 2. P. 181–188. DOI: 10.5406/amerjpsyc.123.2.0181

21. Hafferty J.D., Campbell A.I., Navrady L.B., Adams M.J., et al. Selfreported Medication Use Validated through Record Linkage to National Prescribing Data. Journal of Clinical Epidemiology. 2018. Vol. 94. P. 132–142. DOI: 10.1016/j.jclinepi.2017.10.013

22. Humphreys L. Cellphones in Public: Social Interactions in a Wireless Era. New Media & Society. 2005. Vol. 7. No. 6. P. 810–833. DOI: 10.1177/1461444805058164

23. Ignatow G. Sociological Theory in the Digital Age. 1st ed. N.-Y.: Routledge, 2020. 132 p.

24. Keusch F., Struminskaya B., Antoun C., Couper M.P., et al. Willingness to Participate in Passive Mobile Data Collection. Public Opinion Quarterly. 2019. Vol. 83. Iss. 1. P. 210–235. DOI: 10.1093/poq/nfz007

25. Kobayashi T., Boase J. No Such Effect? The Implications of Measurement Error in Self-Report Measures of Mobile Communication Use. Communication Methods and Measures. 2012. Vol. 6. No. 2. P. 126–143. DOI: 10.1080/19312458.2012.679243

26. Kormos C., Gifford R. The Validity of Self-Report Measures of Proenvironmental Behavior: A Meta-Analytic Review. Journal of Environmental Psychology. 2014. Vol. 40. P. 359–371. DOI: 10.1016/j.jenvp.2014.09.003

27. Maxfield M.G., Weiler B.L., Widom C.S. Comparing Self-Reports and Official Records of Arrests. Journal of Quantitative Criminology. 2000. Vol. 16. No. 1. P. 87–110. DOI: 10.1023/A:1007577512038

28. Ohme J., Araujo T., de Vreese C.H., Piotrowski J.T. Mobile Data Donations: Assessing Self-Report Accuracy and Sample Biases with the iOS Screen Time Function. Mobile Media & Communication. 2021. Vol. 9. No. 2. P. 293–313. DOI: 10.1177/2050157920959106

29. Oulasvirta A., Rattenbury T., Ma L., Raita E. Habits Make Smartphone Use More Pervasive. Personal and Ubiquitous Computing. 2012. Vol. 16. No. 1. 105–114. DOI: 10.1007/s00779-011-0412-2

30. Parry H.J., Crossley H.M. Validity of Responses to Survey Questions. Public Opinion Quarterly. 1950. Vol. 14. No. 1. P. 61–80. DOI: 10.1086/266150

31. Paulhus D.L., Vazire S. The Self-Report Method. Handbook of Research Methods in Personality Psychology. Ed. by R.W. Robins, R.C. Fraley, R.F. Krueger. N.-Y.: Guilford Pres, 2007. P. 224–239.

32. Peterson R.A., Kerin R.A. The Quality of Self-Report Data: Review and Synthesis. Annual Review of Marketing. Ed. by B.M. Emis, K.J. Roering. Chicago: American Marketing Association, 1981. P. 5–20.

33. Prior M. The Immensely Inflated News Audience: Assessing Bias in SelfReported News Exposure. Public Opinion Quarterly. 2009. Vol. 73. No. 1. P. 130–143. DOI: 10.1093/poq/nfp002

34. Revilla M., Ochoa C., Loewe G. Using Passive Data from a Meter to Complement Survey Data in Order to Study Online Behavior. Social Science Computer Review. 2017. Vol. 35. No. 4. P. 521–536. DOI: 10.1177/0894439316638457

35. Scharkow M. The Accuracy of Self-Reported Internet Use — A Validation Study Using Client Log Data. Communication Methods and Measures. 2016. Vol. 10. No. 1. P. 13–27. DOI: 10.1080/19312458.2015.1118446

36. Schwarz N., Oyserman D. Asking Questions About Behavior: Cognition, Communication, and Questionnaire Construction. American Journal of Evaluation. 2001. Vol. 22. No. 2. P. 127–160. DOI: 10.1177/109821400102200202

37. Strack F., Martin L.L. Thinking, Judging, and Communicating: A Process Account of Context Effects in Attitude Surveys. Social Information Processing and Survey Methodology. Ed. by H.J. Hippler, N. Schwarz, S. Sudman. N.-Y.: Springer New York, 1987. P. 123–148. DOI: 10.1007/978-1-4612-4798-2_7

38. Struminskaya B., Keusch F. From Web Surveys to Mobile Web to Apps, Sensors, and Digital Traces. Survey Methods: Insights from the Field. Special Issue: “Advancements in Online and Mobile Survey Methods”. 2020. DOI: 10.13094/SMIF-2020-00015. Accessed 10.11.2024. URL: https://surveyinsights.org/?p=15106&print=pdf

39. Thorson K., Cotter K., Medeiros M., Pak C. Algorithmic Inference, Political Interest, and Exposure to News and Politics on Facebook. Information, Communication & Society. 2021. Vol. 24. No. 2. P. 183–200. DOI: 10.1080/1369118X.2019.1642934

40. Thrift N. Knowing Capitalism. London: Sage Publications, 2005. 256 p. DOI: 10.4135/9781446211458

41. Tourangeau R. Cognitive Processes Underlying Context Effects in Attitude Measurement. Psychological Bulletin. 1988. Vol. 103. No. 3. P. 299–314. DOI: 10.1037/0033-2909.103.3.299

42. Tourangeau R., Rips L.J., Rasinski K. The Psychology of Survey Response. Cambridge: Cambridge University Press, 2000. 401 p. DOI: 1017/CBO9780511819322

43. Van Driel I.I., Giachanou A., Pouwels J.L., Boeschoten L., et al. Promises and Pitfalls of Social Media Data Donations. Communication Methods and Measures. 2022. Vol. 16. No. 4. P. 266–282. DOI: 10.1080/19312458.2022.2109608

44. Vanden Abeele M., Beullens K., Roe K. Measuring Mobile Phone Use: Gender, Age and Real Usage Level in Relation to the Accuracy and Validity of Self-Reported Mobile Phone Use. Mobile Media & Communication. 2013. Vol. 1. No. 2. P. 213–236. DOI: 10.1177/2050157913477095

45. Verbeij T., Pouwels J.L., Beyens I., Valkenburg P.M. Experience Sampling Self-Reports of Social Media Use Have Comparable Predictive Validity to Digital Trace Measures. Scientific Reports. 2022. Vol. 12. No. 1. DOI: 10.1038/s41598-022-11510-3

46. Weaver C.N., Swanson C.L. Validity of Reported Date of Birth, Salary, and Seniority. Public Opinion Quarterly. 1974. Vol. 38. No. 1. P. 69–80. DOI: 10.1086/268135

47. Wenz A., Keusch F., Bach R.L. Measuring Smartphone Use: Survey Versus Digital Behavioral Data. Social Science Computer Review. January 2024. P. 1–20. DOI: 10.1177/08944393231224540

48. Zaller J., Feldman S. A Simple Theory of the Survey Response: Answering Questions versus Revealing Preferences. American Journal of Political Science. 1992. Vol. 36. No. 3. P. 579–616. DOI: 10.2307/2111583
Статья

Поступила: 14.03.2024

Опубликована: 19.12.2024

Форматы цитирования
Другие форматы цитирования:

ACM
[1]
Сапонова, А.В. 2024. Оценка валидности самоотчетов об использовании смартфона: сравнение субъективных и объективных данных. Социологический журнал. 30, 4 (дек. 2024), 79-103. DOI:https://doi.org/10.19181/socjour.2024.30.4.4.
Раздел
СОЦИОЛОГИЯ ИНТЕРНЕТА