איך לסנן מקור מחקרי, ואיך לקרוא אותו בלי להיבהל

מדריכה שומעת טענה ומשהו לא מסתדר לה, היא רוצה לבדוק בעצמה.

היום החלק הקל הוא למצוא. מנוע חיפוש, בינה מלאכותית, פוסט שמצטט מספר, ותוך שניות יש ביד מקור שנשמע משכנע. מה שהשתנה אינו הגישה למחקר, אלא כמה קל לקבל משהו שנראה כמו מחקר בלי לבדוק אותו.

לכן המדריך הזה עוסק בעיקר בסינון ולא בחיפוש. איך יודעים שמה שמצאת מחזיק, איך קוראים תקציר בלי להיבהל, ואיפה מאמתים.

זה לא קורס במתודולוגיה של מחקר. זה מה שצריך כדי לא להיות תלויה במה שמישהי אחרת סיפרה לך שהמחקר אומר.

אם קיבלת את זה ממנוע בינה מלאכותית

מנועי בינה מלאכותית שימושיים לניסוח שאלה, להבנה ראשונית של נושא, ולתרגום מאמר מאנגלית. הם גם ממציאים מקורות לפעמים, וזה החלק שחשוב להכיר: שם מאמר שנשמע לגמרי סביר, מחברים שקיימים באמת, כתב עת שקיים באמת, ומאמר שלא קיים.

הבדיקה לוקחת חצי דקה. מעתיקים את שם המאמר לחיפוש, ורואים שהוא באמת קיים ושהמספר שצוטט כתוב בתוכו.

הכלל, והוא נכון גם לפוסט של קולגה ולא רק למכונה: אם לא ראית את המאמר עצמו, לא ראית את המאמר.

איך מזהים מקור שכדאי לבדוק פעמיים

אלה הקריטריונים שאני עצמי עובדת לפיהם לפני שאני נשענת על מקור בהרצאה או בכתיבה.

מי פרסם. השאלה הראשונה. מאמר שעבר ביקורת עמיתים נקרא לפני הפרסום בידי חוקרים אחרים בתחום, וזה הסינון הבסיסי ביותר שיש. מנגד יש כתבי עת שגובים תשלום מהמחבר ומפרסמים כמעט הכל, ומכונים כתבי עת טורפים. שם באנגלית שנשמע רשמי אינו ערובה לכלום. בספק, שווה לבדוק מי המוציא לאור, ולראות אם המאמר בכלל מופיע במסד כמו PubMed. סימן נוסף שקל לבדוק: בכתבי עת רבים מודפסים בתחילת המאמר התאריכים שבהם הוא נשלח, התקבל ופורסם. פער של שבועות בודדים בין השליחה לפרסום אינו מספיק זמן לביקורת עמיתים רצינית. זה סימן ולא הוכחה, כי יש כתבי עת תקינים שעובדים מהר, אבל יחד עם דמי פרסום גבוהים הוא שווה תשומת לב.

מתי. בתחומים שזזים מהר, מקור מ-2011 הוא נקודת התחלה ולא תשובה. מקור ישן נכנס אצלי רק כהגדרה קלאסית או כממצא יסוד, ואני מציינת את זה.

המספר באמת שם. זו הבדיקה שהכי משתלמת ביחס למאמץ. כשמצטטים אחוז או ממצא, שווה לפתוח את המאמר עצמו ולראות שהוא כתוב שם. לא בכותרת בתוצאת החיפוש, לא בפוסט שציטט אותו, במאמר. חלק לא קטן מהטענות שרצות בענף הן שרשרת ציטוטים שבשלב מסוים איבדה את המקור.

מי מרוויח. אם המקור מגיע ממי שמוכר בדיוק את הפתרון שהוא ממליץ עליו, זה לא פוסל אותו. זה רק אומר לקרוא לאט יותר.

וכלל אחד שאני מנסה להחזיק: כשאין מקור, אומרים שאין מקור. “לא מצאתי מחקר שבדק את זה ישירות” היא תשובה מקצועית לגמרי. היא עדיפה על טענה שנשמעת בטוחה ואין מאחוריה כלום.

איך קוראים תקציר בלי להיבהל

התקציר הוא לא הכתבה. הוא התמצית שהחוקרים בחרו לספר. ובכל זאת אפשר להוציא ממנו הרבה, אם יודעים מה לחפש.

איזו השוואה נערכה. זו לדעתי השאלה החשובה ביותר בתחום שלנו, והיא זו שהכי מרבים לדלג עליה.
“פילאטיס עזר לכאב גב” יכול להיות פילאטיס מול שום פעילות, ואז למדנו שתנועה עדיפה על ישיבה.
או פילאטיס מול פעילות גופנית אחרת, וזו שאלה אחרת לגמרי, עם תשובה אחרת לגמרי.
שתי המסקנות נכתבות באותה כותרת בדיוק.

n, כמה נבדקים היו. בתקציר זה מופיע כך: n=18, או n=1800. האות n היא הקיצור המקובל למספר המשתתפים, ולפעמים היא מופיעה בנפרד לכל קבוצה, למשל n=24 בקבוצת הפילאטיס מול n=22 בקבוצת הביקורת. מחקר על 18 נשים ומחקר על 1,800 אינם אותו סוג של ידיעה. n קטן לא אומר שהמחקר גרוע, אבל הוא אומר שהתשובה רחבה ומעורפלת יותר ממה שהמספר בכותרת משדר.

מובהק סטטיסטית אינו משמעותי בפועל. בתקציר זה מופיע כ-p < 0.05, ומשמעותו אחת בלבד: סביר שההבדל שנמצא אינו מקריות. זה הכל. מובהקות לא אומרת שההבדל גדול, ולא אומרת שהוא שווה משהו למתאמנת שלך ביום שני בבוקר. מחקר גדול מספיק ימצא מובהקות גם להבדל זעום.

גודל אפקט, וזה המספר שבאמת מעניין אותנו. גודל אפקט אומר כמה גדול ההבדל, ולא רק אם הוא קיים. בתקציר הוא מופיע לרוב כ-d (הכוונה ל-Cohen’s d) או כהפרש בין ממוצעים. אצבע גסה מקובלת: בסביבות 0.2 קטן, 0.5 בינוני, 0.8 ומעלה גדול. זו מוסכמה נוחה ולא חוק טבע, ובתחומים שונים נהוג לפרש אותה אחרת. דוגמה מהתחום שלנו: ירידה של חצי נקודה בסולם כאב מ-1 עד 10 יכולה להיות מובהקת לחלוטין, ועדיין אף מתאמנת לא תרגיש אותה. השאלה שכדאי לשאול היא לא “האם נמצא הבדל” אלא “כמה, ובאיזו יחידה שאני מבינה”.

מה החוקרים עצמם אמרו על המגבלות. כמעט כל מאמר רציני כולל סעיף מגבלות, והוא לרוב החלק הכי כן בטקסט. אם המסקנה שאת שומעת בחוץ נשמעת בטוחה הרבה יותר מהסעיף הזה, כדאי לשים לב.

היררכיית הראיות, בקצרה

סקירה שיטתית ומטא-אנליזה מאגדות מחקרים רבים, ולכן הן בדרך כלל חזקות ממחקר בודד. אחריהן ניסוי מבוקר אקראי, ואחריו מחקר תצפיתי.

וכאן הניואנס שלא תמיד אומרים: מטא-אנליזה אינה חזקה יותר מהמחקרים שנכנסו אליה. אם אספו עשרה מחקרים קטנים וחלשים, התוצאה תישאר קטנה וחלשה, רק עם יותר ביטחון עצמי. ואם המחקרים שנאספו בדקו דברים שונים מדי זה מזה, הממוצע ביניהם לא בהכרח אומר משהו.

איפה מאמתים

PubMed הוא מסד הנתונים של הספרייה הלאומית לרפואה של ארצות הברית. הוא מכיל כמעט רק מאמרים מכתבי עת שעברו ביקורת עמיתים, ולכן הוא המקום הכי מהיר לוודא בו שמאמר קיים ושהוא פורסם במקום רציני. יש בו מסננים שימושיים: שנה, סוג מחקר, וטקסט מלא חינם.

Google Scholar רחב הרבה יותר וסורק כמעט הכל, כולל עבודות גמר, פרקי ספרים וטיוטות שטרם עברו ביקורת. הוא מצוין למצוא גרסה חינמית של מאמר שאת כבר יודעת שאת מחפשת. הוא פחות טוב לסינון, כי הוא לא מבחין עבורך בין מקור חזק לחלש.

Cochrane Library מתמחה בסקירות שיטתיות. אם יש שם סקירה בנושא שלך, היא כמעט תמיד תשובה טובה יותר ממאמר בודד שמצאת.

PEDro הוא מסד ייעודי לפיזיותרפיה ולשיקום, והוא מדרג את איכות המחקרים במקום שאת תצטרכי לעשות את זה לבד. לתחום שלנו הוא שימושי במיוחד ומעטות מכירות אותו.

איך משיגים מאמר חסום

הרבה מאמרים יושבים מאחורי תשלום. יש שלוש דרכים חוקיות לעקוף את זה, וכולן עובדות:

1. מסנן הטקסט המלא החינמי ב-PubMed. חלק גדול ממה שאת צריכה פתוח ממילא.
2. Unpaywall. תוסף דפדפן חינמי לכרום ולפיירפוקס, שמפעילה עמותה ללא כוונת רווח. אחרי ההתקנה מופיעה לשונית קטנה בצד המסך בכל פעם שאת נמצאת בעמוד של מאמר. אם קיים עותק חוקי וחופשי, הלשונית נצבעת בירוק, ולחיצה עליה פותחת את ה-PDF. מה שהוא מוצא הם עותקים שהמחברים עצמם העלו לאתרי אוניברסיטאות ולמאגרים מוסדיים, באישור המו”לים, והוא במפורש אינו מציג עותקים ממקומות ששאלת החוקיות שלהם פתוחה. המגבלה שכדאי להכיר: הוא מוצא עותק בערך במחצית מהמקרים, ולכן הוא שווה התקנה אבל אינו פתרון לכל מאמר.
3. פשוט לכתוב למחבר. כתובת המייל של החוקר הראשי מופיעה במאמר. חוקרים עונים, ולרוב בשמחה. מעטות מנסות את זה, וזו הדרך הכי פשוטה מכולן.

חמישה חיפושים להתחיל מהם

פתחי PubMed והדביקי. אלה חיפושים אמיתיים שמחזירים חומר:

• pilates AND "low back pain" AND randomized
• resistance training AND older adults AND falls
• "perceived exertion" AND resistance training
• diastasis recti AND exercise
• resistance training AND postmenopausal AND bone

הוסיפי מסנן שנים מ-2020, וסמני טקסט מלא חינם. תוך חמש דקות יהיה לך משהו אמיתי לקרוא.

למה בכלל טרחתי לכתוב את זה

כי אני לא רוצה שתלמדו רק ממני. אני מלמדת מה שאני מבינה היום, ואני משנה את דעתי כשמגיע מידע טוב יותר. מדריכה שיודעת לבדוק בעצמה היא מדריכה שיכולה גם לתפוס אותי בטעות, וזה בדיוק המצב שאני רוצה.

מסקרן אותי לדעת מה תמצאו. אם תיתקלו במאמר שסותר משהו שלימדתי, שלחו לי אותו.

אם רוצות לראות איך זה נראה בפועל: האם פילאטיס הוא אימון התנגדות ומתאמנת מגיעה אחרי פציעה נכתבו לפי הכללים האלה, עם המקורות מקושרים בגוף הטקסט. ואם את עדיין בשלב של בחירת הכשרה, אחת משש השאלות שכדאי לשאול כל בית ספר היא בדיוק זו: האם התוכן מבוסס מחקר, והאם מציגים גם את גבולות הידע.

מה אומרות? יש טענה בענף שתמיד רציתן לבדוק ולא ידעתן מאיפה להתחיל?

שאלות נפוצות

איך יודעים אם מאמר מחקרי אמין?
בודקים אם הוא עבר ביקורת עמיתים, מתי פורסם, האם המספר שמצוטט באמת כתוב במאמר עצמו, ומי מרוויח מהמסקנה.

מה ההבדל בין מובהקות סטטיסטית לגודל אפקט?
מובהקות (p<0.05) רק אומרת שההבדל כנראה לא מקרי. גודל אפקט אומר כמה גדול ההבדל בפועל, ולא כל הבדל מובהק מורגש.

איפה מאמתים שמאמר מחקרי קיים ואמין?
ב-PubMed, Google Scholar, Cochrane Library ו-PEDro. PubMed הכי מהיר לוודא בו שמאמר עבר ביקורת עמיתים ופורסם במקום רציני.

איך משיגים מאמר חסום מאחורי תשלום?
דרך הטקסט המלא החינמי ב-PubMed, תוסף הדפדפן Unpaywall, או פנייה ישירה למחבר המאמר בכתובת המייל שמופיעה בפרסום.

ד”ר הדר שוורץ, PhD בבריאות הציבור, מייסדת Body Science ומכשירת מדריכות פילאטיס.