Bài 1. Thiết kế thử nghiệm (Experimental Designs)

admin
19469 36 phút đọc
Sau khi đọc xong bài này, bạn sẽ có thể:

  • – Định nghĩa được nghiên cứu thử nghiệm và mô tả thời điểm sử dụng nó
  • – Nêu được các dạng thiết kế thử nghiệm
  • – Mô tả các bước tiến hành một thử nghiệm

1. Khi nào sử dụng?

Trong một thử nghiệm, nhà nghiên cứu sẽ kiểm tra một ý tưởng để xác định xem ý tưởng đó có ảnh hưởng đến kết quả hay biến phụ thuộc hay không. Trước tiên, nhà nghiên cứu quyết định một ý tưởng sẽ “thử nghiệm”, chỉ định các cá nhân trải nghiệm điều gì đó khác biệt, sau đó xác định xem những người đã trải nghiệm ý tưởng đó có thực hiện tốt hơn về một số kết quả so với những người không trải nghiệm nó hay không. Ví dụ, bạn có thể tiến hành một thử nghiệm để kiểm tra xem liệu phương pháp kể chuyện với tranh có cải thiện khả năng từ vựng tiếng Anh của học sinh tiểu học hay không?

Khi nào sử dụng một thiết kế thử nghiệm?

Chúng ta sử dụng một thử nghiệm khi chúng ta muốn thiết lập nguyên nhân và kết quả có thể có giữa các biến độc lập và biến phụ thuộc. Điều này có nghĩa là bạn sẽ cố gắng kiểm soát tất cả các biến làm tăng kết quả ngoại trừ biến độc lập. Sau đó, khi biến độc lập ảnh hưởng đến biến phụ thuộc, chúng ta có thể nói biến độc lập “gây ra” hoặc “có thể gây ra” biến phụ thuộc. Bởi vì các thí nghiệm là được kiểm soát, chúng phù hợp nhất với các thiết kế định lượng để thiết lập nguyên nhân và kết quả có thể xảy ra.

Ví dụ: nếu bạn so sánh một nhóm trải nghiệm một bài giảng bằng lời và một nhóm khác trải nghiệm bài giảng dựa trên vấn đề, bạn sẽ kiểm soát tất cả các yếu tố có thể ảnh hưởng đến kết quả điểm số của một bài kiểm tra. Khả năng cá nhân và điều kiện kiểm tra là giống nhau cho cả hai nhóm và bạn đưa ra câu hỏi giống nhau cho cả hai nhóm. Bạn kiểm soát tất cả các biến có thể làm tăng kết quả ngoại trừ sự khác biệt trong các phương pháp hướng dẫn (bài giảng bằng lời hoặc bài giảng dựa trên vấn đề).

2. Các đặc trưng chính của thử nghiệm

Trước khi xem xét cách tiến hành một thử nghiệm, bạn cần hiểu những ý tưởng chính của nghiên cứu thử nghiệm, gồm: phân công ngẫu nhiên, kiểm soát các biến ngoại lai, thao tác các điều kiện điều trị, đo lường kết quả, so sánh nhóm, các mối đe doạ đến tính hợp lệ.

Để thảo luận về những đặc trưng chính này, chúng ta sẽ sử dụng một ví dụ minh họa cụ thể. Một nhà nghiên cứu quan tâm đến việc cải thiện tình trạng học sinh trung học vi phạm quy định đội mũ bảo hiểm khi điều khiển xe máy hoặc xe đạp điện. Những cá nhân bị bắt quả tang không đội mũ bảo hiểm sẽ bị yêu cầu tham gia một bài giảng giáo dục công dân ‘đặc biệt’, trong đó giáo viên giới thiệu một bài học đặc biệt về những nguy cơ đối với sức khỏe của việc không đội mũ bảo hiểm. Giáo viên sẽ cung cấp một số bài giảng giáo dục công dân ‘đặc biệt’ này trong một học kỳ.

2.1. Phân công ngẫu nhiên (Random Assignment)

Khi làm một thử nghiệm, bạn sẽ chỉ định các cá nhân vào các nhóm. Cách tiếp cận nghiêm ngặt nhất là chỉ định ngẫu nhiên các cá nhân vào các phương pháp can thiệp. Phân công ngẫu nhiên là quá trình chỉ định các cá nhân một cách ngẫu nhiên vào các nhóm hoặc các nhóm khác nhau trong một thử nghiệm.

Bạn sử dụng phân công ngẫu nhiên để bất kỳ sự thiên vị nào về đặc điểm cá nhân của các cá nhân trong thử nghiệm được phân bổ đều cho các nhóm. Bằng cách ngẫu nhiên, bạn có thể kiểm soát các đặc điểm không liên quan của những người tham gia có thể ảnh hưởng đến kết quả (ví dụ: khả năng của học sinh, mức độ chú ý, động lực). Thuật ngữ thử nghiệm cho quá trình này là “cân bằng” (equating) các nhóm. Cân bằng các nhóm có nghĩa là nhà nghiên cứu chỉ định ngẫu nhiên các cá nhân vào các nhóm và phân bổ công bằng bất kỳ sự thay đổi nào của các cá nhân giữa các nhóm.

Trong thực tế, các yếu tố cá nhân mà người tham gia mang đến một thử nghiệm không bao giờ có thể được kiểm soát hoàn toàn — một vài thiên kiên (bias) ​​hoặc sai sót sẽ luôn ảnh hưởng đến kết quả của một nghiên cứu. Tuy nhiên, bằng cách phân phối sai sót tiềm ẩn này một cách có hệ thống giữa các nhóm, nhà nghiên cứu về mặt lý thuyết sẽ phân phối những thiên kiến một cách ngẫu nhiên. Trong ví dụ của chúng, nhà nghiên cứu có thể lấy danh sách các học sinh vi phạm quy định đội mũ bảo hiểm và phân công ngẫu nhiêm họ vào một trong hai lớp thử nghiệm.

Bạn không nên nhầm lẫn giữa phân công ngẫu nhiên với lựa chọn ngẫu nhiên (random selection). Cả hai đều quan trọng trong nghiên cứu định lượng, nhưng chúng phục vụ các mục đích khác nhau. Các nhà nghiên cứu định lượng lựa chọn ngẫu nhiên một mẫu từ một quần thể. Bằng cách này, mẫu là đại diện cho dân số và bạn có thể tổng quát kết quả thu được trong quá trình nghiên cứu cho dân số. Các thử nghiệm thường không bao gồm việc lựa chọn ngẫu nhiên những người tham gia vì một số lý do. Những người tham gia thường là những cá nhân sẵn sàng tham gia thử nghiệm hoặc những người tình nguyện tham gia. Mặc dù lựa chọn ngẫu nhiên rất quan trọng trong các thử nghiệm, nhưng nó có thể không khả thi về mặt hậu cần. Tuy nhiên, loại thử nghiệm phức tạp nhất liên quan đến việc phân công ngẫu nhiên.

Trong thử nghiệm cải thiện tình trạng vi phạm quy định đội mũ bảo hiểm, bạn có thể lựa chọn ngẫu nhiên các cá nhân từ quần thể học sinh vi phạm. Tuy nhiên, bạn có thể xếp tất cả các học sinh vi phạm vào các lớp công dân đặc biệt, từ đó phân công ngẫu nhiên thay vì lựa chọn ngẫu nhiên.

2.2. Kiểm soát các biến ngoại lai (Control Over Extraneous Variables)

Phân công ngẫu nhiên là một phần của việc kiểm soát các biến ngoại lai, những cái có thể làm ảnh hưởng đến mối quan hệ giữa các phương pháp mới (ví dụ: thảo luận về những nguy cơ đối với sức khỏe của việc không đội mũ bảo hiểm) và kết quả (ví dụ: tần suất hút thuốc). Các yếu tố ngoại lai là bất kỳ yếu tố nào trong việc lựa chọn người tham gia, các thủ tục, thống kê hoặc thiết kế có khả năng ảnh hưởng đến kết quả và cung cấp một lời giải thích thay thế cho kết quả của chúng ta hơn những gì chúng ta mong đợi. Tất cả các thử nghiệm đều có một số sai số ngẫu nhiên (trong đó điểm số không phản ánh điểm số “đúng” của dân số) mà bạn không thể kiểm soát, nhưng bạn có thể cố gắng kiểm soát các yếu tố ngoại lai càng nhiều càng tốt. Ngoài việc phân công ngẫu nhiên trước khi tiến hành thử nghiệm, những thủ tục kiểm soát khác mà bạn có thể sử dụng cả trước và trong khi thử nghiệm là các bài kiểm tra trước (pretests), các hiệp biến (covariates), khớp cặp những người tham gia, các mẫu đồng nhất (homogeneous samples) và các biến chặn (blocking variables).

2.2.1. Kiểm tra trước – sau (Pretests and Posttests)

Để “cân bằng” các đặc điểm của các nhóm, các nhà nghiên cứu có thể sử dụng một ‘bài kiểm tra trước’ (pretest). Giả sử rằng chúng ta quan tâm đến việc liệu lớp học giáo dục công dân ‘đặc biệt’ có ảnh hưởng đến thái độ đội mũ bảo hiểm của học sinh hay không. Trong thử nghiệm này, chúng ta có thể đo lường thái độ trước khi can thiệp sư phạm (tức là bằng cách thảo luận về các mối nguy hiểm đối với sức khỏe) và sau đó, để xem liệu cuộc thảo luận có ảnh hưởng đến thái độ của học sinh hay không. Trong thử nghiệm này, chúng ta cần một ‘bài kiểm tra sau’ (posttest) để đo lường thái độ của học sinh.

Bài kiểm tra trước cung cấp một thước đo về một số thuộc tính mà bạn đánh giá những người tham gia thử nghiệm trước khi họ được can thiệp sư phạm. Sau khi can thiệp, một bài kiểm tra sau là một thước đo về một số thuộc tính được đánh giá cho những người tham gia thử nghiệm sau một lần can thiệp điều trị. Trong ví dụ của chúng ta, mục đích là để đánh giá thái độ của học sinh đối với việc đội mũ bảo hiểm vào cuối học kỳ sau khi can thiệp sư phạm. Một so sánh kiểm tra trước – sau (pretest–posttest) về thái độ đối với việc đội mũ bảo hiểm sẽ cung cấp kết quả rõ ràng hơn về hành vi đội mũ bảo hiểm thực tế so với việc chỉ sử dụng phép đo bài kiểm tra sau.

Sử dụng bài kiểm tra trước có ưu điểm cũng như nhược điểm. Ví dụ, khi học sinh điền vào một công cụ khảo sát ở đầu học kỳ, họ có thể đoán trước các câu hỏi sau đó về thái độ với đội mũ bảo hiểm của họ và thổi phồng hoặc giảm bớt câu trả lời của họ sau này trong học kỳ. Khi các bài kiểm tra thái độ hoặc thành tích được sử dụng làm bài kiểm tra trước, điểm số kiểm tra trước cũng có thể ảnh hưởng đến điểm số bài kiểm tra sau vì những người tham gia đoán trước các câu hỏi trên bài kiểm tra sau dựa trên các trải nghiệm của họ với bài kiểm tra trước.

2.2.2. Các hiệp biến (Covariates)

Bởi vì bài kiểm tra trước có thể ảnh hưởng đến các khía cạnh của thử nghiệm, chúng thường được kiểm soát thống kê bằng cách sử dụng thủ tục ‘hiệp phương sai’ (covariance) thay vì chỉ đơn giản so sánh chúng với điểm số kiểm tra sau. Các hiệp biến là các biến mà nhà nghiên cứu kiểm soát để sử dụng thống kê và có liên quan đến biến phụ thuộc nhưng không liên quan đến biến độc lập. Thông thường, các biến này là điểm số của bài kiểm tra trước, nhưng chúng có thể là bất kỳ biến nào tương quan với biến phụ thuộc. Quy trình thống kê của phân tích hiệp phương sai điều chỉnh điểm số trên biến phụ thuộc để tính hiệp phương sai. Thủ tục này trở thành một phương tiện khác để cân bằng các nhóm và kiểm soát các ảnh hưởng tiềm ẩn có thể ảnh hưởng đến biến phụ thuộc.

Hình 1. Sự kiểm soát hiệp biến

Hãy xem Hình 1 ở trên để hiểu về ảnh hưởng của hiệp biến trong ví dụ thử nghiệm của chúng ta ‘cải thiện tình trạng vi phạm quy định đội mũ bảo hiểm’. Hình phía bên trái hiển thị hai biến (hai tập hợp vòng tròn), một biến độc lập và một biến phụ thuộc, không có hiệp biến. Vùng sẫm màu biểu thị phương sai trong tỉ lệ không đội mũ bảo hiểm theo loại hướng dẫn; phương sai không giải thích được (được gọi là sai số) được hiển thị bằng một vùng gạch chéo.

Hình ở bên phải, chúng ta có một hiệp biến ‘khoảng cách từ nhà đến trường’. Bây giờ chúng ta có thể thấy rằng phương sai được giải thích tăng lên và phương sai không giải thích được (sai số) giảm đi. Bằng cách thêm một hiệp biến số liên quan đến ‘khoảng cách từ nhà đến trường’, nhà nghiên cứu làm tăng số lượng phương sai giải thích về tỷ lệ không đội mũ bảo hiểm và giảm phương sai không giải thích được. Thử nghiệm này cho phép nhà nghiên cứu đánh giá chính xác mối quan hệ giữa phương pháp điều trị và kết quả vì giảm số lượng sai số.

2.2.3. Khớp cặp những người tham gia (Matching of Participants)

Một quy trình khác được sử dụng để kiểm soát trong một thử nghiệm là khớp cặp những người tham gia về một hoặc nhiều đặc điểm cá nhân. Khớp cặp là quá trình xác định một hoặc nhiều đặc điểm cá nhân ảnh hưởng đến kết quả và chỉ định các cá nhân có đặc điểm đó như nhau cho các nhóm thự nghiệm và nhóm đối chứng (hoặc nhóm điều khiển – control group). Thông thường, các nhà nghiên cứu thự nghiệm thường khớp cặp về một hoặc hai trong số các đặc điểm sau: giới tính, điểm kiểm tra trước, hoặc khả năng cá nhân.

Trong thử nghiệm ‘cải thiện tình trạng vi phạm quy định đội mũ bảo hiểm’, chúng ta có thể chỉ định những học sinh không đội mũ bảo hiểm vào hai lớp (giả sử rằng một lớp nhận được sự điều trị và lớp kia thì không) dựa trên giới tính. Dựa trên sự hiểu biết rằng học sinh nam có thể vi phạm quy định đội mũ bảo hiểm nhiều hơn học sinh nữ, sẽ kiểm soát mức độ tiềm ẩn của giới tính đối với tần suất không đội mũ bảo hiểm.

Về mặt thủ tục, quá trình khớp cặp có nghĩa là chỉ định học sinh nam đầu tiên cho nhóm đối chứng, học sinh nam thứ hai vào nhóm thí nghiệm, học sinh nam thứ ba cho nhóm đối chứng.v.v. Nhà nghiên cứu lặp lại quá trình này đối với học sinh nữ. Bằng cách sử dụng quy trình này, chúng ta kiểm soát trước khi thử nghiệm bắt đầu đối với yếu tố ngoại lai tiềm ẩn của giới tính trong thử nghiệm.

2.2.4. Các mẫu đồng nhất (Homogeneous Samples)

Một cách tiếp cận khác được sử dụng để làm cho các nhóm có thể so sánh được là chọn các mẫu đồng nhất bằng cách lựa chọn những người có đặc điểm cá nhân khác nhau chút ít. Ví dụ: chúng ta có thể giả định rằng các học sinh trong hai lớp học công dân (một lớp nhận được bài giảng về “mối nguy hiểm đối với sức khỏe” và lớp thứ hai thì không, chỉ viết bản kiểm điểm) giống nhau về các đặc điểm, chẳng hạn như điểm trung bình học tập, giới tính, một khối lớp (khối 10, 11 hoặc 12). Khi người thử nghiệm phân công học sinh vào hai lớp, họ càng giống nhau về đặc điểm hoặc thuộc tính cá nhân, thì những đặc điểm hoặc thuộc tính này càng được kiểm soát trong thử nghiệm. Ví dụ, nếu tất cả những học sinh vi phạm quy định đội mũ bảo hiểm được chỉ định cho hai lớp học giáo dục công dân ‘đặc biệt’ đều là học sinh lớp 10, thì cấp lớp sẽ được kiểm soát trong thử nghiệm. Thật không may, trong ví dụ của chúng ta, điều này rất khó thực hiện và các nhà nghiên cứu cần sử dụng một cách khác.

2.2.5. Các biến chặn (blocking variables)

Biến chặn là một biến mà nhà nghiên cứu kiểm soát trước khi thử nghiệm bắt đầu bằng cách chia (hoặc “chặn”) những người tham gia thành các nhóm con (hoặc các loại) và phân tích tác động của từng nhóm con đối với kết quả. Biến giới tính có thể bị chặn thành nam và nữ; tương tự, cấp độ trung học phổ thông có thể được chia thành ba loại: khối lớp 10, khối lớp 11 và khối lớp 12. Trong quy trình này, nhà nghiên cứu hình thành các nhóm con đồng nhất bằng cách chọn một đặc điểm chung cho tất cả những người tham gia nghiên cứu (ví dụ: giới tính hoặc các nhóm tuổi khác nhau). Sau đó, nhà nghiên cứu chỉ định ngẫu nhiên các cá nhân vào nhóm đối chứng và nhóm thử nghiệm bằng cách sử dụng từng loại biến. Ví dụ, nếu các học sinh tham gia thí nghiệm là khối lớp 10, bạn chỉ định một số lượng bằng nhau các học sinh khối 10 cho các nhóm đối chứng và thí nghiệm.

2.3. Thao tác các điều kiện điều trị (Treatment Conditions)

Khi bạn lựa chọn những người tham gia, bạn sẽ phân công ngẫu nhiên họ vào một trong nhóm thử nghiệm hoặc nhóm đối chứng. Trong nhóm thử nghiệm, nhà nghiên cứu can thiệp vật lý để thay đổi các điều kiện mà học sinh phải trải qua (ví dụ như kể chuyện với tranh để cải thiện từ vựng của học sinh tiểu học, sử dụng hình ảnh 3D để dạy hình học giải tích…). Trong ví dụ của chúng ta, nhà nghiên cứu sẽ sử dụng các hoạt động thảo luận về các mối nguy hiểm đối với sức khỏe khi không đội mũ bảo hiểm.

Cụ thể, quy trình sẽ là: i) Xác định một biến điều trị (treatment variable), ii) Xác định các cấp độ của biến (có thể là 2 cấp với (a) các bài giảng tiêu chuẩn thông thường hoặc (b) các bài giảng liên quan đến các nguy cơ sức khỏe của việc không đội mũ bảo hiểm), iii) Thao tác các điều kiện điều trị (cung cấp các hoạt động đặc biệt về các nguy cơ đối với sức khỏe của việc không đội mũ bảo hiểm cho một nhóm người và ngăn cản họ với nhóm khác).

2.4. Đo lường kết quả (Outcome Measures)

Trong tất cả các bài thử nghiệm, bạn cần đánh giá xem điều kiện điều trị có ảnh hưởng đến một kết quả hay biến phụ thuộc, chẳng hạn như giảm tỷ lệ không đội mũ bảo hiểm hoặc thành tích trong các bài kiểm tra. Trong các thử nghiệm, kết quả (hoặc phản ứng, tiêu chí, hoặc bài kiểm tra sau) là biến phụ thuộc. Nó cũng là hiệu ứng được dự đoán trong một giả thuyết trong phương trình nguyên nhân và kết quả (cause-and-effect equation).

Các thước đo kết quả tốt là nhạy cảm (sensitive) với các phương pháp điều trị ở chỗ chúng đáp ứng với lượng can thiệp nhỏ nhất. Các thước đo kết quả cũng cần phải hợp lệ để các nhà nghiên cứu có thể rút ra những suy luận hợp lệ từ chúng.

2.5. So sánh nhóm (Group Comparisons)

Trong một thử nghiệm, bạn cũng so sánh điểm số cho các phương pháp điều trị khác nhau trên một kết quả. So sánh nhóm là quá trình nhà nghiên cứu thu được điểm số cho các cá nhân hoặc nhóm trên biến phụ thuộc và so sánh trung bình và phương sai trong nhóm và giữa các nhóm. Quy trình so sánh nhóm thường được giải thích bởi các gói thống kê như t-test, F-test, ANOVA, ANCOVA.

2.6. Các mối đe doạ tính hợp lệ (Threats to Validity)

Một đặc trưng chính trong các thử nghiệm là thiết kế chúng sao cho những suy luận bạn rút ra là chính xác. Các mối đe dọa đối với việc rút ra những suy luận chính xác này cần được giải quyết trong nghiên cứu thử nghiệm. Các mối đe dọa tính hợp lệ đề cập đến những lý do cụ thể tại sao chúng ta có thể sai khi đưa ra suy luận trong một thử nghiệm. Có bốn loại hợp lệ là:

– Tính hợp lệ của kết luận thống kê (Statistical conclusion validity): đề cập đến việc sử dụng thống kê thích hợp (ví dụ: vi phạm các giả định thống kê, phạm vi hạn chế trên một biến, sức mạnh thấp) để suy ra liệu các biến phụ thuộc và độc lập có đồng thay đổi trong thử nghiệm hay không.

– Tính hợp lệ của cấu trúc (Construct validity): có nghĩa là tính hợp lệ của các suy luận về cấu trúc (hoặc các biến) trong nghiên cứu.

– Giá trị bên trong (Internal validity): liên quan đến giá trị của các suy luận rút ra về mối quan hệ nguyên nhân và kết quả giữa các biến độc lập và biến phụ thuộc. Một mối đe dọa nghiêm trọng nhất là các vấn đề trong việc đưa ra các suy luận chính xác về việc liệu hiệp biến (tức là sự biến đổi trong một biến có góp phần vào sự thay đổi của biến số kia) giữa biến điều trị giả định và kết quả có phản ánh mối quan hệ nhân quả hay không? Vì vậy, nhà nghiên cứu cần kiểm soát tốt các yếu tố liên quan đến người tham gia (chẳng hạn như các cá nhân phát triển và thay đổi trong quá trình thử nghiệm, trở lên già và khôn ngoan hơn, nhiều kinh nghiệm hơn, có thể ảnh hưởng đến điểm số của họ trong bài kiểm tra trước và bài kiểm tra sau), liên quan đến điều trị (chẳng hạn như khi nhóm thử nghiệm và nhóm đối chứng có thể giao tiếp với nhau, nhóm đối chứng có thể học từ nhóm thử nghiệm thông tin về phương pháp điều trị và tạo ra mối đe dọa đối với giá trị bên trong), và liên quan đến thủ tục (ví dụ, những người tham gia có thể quen với các thước đo kết quả và ghi nhớ các phản hồi cho quá trình kiểm tra sau này. Hoặc người quan sát thay đổi địa điểm để quan sát tình trạng đội mũ bảo hiểm của học sinh).

– Giá trị bên ngoài (External validity): đề cập đến giá trị của mối quan hệ nguyên nhân và kết quả có thể được khái quát hóa cho những người khác, các thiết lập, các biến điều trị và các phép đo khác. Ví dụ như các trường công lập và các trường tư thục có thể khác nhau, và các kết quả thử nghiệm tại trường công lập có thể không đúng tại các trường tư thục.

admin

Chịu trách nhiệm học thuật, PGS.TS. Nguyễn Văn Hạnh
Chuyên gia nghiên cứu Khoa học Giáo dục và Phân tích định lượng.

error: Content is protected !!
0
Would love your thoughts, please comment.x
()
x