摘 要：在傳統(tǒng)的查全率和查準(zhǔn)率檢索評(píng)價(jià)指標(biāo)，以及循證研究證據(jù)的分級(jí)體系和證據(jù)轉(zhuǎn)化整合理論基礎(chǔ)上引入了信度評(píng)價(jià)指標(biāo)，為循證社會(huì)科學(xué)領(lǐng)域原始研究文獻(xiàn)證據(jù)質(zhì)量的科學(xué)評(píng)價(jià)提供了理論依據(jù)。對(duì)前序研究得到的文獻(xiàn)證據(jù)數(shù)據(jù)集進(jìn)行信度評(píng)價(jià)發(fā)現(xiàn)：出現(xiàn)“關(guān)鍵詞 or 全文”檢索項(xiàng)在高相關(guān)數(shù)據(jù)集中重測(cè)信度更高，出現(xiàn)“關(guān)鍵詞 and 摘要”的檢索項(xiàng)在中相關(guān)數(shù)據(jù)集結(jié)果最穩(wěn)定;復(fù)本信度檢驗(yàn)結(jié)果顯示：中相關(guān)數(shù)據(jù)集中出現(xiàn)“關(guān)鍵詞 or 全文”和“摘要or 全文”檢索項(xiàng)的復(fù)本信度都很高，而在高相關(guān)數(shù)據(jù)集中，又出現(xiàn)“主題 or 關(guān)鍵詞”的可靠性較強(qiáng)。
關(guān)鍵詞：循證社會(huì)科學(xué);文獻(xiàn)證據(jù)檢索;復(fù)本信度;重測(cè)信度
獲得穩(wěn)定、可靠的原始研究證據(jù)，是基于元分析而有效整合研究結(jié)果的基礎(chǔ)，也是展開系統(tǒng)評(píng)價(jià)和證據(jù)轉(zhuǎn)化的關(guān)鍵。 從測(cè)量的角度看，信度是衡量指標(biāo)可靠性和一致性的基本工具。對(duì)于文獻(xiàn)證據(jù)的檢索而言，信度可用于衡量檢索的穩(wěn)定性、可靠性和一致性。將文獻(xiàn)證據(jù)檢索進(jìn)行信度評(píng)估，對(duì)保障系統(tǒng)評(píng)價(jià)和元分析的質(zhì)量具有極其重要的理論與實(shí)踐意義。
社會(huì)科學(xué)論文投稿期刊：江西社會(huì)科學(xué)投稿能網(wǎng)絡(luò)首發(fā)嗎
這是因?yàn)橹挥形墨I(xiàn)檢索獲得可靠的原始證據(jù)，系統(tǒng)評(píng)價(jià)和元分析才能據(jù)此產(chǎn)出更高質(zhì)量的證據(jù)整合產(chǎn)品。 同時(shí)，只有文獻(xiàn)檢索獲得穩(wěn)定一致的原始證據(jù)，系統(tǒng)評(píng)價(jià)和元分析所獲得的證據(jù)整合結(jié)果才能保證其可信度。 基于這一科學(xué)問題，本文以中文文獻(xiàn)最大數(shù)據(jù)庫(kù) CNKI 為對(duì)象，通過對(duì)社會(huì)科學(xué)領(lǐng)域特定的研究議題相關(guān)原始學(xué)術(shù)文獻(xiàn)的系統(tǒng)性檢索與分析，著眼于信度評(píng)價(jià)的基本理念和指標(biāo)，對(duì)不同途徑的文獻(xiàn)證據(jù)檢索質(zhì)量做出檢索效率評(píng)價(jià)，以期為循證社會(huì)科學(xué)領(lǐng)域的循證研究質(zhì)量評(píng)價(jià)提供理論支撐。
1 研究回顧與理論基礎(chǔ)
1.1 相關(guān)研究回顧
1.1.1 文獻(xiàn)檢索質(zhì)量評(píng)價(jià)
系統(tǒng)評(píng)價(jià)(systematic review)是對(duì)一組特定的文獻(xiàn)綜述特性加以有效整合的研究， 通常用來綜合文獻(xiàn)證據(jù)[1]。文獻(xiàn)檢索是系統(tǒng)評(píng)價(jià)活動(dòng)的基礎(chǔ)工作，也涵蓋了系統(tǒng)評(píng)價(jià)的大部分工作環(huán)節(jié)，且檢索的目標(biāo)是搜集到所有與研究主題相關(guān)的文章。 研究者所檢索到的文獻(xiàn)證據(jù)旨在幫助研究者產(chǎn)生關(guān)于證據(jù)的中立陳述，盡量避免偏倚。 因此，對(duì)文獻(xiàn)證據(jù)的信度加以研究，以確定應(yīng)該如何應(yīng)對(duì)處理不同檢索方式之間的差異，從而增加文獻(xiàn)檢索的透明度，就需要在檢索過程中針對(duì)不同檢索方式，對(duì)所檢索到文獻(xiàn)內(nèi)含證據(jù)的質(zhì)量及其可靠性進(jìn)行評(píng)價(jià)。
查全率和查準(zhǔn)率是評(píng)價(jià)文獻(xiàn)檢索質(zhì)量的兩種主要傳統(tǒng)指標(biāo)。查全率(recall ratio)是指檢索到的相關(guān)文獻(xiàn)在所有應(yīng)該檢索到的文件集合中的比率。 但是，由于“所有文獻(xiàn)”事實(shí)上常常不可得，因此，查全率的分母無法預(yù)知， 這往往只是一個(gè)虛構(gòu)的值; 查準(zhǔn)率(precision ratio)是指所檢索到的文獻(xiàn)中，被判斷為相關(guān)文獻(xiàn)的比值。 查準(zhǔn)率衡量了文獻(xiàn)檢索達(dá)到飽和時(shí)，查找到相關(guān)文獻(xiàn)的概率。 查準(zhǔn)率和查全率呈現(xiàn)了反比關(guān)系。 如當(dāng)研究者查找到集合中所有的文獻(xiàn)時(shí)，這也意味著其中就有大量的不相關(guān)文獻(xiàn)，提高了查全率但降低查準(zhǔn)率。
相反，當(dāng)文獻(xiàn)檢索變的精確時(shí)，就會(huì)丟失大量的不相關(guān)文獻(xiàn)，降低了查全率。Mann[2]提出研究者需要追求更加精確的檢索結(jié)果，因?yàn)檠芯空咂谕麨g覽較少的文獻(xiàn)，在判斷相關(guān)度過程中也能減少工作量。 然而，系統(tǒng)評(píng)價(jià)的特點(diǎn)就是要追求較高的“查全率”，因?yàn)楸疚难芯繘]有辦法確定，所定位的檢索主題是否可以代表現(xiàn)有的全部研究。 最好的解決辦法就是盡可能全面的去檢索，避免漏掉規(guī)范檢索之外的重要文章，確保習(xí)慣性的檢索渠道不會(huì)使結(jié)果產(chǎn)生偏倚。 因此，本文所使用數(shù)據(jù)集，延續(xù)了前序關(guān)于飽和度展開的研究，使用滾雪球、檢索方式迭代等多種方法，盡可能窮盡檢索與研究主題“社會(huì)認(rèn)識(shí)論”相關(guān)的文獻(xiàn)。
1.2.2 元分析的異質(zhì)性[3]
納入元分析的研究可能在多方面存在差異，如人群、干預(yù)措施的變化、評(píng)估結(jié)果的量表選擇等。 進(jìn)行元分析的第一步就是確定效應(yīng)量在所研究的樣本中的變化，如果效應(yīng)量在所有研究中的變化一致，則關(guān)注其平均值，相反如果效應(yīng)量在不同的研究中存在實(shí)質(zhì)性的變化，就會(huì)產(chǎn)生異質(zhì)性。當(dāng)系統(tǒng)評(píng)價(jià)中所包含的研究數(shù)量較少時(shí)，會(huì)導(dǎo)致異質(zhì)性的統(tǒng)計(jì)數(shù)據(jù)(如方差、標(biāo)準(zhǔn)差、預(yù)測(cè)區(qū)間、I2)不可靠。
異質(zhì)性的問題也會(huì)因研究領(lǐng)域的不同而不同，如 Cooper 描述當(dāng)采用同一種方法研究同一人群時(shí)，評(píng)估的是具有一致效果的干預(yù)措施的影響，這種情況下異質(zhì)性就會(huì)很小。 相反，當(dāng)研究采用不同方法、不同人群、評(píng)估不同的干預(yù)影響，研究中的異質(zhì)性就會(huì)增強(qiáng)。 元分析的意義就是要將結(jié)論推廣到更大的領(lǐng)域，但是如果研究樣本較少，所有的異質(zhì)性統(tǒng)計(jì)數(shù)據(jù)就會(huì)不可靠，尤其是預(yù)測(cè)區(qū)間，那么結(jié)論在更寬泛的領(lǐng)域中就會(huì)不適用。
因此，需要仔細(xì)思考結(jié)論在未來需要推廣的領(lǐng)域，考慮本文研究中的樣本數(shù)可以在多大程度上代表此結(jié)論。如果在元分析中沒有檢驗(yàn)出異質(zhì)性的問題，可能會(huì)導(dǎo)致將明顯不同的人群、結(jié)果、環(huán)境和時(shí)間歸為一類。 但是 Gene Glass 認(rèn)為，如果出現(xiàn)這樣的情況，可以概括出他們更高一層的共有特征，這樣就可以概括出不同人群、環(huán)境等出現(xiàn)的同一結(jié)論。
因此在這種情況下，可以適當(dāng)忽略他們的單一特征，尋找共同的平均效應(yīng)量，從而解釋本文研究可以觀察到的方差及效應(yīng)量。另外，Deeks 等[4]提出一種解決異質(zhì)性的方法：“exclude studies”，一般來說將某些研究排除在外會(huì)導(dǎo)致偏倚，但作者認(rèn)為可以排除一些與本文研究主題不太相關(guān)的研究，前提是要解釋清楚這些不相關(guān)的原因，并且排除之后不會(huì)干擾研究目標(biāo)[3]。后續(xù)需要主要針對(duì)數(shù)據(jù)集中高度相關(guān)文獻(xiàn)和中度相關(guān)文獻(xiàn)做出信度分析，以減少異質(zhì)性。
1.1.3 系統(tǒng)評(píng)價(jià)中的偏倚系統(tǒng)評(píng)價(jià)的目的是通過綜合幾個(gè)研究結(jié)果，總結(jié)有關(guān)具體問題的最佳研究。 在系統(tǒng)評(píng)價(jià)的過程中，始終使用透明公開的程序來發(fā)現(xiàn)、評(píng)價(jià)、得出結(jié)論，以盡量避免偏倚。 但文獻(xiàn)檢索階段，大部分有顯著結(jié)果的研究會(huì)比沒有顯著結(jié)果的研究更容易發(fā)表，就更容易被納入系統(tǒng)評(píng)價(jià)數(shù)據(jù)，此時(shí)會(huì)出現(xiàn)數(shù)據(jù)丟失的情況，那些未發(fā)表的研究有可能會(huì)高估或低估措施干預(yù)的真實(shí)效果，導(dǎo)致綜合結(jié)果的偏倚，這種偏倚通常成為“發(fā)表偏倚”(publication bias)[5]。在文獻(xiàn)檢索時(shí)，本文無法在數(shù)據(jù)庫(kù)中找到所有相關(guān)的研究，并且偏倚還會(huì)隨著研究問題特征的變化而變化。
大部分書目或數(shù)據(jù)庫(kù)只涵蓋已經(jīng)出版的文獻(xiàn)，Chalmers 和 Frank[6]強(qiáng)調(diào)，當(dāng)本研究在文章中僅納入并且統(tǒng)計(jì)了已發(fā)表的文章，為了抵消其中的潛在偏倚，應(yīng)該特別注明在評(píng)價(jià)過程中納入的未發(fā)表文章的影響。 Sterne 等[7]認(rèn)為發(fā)表偏倚的存在可能導(dǎo)致一部分研究無法在同行評(píng)審(peer-reviewed)的期刊上發(fā)表， 并且已發(fā)表的研究也會(huì)有很大一部分不會(huì)被書目數(shù)據(jù)庫(kù)索引。 涉及定量研究的系統(tǒng)評(píng)價(jià)在文獻(xiàn)檢索時(shí)應(yīng)調(diào)整檢索策略，盡量減少發(fā)表偏倚的影響。 涉及定性數(shù)據(jù)時(shí)，Booth[8]認(rèn)為可以用不太詳盡的方法，但應(yīng)審查資源范圍內(nèi)的數(shù)據(jù)，確保檢索到足夠種類的信息。 因此必須仔細(xì)考慮獲取文獻(xiàn)的多種渠道，以及本研究所選擇的渠道之間如何相互補(bǔ)充。
1.2 信度的類型與評(píng)估信度(Reliability)
即可靠性，它是指采用同樣的方法對(duì)同一對(duì)象重復(fù)測(cè)量時(shí)所得結(jié)果的一致性程度。信度越高，多次測(cè)量的結(jié)果之間反映的一致性就越大。信度指標(biāo)多以相關(guān)系數(shù)表示，大致可分為三類：穩(wěn)定系數(shù)(跨時(shí)間的一致性)，等值系數(shù)(跨形式的一致性)和內(nèi)在一致性系數(shù)(跨項(xiàng)目的一致性)。 信度分析的方法主要有以下四種：重測(cè)信度法、復(fù)本信度法、折半信度法、α 信度系數(shù)法[9]。 本文主要通過復(fù)本信度和重測(cè)信度來檢驗(yàn)文獻(xiàn)檢索所獲證據(jù)的可靠性與穩(wěn)定性。
1.2.1 復(fù)本信度復(fù)本信度(Parallel-forms Reliability)又稱為等值性系數(shù)，是等值性信度(Equivalence Reliability)的一種，指問卷調(diào)查的結(jié)果與另一種非常相似的問卷調(diào)查結(jié)果的變異程度。 針對(duì)同一組測(cè)試對(duì)象，運(yùn)用兩份內(nèi)容相同但題目不同的問卷進(jìn)行測(cè)試，兩次結(jié)果的相關(guān)性程度則為復(fù)本信度。 相關(guān)程度越高，復(fù)本信度越高，兩次結(jié)果的一致性越強(qiáng)。復(fù)本信度的困難在于要編制兩份等同的量表，在實(shí)踐應(yīng)用中會(huì)受到一定程度的限制。 兩份等同量表要包含相同的數(shù)目、類型、難度。
比起重測(cè)信度來，復(fù)本信度避免了記憶效應(yīng)和練習(xí)效應(yīng)，比較適合做長(zhǎng)期追蹤調(diào)查或有難度的測(cè)試。但復(fù)本信度也存在一定的局限，如有些測(cè)驗(yàn)或量表很難找到等同且合適的復(fù)本，其次測(cè)驗(yàn)的性質(zhì)會(huì)由于重復(fù)而發(fā)生改變。 因此，在利用復(fù)本信度做可靠性檢查時(shí)，一方面要注意兩份內(nèi)容測(cè)驗(yàn)的時(shí)間間隔，另一方面，注意分析中出現(xiàn)的負(fù)相關(guān)，并對(duì)這種情況得到的可靠性提出質(zhì)疑。
1.2.2 重測(cè)信度重測(cè)信度(test-retest reliability)又稱為再測(cè)信度、穩(wěn)定性系數(shù)，是針對(duì)同一組測(cè)試人員，利用相同內(nèi)容的問卷在不同的時(shí)間點(diǎn)先后測(cè)試兩次，兩次結(jié)果之間的差異程度。重測(cè)信度是由時(shí)間變化所帶來的隨機(jī)誤差產(chǎn)生的，反映測(cè)驗(yàn)跨時(shí)間的穩(wěn)定性和一致性。根據(jù)所測(cè)定特質(zhì)數(shù)據(jù)的表現(xiàn)方式，重測(cè)信度可采用積矩相關(guān)系數(shù)、等級(jí)相關(guān)系數(shù)和列聯(lián)系數(shù)來表示。 從相關(guān)系數(shù)的大小可以判斷，測(cè)量結(jié)果在經(jīng)過一段時(shí)間后的穩(wěn)定程度。
相關(guān)系數(shù)越大，測(cè)量結(jié)果更加一致可靠，重測(cè)信度越高，測(cè)驗(yàn)環(huán)境的隨機(jī)因素帶來的影響也就越小[10]。重測(cè)信度適用于異質(zhì)性調(diào)查，尤其是在幾部分內(nèi)容之間不存在相關(guān)性或相關(guān)性較低時(shí)。但由于存在記憶效應(yīng)，重測(cè)的時(shí)間間隔不宜過長(zhǎng)，并且需要充分考慮重測(cè)過程中不同的環(huán)境條件帶來的測(cè)量結(jié)果的誤差。
2 文獻(xiàn)證據(jù)檢索的信度研究設(shè)計(jì)
本研究由兩個(gè)相互獨(dú)立但互為支撐的子研究構(gòu)成，充分考慮了文獻(xiàn)檢索的查全率和查準(zhǔn)率，以及檢索過程中所帶來的異質(zhì)性，根據(jù)信度的理念和指標(biāo)，以中文文獻(xiàn)最大的數(shù)據(jù)庫(kù)——CNKI 為對(duì)象，延續(xù)“社會(huì)認(rèn)識(shí)論”為主題的文獻(xiàn)檢索以及飽和度研究結(jié)論，對(duì)不同途徑的文獻(xiàn)檢索質(zhì)量做出評(píng)價(jià)。首先構(gòu)建數(shù)據(jù)集，將總數(shù)據(jù)集中的高相關(guān)文獻(xiàn)與中相關(guān)文獻(xiàn)按年份分為十組，再應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文的單項(xiàng)檢索與組合檢索的十年數(shù)據(jù)與總數(shù)據(jù)進(jìn)行匹配，計(jì)算高相關(guān)組的匹配比例與中相關(guān)組匹配比例。
2.1 復(fù)本信度復(fù)本信度
旨在檢驗(yàn)通過不同途徑的檢索方式，檢驗(yàn)結(jié)果的一致性。 應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文為檢索項(xiàng)，判斷不同途徑的單項(xiàng)檢索或組合檢索項(xiàng)之間的相似程度，對(duì)其查全率和查準(zhǔn)率做出評(píng)價(jià)。
3 文獻(xiàn)證據(jù)檢索的信度研究結(jié)果
3.1 單項(xiàng)檢索的信度檢驗(yàn)
3.1.1 單項(xiàng)檢索與高相關(guān)集信度檢驗(yàn)單項(xiàng)檢索本文選擇了五種方式：主題、篇名、關(guān)鍵詞、摘要、全文。 將每一項(xiàng)檢索結(jié)果分別從 CNKI數(shù)據(jù)庫(kù)中導(dǎo)出，與高相關(guān)數(shù)據(jù)集進(jìn)行比對(duì)，計(jì)算其不同檢索方式的相關(guān)系數(shù)矩陣及匹配差異的離散程度。除全文檢索與其他方式不存在相關(guān)性，其他四項(xiàng)之間都存在顯著的相關(guān)性，具體表現(xiàn)如下：
(1)在 0.01 的顯著性水平下，主題檢索與篇名檢索的相關(guān)系數(shù)最大，達(dá)到 0.876，說明主題與篇名的檢索結(jié)果相似程度最高，可相互替代。再看重測(cè)信度，主題檢索的方差處于五項(xiàng)之中最高，而篇名檢索的方差最低，說明以篇名檢索的十年數(shù)據(jù)是最穩(wěn)定可靠的。 因此單項(xiàng)檢索到高相關(guān)文獻(xiàn)時(shí)，可以優(yōu)先選擇篇名檢索。
(2)關(guān)鍵詞檢索的可替代性最強(qiáng)，因?yàn)殛P(guān)鍵詞檢索同時(shí)與主題、篇名、摘要的相關(guān)系數(shù)都達(dá)到了 0.8以上，且在 0.01 水平上顯著。但基于重測(cè)信度結(jié)果來看，關(guān)鍵詞檢索的十年匹配比例之差的離散程度為35.3%，較其他結(jié)果處于中間狀態(tài)，數(shù)據(jù)較為穩(wěn)定，因此關(guān)鍵詞檢索結(jié)果比較可取。
(3)主題檢索與篇名、關(guān)鍵詞的相關(guān)系數(shù)均處于前列，且與摘要檢索也在 0.05 的顯著水平上，達(dá)到0.646的相關(guān)度。因此主題檢索與這三項(xiàng)的相似程度也比較高，可靠性強(qiáng)，但重測(cè)信度結(jié)果顯示，主題檢索的結(jié)果并不穩(wěn)定，離散程度大。 因此主題檢索應(yīng)謹(jǐn)慎選擇。
(4)另外摘要檢索的復(fù)本信度較高，與關(guān)鍵詞、主題的一致性較強(qiáng)，但重測(cè)結(jié)果并不穩(wěn)定，離散程度較大。 全文檢索與其他四種方式都不具有一致性，甚至出現(xiàn)負(fù)相關(guān)的情況，但是近十年匹配度的結(jié)果卻較為穩(wěn)定。以上綜合復(fù)本信度和重測(cè)信度結(jié)果，提出在進(jìn)行單項(xiàng)檢索時(shí)，優(yōu)先選擇篇名檢索、關(guān)鍵詞次之，主題檢索可以排在兩者之后。 摘要和全文在檢索高度相關(guān)的文獻(xiàn)時(shí)并不可取，因?yàn)閮烧卟荒芡瑫r(shí)滿足復(fù)本信度和重測(cè)信度的一致性與穩(wěn)定性。
3.1.2 單項(xiàng)檢索與中相關(guān)集信度檢驗(yàn)
以篇名為檢索方式總共檢索到 30 篇，皆為與“社會(huì)認(rèn)識(shí)論”高度相關(guān)的文獻(xiàn)，因此在中相關(guān)的相關(guān)性分析中，篇名的數(shù)據(jù)無效。 從單項(xiàng)搜索與中相關(guān)數(shù)矩陣可以看出，僅有主題檢索與摘要檢索的相關(guān)系數(shù)最高(0.73)且顯著，說明檢索中度相關(guān)的文獻(xiàn)用主題檢索和摘要檢索的結(jié)果相似。 再看重測(cè)信度結(jié)果，摘要檢索離散程度 9%，說明在近十年的匹配度中數(shù)據(jù)較為穩(wěn)定。 因此在檢索中度相關(guān)文獻(xiàn)時(shí)，“摘要”檢索的結(jié)果最為可靠。
3.2組合檢索的重測(cè)信度組合檢索的重測(cè)信度
以十年數(shù)據(jù)中每下一年度與上一年度匹配比例差的離散程度來表現(xiàn)，通過標(biāo)準(zhǔn)差系數(shù)對(duì)不同檢索途徑做出比較。
(1)二項(xiàng)組合檢索的重測(cè)信度。 通過二項(xiàng)組合檢索式的年度匹配差異看十年數(shù)據(jù)的穩(wěn)定程度。 使用 and 檢索的策略整體要比 or 檢索式的穩(wěn)定性要和好。 在高相關(guān)數(shù)據(jù)集中，“篇名 and摘要”的標(biāo)準(zhǔn)差最小(0.15)，離散程度最小，但同時(shí)“篇名 or 摘要”的標(biāo)準(zhǔn)差達(dá)到 0.502，恰好是高相關(guān)集中匹配最不穩(wěn)定的檢索式。
因此想要獲得穩(wěn)定的高相關(guān)匹配數(shù)據(jù)，可以優(yōu)先選擇“篇名 and 摘要”。 其次可以選擇“主題 or 全文”和“篇名 and 關(guān)鍵詞”，離散程度都比較小，數(shù)據(jù)相對(duì)穩(wěn)定。在中相關(guān)數(shù)據(jù)集中，除去篇名并項(xiàng)檢索的 0 值數(shù)據(jù)外，“關(guān)鍵詞 and 摘要”標(biāo)準(zhǔn)差系數(shù)最小，“關(guān)鍵詞 and 全文”次之。使用 or 運(yùn)算符連接“全文”項(xiàng)的組合式標(biāo)準(zhǔn)差值均偏大，離散程度較大，需謹(jǐn)慎考慮。
4 討論與結(jié)論
4.1 討論
本文的信度檢驗(yàn)方法融合了時(shí)間方面的重測(cè)和標(biāo)準(zhǔn)途徑方面的復(fù)本方法，因此，更能夠衡量出實(shí)際的檢索質(zhì)量。從復(fù)本信度來看，高相關(guān)數(shù)據(jù)集中使用的 and運(yùn)算符時(shí)，檢索項(xiàng)之間相似度較高，中相關(guān)集使用 or更加相似。 我們認(rèn)為，在檢索高度相關(guān)文獻(xiàn)時(shí)，使用and 運(yùn)算符可以更加精確文獻(xiàn)結(jié)果，范圍變小會(huì)導(dǎo)致結(jié)果存在很大的重復(fù)性，因此檢索項(xiàng)之間的相似度也很高，復(fù)本信度大;另一方面中相關(guān)的文獻(xiàn)集不要求本文的檢索結(jié)果有多精確，反而更要求數(shù)據(jù)是否全面，因而使用 or 運(yùn)算符擴(kuò)大搜索范圍，以檢索更多中度相關(guān)的文章，提高查全率。
從重測(cè)信度來看，在高相關(guān)數(shù)據(jù)集中，“全文”單項(xiàng)檢索的穩(wěn)定性最高，組合檢索出現(xiàn)“主題 or 全文”，離散程度很小，結(jié)果最穩(wěn)定。 在中相關(guān)數(shù)據(jù)集中，“摘要”單項(xiàng)檢索標(biāo)準(zhǔn)差最小，最穩(wěn)定，后續(xù)的二、三、四、五項(xiàng)組合檢索式，凡是出現(xiàn)“關(guān)鍵詞 and 摘要”的組合式，都是中相關(guān)數(shù)據(jù)集中最穩(wěn)定的。 這一結(jié)果比較意外，因?yàn)槿臋z索的范圍很大，是一種模糊搜索的方法，按理說其信度在高度相關(guān)數(shù)據(jù)集中應(yīng)該屬于較低層次，但結(jié)果并不是。 我們認(rèn)為全文檢索的數(shù)量比較多，在每一年份上都比其他方式的數(shù)據(jù)多出幾倍，因此越多的結(jié)果就會(huì)使本文研究越接近真實(shí)的數(shù)據(jù)，每一年份的差異就會(huì)減少，重測(cè)信度得到提升。
4.2 結(jié)論
(1)單項(xiàng)檢索的信度結(jié)果表示，在檢索與研究論點(diǎn)高度相關(guān)文獻(xiàn)時(shí)，“關(guān)鍵詞”檢索在穩(wěn)定性結(jié)果方面更優(yōu)，如果要求更加全面的結(jié)果，可以選擇“主題”檢索。 但“篇名”檢索綜合二者優(yōu)勢(shì)，為最優(yōu)選擇。 在檢索中度相關(guān)文獻(xiàn)時(shí)，“摘要”檢索的結(jié)果最可靠。
(2)二項(xiàng)組合檢索式由于各項(xiàng)之間存在重復(fù)，大部分檢索項(xiàng)之間都存在很高的相似性。 “篇名 and 關(guān)鍵詞”與其他具有顯著相關(guān)性的檢索項(xiàng)匹配系數(shù)最高，且重測(cè)信度檢驗(yàn)也是最穩(wěn)定的，因此高相關(guān)集檢索優(yōu)先選擇“篇名 and 關(guān)鍵詞”;其次，在中相關(guān)的系數(shù)矩陣中，復(fù)本相似度最高的一組是“主題 and 摘要”和“關(guān)鍵詞 and 摘要”，這兩組后者的穩(wěn)定性更強(qiáng)，優(yōu)先選擇后者;另外“主題 or 摘要”在查找高相關(guān)和中相關(guān)文獻(xiàn)時(shí)可以替代多種檢索方法，搜索結(jié)果最全面，包容性強(qiáng)。
(3)三項(xiàng)組合檢索式中，綜合相似程度與數(shù)據(jù)離散程度，在查找高相關(guān)文獻(xiàn)可以選擇“主題 and 篇名and 關(guān)鍵詞”，or 連接時(shí)復(fù)本信度結(jié)果也是最優(yōu)選擇，但穩(wěn)定性不高。 因此可以嘗試主題、篇名與關(guān)鍵詞的并集組合;另一方面“主題 and 摘要 and 全文”和“主題 or 篇名 or 關(guān)鍵詞”分別可以作為兩種運(yùn)算符檢索中度相關(guān)文獻(xiàn)的高復(fù)本信度結(jié)果，重測(cè)信度結(jié)果前者更穩(wěn)定。
(4)四項(xiàng)組合時(shí)推薦使用“主題 and 篇名 and 摘要 and 全文”的檢索式，重測(cè)信度表現(xiàn)最為穩(wěn)定，復(fù)本信度結(jié)果中，與高度相關(guān)數(shù)據(jù)集匹配適用，與中度相關(guān)文獻(xiàn)匹配時(shí)，使用 or 邏輯運(yùn)算符連接也同樣可以適用。
(5)五項(xiàng)組合檢索式只能從重測(cè)信度角度來看，or 運(yùn)算符在任意數(shù)據(jù)集中都會(huì)表現(xiàn)的更穩(wěn)定可靠。本文基于循證視角，對(duì)文獻(xiàn)證據(jù)檢索的信度進(jìn)行了研究，探索了不同檢索途徑的復(fù)本信度與重測(cè)信度。 憑借信度評(píng)價(jià)指標(biāo)，保證證據(jù)檢索的穩(wěn)定性與一致性，在為系統(tǒng)評(píng)價(jià)和元分析提供更高質(zhì)量證據(jù)的基礎(chǔ)上，有望為整個(gè)科學(xué)領(lǐng)域的循證研究質(zhì)量評(píng)價(jià)提供理論支撐，并為循證社會(huì)科學(xué)等領(lǐng)域的的系統(tǒng)評(píng)價(jià)和元分析提供更高效、可靠的文獻(xiàn)檢索方法。
參考文獻(xiàn)：
[1] 楊克虎，李秀霞，拜爭(zhēng)剛.循證社會(huì)科學(xué)研究方法[M].蘭州：蘭州大學(xué)出版社，2018.
[2] Mann Thomas.Library research models：A guide to classification，cataloging，and computers[J].The Journal of Academic Librarianship，1994，20(4):236-237.
[3] Michael Borenstein，Common Mistakes in Meta-Analysis And How to Avoid Them[M].Cambridge Univ Pr，2005.
[4] Deeks J J，Higgins J P，Altman D G.Analysing Data and Undertaking Meta‐Analyses[M].John Wiley .Sons，Ltd，2008.
[5] Cooper Harris Ed.The Handbook of Research Synthesis and Meta-Analysis.Third Edition[M].Russell Sage Foundation,2019.
[6] Chalmers Thomas C Cynthia S，F(xiàn)rank Dinah Reitman.Minimizing the Three Stages of Publication Bias[J].Journal of the AmericanMedical Association，1990，263(10)：1392-1395.
作者：盧潔妤 1 魏志鵬 2，3 周文杰 1，3 楊克虎 2，3
相關(guān)閱讀
