ChatGPT和其他生成式人工智慧(AI)工具被大力宣傳為生產力工具,以提升創造力並加速工作流程。然而,根據組織科學(Organization Science)期刊編輯團隊於今年4月27日發表「More Versus Better: Artificial Intelligence, Incentives, and the Emerging Crisis in Peer Review」的分析,生成式AI工具在學術界導致研究數量的增加,但研究品質並未提高。
該研究係首度探討AI對一家主要學術期刊的投稿和審查流程的影響,研究團隊使用AI內容檢測工具「Pangram」,分析組織科學期刊五年來的投稿情況,樣本共包含11,887位作者的6,957篇投稿,2,519位審稿者進行10,389次審稿,ChatGPT 發布前的兩年作為比較的對照組。
根據分析,自2022年底ChatGPT發布以來,組織科學期刊的投稿量增加了42%,與此同時,文章品質卻迅速下降。因而大部分投稿都被拒稿,其中許多在副主編的初審階段就被淘汰,AI分數極低的稿件反而最有可能在任何期刊上發表。
分析也發現,組織科學期刊中超過30%的審查意見使用了一定程度的AI,這些審查意見更難閱讀,也更側重理論而較少關注數據。研究分析得出結論,AI產生的審查意見使得編輯和作者更難根據審查者的回饋採取行動,並可能影響稿件品質。
研究團隊提出警訊,AI工具的現況,加上現有的「不發表就淘汰」的激勵機制,正讓同儕評審系統承受學術期刊無法持續的壓力。
閱讀更多:
Analysis reveals AI's impact on research, journals
More Versus Better: Artificial Intelligence, Incentives, and the Emerging Crisis in Peer Review