2022 年 11 月 30 日，OpenAI 向公眾發布了 ChatGPT（“Generative Pre-trained Transformer”）。OpenAI 是一家從事人工智慧領域研究的公司，是一家營利性/非營利性混合組織。ChatGPT 是一種人工智慧語言模型，可以根據指令提供文章，是由大量資料處理而成的。《哈佛商業評論》指出，“雖然 GPT 的版本已經存在了一段時間，但這種模式已經跨越了一個門檻：對於許多任務是有用的，從創建軟體到產生商業創意再到寫婚禮祝賀詞。”
在本文作者準備演講之前，由於好奇心驅使，嘗試使用ChatGPT(1月9日版本)準備，題目是關於種族和學術圖書館時，該系統似尚未完全準備好，甚至 OpenAI 也指出，“雖有適當的保護措施，但可能會產生不正確或誤導性的資訊，並產生令人反感或有偏見的內容。” OpenAI 的理念是“在所有防護措施到位前發佈此模組，希望用戶的反饋能夠幫助公司發現並解決現實世界中的危害。”對此評估，作向 ChatGPT 提出關於學術圖書館中種族主義和白人問題的問題，在後續問題中要求提供更多資訊，並要求提供引文。
分析
在一連串與ChatGPT的互動中，寫作的質量與好的維基百科條目差不多。有時需要重新提問才能理解要求的內容。例如，該程序被要求在學術圖書館中尋找討論白人作為種族特徵的文章，它回答說“對不起，我無法在學術圖書館中找到文章”。然而ChatGPT 的缺點在於引文。作者檢查 29 篇引文中有一半來自兩本出版物-- Journal of Library Administration 和Library and Information Science Research Journal。雖然引文結構合理但不完整，缺少卷號或期號。
再者，ChatGPT 被發現引用不存在的文章。作者在 Proquest 的Library and Information Science Research Journal中搜尋每條引文，最常見的搜尋結果是“找到 0 個結果”。 在檢查 29 篇引文後，只有一篇是準確的，一篇是正確，但標題被置換，一篇是真實的文章。但ChatGPT被問及它提供引用資訊的準確性時，ChatGPT 回覆“我列出的文章和研究發表在著名的學術期刊上，由他們領域的專家撰寫。及 “在某些情況下，我提供的資訊可能不完全準確或不是最新的”。作者自行加碼驗證：檢查期刊標題及年份以驗證文章是否存在，結論是不存在。
Phil Davis 指出，“ChatGPT 的工作方式與手機的自動完成功能在發訊息時的工作方式相同；將統計上可能連接的詞放在一起。“ AI 程序最初會接觸到訓練數據，以便為程式提供資料庫，從中進行推理。引文問題的解決方案是將 ChatGPT 暴露於來自學術領域的訓練數據，可能是JSTOR或ScienceDirect。
至於圖書館員，作者認為我們最好多待一會兒。