GPT-4 (Generative Pre-trained Transformer 4) — мультимодальна велика модель мови, створена компанією OpenAI, четверта в серії GPT. Випущена 14 березня 2023 року і доступна для користувачів платної версії ChatGPT — ChatGPT Plus. В якості трансформера, GPT-4 була попередньо навчена прогнозувати наступний токен (використовуючи окрім загальнодоступних даних також «дані, ліцензовані сторонніми постачальниками»), а потім допрацьована за допомогою навчання з підкріпленням на базі відгуків людей.
| Тип | Велика мовна модель artificial intelligence modeld і Generative Pre-Trained Transforme |
|---|---|
| Мова програмування | Python |
| Ліцензія | пропрієтарна ліцензія[d] |
| Вебсайт | openai.com/product/gpt-4 |
Можливості Редагувати
В технічному звіті GPT-4 не вказано розмір моделі, посилаючись на «конкурентне середовище і наслідки для безпеки великомасштабних моделей». The Verge цитував плітки, що ніби-то GPT-4 суттєво збільшить кількість параметрів з 175 мільярдів в GPT-3 до 100 трильйонів, які генеральний директор OpenAI Сем Альтман назвав «повною маячнею». Представники США Дон Бейер і Тед Лью підтвердили для New York Times, що Альтман відвідував Конгрес в січні 2023 року для того, щоб продемонструвати GPT-4 та його покращені «елементи керування безпекою» порівняно з іншими моделями ШІ.
Компанія OpenAI написала в своєму блозі, що «GPT-4 надійніший, креативніший та здатний обробляти набагато складніші інструкції, ніж GPT-3.5». Нова модель може читати, аналізувати чи генерувати до 25 000 слів тексту, що значно більше ніж попередня версія технології.
Сприйняття Редагувати
Газета The New York Times писала, що модель GPT-4 продемонструвала вражаючі покращення в точності порівняно з GPT-3.5, отримала можливість узагальнювати складні тексти, коментувати зображення, пройшла адвокатський екзамен і декілька стандартних тестів, але все ж мала схильність до галюцинацій у відповідях.
Критика Редагувати
Компанія OpenAI критикувалась багатьма дослідниками машинного навчання за рішення приховати технічні дані про процес навчання моделі, зокрема розмір та джерела навчальних даних, витрати електроенергії, інформацію про обладнання та методи навчання. Деякі дослідники висловили думку, що приховування джерел даних, які використовувались для навчання, ускладнить перевірку безпеки ШІ (зокрема, як і чому в GPT-4 трапляються галюцинації).
Генеральний директор компанії Lightning AI, Вільям Фалькон, так прокоментував звіт OpenAI: «Я думаю усіх турбує те, що OpenAI створили цілий документ приблизно в 90 сторінок. Створюється враження, ніби модель відкрита та академічна, але це не так. Вони практичного нічого там не описали». Фалькон також вказав, що звіт OpenAI «замаскований під дослідження» і «це стане поганим прецедентом»
Використання Редагувати
GPT-4 доступний в якості API та для користувачів ChatGPT Plus.
Компанія Microsoft підтвердила, що версії Bing, які використовували GPT, насправді використовували GPT-4 до його офіційного релізу. 17 березня 2023 року Microsoft розповіла про плани подальшої інтеграції GPT-4 в свої продукти, анонсувавши Microsoft 365 Copilot, «який буде вбудований в програми, які мільйони людей використовують кожного дня: Word, Excel, PowerPoint, Outlook, Teams та інші».
Duolingo інтегрували GPT-4 в свій додаток і додали дві нові функції: «Рольові ігри» і «Поясни мою відповідь». Функціонал поки що доступний лише для тих, хто вивчає французьку мову чи іспанську з англійської.
Джерела даних Редагувати
GPT-4, як і його попередники, використовує різноманітні джерела даних для покращення розуміння мови та можливостей створення. Проте точні набори даних, які використовуються для його навчання, не були конкретно розкриті OpenAI через міркування конфіденційності. Тим не менш, можна зробити висновок з його продуктивності та загальних практик OpenAI, що його навчання включало великий корпус цифрового тексту.
Примітки Редагувати
- ↑ https://www.makeuseof.com/gpt-models-explained-and-compared
- ↑ GPT-4. openai.com. 14 березня 2023. оригіналу за 14 березня 2023. Процитовано 14 березня 2023.
- ↑ GPT-4 Technical Report. OpenAI. 2023. оригіналу за 14 березня 2023. Процитовано 14 березня 2023.
- Vincent, James (18 січня 2023). OpenAI CEO Sam Altman on GPT-4: "people are begging to be disappointed and they will be". The Verge. оригіналу за 26 січня 2023. Процитовано 27 січня 2023.
- Kang, Cecilia (March 3, 2023). As A.I. Booms, Lawmakers Struggle to Understand the Technology. The New York Times. оригіналу за March 3, 2023. Процитовано March 3, 2023.
- GPT-4. OpenAI. 14 березня 2023. оригіналу за 14 березня 2023. Процитовано 14 березня 2023.
- GPT-4 Developer Livestream (Videotape) (англ.). OpenAI. 14 березня 2023. оригіналу за 14 березня 2023. Процитовано 14 березня 2023 — через YouTube.
- Metz, Cade (14 березня 2023). 10 Ways GPT-4 Is Impressive but Still Flawed. The New York Times (амер.). Архів оригіналу за 14 березня 2023. Процитовано 14 березня 2023.
- Sanderson, Katharine (16 березня 2023). GPT-4 is here: what scientists think. Nature (англ.). doi:10.1038/d41586-023-00816-5.
- Lightning AI CEO slams OpenAI’s GPT-4 paper as ‘masquerading as research’. VentureBeat (амер.). 15 березня 2023. Процитовано 18 березня 2023.
- Microsoft’s new Bing was using GPT-4 all along. techcrunch.com. 14 березня 2023. оригіналу за 15 березня 2023. Процитовано 14 березня 2023.
- Warren, Tom (16 березня 2023). Microsoft announces Copilot: the AI-powered future of Office documents. The Verge.
- Introducing Duolingo Max, a learning experience powered by GPT-4. Duolingo Blog. 14 березня 2023.
- GPT-4 (9 червня 2023). Create an ideal subchapter "Data sources" for the ideal Wikipedia article "GPT-4" (eng). OpenAI.