ИИ-чатботы о хирургии глаукомы: точность против понятности

Исследователи задали 25 частых вопросов о хирургическом лечении глаукомы двум ИИ-чатботам — ChatGPT-3.5 и Google Bard. Врачи-офтальмологи оценивали, насколько ответы правильные, а специальные шкалы — насколько их легко читать. ChatGPT-3.5 дал подходящие ответы в 96% случаев, Google Bard — в 68%. Но понятность оказалась в пользу Bard: по шкале простоты чтения Flesch у него 57,6 балла против 22,6 у ChatGPT, а чем выше балл, тем легче читать. У ChatGPT 66% предложений содержали больше 30 слогов, у Bard — 23%; длинных предложений свыше 20 слогов было 82% и 52% соответственно. Это как умный профессор, который отвечает точно, но сложными фразами, и приятель, который объясняет проще, но иногда менее точно.