К сожалению, в библиотеке PyAutoGUI нет функционала для добавления иконки к алертам. Однако, вы можете использовать библиотеку tkinter для создания собственого диалогового окна с иконкой, и затем использовать PyAutoGUI для автоматизации взаимодействия с этим окном.

Ниже приведен пример использования библиотеки tkinter для создания диалогового окна с иконкой:

from tkinter import messagebox, Tk
root = Tk()
root.withdraw() # скрываем основное окно
messagebox.showinfo('Title', 'Message', icon=messagebox.INFO)

Вы можете изменить аргумент icon на любое из значений messagebox.INFO, messagebox.WARNING, messagebox.ERROR, messagebox.QUESTION, чтобы установить соответствующую иконку.

После создания окна с иконкой, вы можете использовать PyAutoGUI для управления этим окном, например, для нажатия кнопки "OK". Надеюсь, это поможет вам достичь вашей цели. Если у вас есть дополнительные вопросы, не стесняйтесь спрашивать.