Теоретический вопрос: объясните понятия энтропии Шеннона, условной энтропии и взаимной информации на примерах из реальных коммуникационных систем; как эти меры помогают оценивать эффективность сжатия и каналов связи, и какие ограничения у них при моделировании человеческих языков и мультимодальных данных