Важно: Открывая файл в режиме записи ‘ w ‘, если файл уже существует, то Python уничтожит его данные перед возвращением объекта файла. Для добавления новых данных в файл, вместо того чтобы постоянно перезаписывать файл, откройте файл в режиме присоединения a. Его значение содержит смесь целых чисел, которые преобразуются в символьный тип и объединяются со значением строкового типа hello.

Python узнать кодировку строки

Как узнать, в какой кодировке записана последовательность байтов? Коротки ответ: никак. Кто-то должен вам сообщить.

В некоторых коммуникационных протоколах и файловых форматах, например HTTP и XML, предусмотрены заголовки, в которых явно указывается, как закодировано содержимое.

Можно быть уверенным, что поток байтов представлен не в кодировке ASCII, если он содержит значения, больше 127, а сам способ построения UTF-8 и UTF-16 исключает определенные последовательности байтов.

Но и с учетом всего этого никогда нет стопроцентной уверенности в том, что некий двоичный файл записан в кодировке ASCII или UTF-8 просто потому, что в нем не встречаются определенные комбинации битов.

Если вы являетесь веб-разработчиком и часто имеете дело с WordPress то наверное не один раз сталкивались с кодировкой UTF-8. Например, любая тема, themeforest WoodMart не исключение, работает полностью с UTF-8.

Однако известно, что в естественных языках есть свои правила и ограничения. Поэтому если допустить, что поток байтов – это простой текст на естественном языке, то его кодировку можно попытаться определить с помощью различных эвристических правил и статистики.

Например, если часто встречается байт b’x00′, то это, скорее всего, 16- или 32-разрядная кодировка, но не 8-разрядная схема, потому что нулевые байты в открытом тексте – очевидная ошибка.

Если часто встречается последовательность b’x20x00′, то это, наверное, символ пробела(U+0020) в кодировке UTF-16LE, а не малоизвестный символ U+2000 EN QUAD.

Именно так и работает пакет Chardet – универсальный детектор кодировки символов( https://pypi.python.org/pypi/chardet ) – который пытается распознать одну из 30 поддерживаемых кодировок.

Chardet – написанная на Python библиотека, которую вы можете включить в свою программу, а, кроме нее, пакет содержит также командную утилиту chardetect. Вот обычный пример запуска команды chardetect если дать ей имя файла как первый аргумент:

Как же определить кодировку последовательности байтов файла не из командной строки, а использовав модуль chardet?

Хотя в самих двоичных последовательностях закодированного текста обычно нет явных указаний на кодировку, в некоторых UTF-форматах в начале файла может находиться маркер порядка байтов.

Советуем вам следующее видео к просмотру:

Для определения кодировки данных в bytes пользовался функцией chardet:

Но когда переменная data — строка (string), выходит ошибка

Т.е. нужна либо другая функция для string, либо string нужно превратить в bytes.
Подскажите пожалуйста, как это сделать?

1 Ответы

Ошибка указывает, что у вас Питон 3, где str тип, используется для текста — каждая строка (str) это последовательность символов (Unicode codepoints).

Сами символы никакой кодировки не имеют (как внутри интерпретатора строки представлены не имеет значения, до тех пор пока абстракция не нарушена).

Мнение эксперта

Черноволов Василий Петрович, эксперт по вопросам мобильной связи и интернета

Все сложные вопросы мы с вами решим вместе.

Задать вопрос эксперту

Но и с учетом всего этого никогда нет стопроцентной уверенности в том, что некий двоичный файл записан в кодировке ASCII или UTF-8 просто потому, что в нем не встречаются определенные комбинации битов. Если вам нужна бесплатная консультация, пишите мне!

Работа с файлами в Python

1. Создается переменная-массив для хранения результата «анализа» проверенного текста. Каждый элемент массива будет содержать результат для конкретной кодировки.
2. Полученный на вход функции текст перебирается по символьно.
3. От каждого символа берется ординал (значение этого символа) и сравнивается с диапазоном кодировки.
4. Если значение выпадает на прописной (заглавный) символ, элементу массива, который хранит результат этой кодировки, прибавляется значение 1.
5. Если значение выпадает на строчный (маленький) символ, элементу массива, который хранит результат этой кодировки, прибавляется значение 3.
6. Та кодировка, точнее, тот элемент массива, который хранит результат о своей кодировке, который набрал больше всего баллов – вероятней всего и является исходной кодировкой.

Собственно, весь код функции на Python выглядит следующим образом:

Переписать уже готовую функцию из Python в PHP не составило никакого труда. По своему виду он практически ничем не отличается от его прородителя на Python:

Разные кодировки содержат разное количество символов. Изначально небольших таблиц вроде ASCII было достаточно для большинства задач. Но в ней только латинские буквы, несколько простых символов вроде % и ? и специальные управляющие символы типа перевода строки. Если значение выпадает на строчный маленький символ, элементу массива, который хранит результат этой кодировки, прибавляется значение 3. В CLI Windows окно DOS вы обнаружите, что кодировка — это кодовая страница 850 моя ОС Windows 7 или что-то подобное, которая может обрабатывать европейские символы с акцентом по крайней мере, поэтому буду работать.

Задание

В Python можно «запросить» и вывести на экран любой символ из кодировки ASCII. Для этого используется функция chr() . Например:

На экран выведется символ с номером 63 — вопросительный знак ? . Таким способом можно выводить любой символ.

Воспользуйтесь таблицей кодов ASCII. В этой таблице нас интересует десятичный код (dec или decimal), которыми кодируются символы.

Используя пример выше и таблицу, выведите на экран (каждый на своей собственной строке) ~ , ^ и % .

(Конечно, можно «обмануть» тесты и просто сделать print(‘~’) и т.д., но так будет совсем неинтересно 🙂

Если вы зашли в тупик, то самое время задать вопрос в «Обсуждениях». Как правильно задать вопрос:

• Обязательно приложите вывод тестов, без него практически невозможно понять что не так, даже если вы покажете свой код. Программисты плохо исполняют код в голове, но по полученной ошибке почти всегда понятно, куда смотреть.

Тесты устроены таким образом, что они проверяют решение разными способами и на разных данных. Часто решение работает с одними входными данными, но не работает с другими. Чтобы разобраться с этим моментом, изучите вкладку «Тесты» и внимательно посмотрите на вывод ошибок, в котором есть подсказки.

Это нормально 🙆, в программировании одну задачу можно выполнить множеством способов. Если ваш код прошел проверку, то он соответствует условиям задачи.

В редких случаях бывает, что решение подогнано под тесты, но это видно сразу.

Создавать обучающие материалы, понятные для всех без исключения, довольно сложно. Мы очень стараемся, но всегда есть что улучшать. Если вы встретили материал, который вам непонятен, опишите проблему в «Обсуждениях». Идеально, если вы сформулируете непонятные моменты в виде вопросов. Обычно нам нужно несколько дней для внесения правок.

Кстати, вы тоже можете участвовать в улучшении курсов: внизу есть ссылка на исходный код уроков, который можно править прямо из браузера.

Мнение эксперта

Черноволов Василий Петрович, эксперт по вопросам мобильной связи и интернета

Все сложные вопросы мы с вами решим вместе.

Задать вопрос эксперту

Так что для подобных извращенных тестов вам скорее всего понадобится извращенный алгоритм, каким данная функция не является. Если вам нужна бесплатная консультация, пишите мне!

Как узнать кодировку файла в Python? CodeRoad