название кода определяемого порядковым номером
+7(495)766-1798
+7(985)407-0005
sales@definum.ru
В корзине нет товаров. ПРОДОЛЖИТЬ
Идентификация материалов и изделий в процессе разработки, производства, продажи
Идентификация материалов и изделий в процессе разработки, производства, продажи
Нумерация изделий и документации в ЕСКД.
Нумерация осуществляется в формате:
В нашей правктике наиболее часто применяются следующие виды документов:
Наименования материалов и изделий
Как правило, кроме наименования товара в учете используют различные идентификационные коды, позволяющие установить однозначное соответствие на всех стадиях учета внутри компании.
В некоторых случаях, внутри кода закладывается определенная структура классификации товара, облегчающая его запоминание потребителями и сотрудниками, складирование, сортировку, выкладкув торговом зале, генерацию новых кодов.
В зависимости от используемой системы учета и построения бизнес-процессов в компании, для различных целей могут использоваться различные коды (код товара, номенклатурный номер, артикул, SKU, штрих-код и т.п.), которые могут включаться также и в наименование товара.
Напомню, что целью установления правил использования кодов и наименований в документах является возможность найти товар, указанный в документе или по товару, часто без упаковки, однозначно определить соответствует ли он строке документа (накладной, спецификации, упаковочному листу).
Т.е., на товаре или его упаковке, транспортной или производственной таре, должно быть достаточно информации для однозначного сопоставления товара с документом.
В худшем случае, если на товаре отсутствует маркировка, мы должны иметь возможность руководствуясь имеющимся документом или справочником номенклатуры компании, определить его точное название по внешнему виду (тип товара; цвет; специальные системы цифровой, символьной, цветовой кодировки; логотипы; символы и др.признаки) и, при необходимости, используя инструментальные измерения (линейку, микрометр, штанген-циркуль, мультиметр, весы и др. измерительное оборудование).
Как правило, минимальный набор характеристик товара включает в себя:
Для удобства идентификации или выбора товара в наименование обычно включаются:
Дополнительно, часто учитываются:
Дополнительные виды классификации товаров:
Как правило, компании используют в качестве основного классификатора товаров, собственный выстроенный под конкретные задачи. Также, часто встречается частичное или полное заимствование классификатора товаров у основного поставщика.
Для обмена заказами, счетами, накладными с поставщиками и клиентами, мониторинга и установления цен, загрузки описаний товаров обычно используются Системы электронного документооборота (ЭДО), позволяющие в автоматическом или ручном режиме устанавливить соответствие между классификаторами товаров интересующих поставщиков и внутренним классификатором компании.
Также, для формализации процесса подготовки карточек товаров и составления наименований товаров обычно используют справочники характеристик и шаблоны описаний с предопределенным набором характеристик для каждой товарной группы.
Качественно подготовленная карточка товара для внутреннего использования может включать в себя:
Децимальные номера (обозначения) кд, пд, документации АС
В соответствии с требованиями стандартов ЕСКД, ЕСПД и КСАС каждому изделию (программе, системе) должно быть присвоено обозначение – группа знаков (цифр и букв), разделённых точками, пробелами, дефисами.
Обозначение присваивается в соответствии с установленными в стандартах правилами для унификации и упрощения идентификации изделий и документации на них, ведения учёта и архива.
Для того чтобы эта простая процедура не казалась бессмысленным магическим ритуалом, рассмотрим порядок действий в зависимости от вида изделия.
Изделия машиностроения и приборостроения
В ЕСКД систему обозначения изделий и их конструкторских документов устанавливает ГОСТ 2.201-80 «Обозначение изделий и конструкторских документов». Для каждого изделия устанавливается своё уникальное обозначение. Обозначение изделия является одновременно обозначением его основного конструкторского документа (чертежа детали или спецификации).
Обозначение изделию может быть присвоено двумя способами: централизовано – в рамках порядка, определённого министерством, ведомством, в рамках отрасли, или децентрализовано – в соответствии с правилами, принятыми в организации-разработчике.
Структура обозначения изделия должна соответствовать приведённой на рисунке 1.
Рисунок 1 – Структура обозначения изделия
Код организации-разработчика состоит из четырёх букв и назначается по кодификатору организаций-разработчиков. Для получения данного кода следует направить письменный запрос от организации-разработчика конструкторской документации во ФГУП «СТАНДАРТИНФОРМ» ( http://www.standards.ru/service/201872.aspx ). Следует учесть, что эта услуга платная.
Допускается для изделий гражданского назначения вместо четырёхзначного буквенного кода использовать код из общероссийского классификатора предприятий и организаций (ОКПО) предприятия-разработчика, который действует на территории Российской Федерации с 1994 года и определяет, к какой сфере относится компания. Код ОКПО является обязательным реквизитом любой организации и меняется только при смене предприятием направления и специфики деятельности, в ином случае он остаётся постоянным на весь срок существования компании.
Код классификационной характеристики следует назначать по общероссийскому классификатору изделий и конструкторских документов ОК 012-93 (классификатору ЕСКД), который является сборником наименований классификационных группировок изделий основного и вспомогательного производства всех отраслей. В данный классификатор включены классификационные характеристики изделий (деталей, сборочных единиц, комплектов, комплексов), на которые разрабатывается конструкторская документация по ЕСКД, в том числе стандартные. Классификатор ЕСКД построен по иерархическому десятичному методу, основанному на логическом переходе от общего к частному в классифицируемом множестве.
Классификатор сопровождается подробными рекомендациями по поиску и определению кода классификационной характеристики изделия. Например, следует определить код классификационной характеристики для блока питания с напряжением питания 220 В переменного тока частотой 50 Гц с тремя выходными каналами напряжением постоянного тока 5, 12, 24 В и активной мощностью 30 Вт. Сначала следует определить номер класса в сетке классов и подклассов по названию изделия. В данном случае подходит класс 43… «Микросхемы, приборы полупроводниковые, электровакуумные, пьезоэлектрические, квантовой электроники, резисторы соединители, преобразователи электроэнергии, средства вторичного электропитания». Там же следует выбрать подкласс 436… «Системы и источники вторичного электропитания». По сетке групп, подгрупп и видов следует определить группу в выбранном подклассе, опираясь на характеристики разрабатываемого устройства: 4366… «Источники вторичного электропитания многоканальные до 3 выходных каналов вкл.», подгруппу: 43661… «С входным переменным однофазным напряжением и выходными параметрами» и вид: 436614 «Мощностью, Вт св. 10 до 100 вкл. напряжением, В до 100 вкл.». Таким образом, разработанный блок питания имеет код классификационной характеристики «436614».
Порядковый регистрационный номер – трёхзначный цифровой код (от 1 до 999), при централизованном присвоении обозначения определяется кодом организации на основании запроса, форму которого устанавливают министерства, а при децентрализованном – в соответствии с правилами, принятыми на предприятии-разработчике изделия. Например, данный номер может быть порядковым номером записи в карточке учёта обозначений изделий. Форма и порядок ведения карточки учёта обозначений установлены в ГОСТ 2.201-80.
При групповом и базовом способах выполнения конструкторских документов (подробнее об этом способе – в ГОСТ 2.113-75) к обозначению изделия (базовому обозначению) через дефис добавляется порядковый номер исполнения от 01 до 98. При большой номенклатуре изделий, обладающих общими конструктивными признаками, допускается применять дополнительный номер исполнения, который записывается через точку и должен быть в виде двухзначного числа, кроме 00. Структура такого обозначения показана на рисунке 2.
Рисунок 2 – Применение номера исполнения и дополнительного номера исполнения
Обозначения неосновных конструкторских документов должны состоять из обозначения изделия и кода документа (рисунок 3).
Рисунок 3 – Обозначение неосновного конструкторского документа
Код документа не должен содержать более четырёх знаков, включая номер части документа, записывается к обозначению изделий без пробела, присваивается в соответствии с таблицей 3 ГОСТ 2.102-2013 «Виды и комплектность конструкторских документов».
Обозначение конструкторских документов, разработанных на этапе эскизного проектирования, формируется в соответствии с формой, указанной на рисунке 4.
Рисунок 4 – Обозначение эскизных конструкторских документов
Программы и программные документы
Обозначения программ и программных документов присваиваются в соответствии с указаниями ГОСТ 19.103-77 «Обозначения программ и программных документов». Как и в ЕСКД, в ЕСПД предусматривается, что обозначение изделия является одновременно обозначением его программного документа – спецификации. Структура обозначения программ приведена на рисунке 5.
Рисунок 5 – Структура обозначения программ
Код страны присваивается в соответствии с указаниями ГОСТ 7.67-2003 «Коды названий стран», при этом выбор кодировки (латиница, кириллица или цифровой код) осуществляется разработчиком в соответствии с правилами, принятыми на предприятии. В качестве кода организации-разработчика допустимо использовать четырёхзначный буквенный код или код ОКПО.
В ГОСТ 19.103 указано, что регистрационный номер программы следует присваивать в соответствии с Общесоюзным классификатором программ, однако он так и не вышел в свет, поэтому допускается присваивать такой код от 00001 до 99999 в соответствии с порядком, установленным на предприятии-разработчике программы.
В отдельных случаях для формирования регистрационного номера программы используют общероссийский классификатор продукции по видам экономической деятельности ОК 034-2014 (ОКПД2), раздел 62 «Продукты программные и услуги по разработке программного обеспечения; консультационные и аналогичные услуги в области информационных технологий».
Порядковый номер издания программы должен иметь формат от 01 до 99.
Структура обозначения программных документов показана на рисунке 6.
Рисунок 6 – Структура обозначения программных документов
Порядковый номер редакции документа должен иметь формат от 01 до 99. Код вида документа присваивается в соответствии с таблицей 4 ГОСТ 19.101-77 «Виды программ и программных документов». При необходимости, документу присваивают номер документа данного вида в порядке возрастания от 01 до 99, номер части документа в порядке возрастания от 1 до 9.
Примеры обозначения документа «Руководство оператора» (второй такой документ на данную программу, часть 3):
РОФ.АБВГ.62.01.29-01 34 02-3
643.АБВГ.62.01.29-01 34 02-3
РОФ.98765432.62.01.29-01 34 02-3
RU.98765432.62.01.29-01 34 02-3
RUS.98765432.62.01.29-01 34 02-3
643.98765432.62.01.29-01 34 02-3
Окончательный вариант применяемой системы обозначения программ и программных документов должен быть определён предприятием-разработчиком во внутренних нормативных документах.
Обозначения для документации на автоматизированные системы
Для формирования обозначения автоматизированной системы следует обратиться к указаниям ГОСТ 34.201-89. В соответствии с ними обозначение автоматизированной системы должно состоять из трёх позиций: кода организации-разработчика системы, кода классификационной характеристики системы (её части) и регистрационного номера.
Выбор кода организации-разработчика указанный стандарт предлагает осуществлять в соответствии с общесоюзным классификатором предприятий, учреждений и организаций. Очевидно, на текущий момент следует использовать не общесоюзный утративший силу документ, а общероссийский классификатор – ОКПО. В качестве кода организации-разработчика допустимо также использовать четырёхбуквенный код от ФГУП «СТАНДАРТИНФОРМ», порядок получения которого описан ранее.
Код классификационной характеристики системы следует выбирать из раздела 63 «Услуги в области информационных технологий» ОК 034-2014 (ОКПД2), который заменил упомянутый в ГОСТ 34.201-89 общесоюзный классификатор продукции, а также отменённый с 01 января 2017 года общероссийский классификатор продукции (ОКП).
Необходимо учитывать, что код классификационной характеристики из ОКПД2 может быть выбран по наименованию объекта автоматизации, например: 26.51.43.120 – системы информационные электроизмерительные, комплексы измерительно-вычислительные и установки для измерения электрических и магнитных величин (например, автоматизированная информационно-измерительная система коммерческого учёта электроэнергии (АИИС КУЭ)), 70.22.17 – услуги по управлению бизнес-процессами (АСУ БП); 26.20.40.140 – средства защиты информации, а также информационные и телекоммуникационные системы, защищённые с использованием средств защиты информации (информационные интернет-порталы).
Также ГОСТ 34.201-89 для присвоения указанной характеристики предлагает использовать общесоюзный классификатор подсистем и комплексов задач АСУ (ОКПКЗ). Данный классификатор на территории РФ прекратил своё действие, а замены ему разработано не было. Поэтому альтернативы выбору классификационной характеристики автоматизированной системы по ОКПД2 на текущий момент нет.
Присвоение регистрационного номера системе производится согласно правилам учёта выпускаемых систем, принятым на предприятии-разработчике. Для каждого кода классификационной характеристики системы должна вестись своя нумерация.
Структура обозначения документов на автоматизированные системы по ГОСТ 34.201-89 показана на рисунке 7.
Рисунок 7 – Структура обозначения документов на автоматизированные системы
Код документа отделяется от обозначения системы точкой, выбирается из таблицы 2 ГОСТ 34.201-89 (для документов, определённых данным стандартом). Для дополнительных документов первый знак выбирают по обозначению вида документа из таблицы 1, вторым знаком указывают порядковый номер документа данного вида.
Остальные позиции включают в обозначение документа при необходимости (номер редакции документа и номер части документа – со второй по порядку, признак документа – если он выполнен в электронном виде на машинном носителе). Все эти позиции отделяются от предыдущих в обозначении точкой, без пробелов.
Таким образом, обозначение АИИС КУЭ может выглядеть так:
98765432.26.51.43.120.012
АБВГ.26.51.43.120.012
Пример обозначения документа «Технологическая инструкция» (третий документ такого вида, вторая редакция, часть 5, выполнен в электронном виде):
Схема структурная комплекса технических средств (единственный документ такого вида в составе проекта, единственная редакция, в одной части, выпущен на бумаге):
В заключении следует отметить, что описанная система присвоения обозначений изделиям и документам обязательна к применению, если есть на это требование заказчика. При отсутствии таких требований допускается использовать ту уникальную систему идентификации, которая принята в организации-разработчике. Но стоит иметь в виду, что без специальных пояснений эта система не будет понятна никому, а обозначение, присвоенное в соответствии со стандартами, сможет расшифровать любой специалист (конструктор, разработчик, программист).
Как присвоить номер документа по ГОСТу
Согласно стандартам ЕСКД, ЕСПД и КСАС каждой программе, системе, документу должно быть присвоено обозначение, которое состоит из группы цифр и букв, разделённых точками, пробелами, дефисами. Обозначение присваивается по правилам для унификации и упрощения идентификации изделий и документации на них, ведения учёта и архива.
Присвоить номер, код или шифр документу, со сторону кажется целой наукой, тайным знанием. Однако, это проще чем кажется! Можно ли не присваивать этот мистический номер созданному техническому документу по ГОСТу? Нет, он необходим, чтобы в документации был порядок. Иначе поиск, хранение и учёт документов будут проблематичны.
Для начала следует запомнить, что документ не имеет номера, кода или шифра, а имеет обозначение, если мы говорим про документы из серии ГОСТов 19 или 34.
Обозначения документов по 19 и 34 ГОСТам отличаются друг от друга.
По ГОСТу 34
В 34 ГОСТе обозначение документа присваивается по ГОСТу 34.201-89, но смотря туда, не каждый сразу способен разобраться откуда берётся какая цифра.
Номер согласно ГОСТу 34 выглядит следующим образом:
Расшифровка обозначений:
А — код организации-разработчика системы, который присваивается по ОКПО (Общероссийский классификатор предприятий и организаций). Его можно узнать в бухгалтерии.
Б — код классификационной характеристики типа системы или её части, который присваивается по ОКП (Общероссийский классификатор продукции). Раздел классификатора по автоматизированным системам, идёт со строчки — 425000 Программно-технические комплексы для автоматизированных систем.
ВВВ — регистрационный номер автоматизированной системы или её части. Данный номер ведётся в журнале учёта на предприятии. Если журнал учёта не ведётся, то можно указать номер 001.
ГГ — код документа. Коды документов определены ГОСТом 34.201-89. Для каждого наименования документа свой номер. Например, Описание автоматизируемых функций – П3, Руководство пользователя – И3, Ведомость эскизного проекта – ЭП.
ДД — порядковый номер документа с одинаковым названием. Допустим, у вас 5 Пояснительных записок для разных компонентов программы, чтобы не запутаться в них им присваиваются номера 01, 02, 03, 04 и 05. Если документ один с таким названием, то значение пропускается.
ЕЕ — порядковый номер редакции документа. Документ может переписываться несколько раз, согласно пожеланиям заказчика. При официальной корректировке документа, по замечаниям заказчика, проставляется номер редакции. При первой передаче документа данное значение не проставляется, при второй передаче документа уже ставится значение 02.
Ж — порядковый номер части документа. Большие документы, для удобства сшивания, делятся на несколько частей. Если документ не разделён на части, то данное значение пропускается.
М — обозначение М, проставляется, если документ представлен не в печатном виде, а на диске или флешке. Если документ в печатном виде, то в данном значение пропускается.
ЛУ — обозначение ЛУ проставляется, только Листу утверждения.
Таким образом, можно получить следующее обозначение:
11119632.4251005.004.ПА.10.02-3 (Описание программного обеспечения для 10 комплекса Системы во 2-й редакции, часть 3);
11119632.4251005.005.ПА.10.02-М (Описание программного обеспечения для 10 комплекса Системы во 2-й редакции, на диске);
11119632.4251005.002.ПА (Описание программного обеспечения).
11119632.4251005.008.И2 (Технологическая инструкция).
11119632.4251005.195.ПС (Паспорт).
ПО ГОСТу 19
В 19 ГОСТе обозначение документа присваивается по ГОСТу 19.103-77.
Номер согласно ГОСТу 19 выглядит следующим образом:
A.Б.ВВВВВ-ГГ ДД ЕЕ-Ж
Расшифровка обозначений:
A — код страны, где разработан документ. Например, RU для России. Остальные обозначения указаны в стандарте ISO 3166-1.
Б — код организации-разработчика, который присваивается по ОКПО (Общероссийский классификатор предприятий и организаций). Его можно узнать в бухгалтерии.
ВВВВВ — регистрационный номер программы, который присваивается по ОКП (Общероссийский классификатор продукции). Допускается присваивать регистрационный номер в порядке возрастания, начиная с 00001 до 99999, для каждой организации (предприятия)-разработчика.
ГГ — порядковый номер редакции документа. Например, 01, 02,03.
ДД — код вида документа, который присваивается в соответствии с ГОСТ 19.101-77. Например, 34 – Руководство оператора, 12 – Текст программы, 33 – Руководство программиста.
ЕЕ — порядковый номер документа данного вида.
Ж — порядковый номер части документа.
Таким образом, можно получить следующее обозначение:
RU.11119632.20006–10 32 (Руководство системного программиста, 10 редакции);
RU.11119632.30706–10 32 02–03 (Руководство системного программиста, 10 редакции, 2-й документ данного вида, 3-я часть данного документа);
RU.11119632.10908–10 32 (Руководство системного программиста, 10 редакции);
RU.11119632.28051–01 32 (Руководство системного программиста, 1 редакции).
RU.11119632.44009–06 33 (Руководство программиста, 6 редакции).
RU.11119632.30101–02 81 (Пояснительная записка, 2 редакции).
Представление символов, таблицы кодировок
Содержание
Представление символов в вычислительных машинах [ править ]
В вычислительных машинах символы не могут храниться иначе, как в виде последовательностей бит (как и числа). Для передачи символа и его корректного отображения ему должна соответствовать уникальная последовательность нулей и единиц. Для этого были разработаны таблицы кодировок.
Таблицы кодировок [ править ]
На заре компьютерной эры на каждый символ было отведено по пять бит. Это было связано с малым количеством оперативной памяти на компьютерах тех лет. В эти [math]32[/math] символа входили только управляющие символы и строчные буквы английского алфавита.
С ростом производительности компьютеров стали появляться таблицы кодировок с большим количеством символов. Первой семибитной кодировкой стала ASCII7. В нее уже вошли прописные буквы английского алфавита, арабские цифры, знаки препинания. Затем на ее базе была разработана ASCII8, в которым уже стало возможным хранение [math]256[/math] символов: [math]128[/math] основных и еще столько же расширенных. Первая часть таблицы осталась без изменений, а вторая может иметь различные варианты (каждый имеет свой номер). Эта часть таблицы стала заполняться символами национальных алфавитов.
Но для многих языков (например, арабского, японского, китайского) [math]256[/math] символов недостаточно, поэтому развитие кодировок продолжалось, что привело к появлению UNICODE.
Кодировки стандарта ASCII [ править ]
| Определение: |
| ASCII — таблицы кодировок, в которых содержатся основные символы (английский алфавит, цифры, знаки препинания, символы национальных алфавитов(свои для каждого региона), служебные символы) и длина кода каждого символа [math]n = 8[/math] бит. |
Кодировки стандарта ASCII ( [math]8[/math] бит):
Структурные свойства таблицы [ править ]
Кодировки стандарта UNICODE [ править ]
Юникод или Уникод (англ. Unicode) — это промышленный стандарт обеспечивающий цифровое представление символов всех письменностей мира, и специальных символов.
Стандарт предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (англ. Unicode Consortium, Unicode Inc.). Применение этого стандарта позволяет закодировать очень большое число символов из разных письменностей. Стандарт состоит из двух основных разделов: универсальный набор символов (англ. UCS, universal character set) и семейство кодировок (англ. UTF, Unicode transformation format). Универсальный набор символов задаёт однозначное соответствие символов кодам — элементам кодового пространства, представляющим неотрицательные целые числа.Семейство кодировок определяет машинное представление последовательности кодов UCS.
Коды в стандарте Unicode разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора ASCII с соответствующими кодами. Далее расположены области знаков различных письменностей, знаки пунктуации и технические символы. Под символы кириллицы выделены области знаков с кодами от U+0400 до U+052F, от U+2DE0 до U+2DFF, от U+A640 до U+A69F. Часть кодов зарезервирована для использования в будущем.
Кодовое пространство [ править ]
Хотя формы записи UTF-8 и UTF-32 позволяют кодировать до [math]2^<31>[/math] [math](2\ 147\ 483\ 648)[/math] кодовых позиций, было принято решение использовать лишь [math]1\ 112\ 064[/math] для совместимости с UTF-16. Впрочем, даже и этого на текущий момент более чем достаточно — в версии 6.0 используется чуть менее [math]110\ 000[/math] кодовых позиций ( [math]109\ 242[/math] графических и [math]273[/math] прочих символов).
Кодовое пространство разбито на [math]17[/math] плоскостей (англ. planes) по [math]2^<16>[/math] [math](65\ 536)[/math] символов. Нулевая плоскость называется базовой, в ней расположены символы наиболее употребительных письменностей. Первая плоскость используется, в основном, для исторических письменностей, вторая — для для редко используемых иероглифов китайского письма, третья зарезервирована для архаичных китайских иероглифов. Плоскости [math]15[/math] и [math]16[/math] выделены для частного употребления.
| Плоскости Юникода | ||
|---|---|---|
| Плоскость | Название | Диапазон символов |
| Plane 0 | Basic multilingual plane (BMP) | U+0000…U+FFFF |
| Plane 1 | Supplementary multilingual plane (SMP) | U+10000…U+1FFFF |
| Plane 2 | Supplementary ideographic plane (SIP) | U+20000…U+2FFFF |
| Planes 3-13 | Unassigned | U+30000…U+DFFFF |
| Plane 14 | Supplementary special-purpose plane (SSP) | U+E0000…U+EFFFF |
| Planes 15-16 | Supplementary private use area (S PUA A/B) | U+F0000…U+10FFFF |
Модифицирующие символы [ править ]
Графические символы в Юникоде делятся на протяжённые и непротяжённые. Непротяжённые символы при отображении не занимают дополнительного места в строке. К примеру, к ним относятся знак ударения. Протяжённые и непротяжённые символы имеют собственные коды, но последние не могут встречаться самостоятельно. Протяжённые символы называются базовыми (англ. base characters), а непротяженные — модифицирующими (англ. combining characters). Например символ «Й» (U+0419) может быть представлен в виде базового символа «И» (U+0418) и модифицирующего символа « ̆» (U+0306).
Способы представления [ править ]
Юникод имеет несколько форм представления (англ. Unicode Transformation Format, UTF): UTF-8, UTF-16 (UTF-16BE, UTF-16LE) и UTF-32 (UTF-32BE, UTF-32LE). Была разработана также форма представления UTF-7 для передачи по семибитным каналам, но из-за несовместимости с ASCII она не получила распространения и не включена в стандарт.
UTF-8 [ править ]
Символы UTF-8 получаются из Unicode cледующим образом:
| Unicode | UTF-8 | Представленные символы |
|---|---|---|
| 0x00000000 — 0x0000007F | 0xxxxxxx | ASCII, в том числе английский алфавит, простейшие знаки препинания и арабские цифры |
| 0x00000080 — 0x000007FF | 110xxxxx 10xxxxxx | кириллица, расширенная латиница, арабский алфавит, армянский алфавит, греческий алфавит, еврейский алфавит и коптский алфавит; сирийское письмо, тана, нко; Международный фонетический алфавит; некоторые знаки препинания |
| 0x00000800 — 0x0000FFFF | 1110xxxx 10xxxxxx 10xxxxxx | все другие современные формы письменности, в том числе грузинский алфавит, индийское, китайское, корейское и японское письмо; сложные знаки препинания; математические и другие специальные символы |
| 0x00010000 — 0x001FFFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx | музыкальные символы, редкие китайские иероглифы, вымершие формы письменности |
| 111111xx | служебные символы c, d, e, f |
Несмотря на то, что UTF-8 позволяет указать один и тот же символ несколькими способами, только наиболее короткий из них правильный. Остальные формы, называемые overlong sequence, отвергаются по соображениям безопасности.
Принцип кодирования [ править ]
Правила записи кода одного символа в UTF-8 [ править ]
1. Если размер символа в кодировке UTF-8 = [math]1[/math] байт
Код имеет вид (0aaa aaaa), где «0» — просто ноль, остальные биты «a» — это код символа в кодировке ASCII;
2. Если размер символа в кодировке в UTF-8 [math]\gt 1[/math] байт (то есть от [math]2[/math] до [math]6[/math] ):
2.1 Первый байт содержит количество байт символа, закодированное в единичной системе счисления; 2.2 «0» — бит терминатор, означающий завершение кода размера 2.3 далее идут значащие байты кода, которые имеют вид (10xx xxxx), где «10» — биты признака продолжения, а «x» — значащие биты.
В общем случае варианты представления одного символа в кодировке UTF-8 выглядят так:
Определение длины кода в UTF-8 [ править ]
| Количество байт UTF-8 | Количество значащих бит |
|---|---|
| [math]1[/math] | [math]7[/math] |
| [math]2[/math] | [math]11[/math] |
| [math]3[/math] | [math]16[/math] |
| [math]4[/math] | [math]21[/math] |
| [math]5[/math] | [math]26[/math] |
| [math]6[/math] | [math]31[/math] |
[math]C = 7[/math] при [math]n=1[/math]
[math]C = n\cdot5+1[/math] при [math]n\gt 1[/math]
UTF-16 [ править ]
UTF-16LE и UTF-16BE [ править ]
Один символ кодировки UTF-16 представлен последовательностью двух байт или двух пар байт. Который из двух байт в словах идёт впереди, старший или младший, зависит от порядка байт. Подробнее об этом будет сказано ниже.
UTF-32 [ править ]
UTF-32 — один из способов кодирования символов из Юникод, использующий для кодирования любого символа ровно [math]32[/math] бита. Остальные кодировки, UTF-8 и UTF-16, используют для представления символов переменное число байт. Символ UTF-32 является прямым представлением его кодовой позиции (англ. code point).
Главный недостаток UTF-32 — это неэффективное использование пространства, так как для хранения символа используется четыре байта. Символы, лежащие за пределами нулевой (базовой) плоскости кодового пространства редко используются в большинстве текстов. Поэтому удвоение, в сравнении с UTF-16, занимаемого строками в UTF-32 пространства не оправдано.
Порядок байт [ править ]
В современной вычислительной технике и цифровых системах связи информация обычно представлена в виде последовательности байт. В том случае, если число не может быть представлено одним байтом, имеет значение в каком порядке байты записываются в памяти компьютера или передаются по линиям связи. Часто выбор порядка записи байт произволен и определяется только соглашениями.
[math]M = \sum_
Варианты записи [ править ]
Порядок от старшего к младшему [ править ]
В этом же виде (используя представление в десятичной системе счисления) записываются числа индийско-арабскими цифрами в письменностях с порядком знаков слева направо (латиница, кириллица). Для письменностей с обратным порядком (арабская) та же запись числа воспринимается как «от младшего к старшему».
Порядок байт от старшего к младшему применяется во многих форматах файлов — например, PNG, FLV, EBML.
Порядок от младшего к старшему [ править ]
В противоположность порядку big-endian, соглашение little-endian поддерживают меньше кросс-платформенных протоколов и форматов данных; существенные исключения: USB, конфигурация PCI, таблица разделов GUID, рекомендации FidoNet.
Переключаемый порядок [ править ]
Многие процессоры могут работать и в порядке от младшего к старшему, и в обратном, например, ARM, PowerPC (но не PowerPC 970), DEC Alpha, MIPS, PA-RISC и IA-64. Обычно порядок байт выбирается программно во время инициализации операционной системы, но может быть выбран и аппаратно перемычками на материнской плате. В этом случае правильнее говорить о порядке байт операционной системы. Переключаемый порядок байт иногда называют англ. bi-endian.
Смешанный порядок [ править ]
Смешанный порядок байт (англ. middle-endian) иногда используется при работе с числами, длина которых превышает машинное слово. Число представляется последовательностью машинных слов, которые записываются в формате, естественном для данной архитектуры, но сами слова следуют в обратном порядке.
В процессорах VAX и ARM используется смешанное представление для длинных вещественных чисел.
Различия [ править ]
Для записи длинных чисел (чисел, длина которых существенно превышает разрядность машины) обычно предпочтительнее порядок слов в числе little-endian (поскольку арифметические операции над длинными числами производятся от младших разрядов к старшим). Порядок байт в слове — обычный для данной архитектуры.
Маркер последовательности байт [ править ]
Для определения формата представления Юникода в начало текстового файла записывается сигнатура — символ U+FEFF (неразрывный пробел с нулевой шириной), также именуемый маркером последовательности байт (англ. byte order mark (BOM)). Это позволяет различать UTF-16LE и UTF-16BE, поскольку символа U+FFFE не существует.
| Кодирование | Представление (Шестнадцатеричное) |
|---|---|
| UTF-8 | EF BB BF |
| UTF-16 (BE) | FE FF |
| UTF-16 (LE) | FF FE |
| UTF-32 (BE) | 00 00 FE FF |
| UTF-32 (LE) | FF FE 00 00 |
В кодировке UTF-8, наличие BOM не является существенным, поскольку, нет альтернативной последовательности байт. Когда BOM используется на страницах или редакторах для контента закодированного в UTF-8, иногда он может представить пробелы или короткие последовательности символов, имеющие странный вид (такие как ). Именно поэтому, при наличии выбора, для совместимости, как правило, лучше упустить BOM в UTF-8 контенте.Однако BOM могут еще встречаться в тексте закодированном в UTF-8, как побочный продукт перекодирования или потому, что он был добавлен редактором. В этом случае BOM часто называют подписью UTF-8.
Когда символ закодирован в UTF-16, его [math]2[/math] или [math]4[/math] байта можно упорядочить двумя разными способами (little-endian или big-endian). Изображение справа показывает это. Byte order mark указывает, какой порядок используется, так что приложения могут немедленно расшифровать контент. UTF-16 контент должен всегда начинатся с BOM.
BOM также используется для текста обозначенного как UTF-32. Аналогично UTF-16 существует два варианта четырёхбайтной кодировки — UTF-32BE и UTF-32LE. К сожалению, этот способ не позволяет надёжно различать UTF-16LE и UTF-32LE, поскольку символ U+0000 допускается Юникодом
Проблемы Юникода [ править ]
В Юникоде английское «a» и польское «a» — один и тот же символ. Точно так же одним символом (но отличающимся от «a» латинского) считаются русское «а» и сербское «а». Такой принцип кодирования не универсален; по-видимому, решения «на все случаи жизни» вообще не может существовать.