Python学习笔记｜字符串和编码

一、字符编码

1. 缘起：计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。
2. 字节和比特：最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255）。
3. ASCII编码：由于计算机是美国人发明的，因此，最早只有127个字符被编码到计算机里，也就是大小写、英文、字母、数字和一些符号，这个编码表被称为ASCII编码
4. Unicode把所有语言都统一到一套编码里，从而避免出现乱码问题。
5. 字符0和整数0的区别

字符'0'和整数0在Python中是不同的数据类型。

1. '0'是一个字符，表示一个包含单个字符0的字符串。它属于字符串类型（str）。
2. 0是一个整数，表示数值零。它属于整数类型（int）。

在使用上的区别：

• 字符'0'可以参与字符串的拼接、比较、切片等操作，例如'0' + '1'会得到字符串'01'。
• 整数0可以进行数值的运算，例如0 + 1会得到整数1。
• 字符'0'和整数0的内部表示方式不同。字符'0'的内部表示是根据ASCII编码表，而整数0的内部表示是以二进制补码形式存储。

需要根据具体的需求和上下文来选择使用字符'0'还是整数0。

6. ASCII编码和Unicode编码的区别：ASCII编码是1个字节，而Unicode编码通常是2个字节。
7. “可变长编码”的UTF-8编码：把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。（更节约空间）

备注：ASCII编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

二、计算机系统通用的字符编码工作方式

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

1. 用记事本编辑的时候，从文件读取的UTF-8字符被转换为Unicode字符到内存里，编辑完成后，保存的时候再把Unicode转换为UTF-8保存到文件：

   

2. 浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器：

​ 网页的源码上会有类似<meta charset="UTF-8" />的信息，表示该网页正是用的UTF-8编码。

三、Python的字符串

1. 在最新的Python 3版本中，字符串是以Unicode编码的，也就是说，Python的字符串支持多语言；
2. 对于单个字符的编码，Python提供了ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符：

>>> ord('A')
65
>>> ord('中')
20013
>>> chr(66)
'B'
>>> chr(25991)
'文'

​ ord() 函数是 Python 内置函数之一，用于获取字符的 ASCII 值或 Unicode 值。

​ ord 是 ordinal 的简写，表示“序数”的意思。它用于表示字符在 ASCII 编码表或 Unicode 编码表中的位置或序号。

​ 在 ASCII 编码中，每个字符都有一个对应的数字值（0 到 127），表示了该字符在 ASCII 编码表中的位置。

​ 在 Unicode 编码中，每个字符都有一个唯一的数字值，表示了该字符在 Unicode 编码表中的位置。

3. Python的字符串类型是str，在内存中以Unicode表示，一个字符对应若干个字节。
4. 如果要在网络上传输，或者保存到磁盘上，就需要把str变为以字节为单位的bytes。
5. Python对bytes类型的数据用带b前缀的单引号或双引号表示：

x = b'ABC'

6. 以Unicode表示的str通过encode()方法可以编码为指定的bytes，例如：

>>> 'ABC'.encode('ascii')
b'ABC'
>>> '中文'.encode('utf-8')
b'\xe4\xb8\xad\xe6\x96\x87'
>>> '中文'.encode('ascii')
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

在Python中，点号（.）用于访问对象的属性和方法。当在一个对象上使用点号时，它允许我们访问该对象所具有的属性和方法。

对于字符串、列表、字典等对象，点号（.）可以用来调用相关的方法。例如，对于字符串对象，可以使用点号调用upper()方法将字符串转换为大写，使用lower()方法将字符串转换为小写，使用replace()方法替换字符串中的特定部分等。

此外，点号（.）还可以用于访问对象的属性。属性是对象的特征或数据。例如，对于一个名为person的对象，可以使用person.name来访问其名称属性。

总而言之，点号（.）是一种用于访问对象属性和调用对象方法的语法。它允许我们直接在对象上执行操作。

纯英文的str可以用ASCII编码为bytes，内容是一样的，含有中文的str可以用UTF-8编码为bytes。含有中文的str无法用ASCII编码，因为中文编码的范围超过了ASCII编码的范围，Python会报错。

在bytes中，无法显示为ASCII字符的字节，用\x##显示。

7. 从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把bytes变为str，就需要用decode()方法：

>>> b'ABC'.decode('ascii')
'ABC'
>>> b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
'中文'

如果bytes中只有一小部分无效的字节，可以传入errors='ignore'忽略错误的字节：

>>> b'\xe4\xb8\xad\xff'.decode('utf-8', errors='ignore')
'中'

8. len()函数：计算字符或者字节数

>>> len('ABC')
3
>>> len('中文')
2

>>> len(b'ABC')
3
>>> len(b'\xe4\xb8\xad\xe6\x96\x87')
6
>>> len('中文'.encode('utf-8'))
6

由于Python源代码也是一个文本文件，所以，当你的源代码中包含中文的时候，在保存源代码时，就需要务必指定保存为UTF-8编码。并且必须要确保文本编辑器正在使用UTF-8 without BOM编码：

UTF-8 without BOM（Byte Order Mark）是一种不包含字节顺序标记的UTF-8编码格式。字节顺序标记是一个特殊的字节序列（0xEF 0xBB 0xBF），用于标识文本数据使用的是UTF-8编码。

UTF-8 without BOM是一种常见的UTF-8编码格式，特别适用于在各种平台和应用程序之间共享文本数据。相比带BOM的UTF-8编码，UTF-8 without BOM更节省空间，并且不包含字节顺序标记，因此在处理文本数据时更加灵活。

在Python中，默认情况下使用的是UTF-8 without BOM编码格式。当使用open()函数打开文件并指定编码为"utf-8"时，实际上是使用UTF-8 without BOM编码格式读取或写入文件。

需要注意的是，某些应用程序可能要求文本数据包含字节顺序标记，因此在特定情况下可能需要使用带BOM的UTF-8编码格式。但在大多数情况下，UTF-8 without BOM是一种常用的、通用的UTF-8编码格式。

四、格式化

>>> 'Hello, %s' % 'world'
'Hello, world'
>>> 'Hi, %s, you have $%d.' % ('Michael', 1000000)
'Hi, Michael, you have $1000000.'

%运算符用来格式化字符串。在字符串内部，%s表示用字符串替换，%d表示用整数替换，有几个%?占位符，后面就跟几个变量或者值，顺序要对应好。如果只有一个%?，括号可以省略。

格式化整数和浮点数还可以指定是否补0和整数与小数的位数：

print('%2d-%02d' % (3, 1))
print('%.2f' % 3.1415926)