跟沐神学 吼吼吼，上学不跟沐神好好学，上班之后来换债了
原文里的conda，这里会换成uv，如果遇到问题再说吧，uv实在是太快了
这里推荐是用GPU，我用的MAC，所以先用CPU顶一下，后面遇到需要GPU的地方再去租云GPU吧
# 新建项目
mkdir ml_learn
cd ml_learn
# uv初始化
uv init
# 添加环境
uv add jupyter
uv add torch
uv add pandas
uv add matplotlib
uv add d2l
uv add torchvision
# 下载D2L
curl https://zh-v2.d2l.ai/d2l-zh-2.0.0.zip -o d2l-zh.zip
unzip d2l-zh.zip && rm d2l-zh.zip
非参注意力池化层
Nadaraya-Watson核回归
https://www.bilibili.com/video/BV1xoW4zaEke/?spm_id_from=333.1387.favlist.content.click&vd_source=981e3c11cfc628a411ae06b92a0546e9
Q: 查询向量，当前Token关注什么
K: 键向量，当前Token能给其它Token提供什么信息
V: 值向量，这个词实际包含的信息内容
代码经过编译后，会生成可执行文件。当执行这个可执行文件时，它会被加载到内存中，接着CPU会执行程序中的指令。这个运行中的程序，就称之为进程（Process）。
在一个进程运行过程中，难免会去读磁盘、网络的IO，这个时间相对是比较长的。此时，CPU 不需要阻塞等待数据的返回，而是去执行另外的进程。当硬盘数据返回时，CPU 会收到个中断，于是 CPU 再继续运行这个进程。
进程不是一直运行的，一个进程至少具备五种基本状态，即创建状态、运行状态、就绪状态、阻塞状态、结束状态。
大模型幻觉是指大型语言模型(LLMs)生成的内容与现实世界事实或用户输入不一致的现象。这种现象可以分为两大类：
Next Token Prediction的方式进行预训练， 因此，它只能保证文本生成的流畅性，而无法辨别所遇到的信息是否真实或准确。python中，async和await两个关键字用于定义异步操作。
async: 定义异步函数，表明该函数是协程，可以在其中使用await来等待其他异步操作完成。异步函数的执行不会阻塞事件循环，而是会立即返回一个协程对昂。await: 用于在异步函数内等待其他协程执行完成/。遇到await时，事件循环会挂起当前的协程，并执行其它任务，直到协程完成后再恢复。Python字典（dict）是一种可变容器模型，用于存储键值对（key-value）映射关系。它是Python中最重要、最常用的数据结构之一。
主要特性：
目前的开源项目，存在两种主流的prompt标记符号。下面以两个自动优化提示词的项目为例子:
\#: prompt_optimizer<>: coze_loop个人感觉还是<>效果更好一点，可以明确的划定一个指令块的区间，只是可读性不太友好
python的垃圾回收机制主要分为三大块:
python通过引用计数器来进行垃圾回收。每个对象的基础结构里都维护了引用计数字段，如果他的引用数量是0，则会触发回收机制。
// 这是Python对象在C层面的基础结构
typedef struct _object {
Py_ssize_t ob_refcnt; // 引用计数
PyTypeObject *ob_type; // 类型指针
// ... 其他字段根据类型不同而变化
} PyObject;
在python中，一切皆对象，包括类本身。元类是创建类对象的类。就像类是用来创建实例的模板一样，元类是创建类的模板。
class MyClass:
pass
obj = MyClass()
print(f"实例的类型: {type(obj)}") # <class '__main__.MyClass'>
print(f"类的类型: {type(MyClass)}") # <class 'type'>
print(f"type的类型: {type(type)}") # <class 'type'>
# 所以：
# 实例 obj 是 MyClass 类的对象
# 类 MyClass 是 type 类的对象
# 元类 type 是 type 类的对象（type是自身的实例）
上下文管理器（Context Manager）是Python中用于管理资源（如文件、数据库连接、锁等）的对象，它定义了在进入和退出代码块时要执行的操作。上下文管理器通过实现 __enter__() 和 __exit__() 方法来工作
with语句提供了一种优雅的方式来管理资源，确保资源被正确初始化和清理，即使在发生异常的情况下也是如此。它的主要优势包括：
with块内发生异常，清理代码也会被执行try...finally块