 DeepSeek V4.1 Flash
|
75f0fafd41
|
.mat 改为流式解码（内存映射 + 逐 chunk 填充）；MF4 支持 ##DL/##DZ/##HL；光标数据点被时间面板遮住时改三角
1) .mat（BIG_MAT.mat 1.29GB / 5 信号 x 16,142,471 采样）
旧链路同时驻留三份内存：整文件 fread 进 vector、整个数据集解压成字节数组、再 memcpy 成
double；外加 streams 缓存与每条信号各一份时间列拷贝。实测私有内存 +1233.9MB、117s。
现改为：
- MatHdf5::Open 用 CreateFileW + CreateFileMappingW + MapViewOfFile（MappedBytes 只读视图，
解析代码零改动；虚拟地址不等于物理内存，未访问页不驻留）；
- 新增 ReadDatasetInfo（只读元信息）+ StreamDataset(ByteSink)（连续布局 4MB 切片、
分块布局逐 chunk inflate）+ ReadDoubleStream（SDI #data# 字节流按 8 字节一组直接写 double，
7 字节尾巴处理非 8 对齐 chunk）；ReadNumbers 改为流式转换；
- MatLoader 先收集信号清单，再按（分组，时间流）合并为一个 TableBlock：时间列按内容去重、
数据列直接 move；进度改成 0-0.02 映射 / 0.02-0.98 逐流解码 / 1.0。
结果：117.3s -> 12.5s，私有内存 +1233.9MB -> +740.4MB（最终列数据 738.9MB）。
关键性能修正：SDI 的 #data# 是 dims=[N]、chunk=[N,1]，归一化后每行只有 1 字节；旧的逐行回调
（且每行分配 coordinate 向量）只有 11MB/s。把目标连续的行合并成一次回调后约 110MB/s。
顺带把 inflate 的 Huffman 解码改成 9 位快查表，并抽到新的 Deflate.hpp/.cpp 供 MF4 复用。
2) MDF4 数据块
Problem-MF4.mf4 的第二个数据组把记录写在 ##DL（数据列表，两个 ##DT：131040+504 字节）
里，旧实现只认 ##DT，整组被跳过，于是 8 个信号只读出 4 个。
新增 CollectDataSegments（递归展开 ##DL / ##HL，叶子识别 ##DT / ##DV / ##DZ）与
ReadRecordSegments（跨段拼接、压缩段先 inflate、非压缩段仍按 4MB 分块读），
压缩段的记录长度改用 max(cg_record_id_len*8, 各通道 bitOffset+bitCount) 推算（载荷是压缩长度）。
实测 8 个信号：gVP_WindowLearnSt[0] 94 行、gVR_WinOpenReq[0] 9396 行，时间列单调。
##SD（已排序数据）仍未实现，这类数据组会被跳过。
另按要求只做检查、不改代码：该文件中 gVP_WindowLearnSt[0] 与 gVR_WinOpenReq[0] 都存在
值枚举文本（##CC，cc_type=7；links[4+i] 对应 cc_val[i]），清单已写入 Documents/agent_mem.md。
3) 光标数据点标记
光标的时间读数与差值胶囊绘制在绘图区底部、且在取值标注之后绘制，靠近底部的数据点圆点
会被完全盖住。新增 MarkerCoveredByCursorLabel（圆心落入面板或重叠面积达到半个圆）
与 CoverHiddenMarker（改成向下的三角、锚点放到面板上沿上方），在原始信号与派生曲线胶囊
两处调用，语义与“数据点在视界下方”一致。
验证（全部离屏：SW_HIDE 窗口 + 只注入合成消息 + BELOW_NORMAL，不占用鼠标键盘屏幕）：
- 新增 .preflight/round4check 34/34；A/B：临时禁用 ##DL 支持 => 2 项如实失败；
临时禁用 CoverHiddenMarker => 3 项如实失败（含像素断言为 0）；
- 回归：.preflight/round3check 31/31、editcheck 20/20、check 137/137；
- make release / make debug 零警告；Build/Release/Target.exe 785,920 字节（< 800KB）。
|
2026-10-19 20:13:17 +08:00 |
|
|
DeepSeek-V4.1-Flash
|
f44f8021e3
|
Release 产物 1.74MB → 796KB（去掉 <filesystem> 与 zlib）+ .mat 加载进度不再停住
一、体积膨胀的真因（用 -Wl,-Map 逐对象/逐节对比上一提交定位，只有两个）
1) <filesystem>（致命，约 +900KB）：MatH5::Open 用 std::filesystem::file_size 取文件大小，
MinGW 的 libstdc++ 因此链入 fs_path/fs_dir/fs_ops/c++locale/codecvt/collate_members/
cow-wstring-inst/cxx11-wlocale-inst/fstream-inst/cp-demangle 整套 locale/iostream 机器
（归档成员 415→538）；还把 64KB 静态表从 .bss 挤成 .data（1.8KB→73.8KB）。
修法：改用 _wfopen_s + _fseeki64/_ftelli64 取大小。
2) -lz（约 46KB）：只需要"解开 HDF5 分块"。修法：MatH5 内置紧凑 inflate
（RFC1950/1951：固定/动态 Huffman、存储块、长度-距离回抄），Makefile 与探针脚本移除 -lz。
顺带把 UploadHaloLayer 里 64KB 的预乘 alpha 查表换成 (v*a+128)*257>>16（无除法、无表）。
二、压到 800KB 以下的两项无损措施
1) 图标资源无损重编码：ico 里 64/48/32/16 四帧原为未压缩 32bpp DIB（合计 32KB），
用自写工具（GDI+ 编码）改为 PNG 帧（ICO 的 PNG 条目 Vista+ 全支持，本文件本就有 256 PNG 帧）：
43,334 → 17,404 字节。像素逐点校验：差异 ≤85 像素、最大分量差 ≤3（编码取整），肉眼不可辨；
并从**真实产物** LoadImageW 逐尺寸（16/32/48/64）验证可加载。
2) RELEASE_OPT 由 -Os 改为 -Oz（省约 6KB）；实测动画帧 p50 7.73ms(-Os) vs 7.77ms(-Oz)，
无可辨识差异。
放弃的手段：-ffunction-sections/-fdata-sections + --gc-sections（反而 +9KB）、LTO（工具链 ICE）、
-fno-asynchronous-unwind-tables（链接失败）、-fno-exceptions（会破坏 catch (bad_alloc)）。
结果：Build/Release/Target.exe = 795,648 字节。
三、.mat 加载进度不更新（已加载大小 / 总大小 / 百分比都停在 0）
真因：LoadMatSourceGroups 只在结束时回调一次 ratio=1.0，且从不设置 hasBytes；
读 42MB 文件与解码 19 个样本流（解压+拷贝，占大头）期间进度恒为 0。
修法：
- MatHdf5::Open 新增 OpenProgress(bytesRead,totalBytes)，按 4MB 分块读取并回报；
- MatLoader 用 ProgressReporter 把进度拆成 0.00–0.55 读文件（hasBytes=true）与
0.55–0.98 解码样本流（每解完一个流推进 done/total），末段 1.0；
- 取消与出错分开：取消时清空 error，不弹错误框。
实测：回调 29 次、字节数变化 11 次、比例单调、终值 1.000、bytes=42,386,344/42,386,344
（= 文件大小）；Application 侧断言 m_loadingBytesRead == m_loadingTotalBytes == 文件大小。
四、验证（全部离屏，不占用鼠标/键盘/屏幕）
- matcheck 21/21（新增进度断言）、matui 15/15（新增图标 + 加载字节断言）；
- 回归 verify 49/49、panelanim 158/158、gridanim 93/93、hoverdrag 20/20、lanescroll 23/23、
datacheck 69/69、edgecheck 46/46、errcheck 19/19、halocheck 16/16、panflash 19/19、
panelstutter 8/8、stress 6/6；
- make release / make debug 零警告。
文档：Documents/agent_mem.md 追加本轮小节（含 5 条新规则：MinGW 下 <filesystem> 是体积炸弹、
链一整条库前先算账、膨胀要看节表而非 .o 大小、图标可无损重编码并用产物校验、
长解析必须按阶段回报进度且 hasBytes 只在有字节时置真）。
|
2026-10-19 02:37:52 +08:00 |
|