LuChiChick/Just-DataInspector
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

派生曲线内存治理（弱峰调整等）+ 边沿统计改为统一预算状态机（含中心轴）+ 离屏测试零打扰

Browse Source 
一、派生曲线内存治理（按上一轮报告的方案实施；绘制性能优先，同时为小内存设备留出空间）
1. PeakExtremum 字段重排（double value + uint32 index + int8 type）：24 → 16 字节。
   编码器方波这类极值密集信号省约 1/3 的极值表内存，且**不改变任何数值结果**
   （value 保持 double，改成 float 会让结果与历史版本不一致）：
   实测 3M 采样单次计算的工作缓冲峰值 33.23 → 26.73 MiB。
2. ComputeDerivedWindow 对「整段窗口」不再复制采样（直接引用原向量）：
   8 B/采样 × 2580 万 ≈ 206 MB/条，而“预览曲线一律按整条信号计算”正是最常见情形。
3. 大窗口任务的并发上限由内存压力决定（CurveJob::hugeLimit：内存充足 2、紧张 1）：
   单条整段曲线工作缓冲约 620 MB（2580 万采样），原先最多 4 条并发 → 峰值 2.5GB+；
   实测 4 并发 3M 采样 412 → 324 MiB，且外推值不再随线程数放大。
4. 内存严重不足时**直接拒绝计算**（DerivedMemoryAllows：可用内存 < 输出曲线本体 + 工作缓冲的
   最小需求）并只告警一次（新增 kMessagePlotLowMemory；宿主弹一次明确的提示框）。
   界面保持可用，绝不会因内存不足抛 bad_alloc 逸出线程导致进程终止。
5. 低内存模式“少量多次”：throttle = true 时并发降为 1、且每阶之间 Sleep(1)，慢慢算完。
   内存充足时不做任何节流，尽可能快。
6. 取消标志贯通到算法内部（ComputeWeakPeakAdjust / ComputeMovingAverageIterated 新增
   cancel 参数，每阶 / 每 1M 采样检查一次）⇒ **过时任务立即退出并归还工作缓冲**；
   PauseDerivedAsync / StopCurveWorker 先 m_curveCancelAll = true 再 join。
7. AvailablePhysicalBytes() 结果按 200ms 缓存（绘制路径上不再每帧多次系统调用）。
8. 极值表按 count/8 预留容量（try/catch(bad_alloc) 保护），避免 push_back 反复扩容的 1.5x 峰值。
9. MeanFilterCurveFor / WeakPeakCurveFor（整条同步计算）现在只有测试使用；
   产品代码一律走 CurveSpanFor（窗口化 + 异步）。

二、边沿统计：统一「逐块累积 + 每 tick 预算」状态机（普通边沿计数与中心轴共用）
1. EdgeScanState + EdgeScanFor 成为唯一实现，EdgeCountsFor / EdgeCenterCountsFor 是薄包装；
   删除 EdgeCenterCountEntry / m_edgeCenterCountCache。
2. **未完成时主动请求下一帧**（RequestEdgeScanFrame → PostMessage(kMessagePlotDerivedReady)）：
   修掉“鼠标不动就一直显示统计中，只有把鼠标移到面板上才更新”（根因就是没有重绘 → 预算不推进）。
3. 阈值/参数变化就地把状态重置（不新建条目，避免拖动时状态爆炸）；重置当 tick 不展示部分值
   （修掉“除了最后一个信号显示了一个错误的且不更新的数字，其它变成统计中”）；
   稳定后展示递增的部分值 + “…”；扫完展示精确值（统一走 EdgeCountsText）。
4. 中心轴判定所需曲线**只在后台计算**：只在 AcquireCoveringCurve 命中（键完全相同）时扫块，
   否则 ScheduleCurveJob 后本帧不推进。原先该调用没传 allowAsyncCompute（默认 false）⇒
   首帧 / 参数变化后同步算整条均值滤波曲线 ⇒ 界面停顿数秒（用户报告“一改参数整个程序卡住很久”）。
5. MeanFilterValueAt（光标读数）不再调整条同步的 MeanFilterCurveFor，改为窗口化 + 异步。
6. ScheduleCurveJob 改为幂等（m_curveRunningKeys 集合 + 队列去重）：统计侧会每帧请求同一份
   整条曲线，若每次都当作新请求，正在算的那份立刻被判过时 → 请求→作废→重请求 死循环。
7. 扫描热路径加“无变换/无镜像/非中心轴”的紧凑循环：单次预算耗时 18ms → 1.3ms。
8. 实测（合成方波）：6M 采样首帧 1.4ms（部分值）、单次最坏 2.1ms；
   拖动横向光标 10 次查询 1.07ms；**同一帧内 5 条信号合计 1.3ms**（预算跨信号共享）；
   保持不动无需移动鼠标即收敛到与参考实现逐位一致。

三、离屏测试绝不打扰用户的前台工作
- .preflight/uitest 与 .preflight/probe 的 main 开头设置
  SetPriorityClass(GetCurrentProcess(), BELOW_NORMAL_PRIORITY_CLASS) +
  SetThreadPriority(GetCurrentThread(), THREAD_PRIORITY_BELOW_NORMAL)，
  再长的测试也不会与用户的编辑/浏览抢 CPU（此前“打字不顺畅”的根因）。
- 继续保持：窗口 SW_HIDE、只注入合成消息（不动真实鼠标键盘）、每次注入后立即 ReleaseCapture
  （SetCapture 是系统级的，不释放会把用户的鼠标输入吸进测试进程）。

四、验证（全部离屏）
- .preflight/uitest 新增/强化：预算推进首帧不显示部分值 → 第二帧显示递增部分值 →
  保持不动收敛到精确值；未完成时会 PostMessage 请求下一帧（直接断言）；
  拖动阈值期间 complete == false、不显示部分数字、总耗时 < 60ms；
  5 条信号同帧合计 < 120ms（实测 1.3ms）；中心轴与参考实现逐位一致且无需鼠标移动即可完成。
- 合计 751/751 通过（连跑 3 次稳定）；make release 零警告。

规则同步：Documents/agent_mem.md 新增 §9.23（含内存治理表与实测数据）、§11.2 新增第 32–38 条硬约束、
变更日志补一行。
This commit is contained in:
DeepSeek V4.1 Flash committed 2026-10-14 15:24:19 +08:00
1 parent d6d3fcd6c1
commit 375a15c8c2
6 files changed
+784 -429
Download Patch File Download Diff File Expand all files Collapse all files

No files matched your search

Utilities/Inc/DataModel.hpp
+14 -2
View File
@@ -6,6 +6,7 @@
#include <cstddef>
#include <cstdint>
#include <string>
#include <atomic>
#include <vector>
#include "CsvTable.hpp"
@@ -764,9 +765,15 @@ namespace jdi
* @param [IN] radius 滑平半径 N（0 表示原样返回）。
* @param [IN] iterations 迭代次数（至少为 1）。
* @param [OUT] out 输出数组（长度与 values 相同）。
* @param [IN] cancel 可选的取消标志（非 nullptr 且为 true 时**尽快退出**）。
* 用于「过时任务立即清退」：拖动参数滑块时旧参数的计算不再需要，
* 越早退出就能越早把工作缓冲（千万级采样时可达数百 MB）归还。
* @param [IN] throttle 是否在阶与阶之间让出 CPU（低内存设备上的“少量多次”模式）。
*/
void ComputeMovingAverageIterated(const std::vector<double>& values, int radius, int iterations,
std::vector<float>& out);
std::vector<float>& out,
const std::atomic<bool>* cancel = nullptr,
bool throttle = false);
/**
* @brief 「弱峰调整」：把比周边更弱的纹波波峰/波谷恢复，或（负幅度时）把弱峰削弱。
@@ -810,9 +817,14 @@ namespace jdi
* @param [IN] amount 调整幅度（-4 – +4，对应 -400% – +400%，超出范围会被夹取；0 = 完全不动）。
* @param [IN] iterations 迭代次数 N（重复应用次数，至少为 1）。
* @param [OUT] out 输出数组（长度与 values 相同；原值为 NaN 处保持 NaN）。
* @param [IN] cancel 可选的取消标志（非 nullptr 且为 true 时**尽快退出**）。
* 拖动滑块时旧参数的计算会被新参数取代，越早退出越早释放工作缓冲。
* @param [IN] throttle 是否在阶与阶之间让出 CPU（低内存设备上的“少量多次”模式）。
*/
void ComputeWeakPeakAdjust(const std::vector<double>& values, double amount, int iterations,
std::vector<float>& out);
std::vector<float>& out,
const std::atomic<bool>* cancel = nullptr,
bool throttle = false);
/**
* @brief 在指定文件的时间轴上查找与给定时刻最接近的采样点。
Utilities/Src/DataModel.cpp
+67 -9
View File
@@ -1,12 +1,16 @@
#include "DataModel.hpp"
#include <algorithm>
#include <atomic>
#include <cmath>
#include <cstdio>
#include <cstdlib>
#include <cwctype>
#include <deque>
#include <limits>
#include <new>
#include <windows.h> // Sleep（低内存设备的“少量多次”节流）
#include "Theme.hpp"
#include "Utf8Util.hpp"
@@ -1066,7 +1070,8 @@ namespace jdi
} // namespace
void ComputeMovingAverageIterated(const std::vector<double>& values, int radius, int iterations,
std::vector<float>& out)
std::vector<float>& out,
const std::atomic<bool>* cancel, bool throttle)
{
const int stages = std::max(1, iterations);
// 第 1 阶：从原始采样值出发。
@@ -1086,6 +1091,10 @@ namespace jdi
std::vector<float> stage;
for (int iteration = 1; iteration < stages; ++iteration)
{
if (cancel != nullptr && cancel->load(std::memory_order_relaxed))
{
return; // 过时任务：立即退出（调用方会丢弃结果）
}
for (std::size_t index = 0; index < out.size(); ++index)
{
buffer[index] = std::isfinite(out[index]) ? static_cast<double>(out[index])
@@ -1093,6 +1102,11 @@ namespace jdi
}
ComputeMovingAverage(buffer, radius, stage);
out.swap(stage);
if (throttle)
{
// 低内存设备的“少量多次”：每阶之间小睡一下，把内存带宽与 CPU 让给前台。
Sleep(1);
}
}
}
@@ -1100,12 +1114,19 @@ namespace jdi
{
/**
* @brief 「弱峰调整」内部使用的极值点（波峰 / 波谷）。
*
* ⚠️ **字段顺序是刻意的**：`double value` 放在最前、`index` 用 `uint32`、`type` 用 `int8`，
* 使结构体只占 **16 字节**（原来的 `size_t+double+int` 是 24 字节，含 7 字节填充）。
* 一个千万级方波信号的极值数量与采样数同量级（编码器信号几乎每个跳变都是极值），
* 这张表就是「弱峰调整」工作缓冲的主导项（24 B/极值 ≈ 24 B/采样）——
* 瘦身后同样规模的整段计算可省下约 1/3 的峰值内存。
* `uint32` 下标对本项目安全：4.29e9 个 `double` 需要 34 GB 采样内存，不可能达到。
*/
struct PeakExtremum
{
std::size_t index = 0; /**< 采样下标。 */
double value = 0.0; /**< 采样值。 */
int type = 0; /**< +1 = 波峰，-1 = 波谷。 */
double value = 0.0; /**< 采样值（保持 double：改成 float 会让结果与历史版本不一致）。 */
std::uint32_t index = 0; /**< 采样下标。 */
std::int8_t type = 0; /**< +1 = 波峰，-1 = 波谷。 */
};
/**
@@ -1133,10 +1154,13 @@ namespace jdi
* @param [IN] input 本阶的输入采样值。
* @param [IN] amounts 三组规则的调整幅度（各 -2 – +2，已夹取；0 = 该组不动）。
* @param [OUT] output 本阶的输出（长度与 input 相同；原值为 NaN 处保持 NaN）。
* @param [OUT] extremes 复用的极值表（容量保留，避免每阶重新分配）。
* @param [IN] cancel 可选的取消标志（为 true 时**立即返回 false**）。
* @return 确实有采样点被改动返回 true；没有任何点需要调整时返回 false。
*/
bool ApplyWeakPeakStage(const std::vector<float>& input, const WeakPeakAmounts& amounts,
std::vector<float>& output, std::vector<PeakExtremum>& extremes)
std::vector<float>& output, std::vector<PeakExtremum>& extremes,
const std::atomic<bool>* cancel)
{
const std::size_t count = input.size();
output.assign(count, std::numeric_limits<float>::quiet_NaN());
@@ -1159,6 +1183,20 @@ namespace jdi
// 波峰（先升后降）与波谷（先降后升）必然交替出现，
// 因此同类极值就是极值序列里下标 ±2 的两个。
extremes.clear();
// 适度预留：编码器方波约每 8 个采样一个极值，预留 1/8 能让最常见的密集信号
// 一次到位（避免 push_back 反复扩容带来的 1.5x 峰值内存）；宁少勿多，
// 因为 unreserve 的代价（一次 realloc）远小于无谓地占住内存。
if (extremes.capacity() < count / 8)
{
try
{
extremes.reserve(count / 8);
}
catch (const std::bad_alloc&)
{
// 预留失败不影响正确性：让 push_back 自行增长（低内存时不报错）。
}
}
{
int direction = 0; // 当前单调段方向（+1 上升、-1 下降）。
bool hasPrevious = false;
@@ -1166,6 +1204,12 @@ namespace jdi
double previousValue = 0.0;
for (std::size_t index = 0; index < count; ++index)
{
// 取消检查的粒度：每 1M 个采样一次（单次检查开销可忽略，
// 但能让“过时任务”在几十毫秒内退出）。
if (cancel != nullptr && (index & 0xFFFFFu) == 0 && cancel->load(std::memory_order_relaxed))
{
return false;
}
const double value = static_cast<double>(input[index]);
if (!std::isfinite(value))
{
@@ -1191,9 +1235,9 @@ namespace jdi
{
// 方向在此翻转：上一个采样点就是极值（原方向向上则为波峰）。
PeakExtremum extreme;
extreme.index = previousIndex;
extreme.index = static_cast<std::uint32_t>(previousIndex);
extreme.value = previousValue;
extreme.type = direction;
extreme.type = static_cast<std::int8_t>(direction);
extremes.push_back(extreme);
direction = step;
}
@@ -1366,7 +1410,8 @@ namespace jdi
} // namespace
void ComputeWeakPeakAdjust(const std::vector<double>& values, double amount, int iterations,
std::vector<float>& out)
std::vector<float>& out,
const std::atomic<bool>* cancel, bool throttle)
{
const std::size_t count = values.size();
out.assign(count, std::numeric_limits<float>::quiet_NaN());
@@ -1418,12 +1463,25 @@ namespace jdi
std::vector<float>& next = nextBuffer;
for (int stage = 0; stage < stages; ++stage)
{
if (!ApplyWeakPeakStage(current, amounts, next, extremesBuffer))
if (cancel != nullptr && cancel->load(std::memory_order_relaxed))
{
return; // 过时任务：立即退出（`out` 保留为 NaN，调用方会丢弃它）
}
if (!ApplyWeakPeakStage(current, amounts, next, extremesBuffer, cancel))
{
if (cancel != nullptr && cancel->load(std::memory_order_relaxed))
{
return; // 被取消（而非“本阶无改动”）
}
// 这一阶没有任何采样点需要调整：后续迭代次数也不会再有变化，提前结束。
break;
}
current.swap(next);
if (throttle)
{
// 低内存设备的“少量多次”：每阶之间小睡一下，把内存带宽与 CPU 让给前台。
Sleep(1);
}
}
out.swap(current);
}