Feat ocr

[Johnson-zs]

No description provided.

[github-actions]

TAG Bot

TAG: 1.3.52
EXISTED: no
DISTRIBUTION: unstable

[github-actions]

Warning

[Debian检查]

• 检测到debian目录文件有变更: debian/libdfm6-search.install

[deepin-ci-robot]

[APPROVALNOTIFIER] This PR is NOT APPROVED

This pull-request has been approved by: Johnson-zs

The full list of commands accepted by this bot can be found here.

Details

Needs approval from an approver in each of these files:

• debian/deepin/OWNERS

Approvers can indicate their approval by writing /approve in a comment
Approvers can cancel approval by writing /approve cancel in a comment

[github-actions]

Warning

[Debian检查]

• 检测到debian目录文件有变更: debian/libdfm6-search.install

[github-actions]

Warning

[Debian检查]

• 检测到debian目录文件有变更: debian/control,debian/libdfm6-search.install

[github-actions]

Warning

[Debian检查]

• 检测到debian目录文件有变更: debian/control,debian/libdfm6-search.install

[deepin-ci-robot]

deepin pr auto review

我已对代码进行了全面的审查。以下是关于语法逻辑、代码质量、代码性能和代码安全的详细审查意见和改进建议：

1. 语法逻辑审查

1.1 时间范围过滤逻辑

问题：在 TimeRangeFilter::resolveRelativeTimeRange 方法中，对于"Last N days"的处理可能存在边界问题。

// 当前实现
case TimeUnit::Days:
    start = QDateTime(now.date().addDays(-value), QTime(0, 0, 0));
    break;

建议：

• 明确文档说明"Last 3 days"是指从3天前的00:00:00到现在，还是从72小时前到现在
• 对于小时和分钟级别的相对时间，建议使用精确计算而非对齐到天开始时间

1.2 OCR搜索的混合AND查询逻辑

问题：在 OcrTextIndexedStrategy::buildAdvancedAndQuery 中，混合AND查询的逻辑较为复杂，可能存在性能问题。

// 当前实现
Lucene::BooleanQueryPtr pureFilenameQuery = newLucene<Lucene::BooleanQuery>();
pureFilenameQuery->add(allFilenamesQuery, Lucene::BooleanClause::MUST);
pureFilenameQuery->add(allOcrContentsQuery, Lucene::BooleanClause::MUST_NOT);

建议：

• 考虑使用Lucene的SpanQuery或PhraseQuery来优化这种复杂的布尔查询
• 添加性能测试，特别是对于大量文档的情况

1.3 时间解析逻辑

问题：在 TimeParser::parseTimeRange 中，时间解析的容错性不足。

// 当前实现
start = QDateTime::fromString(startStr, "yyyy-MM-dd HH:mm");
if (!start.isValid()) {
    start = QDateTime::fromString(startStr, "yyyy-MM-dd");

建议：

• 添加更多时间格式的支持，如"yyyy/MM/dd"、"MM/dd/yyyy"等
• 添加对相对时间的支持，如"today"、"yesterday"
• 考虑使用QDateTime::fromString的重载版本，支持多种格式

2. 代码质量审查

2.1 命名规范

问题：部分变量和方法的命名不够清晰。

// 示例
auto [start, end] = filter.resolveTimeRange();

建议：

• 使用更具描述性的变量名，如startTime和endTime
• 对于返回多个值的情况，考虑使用结构体而非结构化绑定，提高可读性

2.2 错误处理

问题：部分异常处理不够完善。

// 在OcrTextIndexedStrategy::performOcrTextSearch中
try {
    doc = searcher->doc(scoreDoc->doc);
    if (!doc) {
        qWarning() << "Failed to retrieve document at index:" << scoreDoc->doc;
        continue;
    }
} catch (const Lucene::LuceneException &e) {
    qWarning() << "Exception while retrieving document:" << QString::fromStdWString(e.getError());
    continue;
}

建议：

• 添加更详细的错误日志，包括堆栈跟踪
• 考虑实现错误计数器，当错误超过阈值时终止搜索
• 对于关键错误，考虑抛出异常而非静默跳过

2.3 代码重复

问题：在多个ResultAPI类中存在重复的时间处理代码。

// 在ContentResultAPI、FileNameResultAPI、OcrTextResultAPI中都有类似代码
qint64 modifyTs = resultAPI.modifyTimestamp();
if (modifyTs > 0) {
    QJsonObject modifyTimeObj;
    modifyTimeObj["timestamp"] = modifyTs;
    modifyTimeObj["formatted"] = resultAPI.modifyTimeString();
    obj["modifyTime"] = modifyTimeObj;
}

建议：

• 将时间处理逻辑提取到TimeResultAPI基类中
• 使用模板方法模式，减少重复代码

3. 代码性能审查

3.1 字符串处理

问题：在多个地方存在不必要的字符串转换和拷贝。

// 示例
QString path = QString::fromStdWString(pathField);
if (!path.startsWith(searchPath)) {
    continue;
}

建议：

• 考虑使用QStringView来避免不必要的字符串拷贝
• 对于路径比较，考虑使用QFileInfo或QDir的规范化方法

3.2 查询优化

问题：在构建Lucene查询时，可能存在性能瓶颈。

// 在FileNameIndexedStrategy::buildLuceneQuery中
if (hasValidQuery && SearchUtility::isFilenameIndexAncestorPathsSupported()
    && SearchUtility::shouldUsePathPrefixQuery(searchPath)) {
    QueryPtr pathPrefixQuery = LuceneQueryUtils::buildPathPrefixQuery(searchPath,
                                                                      QString::fromWCharArray(LuceneFieldNames::FileName::kAncestorPaths));

建议：

• 考虑缓存路径前缀查询的结果
• 对于频繁使用的路径前缀，预编译查询

3.3 结果处理

问题：在处理搜索结果时，可能存在性能问题。

// 在ContentIndexedStrategy::processSearchResults中
if (enableRetrieval) {
    try {
        Lucene::String contentField = doc->get(LuceneFieldNames::Content::kContents);
        if (!contentField.empty()) {
            const QString content = QString::fromStdWString(contentField);
            const QString highlightedContent = ContentHighlighter::customHighlight(m_keywords, content, previewLen, enableHTML);

建议：

• 考虑使用流式处理，避免一次性加载所有内容
• 对于大型文档，实现分页或延迟加载

4. 代码安全审查

4.1 输入验证

问题：在解析命令行参数时，输入验证不够严格。

// 在CliOptions::parse中
QString typeStr = m_parser.value(m_typeOption);
if (typeStr == "content") {
    config.searchType = SearchType::Content;
} else if (typeStr == "ocr") {
    config.searchType = SearchType::Ocr;
} else if (typeStr != "filename") {
    std::cerr << "Error: Invalid search type. Use 'filename', 'content', or 'ocr'" << std::endl;
    return false;
}

建议：

• 添加对输入长度的限制，防止缓冲区溢出
• 对特殊字符进行转义或过滤，防止注入攻击
• 使用白名单而非黑名单验证输入

4.2 路径遍历

问题：在处理文件路径时，可能存在路径遍历漏洞。

// 在多个地方
QString path = QString::fromStdWString(doc->get(LuceneFieldNames::Content::kPath));
if (!path.startsWith(searchPath)) {
    continue;
}

建议：

• 使用QFileInfo::canonicalPath()规范化路径
• 检查路径是否包含".."或符号链接
• 限制搜索路径在允许的目录范围内

4.3 时间戳处理

问题：在处理时间戳时，可能存在整数溢出或精度丢失。

// 在多个地方
qint64 timestamp = QString::fromStdWString(modifyTimeField).toLongLong(&ok);
if (ok && timestamp > 0) {
    resultApi.setModifyTimestamp(timestamp);
}

建议：

• 添加对时间戳范围的验证
• 考虑使用QDateTime::fromSecsSinceEpoch的安全版本
• 添加对无效时间戳的处理逻辑

5. 具体改进建议

5.1 添加单元测试

建议：

• 为TimeRangeFilter添加更全面的单元测试，特别是边界条件
• 为时间解析器添加测试用例，覆盖各种时间格式
• 为OCR搜索的混合AND查询添加性能测试

5.2 改进错误处理

建议：

• 实现统一的错误处理机制
• 添加错误代码和错误消息的国际化支持
• 考虑实现错误恢复机制

5.3 优化性能

建议：

• 实现查询缓存机制
• 添加性能监控和日志记录
• 考虑使用异步处理提高响应速度

5.4 增强安全性

建议：

• 实现输入验证框架
• 添加安全审计日志
• 考虑实现权限检查机制

6. 代码示例改进

6.1 改进时间范围解析

// 改进后的TimeParser::parseTimeRange
bool TimeParser::parseTimeRange(const QString &arg, QDateTime &start, QDateTime &end)
{
    if (arg.isEmpty()) {
        return false;
    }

    QStringList parts = arg.split(',');
    if (parts.size() != 2) {
        return false;
    }

    QString startStr = parts[0].trimmed();
    QString endStr = parts[1].trimmed();

    // 支持多种时间格式
    QList<QString> formats = {
        "yyyy-MM-dd HH:mm:ss",
        "yyyy-MM-dd HH:mm",
        "yyyy-MM-dd",
        "yyyy/MM/dd",
        "MM/dd/yyyy"
    };

    // 解析开始时间
    for (const QString &format : formats) {
        start = QDateTime::fromString(startStr, format);
        if (start.isValid()) {
            if (format == "yyyy-MM-dd") {
                start.setTime(QTime(0, 0, 0));
            }
            break;
        }
    }

    // 解析结束时间
    for (const QString &format : formats) {
        end = QDateTime::fromString(endStr, format);
        if (end.isValid()) {
            if (format == "yyyy-MM-dd") {
                end.setTime(QTime(23, 59, 59));
            }
            break;
        }
    }

    // 验证时间范围
    if (!start.isValid() || !end.isValid() || start > end) {
        return false;
    }

    return true;
}

6.2 改进错误处理

// 改进后的OcrTextIndexedStrategy::performOcrTextSearch
void OcrTextIndexedStrategy::performOcrTextSearch(const SearchQuery &query)
{
    SearchCancellationGuard guard(&m_cancelled);
    int errorCount = 0;
    const int MAX_ERRORS = 100; // 最大允许错误数

    try {
        // ... 现有代码 ...

        for (int32_t i = 0; i < docsSize; ++i) {
            if (m_cancelled.load()) {
                qInfo() << "OCR text search cancelled";
                break;
            }

            try {
                // ... 处理文档 ...
            } catch (const Lucene::LuceneException &e) {
                errorCount++;
                qWarning() << "Error processing document" << i << ":" 
                          << QString::fromStdWString(e.getError());
                
                if (errorCount >= MAX_ERRORS) {
                    qCritical() << "Too many errors (" << errorCount 
                               << "), aborting search";
                    emit errorOccurred(SearchError(OcrTextSearchErrorCode::OcrTextIndexException));
                    return;
                }
                continue;
            }
        }

        if (errorCount > 0) {
            qWarning() << "Search completed with" << errorCount << "errors";
        }

        // ... 现有代码 ...
    } catch (...) {
        qCritical() << "Unexpected exception in OCR text search";
        emit errorOccurred(SearchError(OcrTextSearchErrorCode::OcrTextIndexException));
    }
}

6.3 改进路径验证

// 新增的路径验证工具类
class PathValidator
{
public:
    static bool isValidSearchPath(const QString &path, const QString &allowedBasePath)
    {
        if (path.isEmpty() || allowedBasePath.isEmpty()) {
            return false;
        }

        QFileInfo pathInfo(path);
        if (!pathInfo.exists() || !pathInfo.isDir()) {
            return false;
        }

        // 规范化路径
        QString canonicalPath = pathInfo.canonicalFilePath();
        QString canonicalBasePath = QFileInfo(allowedBasePath).canonicalFilePath();

        // 检查是否在允许的路径范围内
        if (!canonicalPath.startsWith(canonicalBasePath)) {
            return false;
        }

        // 检查路径遍历
        if (canonicalPath.contains("..")) {
            return false;
        }

        return true;
    }

    static bool isPathSafe(const QString &path)
    {
        // 检查路径中是否包含危险字符
        if (path.contains('\0') || path.contains('\n') || path.contains('\r')) {
            return false;
        }

        // 检查路径长度
        if (path.length() > PATH_MAX) {
            return false;
        }

        return true;
    }
};

总结

总体而言，代码结构良好，遵循了面向对象的设计原则，但在以下几个方面需要改进：

1. 时间处理逻辑：需要更明确的时间范围定义和更灵活的时间解析
2. 错误处理：需要更完善的错误处理和恢复机制
3. 性能优化：需要考虑查询缓存、结果分页等优化措施
4. 安全性：需要加强输入验证和路径安全检查
5. 代码质量：需要减少代码重复，提高可维护性

建议优先处理安全性和错误处理相关的问题，然后逐步优化性能和代码质量。同时，建议添加更全面的单元测试和集成测试，确保代码的稳定性和可靠性。

[github-actions]

Note

[静态代码检查]

• 敏感词检查失败, 检测到1个文件存在敏感词

详情

{
    "debian/control": [
        {
            "line": "Homepage: http://www.deepin.org",
            "line_number": 32,
            "rule": "S35",
            "reason": "Url link | 6fe814dfb7"
        }
    ]
}

[Johnson-zs]

/forcemerge

[deepin-bot]

This pr force merged! (status: blocked)

[deepin-bot]

TAG Bot

✅ Tag created successfully

📋 Tag Details

• Tag Name: 1.3.52
• Tag SHA: 89b79b0b2b61367c735ffd5abfd9dadfe8f63bc4
• Commit SHA: 4dc6308ef88e376afbb07abf143aec663192a316
• Tag Message:

  Release util-dfm 1.3.52
  
  

• Tagger:
  • Name: Johnson-zs
• Distribution: unstable