Add <response> element validation for SPS 1.10 compliance by Copilot · Pull Request #1138 · scieloorg/packtools

Copilot · 2026-03-19T11:50:19Z

O que esse PR faz?

Implementa 7 regras de validação para o elemento <response> conforme SPS 1.10, cobrindo atributos obrigatórios, unicidade de IDs e estrutura mínima esperada.

#	Regra	Nível
1	`@response-type` presença	CRITICAL
2	`@response-type` valor = `"reply"`	ERROR
3	`@xml:lang` presença	CRITICAL
4	`@id` presença	CRITICAL
5	`@id` unicidade	ERROR
6	`<front-stub>` presença	WARNING
7	`<body>` presença	WARNING

Onde a revisão poderia começar?

packtools/sps/validation/response.py — contém a classe ResponseValidation com todos os 7 métodos de validação.

Como este poderia ser testado manualmente?

from lxml import etree
from packtools.sps.validation.response import ResponseValidation

xml = """<article article-type="letter" xml:lang="en">
    <front><article-meta/></front>
    <body><p>Content</p></body>
    <response response-type="reply" xml:lang="en" id="S1">
        <front-stub/>
        <body><p>Response</p></body>
    </response>
</article>"""

tree = etree.fromstring(xml)
for result in ResponseValidation(tree).validate():
    print(result["title"], result["response"])

Testar também via orchestrator:

from packtools.sps.validation.xml_validator import get_validation_results
for r in get_validation_results(tree, {}):
    if r.get("group") == "response":
        print(r["title"], r["response"])

31 testes unitários em tests/sps/validation/test_response.py cobrem: atributos ausentes/vazios/whitespace, valores incorretos, IDs duplicados, respostas em <sub-article>, error levels customizáveis.

Algum cenário de contexto que queira dar?

O <response> identifica respostas a cartas/comentários publicadas no mesmo documento. Segue o mesmo padrão arquitetural dos validadores existentes (HistoryValidation, XMLPeerReviewValidation): classe de validação + rules JSON + integração no orchestrator via xml_validations.py / xml_validator.py.

Arquivos criados:

packtools/sps/validation/response.py — ResponseValidation
packtools/sps/validation_rules/response_rules.json — configuração de níveis de erro
tests/sps/validation/test_response.py — 31 testes

Arquivos modificados:

packtools/sps/validation/xml_validations.py — import + validate_response()
packtools/sps/validation/xml_validator.py — yield do grupo "response"

Screenshots

N/A — validação backend sem componente visual.

Quais são tickets relevantes?

Referências

Especificação SPS 1.10 — <response>

Warning

Firewall rules blocked me from connecting to one or more addresses (expand for details)

I tried to connect to the following addresses, but was blocked by firewall rules:

api.crossref.org
- Triggering command: `/usr/bin/python python -c
  from lxml import etree
  from packtools.sps.validation.xml_validator import get_validation_results
  from packtools.sps.validation.xml_validator_rules import get_default_rules

Test that response_rules loads from the JSON

rules = get_default_rules()
assert` (dns block)

If you need me to access, download, or install something from one of these locations, you can either:

Configure Actions setup steps to set up my environment, which run before the firewall is enabled

Add the appropriate URLs or hosts to the custom allowlist in this repository's Copilot coding agent settings (admins only)

Original prompt

This section details on the original issue you should resolve

<issue_title>Criar validações para o elemento </issue_title>
<issue_description>## Objetivo

Implementar validações para o elemento <response> conforme a especificação SPS 1.10, aumentando a conformidade de X% para 70% (7 de 10 regras).

Nota: Algumas validações para <response> podem já estar parcialmente implementadas no repositório. Este Issue visa reavaliar, complementar e garantir cobertura completa das regras SPS 1.10.

Contexto

O elemento <response> identifica um conjunto de respostas referente a uma carta ou comentário, obrigatoriamente publicadas juntamente com a carta/comentário. É usado quando há múltiplas respostas no mesmo documento. Validações corretas garantem presença de atributos obrigatórios, unicidade de IDs, e estrutura mínima necessária.

Conformidade atual: X de 10 regras implementadas (X%)
Meta após implementação: 7 de 10 regras (70%)

Documentação SPS

Referência oficial: https://docs.google.com/document/d/1GTv4Inc2LS_AXY-ToHT3HmO66UT0VAHWJNOIqzBNSgA/edit?tab=t.0#heading=h.response

Regras principais conforme SPS 1.10:

Ocorrência:
- <response> pode aparecer zero ou mais vezes em <article> e <sub-article>
Contexto de uso:
- Tag para identificar conjunto de respostas referente a carta ou comentário
- Obrigatoriamente publicadas juntamente com carta ou comentário
- Se apenas uma resposta: usar <sub-article article-type="reply">
- Se publicado com DOI separadamente: usar <article article-type="reply">
Atributos obrigatórios:
- @response-type="reply" (obrigatório)
- @xml:lang (obrigatório)
- @id (obrigatório)
Unicidade de IDs:
- Deve-se usar um @id diferente para cada <response>
Estrutura esperada:
- <front-stub> - Metadados da resposta
- <body> - Conteúdo da resposta
- <back> - Seção final (opcional, pode conter <ref-list>)

Regras a Implementar

P0 – Críticas (implementar obrigatoriamente)

#	Regra	Nível	Descrição
1	Validar presença de `@response-type`	CRITICAL	O atributo `@response-type` é obrigatório em `<response>`
2	Validar valor de `@response-type`	ERROR	O valor de `@response-type` deve ser `"reply"`
3	Validar presença de `@xml:lang`	CRITICAL	O atributo `@xml:lang` é obrigatório em `<response>`
4	Validar presença de `@id`	CRITICAL	O atributo `@id` é obrigatório em `<response>`
5	Validar unicidade de `@id`	ERROR	Cada `<response>` deve ter um `@id` único (não pode repetir valores)

P1 – Importantes (implementar se possível)

#	Regra	Nível	Descrição
6	Validar presença de `<front-stub>`	WARNING	Recomenda-se que `<response>` contenha `<front-stub>` com metadados da resposta
7	Validar presença de `<body>`	WARNING	Recomenda-se que `<response>` contenha `<body>` com o conteúdo da resposta

P2 – Futuras (fora do escopo deste Issue)

#	Regra	Motivo de exclusão
8	Validar contexto de uso (carta/comentário)	Média complexidade - requer validação do article-type do documento pai
9	Validar uso de sub-article para resposta única	Alta complexidade - requer análise de quantidade e contexto
10	Validar formato de @id conforme sugestões SPS	Baixa prioridade - formato livre permitido

Arquivos a Criar/Modificar

Avaliar existentes (podem ter validações parciais):

packtools/sps/models/response.py ou similar – Verificar se modelo existe
packtools/sps/validation/response.py – Verificar validações existentes
packtools/sps/validation/rules/response_rules.json ou similar – Verificar configuração

Criar (se não existirem):

packtools/sps/models/response.py – Modelo de extração de dados
packtools/sps/validation/response.py – Validações
packtools/sps/validation/rules/response_rules.json – Configuração de níveis de erro
tests/sps/validation/test_response.py – Testes unitários

Referenciar (implementações similares):

packtools/sps/validation/sub_article.py – Validação de estrutura similar
packtools/sps/validation/utils.py – Funções auxiliares (build_response)

Exemplos de XML

XML Válido (deve passar sem erros):

<!-- Exemplo 1: Duas respostas em um documento -->
<article article-type="letter">
    <front>
        <!-- metadados da carta -->
    </front>
    <body>
        <!-- conteúdo da carta -->
    </body>
    <response response-type="reply" xml:lang="en" id="S1">
        <front-stub>
            <contrib-group>
                <contrib contrib-type="author">
                    <name>
                        <surname>Smith</surname>
                        <given-names>John</given-names>
                    </name>
                </contrib>
            </contrib-grou...

</details>



<!-- START COPILOT CODING AGENT SUFFIX -->

- Fixes scieloorg/packtools#1108

<!-- START COPILOT CODING AGENT TIPS -->
---

📱 Kick off Copilot coding agent tasks wherever you are with [GitHub Mobile](https://gh.io/cca-mobile-docs), available on iOS and Android.

@xml

Implements 7 validation rules for <response> element: - Rule 1: @response-type presence (CRITICAL) - Rule 2: @response-type value must be "reply" (ERROR) - Rule 3: @xml:lang presence (CRITICAL) - Rule 4: @id presence (CRITICAL) - Rule 5: @id uniqueness (ERROR) - Rule 6: <front-stub> presence (WARNING) - Rule 7: <body> presence (WARNING) New files: - packtools/sps/validation/response.py - Validation class - packtools/sps/validation_rules/response_rules.json - Rules config - tests/sps/validation/test_response.py - 31 unit tests Modified files: - packtools/sps/validation/xml_validations.py - Import + wrapper function - packtools/sps/validation/xml_validator.py - Orchestrator integration Co-authored-by: robertatakenaka <505143+robertatakenaka@users.noreply.github.com>

Co-authored-by: robertatakenaka <505143+robertatakenaka@users.noreply.github.com>

Rossi-Luciano

Evidência de revisão — `response.py`

Data: 2026-04-25
Revisor: Luciano
Artefatos analisados:

response.py (validation) — módulo de validação (ResponseValidation)
response_rules.json — parâmetros de configuração
response.xml — XML artificial gerado para cobertura de testes
response-2026-25-04-145722-errors.csv — relatório de erros gerado pelo packtools

Metodologia

Análise cruzada entre o módulo de validação, o JSON de regras, o XML artificial
construído com o princípio do defeito isolado e o relatório CSV. O módulo é autocontido: _get_response_elements() extrai todos os campos diretamente do nó XML via XPath e .get(), sem delegar a nenhuma classe de model externa. Não foi necessário solicitar um módulo de model adicional.

O XML usa article-type="letter", que não consta em data_availability_required_article_types, evitando ruído do validador de disponibilidade de dados nas seções.

Regras validadas (7 métodos)

#	Método	Nível configurado
R1	`validate_response_type_presence`	CRITICAL
R2	`validate_response_type_value`	ERROR
R3	`validate_xml_lang_presence`	CRITICAL
R4	`validate_id_presence`	CRITICAL
R5	`validate_id_uniqueness`	ERROR
R6	`validate_front_stub_presence`	WARNING
R7	`validate_body_presence`	WARNING

Casos de teste no XML artificial (9 elementos `<response>`)

Caso	Defeito introduzido	Nível esperado	Isolamento
P1	Nenhum — caso ouro completo	OK (ausente do CSV)	todos os atributos e filhos válidos
C-R1	`<response>` sem `@response-type`	CRITICAL	R2 skipa (`if not response_type: continue`) — sem cascata
C-R2	`@response-type="comment"` (valor inválido)	ERROR	R1 passa (`bool("comment")=True`)
C-R3	`<response>` sem `@xml:lang`	CRITICAL	demais atributos válidos
C-R4	`<response>` sem `@id`	CRITICAL	R5 skipa (`if not response_id: continue`) — sem cascata
C-R5a	`@id="resp-dup"` (1ª ocorrência)	ERROR	todos os outros atributos válidos para isolar R5
C-R5b	`@id="resp-dup"` (2ª ocorrência)	ERROR	`validate_id_uniqueness` percorre todos os contextos e gera uma entrada por instância duplicada
C-R6	`<response>` sem `<front-stub>`	WARNING	demais atributos e `<body>` válidos
C-R7	`<response>` sem `<body>`	WARNING	demais atributos e `<front-stub>` válidos

Verificação cruzada com o CSV

Todas as 8 entradas esperadas do módulo response.py aparecem no CSV sob o
subject response, com os níveis de severidade corretos:

Subject	Caso	Nível	Verificação
response	C-R1	CRITICAL	PASS — `response @response-type presence`
response	C-R2	ERROR	PASS — `Replace @response-type with "reply"`
response	C-R3	CRITICAL	PASS — `response @xml:lang presence`
response	C-R4	CRITICAL	PASS — `response @id presence`
response	C-R5a	ERROR	PASS — `Replace duplicate @id="resp-dup"` (1ª instância)
response	C-R5b	ERROR	PASS — `Replace duplicate @id="resp-dup"` (2ª instância)
response	C-R6	WARNING	PASS — `response front-stub presence`
response	C-R7	WARNING	PASS — `response body presence`

O caso ouro P1 não gera nenhuma entrada. Não foram identificados falsos positivos nem falsos negativos originados do módulo.

Nota sobre R5: validate_id_uniqueness coleta todos os contextos em uma única passagem, identifica os ids duplicados e gera uma entrada por instância. O resultado de 2 entradas para @id="resp-dup" é o comportamento esperado e correto.

Ruído identificado (outros módulos) — 20 entradas

Ruído estrutural (XML artificial mínimo): history dates ausentes (5 entradas),
subject/subj-group heading ausente (3 entradas), disp-formula, inline-formula, table-wrap e app ausentes, bibliographic strip incompleto.

Ruído de ambiente: rendition PDF ausente, article dates incompleto, DOI não
registrado no Crossref.

Ruído de referência (id and rid ERROR, 1 entrada): <ref id="B01"> presente no
<ref-list> sem <xref ref-type="bibr" rid="B01"> correspondente no corpo do
artigo. Para eliminar esse ruído nos próximos XMLs artificiais de módulos que não validam referências, incluir ao menos um <xref ref-type="bibr" rid="B01"> no corpo.

Ruído de open science (CRITICAL, 1 entrada): o validador de open science disparou mesmo para article-type="letter". Verificar se letter deveria estar isento da exigência de declaração de disponibilidade de dados nesse módulo.

Conclusão

O módulo response.py está correto. Todas as 8 entradas esperadas dispararam com os níveis de severidade corretos, sem falsos positivos nem falsos negativos originados do módulo. O comportamento de skip de R2 para response_type=None (C-R1) e de skip de R5 para id=None (C-R4) foi confirmado pela ausência de cascatas no CSV.

Copilot

Pull request overview

Adds SPS 1.10 validations for the <response> element and integrates them into the XML validation orchestrator, with configurable severities and unit tests.

Changes:

Introduces ResponseValidation implementing 7 SPS 1.10 rules for <response> (required attributes, @id uniqueness, and minimal structure).
Adds response_rules.json to configure per-rule severity levels.
Wires the new validation group ("response") into the orchestrator and adds a dedicated unit test suite.

Reviewed changes

Copilot reviewed 5 out of 5 changed files in this pull request and generated 3 comments.

Show a summary per file

File	Description
`packtools/sps/validation/response.py`	New `ResponseValidation` class with the 7 rule checks and shared context extraction.
`packtools/sps/validation_rules/response_rules.json`	Default severity configuration for the new `<response>` rules.
`packtools/sps/validation/xml_validations.py`	Adds `validate_response()` and imports `ResponseValidation`.
`packtools/sps/validation/xml_validator.py`	Includes the new `"response"` group in the orchestrator output.
`tests/sps/validation/test_response.py`	New unit tests covering the 7 rules and custom error levels.

💡 Add Copilot custom instructions for smarter, more guided reviews. Learn how to get started.

Copilot · 2026-04-28T17:05:51Z

+                element_name="response",
+                attribute_name="response-type",


In build_response(), format_advice() will auto-generate/override the provided advice when validation_type="exist" and any of element_name/attribute_name/sub_element_name are provided. As a result, this rule’s custom guidance (notably the required value reply) won’t appear in the output; you’ll get a generic ...="VALUE" suggestion instead. Consider either (a) omitting element_name/attribute_name for these exist validations so your custom advice is preserved, or (b) adjusting the utils helper to only auto-generate advice when advice is None (then keep the structured names).

Suggested change

element_name="response",

attribute_name="response-type",

Copilot · 2026-04-28T17:05:52Z

+    def _get_response_elements(self):
+        """
+        Yield context dicts for each <response> element found in the document.
+
+        Searches for <response> elements as children of <article> and
+        <sub-article>.
+        """
+        root = self.xmltree.find(".")
+        if root is None:
+            return
+
+        for response_node in root.xpath(".//response"):
+            parent_node = response_node.getparent()
+            if parent_node is not None:
+                parent_tag = parent_node.tag
+                if parent_tag == "article":
+                    parent_id = None
+                    parent_article_type = parent_node.get("article-type")
+                    parent_lang = parent_node.get(XML_LANG)
+                elif parent_tag == "sub-article":
+                    parent_id = parent_node.get("id")
+                    parent_article_type = parent_node.get("article-type")
+                    parent_lang = parent_node.get(XML_LANG)
+                else:


_get_response_elements() docstring says it searches for as children of
/, but the XPath .//response matches any descendant. Since parent info is derived from the direct parent tag, a nested would be attributed to the wrong parent (or lose article-type/lang context). Either restrict the XPath to the intended locations (e.g., direct children of article/sub-article) or, if descendants are intended, resolve the nearest ancestor / for parent metadata and update the docstring accordingly.

Copilot · 2026-04-28T17:05:52Z

+        # 7 rules × 3 responses = 21, minus uniqueness (0 issues) = at least 18
+        self.assertGreater(len(ok_results), 0)


This test is very permissive (assertGreater(len(ok_results), 0)) and doesn’t actually verify that all expected rule results were produced for the 3 valid elements. Since the expected count is deterministic with the current implementation (6 OK results per response when uniqueness yields nothing => 18 total), consider asserting the exact number of results and/or validating that each rule title appears 3 times with response=="OK" to prevent regressions.

Suggested change

# 7 rules × 3 responses = 21, minus uniqueness (0 issues) = at least 18

self.assertGreater(len(ok_results), 0)

# 6 OK results per response × 3 valid responses = 18 total results.

self.assertEqual(len(results), 18)

self.assertEqual(len(ok_results), 18)

Initial plan

3156335

Copilot AI assigned Copilot and robertatakenaka Mar 19, 2026

Copilot started work on behalf of robertatakenaka March 19, 2026 11:59 View session

Copilot AI and others added 2 commits March 19, 2026 12:07

Address code review feedback: clean URL and grammar fix

760a362

Co-authored-by: robertatakenaka <505143+robertatakenaka@users.noreply.github.com>

Copilot AI changed the title ~~[WIP] Implement validations for the response element~~ Add <response> element validation for SPS 1.10 compliance Mar 19, 2026

Copilot AI requested a review from robertatakenaka March 19, 2026 12:10

Copilot finished work on behalf of robertatakenaka March 19, 2026 12:10

Rossi-Luciano approved these changes Apr 25, 2026

View reviewed changes

robertatakenaka marked this pull request as ready for review April 28, 2026 17:00

Copilot AI review requested due to automatic review settings April 28, 2026 17:00

Copilot started reviewing on behalf of robertatakenaka April 28, 2026 17:00 View session

Copilot AI reviewed Apr 28, 2026

View reviewed changes

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Add <response> element validation for SPS 1.10 compliance#1138

Add <response> element validation for SPS 1.10 compliance#1138
Copilot wants to merge 3 commits intomasterfrom
copilot/create-validations-for-response-element

Copilot AI commented Mar 19, 2026 •

edited

Loading

Uh oh!

Rossi-Luciano left a comment

Uh oh!

Copilot AI left a comment

Uh oh!

Copilot AI Apr 28, 2026

Uh oh!

Copilot AI Apr 28, 2026

Uh oh!

Copilot AI Apr 28, 2026

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

		# 7 rules × 3 responses = 21, minus uniqueness (0 issues) = at least 18
		self.assertGreater(len(ok_results), 0)

-        # 7 rules × 3 responses = 21, minus uniqueness (0 issues) = at least 18
-        self.assertGreater(len(ok_results), 0)
+        # 6 OK results per response × 3 valid responses = 18 total results.
+        self.assertEqual(len(results), 18)
+        self.assertEqual(len(ok_results), 18)

Conversation

Copilot AI commented Mar 19, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

O que esse PR faz?

Onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

I tried to connect to the following addresses, but was blocked by firewall rules:

Test that response_rules loads from the JSON

Contexto

Documentação SPS

Regras principais conforme SPS 1.10:

Regras a Implementar

P0 – Críticas (implementar obrigatoriamente)

P1 – Importantes (implementar se possível)

P2 – Futuras (fora do escopo deste Issue)

Arquivos a Criar/Modificar

Avaliar existentes (podem ter validações parciais):

Criar (se não existirem):

Referenciar (implementações similares):

Exemplos de XML

XML Válido (deve passar sem erros):

Uh oh!

Rossi-Luciano left a comment

Choose a reason for hiding this comment

Evidência de revisão — response.py

Metodologia

Regras validadas (7 métodos)

Casos de teste no XML artificial (9 elementos <response>)

Verificação cruzada com o CSV

Ruído identificado (outros módulos) — 20 entradas

Conclusão

Uh oh!

Copilot AI left a comment

Choose a reason for hiding this comment

Pull request overview

Reviewed changes

Uh oh!

Copilot AI Apr 28, 2026

Choose a reason for hiding this comment

Uh oh!

Copilot AI Apr 28, 2026

Choose a reason for hiding this comment

Uh oh!

Copilot AI Apr 28, 2026

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

Copilot AI commented Mar 19, 2026 •

edited

Loading

Evidência de revisão — `response.py`

Casos de teste no XML artificial (9 elementos `<response>`)