Skip to content

fix: Bugsweep 2026-11-14 – SQL-Ergebnisse begrenzen, Umlaut-Suche - #6

Merged
ellmos-multi-bot merged 3 commits into
masterfrom
fix/bugsweep-20261114
Nov 15, 2026
Merged

ellmos-multi-bot merged 3 commits into
masterfrom
fix/bugsweep-20261114

Conversation

@lukisch

@lukisch lukisch commented Nov 14, 2026

Copy link
Copy Markdown
Collaborator

Behobene Fehler (je mit Test, vor dem Fix rot)

  1. SQL-Tab lud jedes Ergebnis komplett: Die Tabellenansicht hält sich an ein Zeilenlimit, der SQL-Tab nutzte fetchall(). Bei SELECT * FROM große_tabelle landete deshalb alles in Speicher und Treeview. Gemessen auf 200 000 Zeilen: 2,7 s und 200 000 Treeview-Zeilen, und der Aufwand wächst linear. Jetzt werden höchstens 10 000 Zeilen geholt (SQL_RESULT_MAX_ROWS), dazu eine weitere, um das Kürzen zu erkennen; die Statuszeile weist darauf hin. Dieselbe Abfrage dauert danach 0,29 s.
  2. Umlaut-Suche: SQLites LIKE ignoriert Groß- und Kleinschreibung nur bei ASCII. „übersicht“ fand deshalb „Übersicht“ nicht. Derselbe Fehler steckte heute in ProSync und DokuZen. Begriffe mit Nicht-ASCII-Zeichen werden jetzt beidseitig per casefold() verglichen. Reine ASCII-Begriffe nutzen weiter das schnelle native LIKE, weil die Suche bei jedem Tastendruck läuft. Wildcards bleiben maskiert, und im Export-Kontext steht der Begriff so, wie er eingegeben wurde.

Prüfung

  • pytest: 175 passed; ruff ist sauber.
  • Reale Tk-Läufe auf einer Datenbank mit 200 000 Zeilen: SQL-Tab 0,29 s statt 2,67 s auf master. Die Umlaut-Suche findet den Treffer in 0,5 bis 0,8 s, die ASCII-Suche bleibt bei 0,18 s.

Gemergt wird nach der Zweitprüfung durch eine andere Instanz.

🤖 Generated with Claude Code

https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL

Lukas Geiger and others added 2 commits November 14, 2026 22:55
The table view respects a row limit, but the SQL tab used fetchall():
"SELECT * FROM big_table" loaded every row into memory and the
Treeview. Measured on 200,000 rows: 2.7 s and 200,000 tree rows,
growing linearly - millions of rows freeze the app for minutes.

The SQL tab now fetches at most SQL_RESULT_MAX_ROWS (10,000) rows plus
one to detect truncation and says so in the status line ("erste 10000
Zeilen ... mit LIMIT/WHERE eingrenzen"); the export context records the
limit. Same query after the fix: 0.29 s, 10,000 rows.

Test red before the fix; real Tk run on a 200,000-row database
compared against master; pytest 173 passed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL
SQLite LIKE folds case for ASCII only: searching "übersicht" never
found "Übersicht", "ärzte" not "Ärzte" (same defect as ProSync and
DokuZen today). Terms with non-ASCII characters are now compared via a
casefold() SQL function on both sides; pure ASCII terms keep the fast
native LIKE because the search runs on every key press. Wildcards stay
escaped and the export context keeps the term as typed.

Tests red before the fix; real run on 200,000 rows: umlaut search
0.5-0.8 s with the hit found, ASCII search 0.18 s as before;
pytest 175 passed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL
@github-actions

Copy link
Copy Markdown

Welcome! Thanks for your first pull request in this repository.

A maintainer will review it soon. Please make sure:

  • Your changes are tested
  • Documentation is updated if needed
  • The PR description explains what and why

Thanks for contributing!

The table search ran on every key release as a full table scan - on
200,000 rows 0.2-0.8 s of lag per key. Typing now schedules the search
(250 ms, same after()/after_cancel() pattern as the SQL highlighting);
Enter searches immediately and drops a pending run; closing the window
cancels a pending search.

Test red before the change; real Tk run with five quick key events:
one search instead of five on master; pytest 176 passed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL
@lukisch

lukisch commented Nov 14, 2026

Copy link
Copy Markdown
Collaborator Author

Nachtrag 6499a7f: Die Tabellensuche ist jetzt beim Tippen entprellt (250 ms, dasselbe Muster wie beim SQL-Highlighting). Enter sucht sofort, und beim Schließen wird eine geplante Suche abgebrochen. Ein echter Tk-Lauf mit fünf schnellen Tasten ergibt eine Suche statt fünf auf master. pytest 176 passed.

🤖 Generated with Claude Code

https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL

@lukisch lukisch left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Zweitmodell-Review (Bot-Lauf 2026-11-14): freigabefähig. CI ist grün: 9/9 Smoke & Contract (Ubuntu, macOS, Windows × Python 3.10–3.12) sowie CodeQL.

Geprüft:

  • SQL-Ergebnisgrenze: fetchmany(MAX+1) mit dem truncated-Flag ist korrekt. row_limit wird nur bei tatsächlicher Kürzung gesetzt, und der Statustext nennt „+“. ✔
  • Umlaut-Suche: Die casefold-UDF wird nur bei Nicht-ASCII-Begriffen registriert, der ASCII-Pfad bleibt beim nativen LIKE. _escape_like_pattern wird auf den bereits gefalteten Begriff angewandt, Wildcards bleiben also maskiert, und der Test deckt 50% ab. ß→ss wird beidseitig gefaltet und ist daher konsistent. ✔
  • Debounce: Abbrechen und Neuplanen ist sauber, _on_close bricht den Job ab, und getattr-Default deckt den nicht initialisierten _search_job ab. ✔

Kleinere Punkte, nicht blockierend:

  1. <Return> sucht sofort, aber das anschließende <KeyRelease> der Enter-Taste plant 250 ms später eine zweite identische Suche ein. Dasselbe gilt für <Escape> (leert das Feld, dann folgt ein geplanter Leer-Such-Reload) und für Navigationstasten (Pfeile, Tab, Shift). Vorschlag: In _schedule_search bei event.keysym in {"Return", "KP_Enter", "Escape", "Tab", "Left", "Right", "Up", "Down", "Shift_L", "Shift_R", …} früh zurückkehren. Alternativ nur planen, wenn sich search_var seit der letzten Suche geändert hat.
  2. Der Nicht-ASCII-Pfad (casefold(col) LIKE …) kann keinen Index nutzen. Das ist bei %term% ohnehin so und daher nur eine Anmerkung.

Generated by Claude Code

@lukisch lukisch left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Zweitprüfung (Bot): freigegeben ✅ – CI grün (Smoke & Contract 3×3 Matrix, CodeQL).

  • fetchmany(SQL_RESULT_MAX_ROWS + 1) + Truncation-Hinweis: korrekt, row_limit wird nur bei tatsächlicher Kürzung gesetzt.
  • Umlaut-Suche: casefold()-UDF nur für Nicht-ASCII-Begriffe, Term wird vor _escape_like_pattern gefaltet – konsistent (auch ß→ss auf beiden Seiten).
  • Debounce: after_cancel bei Enter, erneutem Tippen und on_close – kein verwaister Callback nach destroy().

Kleiner, nicht blockierender Hinweis: Wechselt man innerhalb der 250 ms die Tabelle, läuft die geplante Suche gegen die neue Tabelle; ggf. beim Tabellenwechsel ebenfalls _cancel_scheduled_search() aufrufen.


Generated by Claude Code

@lukisch lukisch left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Zweitmodell-Abnahme (Cloud-Bot) — freigegeben (formales Approve mit demselben Konto nicht möglich).

  • CI vollständig grün (Smoke & Contract Ubuntu/macOS/Windows × 3.10–3.12, CodeQL). Lokaler Lauf hier nicht möglich (Python-Build ohne tkinter), Bewertung daher per Code-Review + CI.
  • fetchmany(MAX+1) erkennt Abschneiden korrekt; row_limit wird in den Export-Metadaten mitgeführt, der Export nutzt die angezeigten Zeilen → Provenienz bleibt ehrlich.
  • casefold-Pfad nur für Nicht-ASCII-Begriffe, ASCII bleibt beim nativen LIKE; Escaping wird nach dem Falten angewendet (richtige Reihenfolge). BLOB/Zahlen gehen unverändert durch.

Kleiner Befund (nicht blockierend):

  • Escape lädt die Tabelle zweimal. <Escape> → _clear_search() leert das Feld und ruft load_selected_table(). Das zugehörige <KeyRelease> der Escape-Taste plant danach _schedule_search ein; nach 250 ms läuft _search_data() mit leerem Begriff und ruft erneut load_selected_table(). Bei großen Tabellen spürbar. Abhilfe: in _clear_search am Ende SqlViewer._cancel_scheduled_search(self) aufrufen und in _schedule_search Nicht-Text-Tasten (z. B. event.keysym in {"Escape", "Return", "Tab"} oder Shift/Ctrl) ignorieren.
  • Analog: Tabellenwechsel innerhalb der 250 ms führt die geplante Suche auf der neuen Tabelle aus; beim Tabellenwechsel ebenfalls _cancel_scheduled_search aufrufen.

Generated by Claude Code

@ellmos-multi-bot ellmos-multi-bot left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Zweitpruefung durch eine andere Instanz (merge-operator-3, nicht der Autor) auf exaktem Head 6499a7f. Zuarbeit: Gemini-4-Argon-Review (APPROVE WITH NITS); Tests im Worktree: neue Datei 4 passed, volle Suite 176 passed. Eigene Gegenpruefung: Diff gelesen. Ergebnisgrenze fetchmany(MAX+1) mit truncated-Flag ist an der Grenze korrekt (genau MAX Zeilen: nicht gekuerzt, MAX+1: gekuerzt). Suche: Bezeichner werden ueber _ident gequotet, der Suchbegriff geht nur nach LIKE-Maskierung als gebundener Parameter ein, die casefold-UDF ist deterministisch und nebenwirkungsfrei und wird nur bei Nicht-ASCII-Begriffen registriert; keine SQL- oder Wildcard-Injektion erkennbar. Keine privaten Pfade oder Zugangsdaten im Diff. CI auf dem Head gruen (Smoke und Contract 3x3 Ubuntu/macOS/Windows, CodeQL), base master, die drei vorhandenen Reviews auf diesem Head gelesen. Nicht blockierende Nachpunkte: Tabellenwechsel, F5 oder Suche leeren innerhalb der 250 ms rufen _cancel_scheduled_search nicht auf (verspaetete Suche auf neuer Tabelle); KeyRelease nach Return/Escape plant eine redundante zweite Suche; die exakte Grenze 10000/10001 ist nicht getestet; test_search_export_context_keeps_the_typed_term besteht auch ohne den Fix; ASCII-Suche nach strasse findet Strasse mit ss-Falte nicht (Bestandsverhalten, keine Regression). Locks: Klon lock_scan exit 0, OneDrive-Zwilling REL-PUB_SQLiteViewer ok.

@ellmos-multi-bot
ellmos-multi-bot merged commit 41f4669 into master Nov 15, 2026
13 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants