Repository navigation
fix: Bugsweep 2026-11-14 – SQL-Ergebnisse begrenzen, Umlaut-Suche - #6
Conversation
The table view respects a row limit, but the SQL tab used fetchall():
"SELECT * FROM big_table" loaded every row into memory and the
Treeview. Measured on 200,000 rows: 2.7 s and 200,000 tree rows,
growing linearly - millions of rows freeze the app for minutes.
The SQL tab now fetches at most SQL_RESULT_MAX_ROWS (10,000) rows plus
one to detect truncation and says so in the status line ("erste 10000
Zeilen ... mit LIMIT/WHERE eingrenzen"); the export context records the
limit. Same query after the fix: 0.29 s, 10,000 rows.
Test red before the fix; real Tk run on a 200,000-row database
compared against master; pytest 173 passed.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL
SQLite LIKE folds case for ASCII only: searching "übersicht" never found "Übersicht", "ärzte" not "Ärzte" (same defect as ProSync and DokuZen today). Terms with non-ASCII characters are now compared via a casefold() SQL function on both sides; pure ASCII terms keep the fast native LIKE because the search runs on every key press. Wildcards stay escaped and the export context keeps the term as typed. Tests red before the fix; real run on 200,000 rows: umlaut search 0.5-0.8 s with the hit found, ASCII search 0.18 s as before; pytest 175 passed. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL
|
Welcome! Thanks for your first pull request in this repository. A maintainer will review it soon. Please make sure:
Thanks for contributing! |
The table search ran on every key release as a full table scan - on 200,000 rows 0.2-0.8 s of lag per key. Typing now schedules the search (250 ms, same after()/after_cancel() pattern as the SQL highlighting); Enter searches immediately and drops a pending run; closing the window cancels a pending search. Test red before the change; real Tk run with five quick key events: one search instead of five on master; pytest 176 passed. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL
|
Nachtrag 6499a7f: Die Tabellensuche ist jetzt beim Tippen entprellt (250 ms, dasselbe Muster wie beim SQL-Highlighting). Enter sucht sofort, und beim Schließen wird eine geplante Suche abgebrochen. Ein echter Tk-Lauf mit fünf schnellen Tasten ergibt eine Suche statt fünf auf 🤖 Generated with Claude Code |
lukisch
left a comment
There was a problem hiding this comment.
Zweitmodell-Review (Bot-Lauf 2026-11-14): freigabefähig. CI ist grün: 9/9 Smoke & Contract (Ubuntu, macOS, Windows × Python 3.10–3.12) sowie CodeQL.
Geprüft:
- SQL-Ergebnisgrenze:
fetchmany(MAX+1)mit demtruncated-Flag ist korrekt.row_limitwird nur bei tatsächlicher Kürzung gesetzt, und der Statustext nennt „+“. ✔ - Umlaut-Suche: Die
casefold-UDF wird nur bei Nicht-ASCII-Begriffen registriert, der ASCII-Pfad bleibt beim nativenLIKE._escape_like_patternwird auf den bereits gefalteten Begriff angewandt, Wildcards bleiben also maskiert, und der Test deckt50%ab.ß→sswird beidseitig gefaltet und ist daher konsistent. ✔ - Debounce: Abbrechen und Neuplanen ist sauber,
_on_closebricht den Job ab, undgetattr-Default deckt den nicht initialisierten_search_jobab. ✔
Kleinere Punkte, nicht blockierend:
<Return>sucht sofort, aber das anschließende<KeyRelease>der Enter-Taste plant 250 ms später eine zweite identische Suche ein. Dasselbe gilt für<Escape>(leert das Feld, dann folgt ein geplanter Leer-Such-Reload) und für Navigationstasten (Pfeile, Tab, Shift). Vorschlag: In_schedule_searchbeievent.keysym in {"Return", "KP_Enter", "Escape", "Tab", "Left", "Right", "Up", "Down", "Shift_L", "Shift_R", …}früh zurückkehren. Alternativ nur planen, wenn sichsearch_varseit der letzten Suche geändert hat.- Der Nicht-ASCII-Pfad (
casefold(col) LIKE …) kann keinen Index nutzen. Das ist bei%term%ohnehin so und daher nur eine Anmerkung.
Generated by Claude Code
lukisch
left a comment
There was a problem hiding this comment.
Zweitprüfung (Bot): freigegeben ✅ – CI grün (Smoke & Contract 3×3 Matrix, CodeQL).
fetchmany(SQL_RESULT_MAX_ROWS + 1)+ Truncation-Hinweis: korrekt,row_limitwird nur bei tatsächlicher Kürzung gesetzt.- Umlaut-Suche:
casefold()-UDF nur für Nicht-ASCII-Begriffe, Term wird vor_escape_like_patterngefaltet – konsistent (auchß→ssauf beiden Seiten). - Debounce:
after_cancelbei Enter, erneutem Tippen undon_close– kein verwaister Callback nachdestroy().
Kleiner, nicht blockierender Hinweis: Wechselt man innerhalb der 250 ms die Tabelle, läuft die geplante Suche gegen die neue Tabelle; ggf. beim Tabellenwechsel ebenfalls _cancel_scheduled_search() aufrufen.
Generated by Claude Code
lukisch
left a comment
There was a problem hiding this comment.
Zweitmodell-Abnahme (Cloud-Bot) — freigegeben (formales Approve mit demselben Konto nicht möglich).
- CI vollständig grün (Smoke & Contract Ubuntu/macOS/Windows × 3.10–3.12, CodeQL). Lokaler Lauf hier nicht möglich (Python-Build ohne tkinter), Bewertung daher per Code-Review + CI.
fetchmany(MAX+1)erkennt Abschneiden korrekt;row_limitwird in den Export-Metadaten mitgeführt, der Export nutzt die angezeigten Zeilen → Provenienz bleibt ehrlich.- casefold-Pfad nur für Nicht-ASCII-Begriffe, ASCII bleibt beim nativen LIKE; Escaping wird nach dem Falten angewendet (richtige Reihenfolge). BLOB/Zahlen gehen unverändert durch.
Kleiner Befund (nicht blockierend):
- Escape lädt die Tabelle zweimal.
<Escape>→_clear_search()leert das Feld und ruftload_selected_table(). Das zugehörige<KeyRelease>der Escape-Taste plant danach_schedule_searchein; nach 250 ms läuft_search_data()mit leerem Begriff und ruft erneutload_selected_table(). Bei großen Tabellen spürbar. Abhilfe: in_clear_searcham EndeSqlViewer._cancel_scheduled_search(self)aufrufen und in_schedule_searchNicht-Text-Tasten (z. B.event.keysym in {"Escape", "Return", "Tab"}oder Shift/Ctrl) ignorieren. - Analog: Tabellenwechsel innerhalb der 250 ms führt die geplante Suche auf der neuen Tabelle aus; beim Tabellenwechsel ebenfalls
_cancel_scheduled_searchaufrufen.
Generated by Claude Code
ellmos-multi-bot
left a comment
There was a problem hiding this comment.
Zweitpruefung durch eine andere Instanz (merge-operator-3, nicht der Autor) auf exaktem Head 6499a7f. Zuarbeit: Gemini-4-Argon-Review (APPROVE WITH NITS); Tests im Worktree: neue Datei 4 passed, volle Suite 176 passed. Eigene Gegenpruefung: Diff gelesen. Ergebnisgrenze fetchmany(MAX+1) mit truncated-Flag ist an der Grenze korrekt (genau MAX Zeilen: nicht gekuerzt, MAX+1: gekuerzt). Suche: Bezeichner werden ueber _ident gequotet, der Suchbegriff geht nur nach LIKE-Maskierung als gebundener Parameter ein, die casefold-UDF ist deterministisch und nebenwirkungsfrei und wird nur bei Nicht-ASCII-Begriffen registriert; keine SQL- oder Wildcard-Injektion erkennbar. Keine privaten Pfade oder Zugangsdaten im Diff. CI auf dem Head gruen (Smoke und Contract 3x3 Ubuntu/macOS/Windows, CodeQL), base master, die drei vorhandenen Reviews auf diesem Head gelesen. Nicht blockierende Nachpunkte: Tabellenwechsel, F5 oder Suche leeren innerhalb der 250 ms rufen _cancel_scheduled_search nicht auf (verspaetete Suche auf neuer Tabelle); KeyRelease nach Return/Escape plant eine redundante zweite Suche; die exakte Grenze 10000/10001 ist nicht getestet; test_search_export_context_keeps_the_typed_term besteht auch ohne den Fix; ASCII-Suche nach strasse findet Strasse mit ss-Falte nicht (Bestandsverhalten, keine Regression). Locks: Klon lock_scan exit 0, OneDrive-Zwilling REL-PUB_SQLiteViewer ok.
Behobene Fehler (je mit Test, vor dem Fix rot)
fetchall(). BeiSELECT * FROM große_tabellelandete deshalb alles in Speicher und Treeview. Gemessen auf 200 000 Zeilen: 2,7 s und 200 000 Treeview-Zeilen, und der Aufwand wächst linear. Jetzt werden höchstens 10 000 Zeilen geholt (SQL_RESULT_MAX_ROWS), dazu eine weitere, um das Kürzen zu erkennen; die Statuszeile weist darauf hin. Dieselbe Abfrage dauert danach 0,29 s.LIKEignoriert Groß- und Kleinschreibung nur bei ASCII. „übersicht“ fand deshalb „Übersicht“ nicht. Derselbe Fehler steckte heute in ProSync und DokuZen. Begriffe mit Nicht-ASCII-Zeichen werden jetzt beidseitig percasefold()verglichen. Reine ASCII-Begriffe nutzen weiter das schnelle nativeLIKE, weil die Suche bei jedem Tastendruck läuft. Wildcards bleiben maskiert, und im Export-Kontext steht der Begriff so, wie er eingegeben wurde.Prüfung
pytest: 175 passed;ruffist sauber.master. Die Umlaut-Suche findet den Treffer in 0,5 bis 0,8 s, die ASCII-Suche bleibt bei 0,18 s.Gemergt wird nach der Zweitprüfung durch eine andere Instanz.
🤖 Generated with Claude Code
https://claude.ai/code/session_01THB2EzUDHN8Rq5fvjMqkBL