چطور whitespace و کاراکترهای control را نرمال کنم؟

1. متن را بچسبانید

   source را در فیلد «Text» قرار دهید. ورودی‌های معمول: متن PDF کپی‌شده با line wrap عجیب، رشته‌های web-scrap شده با non-breaking space، یا پیام‌های پر از کاراکترهای zero-width که برای پنهان کردن tracker استفاده می‌شوند.

2. «اجرا» را بزنید

   خروجی یک فیلد `cleaned` است. چندین space پشت‌سرهم به یکی collapse می‌شوند؛ run‌های newline به حداکثر یک خط خالی collapse می‌شوند؛ tab به single space تبدیل می‌شود؛ کاراکترهای zero-width و BOM ناپدید می‌شوند.

3. آنچه لمس می‌شود و نمی‌شود

   حروف، ارقام، نقطه‌گذاری معمولی و Unicode فراتر از ASCII (مانند emoji و کاراکترهای CJK) دست‌نخورده می‌مانند. فقط whitespace، control code و کاراکترهای invisible-format نرمال می‌شوند.

4. چه زمانی اجرا نکنیم

   source code با whitespace معنادار (YAML، Python، indentation Markdown) corrupt می‌شود — tab → space معنا را تغییر می‌دهد. CSV با فیلدهای خالی ممکن است آن‌ها را از دست بدهد اگر space ابتدا/انتها مهم باشد. اول diff یا sample بگیرید.