Majal
فاحص بيانات التدريب العربية — اكتشف مشاكل الترميز والمحتوى المخفي وخلط اللهجات في ملفات JSONL
Install
$ agentstack add skill-moshe-ship-hurmoz-majal ✓ scanned · ✓ verified, works with Claude Code, Cursor, and more.
Security review
✓ PassedNo issues found. Passed automated security review. · v0.1.0 How review works →
- ✓ Prompt-injection patterns
- ✓ Secret / credential exfiltration
- ✓ Dangerous shell & filesystem operations
- ✓ Untrusted network calls
- ✓ Known-malicious package signatures
What it can access
- ✓ Network access No
- ✓ Filesystem access No
- ✓ Shell / process execution No
- ✓ Environment & secrets No
- ✓ Dynamic code execution No
From automated source analysis of v0.1.0. “Used” means the capability is present in the source — more access means more to trust, not that it’s unsafe.
Verified badge
Passed review? Show it. Paste this badge into your README, it links to the public security report.
Links to your public security report.[](https://agentstack.voostack.com/security/report/skill-moshe-ship-hurmoz-majal) Reliability & compatibility
Declared compatibility
Compatibility is declared by the source manifest. End-to-end runtime verification is coming, see below.
We're building live execution health for every listing: tool-call success rate, median latency, uptime, and last-checked timestamps, measured, not self-reported. It isn't live yet, so we don't show numbers we can't stand behind.
How agent discovery & health will work →About
majal — فاحص بيانات التدريب العربية
أداة لفحص جودة بيانات التدريب العربية عبر 16 فحص. استخدم لتنظيف بيانات التدريب.
الأوامر
فحص البيانات
majal scan data.jsonlمثال عملي:
majal scan training_data.jsonlالنتيجة المتوقعة:
🔍 Scanning training_data.jsonl (12,450 records)...
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
╔════════════════════╦══════════╦═══════════╦═════════╗
║ Check ║ Severity ║ Found ║ % Total ║
╠════════════════════╬══════════╬═══════════╬═════════╣
║ mojibake ║ HIGH ║ 234 ║ 1.9% ║
║ invisible_chars ║ HIGH ║ 12 ║ 0.1% ║
║ bidi_override ║ HIGH ║ 3 ║ 0.0% ║
║ mixed_encoding ║ MEDIUM ║ 89 ║ 0.7% ║
║ dialect_mixing ║ MEDIUM ║ 456 ║ 3.7% ║
║ empty_arabic ║ MEDIUM ║ 67 ║ 0.5% ║
║ latin_in_arabic ║ LOW ║ 1,203 ║ 9.7% ║
║ excessive_tashkeel ║ LOW ║ 321 ║ 2.6% ║
╠════════════════════╬══════════╬═══════════╬═════════╣
║ TOTAL ISSUES ║ ║ 2,385 ║ 19.2% ║
╚════════════════════╩══════════╩═══════════╩═════════╝
Quality Score: 74/100 (مقبول — يحتاج تنظيف)إحصائيات شاملة
majal stats data.jsonlالنتيجة المتوقعة:
📊 Dataset Statistics — training_data.jsonl
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Records: 12,450
Total tokens: 1,847,320
Avg tokens/rec: 148
Language Distribution:
Arabic: 89.2% ████████████████████████████▊
English: 7.3% ██▎
Mixed: 3.5% █▏
Dialect Distribution:
فصحى: 62.1% ████████████████████
مصري: 14.3% ████▌
خليجي: 11.8% ███▊
شامي: 7.2% ██▎
مغاربي: 4.6% █▌
Field Analysis:
instruction: avg 23 tokens (all records)
input: avg 45 tokens (8,230 records)
output: avg 80 tokens (all records)
Token Distribution (P50/P90/P99):
instruction: 18 / 45 / 120
output: 62 / 180 / 450إصلاح تلقائي
majal fix data.jsonlالنتيجة المتوقعة:
🔧 Fixing training_data.jsonl ...
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Proposed fixes:
1. Fix mojibake (234 records)
Example: "السلام" → "السلام"
2. Remove invisible chars (12 records)
Example: "مر\u200bحبا" → "مرحبا"
3. Remove bidi overrides (3 records)
4. Normalize encoding to UTF-8 (89 records)
Apply all fixes? [y/N/diff]عرض diff قبل التطبيق:
majal fix data.jsonl --diffتطبيق بدون تأكيد:
majal fix data.jsonl --yesحفظ في ملف جديد:
majal fix data.jsonl --output fixed_data.jsonlشرح الفحوصات
majal explainعيّنة عشوائية
majal sample data.jsonlالنتيجة المتوقعة:
📋 Random Sample (5 records)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Record #3,421:
instruction: "اشرح مفهوم الذكاء الاصطناعي"
output: "الذكاء الاصطناعي هو فرع من علوم الحاسوب..."
tokens: 142
dialect: فصحى
quality: ✅ clean
Record #8,102:
instruction: "ترجم الجملة التالية"
output: "The quick brown fox..."
tokens: 28
dialect: —
quality: ⚠️ latin_in_arabic (output is entirely English)عيّنة مع فلتر:
# عيّنة من السجلات المشكوك فيها فقط
majal sample data.jsonl --filter issues
# عيّنة من لهجة محددة
majal sample data.jsonl --filter dialect:masriالفحوصات الـ16 بالتفصيل
فئة الترميز (Encoding)
- mojibake — نص مشوّه بسبب خطأ ترميز (مثل: "السلام")
- mixed_encoding — خلط UTF-8 مع Windows-1256 أو ISO-8859-6
- bom_marker — وجود Byte Order Mark غير ضروري
- null_bytes — بايتات فارغة داخل النص
فئة الحروف المخفية (Invisible)
- invisible_chars — حروف عرض صفري (zero-width)
- bidi_override — حروف تجاوز اتجاه النص
- homoglyph — حروف تشبه العربية لكنها من أبجديات أخرى
- control_chars — حروف تحكم غير مرئية
فئة المحتوى (Content)
- empty_arabic — حقل يدّعي أنه عربي لكنه فارغ أو إنجليزي بالكامل
- duplicate — سجلات مكررة تماما
- toxic_content — محتوى مسيء أو سام
- pii_leak — تسريب معلومات شخصية (أرقام هواتف، إيميلات)
فئة العربي (Arabic)
- dialect_mixing — خلط لهجات في نفس السجل
- latininarabic — حروف لاتينية مخلوطة بالعربي
- excessive_tashkeel — تشكيل زائد أو خاطئ
- normalization — ألف ممدودة/مقصورة، تاء مربوطة/مفتوحة
مقاييس الجودة
| التقييم | النقاط | المعنى | |---------|--------|--------| | ممتاز | 90-100 | بيانات نظيفة جاهزة للتدريب | | جيد | 75-89 | تحتاج تنظيف طفيف | | مقبول | 60-74 | تحتاج تنظيف متوسط | | ضعيف | أقل من 60 | تحتاج إعادة معالجة شاملة |
متى تستخدم
- المستخدم يجهّز بيانات تدريب عربية
- يريد فحص جودة dataset
- يشك بمشاكل ترميز أو محتوى مخفي
- يريد تنظيف بيانات قبل fine-tuning
- يحتاج إحصائيات عن توزيع اللهجات في بياناته
Source & license
This open-source skill is cataloged on AgentStack and links to its original source — we do not rehost the code.
- Author: Moshe-ship
- Source: Moshe-ship/hurmoz
- License: MIT
Install and usage instructions live in the source repository linked above.
Reviews
No reviews yet, be the first.
Write a review
Versions
- v0.1.0 Imported from the upstream source.