وصف الوظيفة
يرجى تقديم سيرتك الذاتية باللغة الإنجليزية وتحديد مستوى إجادتك للإنجليزية.
ترتبط Mindrift الاختصاصيين بفرص الذكاء الاصطناعي القائمة على المشاريع للشركات التقنية الرائدة، مركّزة على اختبار وتقييم وتحسين أنظمة الذكاء الاصطناعي.
المشاركة قائمة على المشروع وليست توظيفاً دائماً.
حول الدور ستصمّم مهام ترميز تتحدى وكلاء ترميز AI في الحدود الأمامية.
إن كل مهمة هي بيئة Docker مكتملة ذاتياً تحتوي على جزء برمجي معطل؛ يحاول وكيل AI إصلاحه؛ يتم التحقق تلقائياً من النتيجة عبر اختبارات.
التسليم النهائي هو حزمة المهمة الكاملة: الشفرة المعطلة، الاختبارات، التعليمات، وحل مرجعي يثبت أن المهمة قابلة للحل.
المسؤوليات: ابتكار سيناريو مطور واقعي — خطأ حقيقي، ETL معطّل، ميزة مفقودة — وليس مشكلة لعبة.
بناء بيئة Docker قابلة لإعادة الإنتاج مع اعتماد تبعيات مثبتة.
كتابة pytest يتحقق من النتائج، وليس من أوامر محددة — حتمي، غير عائق، ولا يُفْرِط الإصلاح.
كتابة تعليمات.
md تكتب كأداة Jira التي يتلقاها مطوّر.
كتابة حل مرجعي.
sh يثبت أن المهمة قابلة للحل.
معايرة الصعوبة حتى يحلها الوكلاء الحاليون من طراز state-of-the-art بنسبة 20–60%.
التحسين بناءً على ملاحظات مُراجِعي QA الخبراء.
لاحقاً: مراجعة مهام مؤلفين آخرين كمراجِع QA.
غير ضمن النطاق: تص labeling البيانات، هندسة الطلبات.
كود الإنتاج الذي يجب شحنه — أنت تصمّم المشاكل والتحقق لوكلاء AI.
ألغاز Leetcode — يجب أن تبدو السيناريوهات كعمل مطور حقيقي.
ليس كل مهمة مرشح يتم شحنها — الجودة فوق الكمية.
المتطلبات: 3+ سنوات من تطوير البرمجيات في سلسلة خلفية واحدة — Python، Go، Node.js، Java، أو Rust.
العمق في سلسلة واحدة يتفوّق على الاتساع.
الطلاقة في Python + pytest مطلوبة بغض النظر عن السلسلة الأساسية.
يبلغ أساس مشروع الاختبار مبني على pytest حتى وإن كانت التطبيقات المعطلة بلغة أخرى.
Fixtures، parametrize، monkeypatch، timeouts، conftest.
تأليف Docker — ملفات Docker قابلة لإعادة الإنتاج، اعتمادات مثبتة، بناء متعدد المراحل عند الحاجة، مستخدم غير جذر.
Linux و Bash — راحة في التصحيح داخل الحاويات (strace، lsof، journalctl)؛ القشرة وراء set -euo pipefail.
خبرة في وكيل ترميز AI — Claude Code، Cursor، Roo Code، أو ما شابه، في عمل غير تافه.
يمكنك ذكر وقت محدد كان فيه الذكاء الاصطناعي مخطئاً بثقة وكيف قمت باكتشافه.
الإنجليزية — كتابة بمستوى B2+.
ليس مناسباً لمهندسي علوم البيانات، ML، أو الرؤية الحاسوبية بدون مخرجات هندسة خلفية.
فاقدو QA يدوياً بدون أتمتة أو إنشاء اختبارات.
أمامياً فقط، منخفض الكود/بدون كود، دعم تكنولوجيا المعلومات، أو محللي أعمال.
مهندسون لم يكتبوا pytest من الصفر.
مبتدئ، متدرب، أو مساعد كأحدث دور.
المفضلة المؤهلات: عمق المجال في الأمن، إدارة النظام (nginx / systemd / cron)، الحوسبة العلمية (NumPy / PyTorch / SciPy)، DevOps، أو جوهر Git internals.
أدوات بايثون حديثة (uv، poetry، pyproject.toml). أدوات التغطية (pytest-cov، coverage.py، gcov، llvm-cov، kcov).
اختبار fuzzing أو الاختبار القائم على الخاصية (Hypothesis).
مساهمة سابقة في معايير تقييم الوكلاء أو أطر ذات صلة.
العملية: التقديم → المرور في التقييم (اختبار عينة لمدة 90 دقيقة + مقابلة سلوكية قصيرة) → الانضمام إلى مشروع → إكمال المهام → الدفع.
الوقت الملتزم: التهيئة: ~10 ساعات لكل مهمة أولى.
الحالة الثابتة: ~5 ساعات لكل مهمة، 2–4 مهام متوازية لكل مؤلف.
الحمل أسبوعياً واقعي: 8–20 ساعة.
حجم أعلى متاح لأفضل المؤدين.
يمكنك اختيار متى وكيف تساهم؛ يجب تقديم المهام قبل الموعد النهائي وتلبية معايير القبول.
التعويض: مساهمات مدفوعة، معدلات تصل إلى 35 دولار/ساعة *.
التعويض قائم على المهام يعادل المعدل ساعياً، حسب الأداء والحجم.
بعض المشاريع تتضمن دفعات حوافز.
*تختلف الأسعار بناءً على الخبرة وتقييم المهارات والموقع واحتياجات المشروع وعوامل أخرى.
يمكن توفير معدلات أعلى للخبراء المتخصصين للغاية.
قد تنطبق معدلات أقل أثناء onboarding أو في مراحل مشاريع غير أساسية.
تفاصيل الدفع تُشارك لكل مشروع.
التقديم: أرسل سيرتك عبر منصة Mindrift.
حدد مستوى لغتك الإنجليزية، واشِر إلى هذا الدور (أخصائي تقييم هندسة البرمجيات — Terminal Bench)، وأضِف رابط ملف GitHub إذا كان متاحاً.
Job description
Please submit your CV in English and indicate your level of English proficiency.
Mindrift connects specialists with project-based AI opportunities for leading tech companies, focused on testing, evaluating, and improving AI systems.
Participation is project-based, not permanent employment.
About the Role You’ll design coding tasks that challenge frontier AI coding agents.
Each task is a self-contained Docker environment with a broken piece of software; an AI agent attempts the fix; automated tests verify the outcome.
Your deliverable is the full task package: broken code, tests, instructions, and a reference solution proving the task is solvable.
Responsibilities : Invent a realistic developer scenario — a real bug, a broken ETL, a missing feature — not a toy problem.
Build a reproducible Docker environment with pinned dependencies.
Write a pytest that verifies outcomes, not specific commands — deterministic, non-flaky, and does not leak the fix.
Write an instruction.
md that reads like a Jira ticket a developer would receive.
Write a reference solve.
sh proving the task is solvable.
Calibrate difficulty so current state-of-the-art agents solve the task 20–60% of the time.
Iterate based on feedback from expert QA reviewers.
Later: review other authors’ tasks as a QA reviewer.
Not in scope Data labeling, prompt engineering.
Production code to ship — you design problems and verification for AI agents.
Leetcode puzzles — scenarios must look like real developer work.
Not every candidate task ships — quality over quantity.
Requirements 3+ years of production software development in one backend stack — Python, Go, Node.
js, Java, or Rust.
Depth in one stack beats breadth.
Python + pytest fluency — required regardless of primary stack.
The task harness is pytest-based even when the broken app is in another language.
Fixtures, parametrize, monkeypatch, timeouts, conftest.
py. Docker authoring — reproducible Dockerfiles, pinned dependencies, multi-stage builds when needed, non-root user.
Linux & Bash — comfort debugging inside containers (strace, lsof, journalctl); shell beyond set -euo pipefail.
AI coding agent experience — Claude Code, Cursor, Roo Code, or similar, on non-trivial work.
You can cite a specific time the AI was confidently wrong and how you caught it.
English — B2+ written.
Not a fit Data Science, ML, or Computer Vision engineers without backend-engineering output.
Manual QA testers without automation or test authoring.
Frontend-only, low-code / no-code, IT Support, or Business Analysts.
Engineers who have never written pytest from scratch.
Junior, intern, or assistant as the most recent role.
Preferred qualifications Domain depth in Security, System Administration (nginx / systemd / cron), Scientific Computing (NumPy / PyTorch / SciPy), DevOps, or Git internals.
Modern Python tooling (uv, poetry, pyproject.
toml). Coverage tooling (pytest-cov, coverage.
py, gcov, llvm-cov, kcov).
Fuzzing or property-based testing (Hypothesis).
Prior contribution to agent-evaluation benchmarks or related frameworks.
Process Apply → Pass qualification (90-minute sample-task screen + short behavioral interview) → Join a project → Complete tasks → Get paid.
Time commitment Onboarding: ~10 hours per first task.
Steady state: ~5 hours per task, 2–4 parallel tasks per author.
Realistic weekly load: 8–20 hours.
Higher volume available for top performers.
You choose when and how to contribute; tasks must be submitted by the deadline and meet acceptance criteria.
Compensation: Paid contributions, rates up to $35/hour *.
Task-based compensation equivalent to hourly rate, depending on performance and volume.
Some projects include incentive payments.
*Rates vary based on expertise, skills assessment, location, project needs, and other factors.
Higher rates may be provided to highly specialized experts.
Lower rates may apply during onboarding or non-core project phases.
Payment details are shared per project.
Apply Submit your CV via the Mindrift platform.
Indicate your English level, note this role (Software Engineering Evaluation Specialist — Terminal Bench), and include a GitHub profile link if available.