VM: add "vm_mmap()" helper function
[~shefty/rdma-dev.git] / arch / x86 / ia32 / ia32entry.S
1 /*
2  * Compatibility mode system call entry point for x86-64. 
3  *              
4  * Copyright 2000-2002 Andi Kleen, SuSE Labs.
5  */              
6
7 #include <asm/dwarf2.h>
8 #include <asm/calling.h>
9 #include <asm/asm-offsets.h>
10 #include <asm/current.h>
11 #include <asm/errno.h>
12 #include <asm/ia32_unistd.h>    
13 #include <asm/thread_info.h>    
14 #include <asm/segment.h>
15 #include <asm/irqflags.h>
16 #include <linux/linkage.h>
17 #include <linux/err.h>
18
19 /* Avoid __ASSEMBLER__'ifying <linux/audit.h> just for this.  */
20 #include <linux/elf-em.h>
21 #define AUDIT_ARCH_I386         (EM_386|__AUDIT_ARCH_LE)
22 #define __AUDIT_ARCH_LE    0x40000000
23
24 #ifndef CONFIG_AUDITSYSCALL
25 #define sysexit_audit ia32_ret_from_sys_call
26 #define sysretl_audit ia32_ret_from_sys_call
27 #endif
28
29         .section .entry.text, "ax"
30
31         .macro IA32_ARG_FIXUP noebp=0
32         movl    %edi,%r8d
33         .if \noebp
34         .else
35         movl    %ebp,%r9d
36         .endif
37         xchg    %ecx,%esi
38         movl    %ebx,%edi
39         movl    %edx,%edx       /* zero extension */
40         .endm 
41
42         /* clobbers %eax */     
43         .macro  CLEAR_RREGS offset=0, _r9=rax
44         xorl    %eax,%eax
45         movq    %rax,\offset+R11(%rsp)
46         movq    %rax,\offset+R10(%rsp)
47         movq    %\_r9,\offset+R9(%rsp)
48         movq    %rax,\offset+R8(%rsp)
49         .endm
50
51         /*
52          * Reload arg registers from stack in case ptrace changed them.
53          * We don't reload %eax because syscall_trace_enter() returned
54          * the %rax value we should see.  Instead, we just truncate that
55          * value to 32 bits again as we did on entry from user mode.
56          * If it's a new value set by user_regset during entry tracing,
57          * this matches the normal truncation of the user-mode value.
58          * If it's -1 to make us punt the syscall, then (u32)-1 is still
59          * an appropriately invalid value.
60          */
61         .macro LOAD_ARGS32 offset, _r9=0
62         .if \_r9
63         movl \offset+16(%rsp),%r9d
64         .endif
65         movl \offset+40(%rsp),%ecx
66         movl \offset+48(%rsp),%edx
67         movl \offset+56(%rsp),%esi
68         movl \offset+64(%rsp),%edi
69         movl %eax,%eax                  /* zero extension */
70         .endm
71         
72         .macro CFI_STARTPROC32 simple
73         CFI_STARTPROC   \simple
74         CFI_UNDEFINED   r8
75         CFI_UNDEFINED   r9
76         CFI_UNDEFINED   r10
77         CFI_UNDEFINED   r11
78         CFI_UNDEFINED   r12
79         CFI_UNDEFINED   r13
80         CFI_UNDEFINED   r14
81         CFI_UNDEFINED   r15
82         .endm
83
84 #ifdef CONFIG_PARAVIRT
85 ENTRY(native_usergs_sysret32)
86         swapgs
87         sysretl
88 ENDPROC(native_usergs_sysret32)
89
90 ENTRY(native_irq_enable_sysexit)
91         swapgs
92         sti
93         sysexit
94 ENDPROC(native_irq_enable_sysexit)
95 #endif
96
97 /*
98  * 32bit SYSENTER instruction entry.
99  *
100  * Arguments:
101  * %eax System call number.
102  * %ebx Arg1
103  * %ecx Arg2
104  * %edx Arg3
105  * %esi Arg4
106  * %edi Arg5
107  * %ebp user stack
108  * 0(%ebp) Arg6 
109  *      
110  * Interrupts off.
111  *      
112  * This is purely a fast path. For anything complicated we use the int 0x80
113  * path below.  Set up a complete hardware stack frame to share code
114  * with the int 0x80 path.
115  */     
116 ENTRY(ia32_sysenter_target)
117         CFI_STARTPROC32 simple
118         CFI_SIGNAL_FRAME
119         CFI_DEF_CFA     rsp,0
120         CFI_REGISTER    rsp,rbp
121         SWAPGS_UNSAFE_STACK
122         movq    PER_CPU_VAR(kernel_stack), %rsp
123         addq    $(KERNEL_STACK_OFFSET),%rsp
124         /*
125          * No need to follow this irqs on/off section: the syscall
126          * disabled irqs, here we enable it straight after entry:
127          */
128         ENABLE_INTERRUPTS(CLBR_NONE)
129         movl    %ebp,%ebp               /* zero extension */
130         pushq_cfi $__USER32_DS
131         /*CFI_REL_OFFSET ss,0*/
132         pushq_cfi %rbp
133         CFI_REL_OFFSET rsp,0
134         pushfq_cfi
135         /*CFI_REL_OFFSET rflags,0*/
136         movl    TI_sysenter_return+THREAD_INFO(%rsp,3*8-KERNEL_STACK_OFFSET),%r10d
137         CFI_REGISTER rip,r10
138         pushq_cfi $__USER32_CS
139         /*CFI_REL_OFFSET cs,0*/
140         movl    %eax, %eax
141         pushq_cfi %r10
142         CFI_REL_OFFSET rip,0
143         pushq_cfi %rax
144         cld
145         SAVE_ARGS 0,1,0
146         /* no need to do an access_ok check here because rbp has been
147            32bit zero extended */ 
148 1:      movl    (%rbp),%ebp
149         .section __ex_table,"a"
150         .quad 1b,ia32_badarg
151         .previous       
152         orl     $TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
153         testl   $_TIF_WORK_SYSCALL_ENTRY,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
154         CFI_REMEMBER_STATE
155         jnz  sysenter_tracesys
156         cmpq    $(IA32_NR_syscalls-1),%rax
157         ja      ia32_badsys
158 sysenter_do_call:
159         IA32_ARG_FIXUP
160 sysenter_dispatch:
161         call    *ia32_sys_call_table(,%rax,8)
162         movq    %rax,RAX-ARGOFFSET(%rsp)
163         DISABLE_INTERRUPTS(CLBR_NONE)
164         TRACE_IRQS_OFF
165         testl   $_TIF_ALLWORK_MASK,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
166         jnz     sysexit_audit
167 sysexit_from_sys_call:
168         andl    $~TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
169         /* clear IF, that popfq doesn't enable interrupts early */
170         andl  $~0x200,EFLAGS-R11(%rsp) 
171         movl    RIP-R11(%rsp),%edx              /* User %eip */
172         CFI_REGISTER rip,rdx
173         RESTORE_ARGS 0,24,0,0,0,0
174         xorq    %r8,%r8
175         xorq    %r9,%r9
176         xorq    %r10,%r10
177         xorq    %r11,%r11
178         popfq_cfi
179         /*CFI_RESTORE rflags*/
180         popq_cfi %rcx                           /* User %esp */
181         CFI_REGISTER rsp,rcx
182         TRACE_IRQS_ON
183         ENABLE_INTERRUPTS_SYSEXIT32
184
185 #ifdef CONFIG_AUDITSYSCALL
186         .macro auditsys_entry_common
187         movl %esi,%r9d                  /* 6th arg: 4th syscall arg */
188         movl %edx,%r8d                  /* 5th arg: 3rd syscall arg */
189         /* (already in %ecx)               4th arg: 2nd syscall arg */
190         movl %ebx,%edx                  /* 3rd arg: 1st syscall arg */
191         movl %eax,%esi                  /* 2nd arg: syscall number */
192         movl $AUDIT_ARCH_I386,%edi      /* 1st arg: audit arch */
193         call __audit_syscall_entry
194         movl RAX-ARGOFFSET(%rsp),%eax   /* reload syscall number */
195         cmpq $(IA32_NR_syscalls-1),%rax
196         ja ia32_badsys
197         movl %ebx,%edi                  /* reload 1st syscall arg */
198         movl RCX-ARGOFFSET(%rsp),%esi   /* reload 2nd syscall arg */
199         movl RDX-ARGOFFSET(%rsp),%edx   /* reload 3rd syscall arg */
200         movl RSI-ARGOFFSET(%rsp),%ecx   /* reload 4th syscall arg */
201         movl RDI-ARGOFFSET(%rsp),%r8d   /* reload 5th syscall arg */
202         .endm
203
204         .macro auditsys_exit exit
205         testl $(_TIF_ALLWORK_MASK & ~_TIF_SYSCALL_AUDIT),TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
206         jnz ia32_ret_from_sys_call
207         TRACE_IRQS_ON
208         sti
209         movl %eax,%esi          /* second arg, syscall return value */
210         cmpl $-MAX_ERRNO,%eax   /* is it an error ? */
211         jbe 1f
212         movslq %eax, %rsi       /* if error sign extend to 64 bits */
213 1:      setbe %al               /* 1 if error, 0 if not */
214         movzbl %al,%edi         /* zero-extend that into %edi */
215         call __audit_syscall_exit
216         movq RAX-ARGOFFSET(%rsp),%rax   /* reload syscall return value */
217         movl $(_TIF_ALLWORK_MASK & ~_TIF_SYSCALL_AUDIT),%edi
218         cli
219         TRACE_IRQS_OFF
220         testl %edi,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
221         jz \exit
222         CLEAR_RREGS -ARGOFFSET
223         jmp int_with_check
224         .endm
225
226 sysenter_auditsys:
227         CFI_RESTORE_STATE
228         auditsys_entry_common
229         movl %ebp,%r9d                  /* reload 6th syscall arg */
230         jmp sysenter_dispatch
231
232 sysexit_audit:
233         auditsys_exit sysexit_from_sys_call
234 #endif
235
236 sysenter_tracesys:
237 #ifdef CONFIG_AUDITSYSCALL
238         testl   $(_TIF_WORK_SYSCALL_ENTRY & ~_TIF_SYSCALL_AUDIT),TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
239         jz      sysenter_auditsys
240 #endif
241         SAVE_REST
242         CLEAR_RREGS
243         movq    $-ENOSYS,RAX(%rsp)/* ptrace can change this for a bad syscall */
244         movq    %rsp,%rdi        /* &pt_regs -> arg1 */
245         call    syscall_trace_enter
246         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
247         RESTORE_REST
248         cmpq    $(IA32_NR_syscalls-1),%rax
249         ja      int_ret_from_sys_call /* sysenter_tracesys has set RAX(%rsp) */
250         jmp     sysenter_do_call
251         CFI_ENDPROC
252 ENDPROC(ia32_sysenter_target)
253
254 /*
255  * 32bit SYSCALL instruction entry.
256  *
257  * Arguments:
258  * %eax System call number.
259  * %ebx Arg1
260  * %ecx return EIP 
261  * %edx Arg3
262  * %esi Arg4
263  * %edi Arg5
264  * %ebp Arg2    [note: not saved in the stack frame, should not be touched]
265  * %esp user stack 
266  * 0(%esp) Arg6
267  *      
268  * Interrupts off.
269  *      
270  * This is purely a fast path. For anything complicated we use the int 0x80
271  * path below.  Set up a complete hardware stack frame to share code
272  * with the int 0x80 path.      
273  */     
274 ENTRY(ia32_cstar_target)
275         CFI_STARTPROC32 simple
276         CFI_SIGNAL_FRAME
277         CFI_DEF_CFA     rsp,KERNEL_STACK_OFFSET
278         CFI_REGISTER    rip,rcx
279         /*CFI_REGISTER  rflags,r11*/
280         SWAPGS_UNSAFE_STACK
281         movl    %esp,%r8d
282         CFI_REGISTER    rsp,r8
283         movq    PER_CPU_VAR(kernel_stack),%rsp
284         /*
285          * No need to follow this irqs on/off section: the syscall
286          * disabled irqs and here we enable it straight after entry:
287          */
288         ENABLE_INTERRUPTS(CLBR_NONE)
289         SAVE_ARGS 8,0,0
290         movl    %eax,%eax       /* zero extension */
291         movq    %rax,ORIG_RAX-ARGOFFSET(%rsp)
292         movq    %rcx,RIP-ARGOFFSET(%rsp)
293         CFI_REL_OFFSET rip,RIP-ARGOFFSET
294         movq    %rbp,RCX-ARGOFFSET(%rsp) /* this lies slightly to ptrace */
295         movl    %ebp,%ecx
296         movq    $__USER32_CS,CS-ARGOFFSET(%rsp)
297         movq    $__USER32_DS,SS-ARGOFFSET(%rsp)
298         movq    %r11,EFLAGS-ARGOFFSET(%rsp)
299         /*CFI_REL_OFFSET rflags,EFLAGS-ARGOFFSET*/
300         movq    %r8,RSP-ARGOFFSET(%rsp) 
301         CFI_REL_OFFSET rsp,RSP-ARGOFFSET
302         /* no need to do an access_ok check here because r8 has been
303            32bit zero extended */ 
304         /* hardware stack frame is complete now */      
305 1:      movl    (%r8),%r9d
306         .section __ex_table,"a"
307         .quad 1b,ia32_badarg
308         .previous       
309         orl     $TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
310         testl   $_TIF_WORK_SYSCALL_ENTRY,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
311         CFI_REMEMBER_STATE
312         jnz   cstar_tracesys
313         cmpq $IA32_NR_syscalls-1,%rax
314         ja  ia32_badsys
315 cstar_do_call:
316         IA32_ARG_FIXUP 1
317 cstar_dispatch:
318         call *ia32_sys_call_table(,%rax,8)
319         movq %rax,RAX-ARGOFFSET(%rsp)
320         DISABLE_INTERRUPTS(CLBR_NONE)
321         TRACE_IRQS_OFF
322         testl $_TIF_ALLWORK_MASK,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
323         jnz sysretl_audit
324 sysretl_from_sys_call:
325         andl $~TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
326         RESTORE_ARGS 0,-ARG_SKIP,0,0,0
327         movl RIP-ARGOFFSET(%rsp),%ecx
328         CFI_REGISTER rip,rcx
329         movl EFLAGS-ARGOFFSET(%rsp),%r11d       
330         /*CFI_REGISTER rflags,r11*/
331         xorq    %r10,%r10
332         xorq    %r9,%r9
333         xorq    %r8,%r8
334         TRACE_IRQS_ON
335         movl RSP-ARGOFFSET(%rsp),%esp
336         CFI_RESTORE rsp
337         USERGS_SYSRET32
338         
339 #ifdef CONFIG_AUDITSYSCALL
340 cstar_auditsys:
341         CFI_RESTORE_STATE
342         movl %r9d,R9-ARGOFFSET(%rsp)    /* register to be clobbered by call */
343         auditsys_entry_common
344         movl R9-ARGOFFSET(%rsp),%r9d    /* reload 6th syscall arg */
345         jmp cstar_dispatch
346
347 sysretl_audit:
348         auditsys_exit sysretl_from_sys_call
349 #endif
350
351 cstar_tracesys:
352 #ifdef CONFIG_AUDITSYSCALL
353         testl $(_TIF_WORK_SYSCALL_ENTRY & ~_TIF_SYSCALL_AUDIT),TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
354         jz cstar_auditsys
355 #endif
356         xchgl %r9d,%ebp
357         SAVE_REST
358         CLEAR_RREGS 0, r9
359         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
360         movq %rsp,%rdi        /* &pt_regs -> arg1 */
361         call syscall_trace_enter
362         LOAD_ARGS32 ARGOFFSET, 1  /* reload args from stack in case ptrace changed it */
363         RESTORE_REST
364         xchgl %ebp,%r9d
365         cmpq $(IA32_NR_syscalls-1),%rax
366         ja int_ret_from_sys_call /* cstar_tracesys has set RAX(%rsp) */
367         jmp cstar_do_call
368 END(ia32_cstar_target)
369                                 
370 ia32_badarg:
371         movq $-EFAULT,%rax
372         jmp ia32_sysret
373         CFI_ENDPROC
374
375 /* 
376  * Emulated IA32 system calls via int 0x80. 
377  *
378  * Arguments:    
379  * %eax System call number.
380  * %ebx Arg1
381  * %ecx Arg2
382  * %edx Arg3
383  * %esi Arg4
384  * %edi Arg5
385  * %ebp Arg6    [note: not saved in the stack frame, should not be touched]
386  *
387  * Notes:
388  * Uses the same stack frame as the x86-64 version.     
389  * All registers except %eax must be saved (but ptrace may violate that)
390  * Arguments are zero extended. For system calls that want sign extension and
391  * take long arguments a wrapper is needed. Most calls can just be called
392  * directly.
393  * Assumes it is only called from user space and entered with interrupts off.   
394  */                             
395
396 ENTRY(ia32_syscall)
397         CFI_STARTPROC32 simple
398         CFI_SIGNAL_FRAME
399         CFI_DEF_CFA     rsp,SS+8-RIP
400         /*CFI_REL_OFFSET        ss,SS-RIP*/
401         CFI_REL_OFFSET  rsp,RSP-RIP
402         /*CFI_REL_OFFSET        rflags,EFLAGS-RIP*/
403         /*CFI_REL_OFFSET        cs,CS-RIP*/
404         CFI_REL_OFFSET  rip,RIP-RIP
405         PARAVIRT_ADJUST_EXCEPTION_FRAME
406         SWAPGS
407         /*
408          * No need to follow this irqs on/off section: the syscall
409          * disabled irqs and here we enable it straight after entry:
410          */
411         ENABLE_INTERRUPTS(CLBR_NONE)
412         movl %eax,%eax
413         pushq_cfi %rax
414         cld
415         /* note the registers are not zero extended to the sf.
416            this could be a problem. */
417         SAVE_ARGS 0,1,0
418         orl $TS_COMPAT,TI_status+THREAD_INFO(%rsp,RIP-ARGOFFSET)
419         testl $_TIF_WORK_SYSCALL_ENTRY,TI_flags+THREAD_INFO(%rsp,RIP-ARGOFFSET)
420         jnz ia32_tracesys
421         cmpq $(IA32_NR_syscalls-1),%rax
422         ja ia32_badsys
423 ia32_do_call:
424         IA32_ARG_FIXUP
425         call *ia32_sys_call_table(,%rax,8) # xxx: rip relative
426 ia32_sysret:
427         movq %rax,RAX-ARGOFFSET(%rsp)
428 ia32_ret_from_sys_call:
429         CLEAR_RREGS -ARGOFFSET
430         jmp int_ret_from_sys_call 
431
432 ia32_tracesys:                   
433         SAVE_REST
434         CLEAR_RREGS
435         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
436         movq %rsp,%rdi        /* &pt_regs -> arg1 */
437         call syscall_trace_enter
438         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
439         RESTORE_REST
440         cmpq $(IA32_NR_syscalls-1),%rax
441         ja  int_ret_from_sys_call       /* ia32_tracesys has set RAX(%rsp) */
442         jmp ia32_do_call
443 END(ia32_syscall)
444
445 ia32_badsys:
446         movq $0,ORIG_RAX-ARGOFFSET(%rsp)
447         movq $-ENOSYS,%rax
448         jmp ia32_sysret
449
450         CFI_ENDPROC
451         
452         .macro PTREGSCALL label, func, arg
453         ALIGN
454 GLOBAL(\label)
455         leaq \func(%rip),%rax
456         leaq -ARGOFFSET+8(%rsp),\arg    /* 8 for return address */
457         jmp  ia32_ptregs_common 
458         .endm
459
460         CFI_STARTPROC32
461
462         PTREGSCALL stub32_rt_sigreturn, sys32_rt_sigreturn, %rdi
463         PTREGSCALL stub32_sigreturn, sys32_sigreturn, %rdi
464         PTREGSCALL stub32_sigaltstack, sys32_sigaltstack, %rdx
465         PTREGSCALL stub32_execve, sys32_execve, %rcx
466         PTREGSCALL stub32_fork, sys_fork, %rdi
467         PTREGSCALL stub32_clone, sys32_clone, %rdx
468         PTREGSCALL stub32_vfork, sys_vfork, %rdi
469         PTREGSCALL stub32_iopl, sys_iopl, %rsi
470
471         ALIGN
472 ia32_ptregs_common:
473         popq %r11
474         CFI_ENDPROC
475         CFI_STARTPROC32 simple
476         CFI_SIGNAL_FRAME
477         CFI_DEF_CFA     rsp,SS+8-ARGOFFSET
478         CFI_REL_OFFSET  rax,RAX-ARGOFFSET
479         CFI_REL_OFFSET  rcx,RCX-ARGOFFSET
480         CFI_REL_OFFSET  rdx,RDX-ARGOFFSET
481         CFI_REL_OFFSET  rsi,RSI-ARGOFFSET
482         CFI_REL_OFFSET  rdi,RDI-ARGOFFSET
483         CFI_REL_OFFSET  rip,RIP-ARGOFFSET
484 /*      CFI_REL_OFFSET  cs,CS-ARGOFFSET*/
485 /*      CFI_REL_OFFSET  rflags,EFLAGS-ARGOFFSET*/
486         CFI_REL_OFFSET  rsp,RSP-ARGOFFSET
487 /*      CFI_REL_OFFSET  ss,SS-ARGOFFSET*/
488         SAVE_REST
489         call *%rax
490         RESTORE_REST
491         jmp  ia32_sysret        /* misbalances the return cache */
492         CFI_ENDPROC
493 END(ia32_ptregs_common)