serial: sh-sci: Consolidate port definition structures.
[~shefty/rdma-dev.git] / drivers / serial / sh-sci.c
1 /*
2  * drivers/serial/sh-sci.c
3  *
4  * SuperH on-chip serial module support.  (SCI with no FIFO / with FIFO)
5  *
6  *  Copyright (C) 2002 - 2011  Paul Mundt
7  *  Modified to support SH7720 SCIF. Markus Brunner, Mark Jonas (Jul 2007).
8  *
9  * based off of the old drivers/char/sh-sci.c by:
10  *
11  *   Copyright (C) 1999, 2000  Niibe Yutaka
12  *   Copyright (C) 2000  Sugioka Toshinobu
13  *   Modified to support multiple serial ports. Stuart Menefy (May 2000).
14  *   Modified to support SecureEdge. David McCullough (2002)
15  *   Modified to support SH7300 SCIF. Takashi Kusuda (Jun 2003).
16  *   Removed SH7300 support (Jul 2007).
17  *
18  * This file is subject to the terms and conditions of the GNU General Public
19  * License.  See the file "COPYING" in the main directory of this archive
20  * for more details.
21  */
22 #if defined(CONFIG_SERIAL_SH_SCI_CONSOLE) && defined(CONFIG_MAGIC_SYSRQ)
23 #define SUPPORT_SYSRQ
24 #endif
25
26 #undef DEBUG
27
28 #include <linux/module.h>
29 #include <linux/errno.h>
30 #include <linux/timer.h>
31 #include <linux/interrupt.h>
32 #include <linux/tty.h>
33 #include <linux/tty_flip.h>
34 #include <linux/serial.h>
35 #include <linux/major.h>
36 #include <linux/string.h>
37 #include <linux/sysrq.h>
38 #include <linux/ioport.h>
39 #include <linux/mm.h>
40 #include <linux/init.h>
41 #include <linux/delay.h>
42 #include <linux/console.h>
43 #include <linux/platform_device.h>
44 #include <linux/serial_sci.h>
45 #include <linux/notifier.h>
46 #include <linux/cpufreq.h>
47 #include <linux/clk.h>
48 #include <linux/ctype.h>
49 #include <linux/err.h>
50 #include <linux/list.h>
51 #include <linux/dmaengine.h>
52 #include <linux/scatterlist.h>
53 #include <linux/slab.h>
54
55 #ifdef CONFIG_SUPERH
56 #include <asm/sh_bios.h>
57 #endif
58
59 #ifdef CONFIG_H8300
60 #include <asm/gpio.h>
61 #endif
62
63 #include "sh-sci.h"
64
65 struct sci_port {
66         struct uart_port        port;
67
68         /* Platform configuration */
69         struct plat_sci_port    *cfg;
70
71         /* Port enable callback */
72         void                    (*enable)(struct uart_port *port);
73
74         /* Port disable callback */
75         void                    (*disable)(struct uart_port *port);
76
77         /* Break timer */
78         struct timer_list       break_timer;
79         int                     break_flag;
80
81         /* Interface clock */
82         struct clk              *iclk;
83         /* Function clock */
84         struct clk              *fclk;
85
86         struct list_head        node;
87
88         struct dma_chan                 *chan_tx;
89         struct dma_chan                 *chan_rx;
90
91 #ifdef CONFIG_SERIAL_SH_SCI_DMA
92         struct dma_async_tx_descriptor  *desc_tx;
93         struct dma_async_tx_descriptor  *desc_rx[2];
94         dma_cookie_t                    cookie_tx;
95         dma_cookie_t                    cookie_rx[2];
96         dma_cookie_t                    active_rx;
97         struct scatterlist              sg_tx;
98         unsigned int                    sg_len_tx;
99         struct scatterlist              sg_rx[2];
100         size_t                          buf_len_rx;
101         struct sh_dmae_slave            param_tx;
102         struct sh_dmae_slave            param_rx;
103         struct work_struct              work_tx;
104         struct work_struct              work_rx;
105         struct timer_list               rx_timer;
106         unsigned int                    rx_timeout;
107 #endif
108 };
109
110 struct sh_sci_priv {
111         spinlock_t lock;
112         struct list_head ports;
113         struct notifier_block clk_nb;
114 };
115
116 /* Function prototypes */
117 static void sci_stop_tx(struct uart_port *port);
118
119 #define SCI_NPORTS CONFIG_SERIAL_SH_SCI_NR_UARTS
120
121 static struct sci_port sci_ports[SCI_NPORTS];
122 static struct uart_driver sci_uart_driver;
123
124 static inline struct sci_port *
125 to_sci_port(struct uart_port *uart)
126 {
127         return container_of(uart, struct sci_port, port);
128 }
129
130 #if defined(CONFIG_CONSOLE_POLL) || defined(CONFIG_SERIAL_SH_SCI_CONSOLE)
131
132 #ifdef CONFIG_CONSOLE_POLL
133 static inline void handle_error(struct uart_port *port)
134 {
135         /* Clear error flags */
136         sci_out(port, SCxSR, SCxSR_ERROR_CLEAR(port));
137 }
138
139 static int sci_poll_get_char(struct uart_port *port)
140 {
141         unsigned short status;
142         int c;
143
144         do {
145                 status = sci_in(port, SCxSR);
146                 if (status & SCxSR_ERRORS(port)) {
147                         handle_error(port);
148                         continue;
149                 }
150                 break;
151         } while (1);
152
153         if (!(status & SCxSR_RDxF(port)))
154                 return NO_POLL_CHAR;
155
156         c = sci_in(port, SCxRDR);
157
158         /* Dummy read */
159         sci_in(port, SCxSR);
160         sci_out(port, SCxSR, SCxSR_RDxF_CLEAR(port));
161
162         return c;
163 }
164 #endif
165
166 static void sci_poll_put_char(struct uart_port *port, unsigned char c)
167 {
168         unsigned short status;
169
170         do {
171                 status = sci_in(port, SCxSR);
172         } while (!(status & SCxSR_TDxE(port)));
173
174         sci_out(port, SCxTDR, c);
175         sci_out(port, SCxSR, SCxSR_TDxE_CLEAR(port) & ~SCxSR_TEND(port));
176 }
177 #endif /* CONFIG_CONSOLE_POLL || CONFIG_SERIAL_SH_SCI_CONSOLE */
178
179 #if defined(__H8300H__) || defined(__H8300S__)
180 static void sci_init_pins(struct uart_port *port, unsigned int cflag)
181 {
182         int ch = (port->mapbase - SMR0) >> 3;
183
184         /* set DDR regs */
185         H8300_GPIO_DDR(h8300_sci_pins[ch].port,
186                        h8300_sci_pins[ch].rx,
187                        H8300_GPIO_INPUT);
188         H8300_GPIO_DDR(h8300_sci_pins[ch].port,
189                        h8300_sci_pins[ch].tx,
190                        H8300_GPIO_OUTPUT);
191
192         /* tx mark output*/
193         H8300_SCI_DR(ch) |= h8300_sci_pins[ch].tx;
194 }
195 #elif defined(CONFIG_CPU_SUBTYPE_SH7710) || defined(CONFIG_CPU_SUBTYPE_SH7712)
196 static inline void sci_init_pins(struct uart_port *port, unsigned int cflag)
197 {
198         if (port->mapbase == 0xA4400000) {
199                 __raw_writew(__raw_readw(PACR) & 0xffc0, PACR);
200                 __raw_writew(__raw_readw(PBCR) & 0x0fff, PBCR);
201         } else if (port->mapbase == 0xA4410000)
202                 __raw_writew(__raw_readw(PBCR) & 0xf003, PBCR);
203 }
204 #elif defined(CONFIG_CPU_SUBTYPE_SH7720) || defined(CONFIG_CPU_SUBTYPE_SH7721)
205 static inline void sci_init_pins(struct uart_port *port, unsigned int cflag)
206 {
207         unsigned short data;
208
209         if (cflag & CRTSCTS) {
210                 /* enable RTS/CTS */
211                 if (port->mapbase == 0xa4430000) { /* SCIF0 */
212                         /* Clear PTCR bit 9-2; enable all scif pins but sck */
213                         data = __raw_readw(PORT_PTCR);
214                         __raw_writew((data & 0xfc03), PORT_PTCR);
215                 } else if (port->mapbase == 0xa4438000) { /* SCIF1 */
216                         /* Clear PVCR bit 9-2 */
217                         data = __raw_readw(PORT_PVCR);
218                         __raw_writew((data & 0xfc03), PORT_PVCR);
219                 }
220         } else {
221                 if (port->mapbase == 0xa4430000) { /* SCIF0 */
222                         /* Clear PTCR bit 5-2; enable only tx and rx  */
223                         data = __raw_readw(PORT_PTCR);
224                         __raw_writew((data & 0xffc3), PORT_PTCR);
225                 } else if (port->mapbase == 0xa4438000) { /* SCIF1 */
226                         /* Clear PVCR bit 5-2 */
227                         data = __raw_readw(PORT_PVCR);
228                         __raw_writew((data & 0xffc3), PORT_PVCR);
229                 }
230         }
231 }
232 #elif defined(CONFIG_CPU_SH3)
233 /* For SH7705, SH7706, SH7707, SH7709, SH7709A, SH7729 */
234 static inline void sci_init_pins(struct uart_port *port, unsigned int cflag)
235 {
236         unsigned short data;
237
238         /* We need to set SCPCR to enable RTS/CTS */
239         data = __raw_readw(SCPCR);
240         /* Clear out SCP7MD1,0, SCP6MD1,0, SCP4MD1,0*/
241         __raw_writew(data & 0x0fcf, SCPCR);
242
243         if (!(cflag & CRTSCTS)) {
244                 /* We need to set SCPCR to enable RTS/CTS */
245                 data = __raw_readw(SCPCR);
246                 /* Clear out SCP7MD1,0, SCP4MD1,0,
247                    Set SCP6MD1,0 = {01} (output)  */
248                 __raw_writew((data & 0x0fcf) | 0x1000, SCPCR);
249
250                 data = __raw_readb(SCPDR);
251                 /* Set /RTS2 (bit6) = 0 */
252                 __raw_writeb(data & 0xbf, SCPDR);
253         }
254 }
255 #elif defined(CONFIG_CPU_SUBTYPE_SH7722)
256 static inline void sci_init_pins(struct uart_port *port, unsigned int cflag)
257 {
258         unsigned short data;
259
260         if (port->mapbase == 0xffe00000) {
261                 data = __raw_readw(PSCR);
262                 data &= ~0x03cf;
263                 if (!(cflag & CRTSCTS))
264                         data |= 0x0340;
265
266                 __raw_writew(data, PSCR);
267         }
268 }
269 #elif defined(CONFIG_CPU_SUBTYPE_SH7757) || \
270       defined(CONFIG_CPU_SUBTYPE_SH7763) || \
271       defined(CONFIG_CPU_SUBTYPE_SH7780) || \
272       defined(CONFIG_CPU_SUBTYPE_SH7785) || \
273       defined(CONFIG_CPU_SUBTYPE_SH7786) || \
274       defined(CONFIG_CPU_SUBTYPE_SHX3)
275 static inline void sci_init_pins(struct uart_port *port, unsigned int cflag)
276 {
277         if (!(cflag & CRTSCTS))
278                 __raw_writew(0x0080, SCSPTR0); /* Set RTS = 1 */
279 }
280 #elif defined(CONFIG_CPU_SH4) && !defined(CONFIG_CPU_SH4A)
281 static inline void sci_init_pins(struct uart_port *port, unsigned int cflag)
282 {
283         if (!(cflag & CRTSCTS))
284                 __raw_writew(0x0080, SCSPTR2); /* Set RTS = 1 */
285 }
286 #else
287 static inline void sci_init_pins(struct uart_port *port, unsigned int cflag)
288 {
289         /* Nothing to do */
290 }
291 #endif
292
293 #if defined(CONFIG_CPU_SUBTYPE_SH7760) || \
294     defined(CONFIG_CPU_SUBTYPE_SH7780) || \
295     defined(CONFIG_CPU_SUBTYPE_SH7785) || \
296     defined(CONFIG_CPU_SUBTYPE_SH7786)
297 static int scif_txfill(struct uart_port *port)
298 {
299         return sci_in(port, SCTFDR) & 0xff;
300 }
301
302 static int scif_txroom(struct uart_port *port)
303 {
304         return SCIF_TXROOM_MAX - scif_txfill(port);
305 }
306
307 static int scif_rxfill(struct uart_port *port)
308 {
309         return sci_in(port, SCRFDR) & 0xff;
310 }
311 #elif defined(CONFIG_CPU_SUBTYPE_SH7763)
312 static int scif_txfill(struct uart_port *port)
313 {
314         if (port->mapbase == 0xffe00000 ||
315             port->mapbase == 0xffe08000)
316                 /* SCIF0/1*/
317                 return sci_in(port, SCTFDR) & 0xff;
318         else
319                 /* SCIF2 */
320                 return sci_in(port, SCFDR) >> 8;
321 }
322
323 static int scif_txroom(struct uart_port *port)
324 {
325         if (port->mapbase == 0xffe00000 ||
326             port->mapbase == 0xffe08000)
327                 /* SCIF0/1*/
328                 return SCIF_TXROOM_MAX - scif_txfill(port);
329         else
330                 /* SCIF2 */
331                 return SCIF2_TXROOM_MAX - scif_txfill(port);
332 }
333
334 static int scif_rxfill(struct uart_port *port)
335 {
336         if ((port->mapbase == 0xffe00000) ||
337             (port->mapbase == 0xffe08000)) {
338                 /* SCIF0/1*/
339                 return sci_in(port, SCRFDR) & 0xff;
340         } else {
341                 /* SCIF2 */
342                 return sci_in(port, SCFDR) & SCIF2_RFDC_MASK;
343         }
344 }
345 #elif defined(CONFIG_ARCH_SH7372)
346 static int scif_txfill(struct uart_port *port)
347 {
348         if (port->type == PORT_SCIFA)
349                 return sci_in(port, SCFDR) >> 8;
350         else
351                 return sci_in(port, SCTFDR);
352 }
353
354 static int scif_txroom(struct uart_port *port)
355 {
356         return port->fifosize - scif_txfill(port);
357 }
358
359 static int scif_rxfill(struct uart_port *port)
360 {
361         if (port->type == PORT_SCIFA)
362                 return sci_in(port, SCFDR) & SCIF_RFDC_MASK;
363         else
364                 return sci_in(port, SCRFDR);
365 }
366 #else
367 static int scif_txfill(struct uart_port *port)
368 {
369         return sci_in(port, SCFDR) >> 8;
370 }
371
372 static int scif_txroom(struct uart_port *port)
373 {
374         return SCIF_TXROOM_MAX - scif_txfill(port);
375 }
376
377 static int scif_rxfill(struct uart_port *port)
378 {
379         return sci_in(port, SCFDR) & SCIF_RFDC_MASK;
380 }
381 #endif
382
383 static int sci_txfill(struct uart_port *port)
384 {
385         return !(sci_in(port, SCxSR) & SCI_TDRE);
386 }
387
388 static int sci_txroom(struct uart_port *port)
389 {
390         return !sci_txfill(port);
391 }
392
393 static int sci_rxfill(struct uart_port *port)
394 {
395         return (sci_in(port, SCxSR) & SCxSR_RDxF(port)) != 0;
396 }
397
398 /* ********************************************************************** *
399  *                   the interrupt related routines                       *
400  * ********************************************************************** */
401
402 static void sci_transmit_chars(struct uart_port *port)
403 {
404         struct circ_buf *xmit = &port->state->xmit;
405         unsigned int stopped = uart_tx_stopped(port);
406         unsigned short status;
407         unsigned short ctrl;
408         int count;
409
410         status = sci_in(port, SCxSR);
411         if (!(status & SCxSR_TDxE(port))) {
412                 ctrl = sci_in(port, SCSCR);
413                 if (uart_circ_empty(xmit))
414                         ctrl &= ~SCSCR_TIE;
415                 else
416                         ctrl |= SCSCR_TIE;
417                 sci_out(port, SCSCR, ctrl);
418                 return;
419         }
420
421         if (port->type == PORT_SCI)
422                 count = sci_txroom(port);
423         else
424                 count = scif_txroom(port);
425
426         do {
427                 unsigned char c;
428
429                 if (port->x_char) {
430                         c = port->x_char;
431                         port->x_char = 0;
432                 } else if (!uart_circ_empty(xmit) && !stopped) {
433                         c = xmit->buf[xmit->tail];
434                         xmit->tail = (xmit->tail + 1) & (UART_XMIT_SIZE - 1);
435                 } else {
436                         break;
437                 }
438
439                 sci_out(port, SCxTDR, c);
440
441                 port->icount.tx++;
442         } while (--count > 0);
443
444         sci_out(port, SCxSR, SCxSR_TDxE_CLEAR(port));
445
446         if (uart_circ_chars_pending(xmit) < WAKEUP_CHARS)
447                 uart_write_wakeup(port);
448         if (uart_circ_empty(xmit)) {
449                 sci_stop_tx(port);
450         } else {
451                 ctrl = sci_in(port, SCSCR);
452
453                 if (port->type != PORT_SCI) {
454                         sci_in(port, SCxSR); /* Dummy read */
455                         sci_out(port, SCxSR, SCxSR_TDxE_CLEAR(port));
456                 }
457
458                 ctrl |= SCSCR_TIE;
459                 sci_out(port, SCSCR, ctrl);
460         }
461 }
462
463 /* On SH3, SCIF may read end-of-break as a space->mark char */
464 #define STEPFN(c)  ({int __c = (c); (((__c-1)|(__c)) == -1); })
465
466 static inline void sci_receive_chars(struct uart_port *port)
467 {
468         struct sci_port *sci_port = to_sci_port(port);
469         struct tty_struct *tty = port->state->port.tty;
470         int i, count, copied = 0;
471         unsigned short status;
472         unsigned char flag;
473
474         status = sci_in(port, SCxSR);
475         if (!(status & SCxSR_RDxF(port)))
476                 return;
477
478         while (1) {
479                 if (port->type == PORT_SCI)
480                         count = sci_rxfill(port);
481                 else
482                         count = scif_rxfill(port);
483
484                 /* Don't copy more bytes than there is room for in the buffer */
485                 count = tty_buffer_request_room(tty, count);
486
487                 /* If for any reason we can't copy more data, we're done! */
488                 if (count == 0)
489                         break;
490
491                 if (port->type == PORT_SCI) {
492                         char c = sci_in(port, SCxRDR);
493                         if (uart_handle_sysrq_char(port, c) ||
494                             sci_port->break_flag)
495                                 count = 0;
496                         else
497                                 tty_insert_flip_char(tty, c, TTY_NORMAL);
498                 } else {
499                         for (i = 0; i < count; i++) {
500                                 char c = sci_in(port, SCxRDR);
501                                 status = sci_in(port, SCxSR);
502 #if defined(CONFIG_CPU_SH3)
503                                 /* Skip "chars" during break */
504                                 if (sci_port->break_flag) {
505                                         if ((c == 0) &&
506                                             (status & SCxSR_FER(port))) {
507                                                 count--; i--;
508                                                 continue;
509                                         }
510
511                                         /* Nonzero => end-of-break */
512                                         dev_dbg(port->dev, "debounce<%02x>\n", c);
513                                         sci_port->break_flag = 0;
514
515                                         if (STEPFN(c)) {
516                                                 count--; i--;
517                                                 continue;
518                                         }
519                                 }
520 #endif /* CONFIG_CPU_SH3 */
521                                 if (uart_handle_sysrq_char(port, c)) {
522                                         count--; i--;
523                                         continue;
524                                 }
525
526                                 /* Store data and status */
527                                 if (status & SCxSR_FER(port)) {
528                                         flag = TTY_FRAME;
529                                         dev_notice(port->dev, "frame error\n");
530                                 } else if (status & SCxSR_PER(port)) {
531                                         flag = TTY_PARITY;
532                                         dev_notice(port->dev, "parity error\n");
533                                 } else
534                                         flag = TTY_NORMAL;
535
536                                 tty_insert_flip_char(tty, c, flag);
537                         }
538                 }
539
540                 sci_in(port, SCxSR); /* dummy read */
541                 sci_out(port, SCxSR, SCxSR_RDxF_CLEAR(port));
542
543                 copied += count;
544                 port->icount.rx += count;
545         }
546
547         if (copied) {
548                 /* Tell the rest of the system the news. New characters! */
549                 tty_flip_buffer_push(tty);
550         } else {
551                 sci_in(port, SCxSR); /* dummy read */
552                 sci_out(port, SCxSR, SCxSR_RDxF_CLEAR(port));
553         }
554 }
555
556 #define SCI_BREAK_JIFFIES (HZ/20)
557 /* The sci generates interrupts during the break,
558  * 1 per millisecond or so during the break period, for 9600 baud.
559  * So dont bother disabling interrupts.
560  * But dont want more than 1 break event.
561  * Use a kernel timer to periodically poll the rx line until
562  * the break is finished.
563  */
564 static void sci_schedule_break_timer(struct sci_port *port)
565 {
566         port->break_timer.expires = jiffies + SCI_BREAK_JIFFIES;
567         add_timer(&port->break_timer);
568 }
569 /* Ensure that two consecutive samples find the break over. */
570 static void sci_break_timer(unsigned long data)
571 {
572         struct sci_port *port = (struct sci_port *)data;
573
574         if (sci_rxd_in(&port->port) == 0) {
575                 port->break_flag = 1;
576                 sci_schedule_break_timer(port);
577         } else if (port->break_flag == 1) {
578                 /* break is over. */
579                 port->break_flag = 2;
580                 sci_schedule_break_timer(port);
581         } else
582                 port->break_flag = 0;
583 }
584
585 static inline int sci_handle_errors(struct uart_port *port)
586 {
587         int copied = 0;
588         unsigned short status = sci_in(port, SCxSR);
589         struct tty_struct *tty = port->state->port.tty;
590
591         if (status & SCxSR_ORER(port)) {
592                 /* overrun error */
593                 if (tty_insert_flip_char(tty, 0, TTY_OVERRUN))
594                         copied++;
595
596                 dev_notice(port->dev, "overrun error");
597         }
598
599         if (status & SCxSR_FER(port)) {
600                 if (sci_rxd_in(port) == 0) {
601                         /* Notify of BREAK */
602                         struct sci_port *sci_port = to_sci_port(port);
603
604                         if (!sci_port->break_flag) {
605                                 sci_port->break_flag = 1;
606                                 sci_schedule_break_timer(sci_port);
607
608                                 /* Do sysrq handling. */
609                                 if (uart_handle_break(port))
610                                         return 0;
611
612                                 dev_dbg(port->dev, "BREAK detected\n");
613
614                                 if (tty_insert_flip_char(tty, 0, TTY_BREAK))
615                                         copied++;
616                         }
617
618                 } else {
619                         /* frame error */
620                         if (tty_insert_flip_char(tty, 0, TTY_FRAME))
621                                 copied++;
622
623                         dev_notice(port->dev, "frame error\n");
624                 }
625         }
626
627         if (status & SCxSR_PER(port)) {
628                 /* parity error */
629                 if (tty_insert_flip_char(tty, 0, TTY_PARITY))
630                         copied++;
631
632                 dev_notice(port->dev, "parity error");
633         }
634
635         if (copied)
636                 tty_flip_buffer_push(tty);
637
638         return copied;
639 }
640
641 static inline int sci_handle_fifo_overrun(struct uart_port *port)
642 {
643         struct tty_struct *tty = port->state->port.tty;
644         int copied = 0;
645
646         if (port->type != PORT_SCIF)
647                 return 0;
648
649         if ((sci_in(port, SCLSR) & SCIF_ORER) != 0) {
650                 sci_out(port, SCLSR, 0);
651
652                 tty_insert_flip_char(tty, 0, TTY_OVERRUN);
653                 tty_flip_buffer_push(tty);
654
655                 dev_notice(port->dev, "overrun error\n");
656                 copied++;
657         }
658
659         return copied;
660 }
661
662 static inline int sci_handle_breaks(struct uart_port *port)
663 {
664         int copied = 0;
665         unsigned short status = sci_in(port, SCxSR);
666         struct tty_struct *tty = port->state->port.tty;
667         struct sci_port *s = to_sci_port(port);
668
669         if (uart_handle_break(port))
670                 return 0;
671
672         if (!s->break_flag && status & SCxSR_BRK(port)) {
673 #if defined(CONFIG_CPU_SH3)
674                 /* Debounce break */
675                 s->break_flag = 1;
676 #endif
677                 /* Notify of BREAK */
678                 if (tty_insert_flip_char(tty, 0, TTY_BREAK))
679                         copied++;
680
681                 dev_dbg(port->dev, "BREAK detected\n");
682         }
683
684         if (copied)
685                 tty_flip_buffer_push(tty);
686
687         copied += sci_handle_fifo_overrun(port);
688
689         return copied;
690 }
691
692 static irqreturn_t sci_rx_interrupt(int irq, void *ptr)
693 {
694 #ifdef CONFIG_SERIAL_SH_SCI_DMA
695         struct uart_port *port = ptr;
696         struct sci_port *s = to_sci_port(port);
697
698         if (s->chan_rx) {
699                 u16 scr = sci_in(port, SCSCR);
700                 u16 ssr = sci_in(port, SCxSR);
701
702                 /* Disable future Rx interrupts */
703                 if (port->type == PORT_SCIFA || port->type == PORT_SCIFB) {
704                         disable_irq_nosync(irq);
705                         scr |= 0x4000;
706                 } else {
707                         scr &= ~SCSCR_RIE;
708                 }
709                 sci_out(port, SCSCR, scr);
710                 /* Clear current interrupt */
711                 sci_out(port, SCxSR, ssr & ~(1 | SCxSR_RDxF(port)));
712                 dev_dbg(port->dev, "Rx IRQ %lu: setup t-out in %u jiffies\n",
713                         jiffies, s->rx_timeout);
714                 mod_timer(&s->rx_timer, jiffies + s->rx_timeout);
715
716                 return IRQ_HANDLED;
717         }
718 #endif
719
720         /* I think sci_receive_chars has to be called irrespective
721          * of whether the I_IXOFF is set, otherwise, how is the interrupt
722          * to be disabled?
723          */
724         sci_receive_chars(ptr);
725
726         return IRQ_HANDLED;
727 }
728
729 static irqreturn_t sci_tx_interrupt(int irq, void *ptr)
730 {
731         struct uart_port *port = ptr;
732         unsigned long flags;
733
734         spin_lock_irqsave(&port->lock, flags);
735         sci_transmit_chars(port);
736         spin_unlock_irqrestore(&port->lock, flags);
737
738         return IRQ_HANDLED;
739 }
740
741 static irqreturn_t sci_er_interrupt(int irq, void *ptr)
742 {
743         struct uart_port *port = ptr;
744
745         /* Handle errors */
746         if (port->type == PORT_SCI) {
747                 if (sci_handle_errors(port)) {
748                         /* discard character in rx buffer */
749                         sci_in(port, SCxSR);
750                         sci_out(port, SCxSR, SCxSR_RDxF_CLEAR(port));
751                 }
752         } else {
753                 sci_handle_fifo_overrun(port);
754                 sci_rx_interrupt(irq, ptr);
755         }
756
757         sci_out(port, SCxSR, SCxSR_ERROR_CLEAR(port));
758
759         /* Kick the transmission */
760         sci_tx_interrupt(irq, ptr);
761
762         return IRQ_HANDLED;
763 }
764
765 static irqreturn_t sci_br_interrupt(int irq, void *ptr)
766 {
767         struct uart_port *port = ptr;
768
769         /* Handle BREAKs */
770         sci_handle_breaks(port);
771         sci_out(port, SCxSR, SCxSR_BREAK_CLEAR(port));
772
773         return IRQ_HANDLED;
774 }
775
776 static inline unsigned long port_rx_irq_mask(struct uart_port *port)
777 {
778         /*
779          * Not all ports (such as SCIFA) will support REIE. Rather than
780          * special-casing the port type, we check the port initialization
781          * IRQ enable mask to see whether the IRQ is desired at all. If
782          * it's unset, it's logically inferred that there's no point in
783          * testing for it.
784          */
785         return SCSCR_RIE | (to_sci_port(port)->cfg->scscr & SCSCR_REIE);
786 }
787
788 static irqreturn_t sci_mpxed_interrupt(int irq, void *ptr)
789 {
790         unsigned short ssr_status, scr_status, err_enabled;
791         struct uart_port *port = ptr;
792         struct sci_port *s = to_sci_port(port);
793         irqreturn_t ret = IRQ_NONE;
794
795         ssr_status = sci_in(port, SCxSR);
796         scr_status = sci_in(port, SCSCR);
797         err_enabled = scr_status & port_rx_irq_mask(port);
798
799         /* Tx Interrupt */
800         if ((ssr_status & SCxSR_TDxE(port)) && (scr_status & SCSCR_TIE) &&
801             !s->chan_tx)
802                 ret = sci_tx_interrupt(irq, ptr);
803
804         /*
805          * Rx Interrupt: if we're using DMA, the DMA controller clears RDF /
806          * DR flags
807          */
808         if (((ssr_status & SCxSR_RDxF(port)) || s->chan_rx) &&
809             (scr_status & SCSCR_RIE))
810                 ret = sci_rx_interrupt(irq, ptr);
811
812         /* Error Interrupt */
813         if ((ssr_status & SCxSR_ERRORS(port)) && err_enabled)
814                 ret = sci_er_interrupt(irq, ptr);
815
816         /* Break Interrupt */
817         if ((ssr_status & SCxSR_BRK(port)) && err_enabled)
818                 ret = sci_br_interrupt(irq, ptr);
819
820         return ret;
821 }
822
823 /*
824  * Here we define a transistion notifier so that we can update all of our
825  * ports' baud rate when the peripheral clock changes.
826  */
827 static int sci_notifier(struct notifier_block *self,
828                         unsigned long phase, void *p)
829 {
830         struct sh_sci_priv *priv = container_of(self,
831                                                 struct sh_sci_priv, clk_nb);
832         struct sci_port *sci_port;
833         unsigned long flags;
834
835         if ((phase == CPUFREQ_POSTCHANGE) ||
836             (phase == CPUFREQ_RESUMECHANGE)) {
837                 spin_lock_irqsave(&priv->lock, flags);
838                 list_for_each_entry(sci_port, &priv->ports, node)
839                         sci_port->port.uartclk = clk_get_rate(sci_port->iclk);
840                 spin_unlock_irqrestore(&priv->lock, flags);
841         }
842
843         return NOTIFY_OK;
844 }
845
846 static void sci_clk_enable(struct uart_port *port)
847 {
848         struct sci_port *sci_port = to_sci_port(port);
849
850         clk_enable(sci_port->iclk);
851         sci_port->port.uartclk = clk_get_rate(sci_port->iclk);
852         clk_enable(sci_port->fclk);
853 }
854
855 static void sci_clk_disable(struct uart_port *port)
856 {
857         struct sci_port *sci_port = to_sci_port(port);
858
859         clk_disable(sci_port->fclk);
860         clk_disable(sci_port->iclk);
861 }
862
863 static int sci_request_irq(struct sci_port *port)
864 {
865         int i;
866         irqreturn_t (*handlers[4])(int irq, void *ptr) = {
867                 sci_er_interrupt, sci_rx_interrupt, sci_tx_interrupt,
868                 sci_br_interrupt,
869         };
870         const char *desc[] = { "SCI Receive Error", "SCI Receive Data Full",
871                                "SCI Transmit Data Empty", "SCI Break" };
872
873         if (port->cfg->irqs[0] == port->cfg->irqs[1]) {
874                 if (unlikely(!port->cfg->irqs[0]))
875                         return -ENODEV;
876
877                 if (request_irq(port->cfg->irqs[0], sci_mpxed_interrupt,
878                                 IRQF_DISABLED, "sci", port)) {
879                         dev_err(port->port.dev, "Can't allocate IRQ\n");
880                         return -ENODEV;
881                 }
882         } else {
883                 for (i = 0; i < ARRAY_SIZE(handlers); i++) {
884                         if (unlikely(!port->cfg->irqs[i]))
885                                 continue;
886
887                         if (request_irq(port->cfg->irqs[i], handlers[i],
888                                         IRQF_DISABLED, desc[i], port)) {
889                                 dev_err(port->port.dev, "Can't allocate IRQ\n");
890                                 return -ENODEV;
891                         }
892                 }
893         }
894
895         return 0;
896 }
897
898 static void sci_free_irq(struct sci_port *port)
899 {
900         int i;
901
902         if (port->cfg->irqs[0] == port->cfg->irqs[1])
903                 free_irq(port->cfg->irqs[0], port);
904         else {
905                 for (i = 0; i < ARRAY_SIZE(port->cfg->irqs); i++) {
906                         if (!port->cfg->irqs[i])
907                                 continue;
908
909                         free_irq(port->cfg->irqs[i], port);
910                 }
911         }
912 }
913
914 static unsigned int sci_tx_empty(struct uart_port *port)
915 {
916         unsigned short status = sci_in(port, SCxSR);
917         unsigned short in_tx_fifo = scif_txfill(port);
918
919         return (status & SCxSR_TEND(port)) && !in_tx_fifo ? TIOCSER_TEMT : 0;
920 }
921
922 static void sci_set_mctrl(struct uart_port *port, unsigned int mctrl)
923 {
924         /* This routine is used for seting signals of: DTR, DCD, CTS/RTS */
925         /* We use SCIF's hardware for CTS/RTS, so don't need any for that. */
926         /* If you have signals for DTR and DCD, please implement here. */
927 }
928
929 static unsigned int sci_get_mctrl(struct uart_port *port)
930 {
931         /* This routine is used for getting signals of: DTR, DCD, DSR, RI,
932            and CTS/RTS */
933
934         return TIOCM_DTR | TIOCM_RTS | TIOCM_DSR;
935 }
936
937 #ifdef CONFIG_SERIAL_SH_SCI_DMA
938 static void sci_dma_tx_complete(void *arg)
939 {
940         struct sci_port *s = arg;
941         struct uart_port *port = &s->port;
942         struct circ_buf *xmit = &port->state->xmit;
943         unsigned long flags;
944
945         dev_dbg(port->dev, "%s(%d)\n", __func__, port->line);
946
947         spin_lock_irqsave(&port->lock, flags);
948
949         xmit->tail += sg_dma_len(&s->sg_tx);
950         xmit->tail &= UART_XMIT_SIZE - 1;
951
952         port->icount.tx += sg_dma_len(&s->sg_tx);
953
954         async_tx_ack(s->desc_tx);
955         s->cookie_tx = -EINVAL;
956         s->desc_tx = NULL;
957
958         if (uart_circ_chars_pending(xmit) < WAKEUP_CHARS)
959                 uart_write_wakeup(port);
960
961         if (!uart_circ_empty(xmit)) {
962                 schedule_work(&s->work_tx);
963         } else if (port->type == PORT_SCIFA || port->type == PORT_SCIFB) {
964                 u16 ctrl = sci_in(port, SCSCR);
965                 sci_out(port, SCSCR, ctrl & ~SCSCR_TIE);
966         }
967
968         spin_unlock_irqrestore(&port->lock, flags);
969 }
970
971 /* Locking: called with port lock held */
972 static int sci_dma_rx_push(struct sci_port *s, struct tty_struct *tty,
973                            size_t count)
974 {
975         struct uart_port *port = &s->port;
976         int i, active, room;
977
978         room = tty_buffer_request_room(tty, count);
979
980         if (s->active_rx == s->cookie_rx[0]) {
981                 active = 0;
982         } else if (s->active_rx == s->cookie_rx[1]) {
983                 active = 1;
984         } else {
985                 dev_err(port->dev, "cookie %d not found!\n", s->active_rx);
986                 return 0;
987         }
988
989         if (room < count)
990                 dev_warn(port->dev, "Rx overrun: dropping %u bytes\n",
991                          count - room);
992         if (!room)
993                 return room;
994
995         for (i = 0; i < room; i++)
996                 tty_insert_flip_char(tty, ((u8 *)sg_virt(&s->sg_rx[active]))[i],
997                                      TTY_NORMAL);
998
999         port->icount.rx += room;
1000
1001         return room;
1002 }
1003
1004 static void sci_dma_rx_complete(void *arg)
1005 {
1006         struct sci_port *s = arg;
1007         struct uart_port *port = &s->port;
1008         struct tty_struct *tty = port->state->port.tty;
1009         unsigned long flags;
1010         int count;
1011
1012         dev_dbg(port->dev, "%s(%d) active #%d\n", __func__, port->line, s->active_rx);
1013
1014         spin_lock_irqsave(&port->lock, flags);
1015
1016         count = sci_dma_rx_push(s, tty, s->buf_len_rx);
1017
1018         mod_timer(&s->rx_timer, jiffies + s->rx_timeout);
1019
1020         spin_unlock_irqrestore(&port->lock, flags);
1021
1022         if (count)
1023                 tty_flip_buffer_push(tty);
1024
1025         schedule_work(&s->work_rx);
1026 }
1027
1028 static void sci_start_rx(struct uart_port *port);
1029 static void sci_start_tx(struct uart_port *port);
1030
1031 static void sci_rx_dma_release(struct sci_port *s, bool enable_pio)
1032 {
1033         struct dma_chan *chan = s->chan_rx;
1034         struct uart_port *port = &s->port;
1035
1036         s->chan_rx = NULL;
1037         s->cookie_rx[0] = s->cookie_rx[1] = -EINVAL;
1038         dma_release_channel(chan);
1039         if (sg_dma_address(&s->sg_rx[0]))
1040                 dma_free_coherent(port->dev, s->buf_len_rx * 2,
1041                                   sg_virt(&s->sg_rx[0]), sg_dma_address(&s->sg_rx[0]));
1042         if (enable_pio)
1043                 sci_start_rx(port);
1044 }
1045
1046 static void sci_tx_dma_release(struct sci_port *s, bool enable_pio)
1047 {
1048         struct dma_chan *chan = s->chan_tx;
1049         struct uart_port *port = &s->port;
1050
1051         s->chan_tx = NULL;
1052         s->cookie_tx = -EINVAL;
1053         dma_release_channel(chan);
1054         if (enable_pio)
1055                 sci_start_tx(port);
1056 }
1057
1058 static void sci_submit_rx(struct sci_port *s)
1059 {
1060         struct dma_chan *chan = s->chan_rx;
1061         int i;
1062
1063         for (i = 0; i < 2; i++) {
1064                 struct scatterlist *sg = &s->sg_rx[i];
1065                 struct dma_async_tx_descriptor *desc;
1066
1067                 desc = chan->device->device_prep_slave_sg(chan,
1068                         sg, 1, DMA_FROM_DEVICE, DMA_PREP_INTERRUPT);
1069
1070                 if (desc) {
1071                         s->desc_rx[i] = desc;
1072                         desc->callback = sci_dma_rx_complete;
1073                         desc->callback_param = s;
1074                         s->cookie_rx[i] = desc->tx_submit(desc);
1075                 }
1076
1077                 if (!desc || s->cookie_rx[i] < 0) {
1078                         if (i) {
1079                                 async_tx_ack(s->desc_rx[0]);
1080                                 s->cookie_rx[0] = -EINVAL;
1081                         }
1082                         if (desc) {
1083                                 async_tx_ack(desc);
1084                                 s->cookie_rx[i] = -EINVAL;
1085                         }
1086                         dev_warn(s->port.dev,
1087                                  "failed to re-start DMA, using PIO\n");
1088                         sci_rx_dma_release(s, true);
1089                         return;
1090                 }
1091                 dev_dbg(s->port.dev, "%s(): cookie %d to #%d\n", __func__,
1092                         s->cookie_rx[i], i);
1093         }
1094
1095         s->active_rx = s->cookie_rx[0];
1096
1097         dma_async_issue_pending(chan);
1098 }
1099
1100 static void work_fn_rx(struct work_struct *work)
1101 {
1102         struct sci_port *s = container_of(work, struct sci_port, work_rx);
1103         struct uart_port *port = &s->port;
1104         struct dma_async_tx_descriptor *desc;
1105         int new;
1106
1107         if (s->active_rx == s->cookie_rx[0]) {
1108                 new = 0;
1109         } else if (s->active_rx == s->cookie_rx[1]) {
1110                 new = 1;
1111         } else {
1112                 dev_err(port->dev, "cookie %d not found!\n", s->active_rx);
1113                 return;
1114         }
1115         desc = s->desc_rx[new];
1116
1117         if (dma_async_is_tx_complete(s->chan_rx, s->active_rx, NULL, NULL) !=
1118             DMA_SUCCESS) {
1119                 /* Handle incomplete DMA receive */
1120                 struct tty_struct *tty = port->state->port.tty;
1121                 struct dma_chan *chan = s->chan_rx;
1122                 struct sh_desc *sh_desc = container_of(desc, struct sh_desc,
1123                                                        async_tx);
1124                 unsigned long flags;
1125                 int count;
1126
1127                 chan->device->device_control(chan, DMA_TERMINATE_ALL, 0);
1128                 dev_dbg(port->dev, "Read %u bytes with cookie %d\n",
1129                         sh_desc->partial, sh_desc->cookie);
1130
1131                 spin_lock_irqsave(&port->lock, flags);
1132                 count = sci_dma_rx_push(s, tty, sh_desc->partial);
1133                 spin_unlock_irqrestore(&port->lock, flags);
1134
1135                 if (count)
1136                         tty_flip_buffer_push(tty);
1137
1138                 sci_submit_rx(s);
1139
1140                 return;
1141         }
1142
1143         s->cookie_rx[new] = desc->tx_submit(desc);
1144         if (s->cookie_rx[new] < 0) {
1145                 dev_warn(port->dev, "Failed submitting Rx DMA descriptor\n");
1146                 sci_rx_dma_release(s, true);
1147                 return;
1148         }
1149
1150         s->active_rx = s->cookie_rx[!new];
1151
1152         dev_dbg(port->dev, "%s: cookie %d #%d, new active #%d\n", __func__,
1153                 s->cookie_rx[new], new, s->active_rx);
1154 }
1155
1156 static void work_fn_tx(struct work_struct *work)
1157 {
1158         struct sci_port *s = container_of(work, struct sci_port, work_tx);
1159         struct dma_async_tx_descriptor *desc;
1160         struct dma_chan *chan = s->chan_tx;
1161         struct uart_port *port = &s->port;
1162         struct circ_buf *xmit = &port->state->xmit;
1163         struct scatterlist *sg = &s->sg_tx;
1164
1165         /*
1166          * DMA is idle now.
1167          * Port xmit buffer is already mapped, and it is one page... Just adjust
1168          * offsets and lengths. Since it is a circular buffer, we have to
1169          * transmit till the end, and then the rest. Take the port lock to get a
1170          * consistent xmit buffer state.
1171          */
1172         spin_lock_irq(&port->lock);
1173         sg->offset = xmit->tail & (UART_XMIT_SIZE - 1);
1174         sg_dma_address(sg) = (sg_dma_address(sg) & ~(UART_XMIT_SIZE - 1)) +
1175                 sg->offset;
1176         sg_dma_len(sg) = min((int)CIRC_CNT(xmit->head, xmit->tail, UART_XMIT_SIZE),
1177                 CIRC_CNT_TO_END(xmit->head, xmit->tail, UART_XMIT_SIZE));
1178         spin_unlock_irq(&port->lock);
1179
1180         BUG_ON(!sg_dma_len(sg));
1181
1182         desc = chan->device->device_prep_slave_sg(chan,
1183                         sg, s->sg_len_tx, DMA_TO_DEVICE,
1184                         DMA_PREP_INTERRUPT | DMA_CTRL_ACK);
1185         if (!desc) {
1186                 /* switch to PIO */
1187                 sci_tx_dma_release(s, true);
1188                 return;
1189         }
1190
1191         dma_sync_sg_for_device(port->dev, sg, 1, DMA_TO_DEVICE);
1192
1193         spin_lock_irq(&port->lock);
1194         s->desc_tx = desc;
1195         desc->callback = sci_dma_tx_complete;
1196         desc->callback_param = s;
1197         spin_unlock_irq(&port->lock);
1198         s->cookie_tx = desc->tx_submit(desc);
1199         if (s->cookie_tx < 0) {
1200                 dev_warn(port->dev, "Failed submitting Tx DMA descriptor\n");
1201                 /* switch to PIO */
1202                 sci_tx_dma_release(s, true);
1203                 return;
1204         }
1205
1206         dev_dbg(port->dev, "%s: %p: %d...%d, cookie %d\n", __func__,
1207                 xmit->buf, xmit->tail, xmit->head, s->cookie_tx);
1208
1209         dma_async_issue_pending(chan);
1210 }
1211 #endif
1212
1213 static void sci_start_tx(struct uart_port *port)
1214 {
1215         struct sci_port *s = to_sci_port(port);
1216         unsigned short ctrl;
1217
1218 #ifdef CONFIG_SERIAL_SH_SCI_DMA
1219         if (port->type == PORT_SCIFA || port->type == PORT_SCIFB) {
1220                 u16 new, scr = sci_in(port, SCSCR);
1221                 if (s->chan_tx)
1222                         new = scr | 0x8000;
1223                 else
1224                         new = scr & ~0x8000;
1225                 if (new != scr)
1226                         sci_out(port, SCSCR, new);
1227         }
1228
1229         if (s->chan_tx && !uart_circ_empty(&s->port.state->xmit) &&
1230             s->cookie_tx < 0)
1231                 schedule_work(&s->work_tx);
1232 #endif
1233
1234         if (!s->chan_tx || port->type == PORT_SCIFA || port->type == PORT_SCIFB) {
1235                 /* Set TIE (Transmit Interrupt Enable) bit in SCSCR */
1236                 ctrl = sci_in(port, SCSCR);
1237                 sci_out(port, SCSCR, ctrl | SCSCR_TIE);
1238         }
1239 }
1240
1241 static void sci_stop_tx(struct uart_port *port)
1242 {
1243         unsigned short ctrl;
1244
1245         /* Clear TIE (Transmit Interrupt Enable) bit in SCSCR */
1246         ctrl = sci_in(port, SCSCR);
1247
1248         if (port->type == PORT_SCIFA || port->type == PORT_SCIFB)
1249                 ctrl &= ~0x8000;
1250
1251         ctrl &= ~SCSCR_TIE;
1252
1253         sci_out(port, SCSCR, ctrl);
1254 }
1255
1256 static void sci_start_rx(struct uart_port *port)
1257 {
1258         unsigned short ctrl;
1259
1260         ctrl = sci_in(port, SCSCR) | port_rx_irq_mask(port);
1261
1262         if (port->type == PORT_SCIFA || port->type == PORT_SCIFB)
1263                 ctrl &= ~0x4000;
1264
1265         sci_out(port, SCSCR, ctrl);
1266 }
1267
1268 static void sci_stop_rx(struct uart_port *port)
1269 {
1270         unsigned short ctrl;
1271
1272         ctrl = sci_in(port, SCSCR);
1273
1274         if (port->type == PORT_SCIFA || port->type == PORT_SCIFB)
1275                 ctrl &= ~0x4000;
1276
1277         ctrl &= ~port_rx_irq_mask(port);
1278
1279         sci_out(port, SCSCR, ctrl);
1280 }
1281
1282 static void sci_enable_ms(struct uart_port *port)
1283 {
1284         /* Nothing here yet .. */
1285 }
1286
1287 static void sci_break_ctl(struct uart_port *port, int break_state)
1288 {
1289         /* Nothing here yet .. */
1290 }
1291
1292 #ifdef CONFIG_SERIAL_SH_SCI_DMA
1293 static bool filter(struct dma_chan *chan, void *slave)
1294 {
1295         struct sh_dmae_slave *param = slave;
1296
1297         dev_dbg(chan->device->dev, "%s: slave ID %d\n", __func__,
1298                 param->slave_id);
1299
1300         if (param->dma_dev == chan->device->dev) {
1301                 chan->private = param;
1302                 return true;
1303         } else {
1304                 return false;
1305         }
1306 }
1307
1308 static void rx_timer_fn(unsigned long arg)
1309 {
1310         struct sci_port *s = (struct sci_port *)arg;
1311         struct uart_port *port = &s->port;
1312         u16 scr = sci_in(port, SCSCR);
1313
1314         if (port->type == PORT_SCIFA || port->type == PORT_SCIFB) {
1315                 scr &= ~0x4000;
1316                 enable_irq(s->cfg->irqs[1]);
1317         }
1318         sci_out(port, SCSCR, scr | SCSCR_RIE);
1319         dev_dbg(port->dev, "DMA Rx timed out\n");
1320         schedule_work(&s->work_rx);
1321 }
1322
1323 static void sci_request_dma(struct uart_port *port)
1324 {
1325         struct sci_port *s = to_sci_port(port);
1326         struct sh_dmae_slave *param;
1327         struct dma_chan *chan;
1328         dma_cap_mask_t mask;
1329         int nent;
1330
1331         dev_dbg(port->dev, "%s: port %d DMA %p\n", __func__,
1332                 port->line, s->cfg->dma_dev);
1333
1334         if (!s->cfg->dma_dev)
1335                 return;
1336
1337         dma_cap_zero(mask);
1338         dma_cap_set(DMA_SLAVE, mask);
1339
1340         param = &s->param_tx;
1341
1342         /* Slave ID, e.g., SHDMA_SLAVE_SCIF0_TX */
1343         param->slave_id = s->cfg->dma_slave_tx;
1344         param->dma_dev = s->cfg->dma_dev;
1345
1346         s->cookie_tx = -EINVAL;
1347         chan = dma_request_channel(mask, filter, param);
1348         dev_dbg(port->dev, "%s: TX: got channel %p\n", __func__, chan);
1349         if (chan) {
1350                 s->chan_tx = chan;
1351                 sg_init_table(&s->sg_tx, 1);
1352                 /* UART circular tx buffer is an aligned page. */
1353                 BUG_ON((int)port->state->xmit.buf & ~PAGE_MASK);
1354                 sg_set_page(&s->sg_tx, virt_to_page(port->state->xmit.buf),
1355                             UART_XMIT_SIZE, (int)port->state->xmit.buf & ~PAGE_MASK);
1356                 nent = dma_map_sg(port->dev, &s->sg_tx, 1, DMA_TO_DEVICE);
1357                 if (!nent)
1358                         sci_tx_dma_release(s, false);
1359                 else
1360                         dev_dbg(port->dev, "%s: mapped %d@%p to %x\n", __func__,
1361                                 sg_dma_len(&s->sg_tx),
1362                                 port->state->xmit.buf, sg_dma_address(&s->sg_tx));
1363
1364                 s->sg_len_tx = nent;
1365
1366                 INIT_WORK(&s->work_tx, work_fn_tx);
1367         }
1368
1369         param = &s->param_rx;
1370
1371         /* Slave ID, e.g., SHDMA_SLAVE_SCIF0_RX */
1372         param->slave_id = s->cfg->dma_slave_rx;
1373         param->dma_dev = s->cfg->dma_dev;
1374
1375         chan = dma_request_channel(mask, filter, param);
1376         dev_dbg(port->dev, "%s: RX: got channel %p\n", __func__, chan);
1377         if (chan) {
1378                 dma_addr_t dma[2];
1379                 void *buf[2];
1380                 int i;
1381
1382                 s->chan_rx = chan;
1383
1384                 s->buf_len_rx = 2 * max(16, (int)port->fifosize);
1385                 buf[0] = dma_alloc_coherent(port->dev, s->buf_len_rx * 2,
1386                                             &dma[0], GFP_KERNEL);
1387
1388                 if (!buf[0]) {
1389                         dev_warn(port->dev,
1390                                  "failed to allocate dma buffer, using PIO\n");
1391                         sci_rx_dma_release(s, true);
1392                         return;
1393                 }
1394
1395                 buf[1] = buf[0] + s->buf_len_rx;
1396                 dma[1] = dma[0] + s->buf_len_rx;
1397
1398                 for (i = 0; i < 2; i++) {
1399                         struct scatterlist *sg = &s->sg_rx[i];
1400
1401                         sg_init_table(sg, 1);
1402                         sg_set_page(sg, virt_to_page(buf[i]), s->buf_len_rx,
1403                                     (int)buf[i] & ~PAGE_MASK);
1404                         sg_dma_address(sg) = dma[i];
1405                 }
1406
1407                 INIT_WORK(&s->work_rx, work_fn_rx);
1408                 setup_timer(&s->rx_timer, rx_timer_fn, (unsigned long)s);
1409
1410                 sci_submit_rx(s);
1411         }
1412 }
1413
1414 static void sci_free_dma(struct uart_port *port)
1415 {
1416         struct sci_port *s = to_sci_port(port);
1417
1418         if (!s->cfg->dma_dev)
1419                 return;
1420
1421         if (s->chan_tx)
1422                 sci_tx_dma_release(s, false);
1423         if (s->chan_rx)
1424                 sci_rx_dma_release(s, false);
1425 }
1426 #endif
1427
1428 static int sci_startup(struct uart_port *port)
1429 {
1430         struct sci_port *s = to_sci_port(port);
1431
1432         dev_dbg(port->dev, "%s(%d)\n", __func__, port->line);
1433
1434         if (s->enable)
1435                 s->enable(port);
1436
1437         sci_request_irq(s);
1438 #ifdef CONFIG_SERIAL_SH_SCI_DMA
1439         sci_request_dma(port);
1440 #endif
1441         sci_start_tx(port);
1442         sci_start_rx(port);
1443
1444         return 0;
1445 }
1446
1447 static void sci_shutdown(struct uart_port *port)
1448 {
1449         struct sci_port *s = to_sci_port(port);
1450
1451         dev_dbg(port->dev, "%s(%d)\n", __func__, port->line);
1452
1453         sci_stop_rx(port);
1454         sci_stop_tx(port);
1455 #ifdef CONFIG_SERIAL_SH_SCI_DMA
1456         sci_free_dma(port);
1457 #endif
1458         sci_free_irq(s);
1459
1460         if (s->disable)
1461                 s->disable(port);
1462 }
1463
1464 static unsigned int sci_scbrr_calc(unsigned int algo_id, unsigned int bps,
1465                                    unsigned long freq)
1466 {
1467         switch (algo_id) {
1468         case SCBRR_ALGO_1:
1469                 return ((freq + 16 * bps) / (16 * bps) - 1);
1470         case SCBRR_ALGO_2:
1471                 return ((freq + 16 * bps) / (32 * bps) - 1);
1472         case SCBRR_ALGO_3:
1473                 return (((freq * 2) + 16 * bps) / (16 * bps) - 1);
1474         case SCBRR_ALGO_4:
1475                 return (((freq * 2) + 16 * bps) / (32 * bps) - 1);
1476         case SCBRR_ALGO_5:
1477                 return (((freq * 1000 / 32) / bps) - 1);
1478         }
1479
1480         /* Warn, but use a safe default */
1481         WARN_ON(1);
1482         return ((freq + 16 * bps) / (32 * bps) - 1);
1483 }
1484
1485 static void sci_set_termios(struct uart_port *port, struct ktermios *termios,
1486                             struct ktermios *old)
1487 {
1488         struct sci_port *s = to_sci_port(port);
1489         unsigned int status, baud, smr_val, max_baud;
1490         int t = -1;
1491         u16 scfcr = 0;
1492
1493         /*
1494          * earlyprintk comes here early on with port->uartclk set to zero.
1495          * the clock framework is not up and running at this point so here
1496          * we assume that 115200 is the maximum baud rate. please note that
1497          * the baud rate is not programmed during earlyprintk - it is assumed
1498          * that the previous boot loader has enabled required clocks and
1499          * setup the baud rate generator hardware for us already.
1500          */
1501         max_baud = port->uartclk ? port->uartclk / 16 : 115200;
1502
1503         baud = uart_get_baud_rate(port, termios, old, 0, max_baud);
1504         if (likely(baud && port->uartclk))
1505                 t = sci_scbrr_calc(s->cfg->scbrr_algo_id, baud, port->uartclk);
1506
1507         do {
1508                 status = sci_in(port, SCxSR);
1509         } while (!(status & SCxSR_TEND(port)));
1510
1511         sci_out(port, SCSCR, 0x00);     /* TE=0, RE=0, CKE1=0 */
1512
1513         if (port->type != PORT_SCI)
1514                 sci_out(port, SCFCR, scfcr | SCFCR_RFRST | SCFCR_TFRST);
1515
1516         smr_val = sci_in(port, SCSMR) & 3;
1517         if ((termios->c_cflag & CSIZE) == CS7)
1518                 smr_val |= 0x40;
1519         if (termios->c_cflag & PARENB)
1520                 smr_val |= 0x20;
1521         if (termios->c_cflag & PARODD)
1522                 smr_val |= 0x30;
1523         if (termios->c_cflag & CSTOPB)
1524                 smr_val |= 0x08;
1525
1526         uart_update_timeout(port, termios->c_cflag, baud);
1527
1528         sci_out(port, SCSMR, smr_val);
1529
1530         dev_dbg(port->dev, "%s: SMR %x, t %x, SCSCR %x\n", __func__, smr_val, t,
1531                 s->cfg->scscr);
1532
1533         if (t > 0) {
1534                 if (t >= 256) {
1535                         sci_out(port, SCSMR, (sci_in(port, SCSMR) & ~3) | 1);
1536                         t >>= 2;
1537                 } else
1538                         sci_out(port, SCSMR, sci_in(port, SCSMR) & ~3);
1539
1540                 sci_out(port, SCBRR, t);
1541                 udelay((1000000+(baud-1)) / baud); /* Wait one bit interval */
1542         }
1543
1544         sci_init_pins(port, termios->c_cflag);
1545         sci_out(port, SCFCR, scfcr | ((termios->c_cflag & CRTSCTS) ? SCFCR_MCE : 0));
1546
1547         sci_out(port, SCSCR, s->cfg->scscr);
1548
1549 #ifdef CONFIG_SERIAL_SH_SCI_DMA
1550         /*
1551          * Calculate delay for 1.5 DMA buffers: see
1552          * drivers/serial/serial_core.c::uart_update_timeout(). With 10 bits
1553          * (CS8), 250Hz, 115200 baud and 64 bytes FIFO, the above function
1554          * calculates 1 jiffie for the data plus 5 jiffies for the "slop(e)."
1555          * Then below we calculate 3 jiffies (12ms) for 1.5 DMA buffers (3 FIFO
1556          * sizes), but it has been found out experimentally, that this is not
1557          * enough: the driver too often needlessly runs on a DMA timeout. 20ms
1558          * as a minimum seem to work perfectly.
1559          */
1560         if (s->chan_rx) {
1561                 s->rx_timeout = (port->timeout - HZ / 50) * s->buf_len_rx * 3 /
1562                         port->fifosize / 2;
1563                 dev_dbg(port->dev,
1564                         "DMA Rx t-out %ums, tty t-out %u jiffies\n",
1565                         s->rx_timeout * 1000 / HZ, port->timeout);
1566                 if (s->rx_timeout < msecs_to_jiffies(20))
1567                         s->rx_timeout = msecs_to_jiffies(20);
1568         }
1569 #endif
1570
1571         if ((termios->c_cflag & CREAD) != 0)
1572                 sci_start_rx(port);
1573 }
1574
1575 static const char *sci_type(struct uart_port *port)
1576 {
1577         switch (port->type) {
1578         case PORT_IRDA:
1579                 return "irda";
1580         case PORT_SCI:
1581                 return "sci";
1582         case PORT_SCIF:
1583                 return "scif";
1584         case PORT_SCIFA:
1585                 return "scifa";
1586         case PORT_SCIFB:
1587                 return "scifb";
1588         }
1589
1590         return NULL;
1591 }
1592
1593 static void sci_release_port(struct uart_port *port)
1594 {
1595         /* Nothing here yet .. */
1596 }
1597
1598 static int sci_request_port(struct uart_port *port)
1599 {
1600         /* Nothing here yet .. */
1601         return 0;
1602 }
1603
1604 static void sci_config_port(struct uart_port *port, int flags)
1605 {
1606         struct sci_port *s = to_sci_port(port);
1607
1608         port->type = s->cfg->type;
1609
1610         if (port->flags & UPF_IOREMAP) {
1611                 port->membase = ioremap_nocache(port->mapbase, 0x40);
1612
1613                 if (IS_ERR(port->membase))
1614                         dev_err(port->dev, "can't remap port#%d\n", port->line);
1615         } else {
1616                 /*
1617                  * For the simple (and majority of) cases where we don't
1618                  * need to do any remapping, just cast the cookie
1619                  * directly.
1620                  */
1621                 port->membase = (void __iomem *)port->mapbase;
1622         }
1623 }
1624
1625 static int sci_verify_port(struct uart_port *port, struct serial_struct *ser)
1626 {
1627         struct sci_port *s = to_sci_port(port);
1628
1629         if (ser->irq != s->cfg->irqs[SCIx_TXI_IRQ] || ser->irq > nr_irqs)
1630                 return -EINVAL;
1631         if (ser->baud_base < 2400)
1632                 /* No paper tape reader for Mitch.. */
1633                 return -EINVAL;
1634
1635         return 0;
1636 }
1637
1638 static struct uart_ops sci_uart_ops = {
1639         .tx_empty       = sci_tx_empty,
1640         .set_mctrl      = sci_set_mctrl,
1641         .get_mctrl      = sci_get_mctrl,
1642         .start_tx       = sci_start_tx,
1643         .stop_tx        = sci_stop_tx,
1644         .stop_rx        = sci_stop_rx,
1645         .enable_ms      = sci_enable_ms,
1646         .break_ctl      = sci_break_ctl,
1647         .startup        = sci_startup,
1648         .shutdown       = sci_shutdown,
1649         .set_termios    = sci_set_termios,
1650         .type           = sci_type,
1651         .release_port   = sci_release_port,
1652         .request_port   = sci_request_port,
1653         .config_port    = sci_config_port,
1654         .verify_port    = sci_verify_port,
1655 #ifdef CONFIG_CONSOLE_POLL
1656         .poll_get_char  = sci_poll_get_char,
1657         .poll_put_char  = sci_poll_put_char,
1658 #endif
1659 };
1660
1661 static int __devinit sci_init_single(struct platform_device *dev,
1662                                      struct sci_port *sci_port,
1663                                      unsigned int index,
1664                                      struct plat_sci_port *p)
1665 {
1666         struct uart_port *port = &sci_port->port;
1667
1668         port->ops       = &sci_uart_ops;
1669         port->iotype    = UPIO_MEM;
1670         port->line      = index;
1671
1672         switch (p->type) {
1673         case PORT_SCIFB:
1674                 port->fifosize = 256;
1675                 break;
1676         case PORT_SCIFA:
1677                 port->fifosize = 64;
1678                 break;
1679         case PORT_SCIF:
1680                 port->fifosize = 16;
1681                 break;
1682         default:
1683                 port->fifosize = 1;
1684                 break;
1685         }
1686
1687         if (dev) {
1688                 sci_port->iclk = clk_get(&dev->dev, "sci_ick");
1689                 if (IS_ERR(sci_port->iclk)) {
1690                         sci_port->iclk = clk_get(&dev->dev, "peripheral_clk");
1691                         if (IS_ERR(sci_port->iclk)) {
1692                                 dev_err(&dev->dev, "can't get iclk\n");
1693                                 return PTR_ERR(sci_port->iclk);
1694                         }
1695                 }
1696
1697                 /*
1698                  * The function clock is optional, ignore it if we can't
1699                  * find it.
1700                  */
1701                 sci_port->fclk = clk_get(&dev->dev, "sci_fck");
1702                 if (IS_ERR(sci_port->fclk))
1703                         sci_port->fclk = NULL;
1704
1705                 sci_port->enable = sci_clk_enable;
1706                 sci_port->disable = sci_clk_disable;
1707                 port->dev = &dev->dev;
1708         }
1709
1710         sci_port->break_timer.data = (unsigned long)sci_port;
1711         sci_port->break_timer.function = sci_break_timer;
1712         init_timer(&sci_port->break_timer);
1713
1714         sci_port->cfg           = p;
1715
1716         port->mapbase           = p->mapbase;
1717         port->type              = p->type;
1718         port->flags             = p->flags;
1719
1720         /*
1721          * The UART port needs an IRQ value, so we peg this to the TX IRQ
1722          * for the multi-IRQ ports, which is where we are primarily
1723          * concerned with the shutdown path synchronization.
1724          *
1725          * For the muxed case there's nothing more to do.
1726          */
1727         port->irq               = p->irqs[SCIx_TXI_IRQ];
1728
1729 #ifdef CONFIG_SERIAL_SH_SCI_DMA
1730         if (p->dma_dev)
1731                 dev_dbg(port->dev, "DMA device %p, tx %d, rx %d\n",
1732                         p->dma_dev, p->dma_slave_tx, p->dma_slave_rx);
1733 #endif
1734
1735         return 0;
1736 }
1737
1738 #ifdef CONFIG_SERIAL_SH_SCI_CONSOLE
1739 static struct tty_driver *serial_console_device(struct console *co, int *index)
1740 {
1741         struct uart_driver *p = &sci_uart_driver;
1742         *index = co->index;
1743         return p->tty_driver;
1744 }
1745
1746 static void serial_console_putchar(struct uart_port *port, int ch)
1747 {
1748         sci_poll_put_char(port, ch);
1749 }
1750
1751 /*
1752  *      Print a string to the serial port trying not to disturb
1753  *      any possible real use of the port...
1754  */
1755 static void serial_console_write(struct console *co, const char *s,
1756                                  unsigned count)
1757 {
1758         struct uart_port *port = co->data;
1759         struct sci_port *sci_port = to_sci_port(port);
1760         unsigned short bits;
1761
1762         if (sci_port->enable)
1763                 sci_port->enable(port);
1764
1765         uart_console_write(port, s, count, serial_console_putchar);
1766
1767         /* wait until fifo is empty and last bit has been transmitted */
1768         bits = SCxSR_TDxE(port) | SCxSR_TEND(port);
1769         while ((sci_in(port, SCxSR) & bits) != bits)
1770                 cpu_relax();
1771
1772         if (sci_port->disable)
1773                 sci_port->disable(port);
1774 }
1775
1776 static int __devinit serial_console_setup(struct console *co, char *options)
1777 {
1778         struct sci_port *sci_port;
1779         struct uart_port *port;
1780         int baud = 115200;
1781         int bits = 8;
1782         int parity = 'n';
1783         int flow = 'n';
1784         int ret;
1785
1786         /*
1787          * Check whether an invalid uart number has been specified, and
1788          * if so, search for the first available port that does have
1789          * console support.
1790          */
1791         if (co->index >= SCI_NPORTS)
1792                 co->index = 0;
1793
1794         if (co->data) {
1795                 port = co->data;
1796                 sci_port = to_sci_port(port);
1797         } else {
1798                 sci_port = &sci_ports[co->index];
1799                 port = &sci_port->port;
1800                 co->data = port;
1801         }
1802
1803         /*
1804          * Also need to check port->type, we don't actually have any
1805          * UPIO_PORT ports, but uart_report_port() handily misreports
1806          * it anyways if we don't have a port available by the time this is
1807          * called.
1808          */
1809         if (!port->type)
1810                 return -ENODEV;
1811
1812         sci_config_port(port, 0);
1813
1814         if (sci_port->enable)
1815                 sci_port->enable(port);
1816
1817         if (options)
1818                 uart_parse_options(options, &baud, &parity, &bits, &flow);
1819
1820         ret = uart_set_options(port, co, baud, parity, bits, flow);
1821 #if defined(__H8300H__) || defined(__H8300S__)
1822         /* disable rx interrupt */
1823         if (ret == 0)
1824                 sci_stop_rx(port);
1825 #endif
1826         /* TODO: disable clock */
1827         return ret;
1828 }
1829
1830 static struct console serial_console = {
1831         .name           = "ttySC",
1832         .device         = serial_console_device,
1833         .write          = serial_console_write,
1834         .setup          = serial_console_setup,
1835         .flags          = CON_PRINTBUFFER,
1836         .index          = -1,
1837 };
1838
1839 static int __init sci_console_init(void)
1840 {
1841         register_console(&serial_console);
1842         return 0;
1843 }
1844 console_initcall(sci_console_init);
1845
1846 static struct sci_port early_serial_port;
1847 static struct console early_serial_console = {
1848         .name           = "early_ttySC",
1849         .write          = serial_console_write,
1850         .flags          = CON_PRINTBUFFER,
1851 };
1852 static char early_serial_buf[32];
1853
1854 #endif /* CONFIG_SERIAL_SH_SCI_CONSOLE */
1855
1856 #if defined(CONFIG_SERIAL_SH_SCI_CONSOLE)
1857 #define SCI_CONSOLE     (&serial_console)
1858 #else
1859 #define SCI_CONSOLE     0
1860 #endif
1861
1862 static char banner[] __initdata =
1863         KERN_INFO "SuperH SCI(F) driver initialized\n";
1864
1865 static struct uart_driver sci_uart_driver = {
1866         .owner          = THIS_MODULE,
1867         .driver_name    = "sci",
1868         .dev_name       = "ttySC",
1869         .major          = SCI_MAJOR,
1870         .minor          = SCI_MINOR_START,
1871         .nr             = SCI_NPORTS,
1872         .cons           = SCI_CONSOLE,
1873 };
1874
1875
1876 static int sci_remove(struct platform_device *dev)
1877 {
1878         struct sh_sci_priv *priv = platform_get_drvdata(dev);
1879         struct sci_port *p;
1880         unsigned long flags;
1881
1882         cpufreq_unregister_notifier(&priv->clk_nb, CPUFREQ_TRANSITION_NOTIFIER);
1883
1884         spin_lock_irqsave(&priv->lock, flags);
1885         list_for_each_entry(p, &priv->ports, node) {
1886                 uart_remove_one_port(&sci_uart_driver, &p->port);
1887                 clk_put(p->iclk);
1888                 clk_put(p->fclk);
1889         }
1890         spin_unlock_irqrestore(&priv->lock, flags);
1891
1892         kfree(priv);
1893         return 0;
1894 }
1895
1896 static int __devinit sci_probe_single(struct platform_device *dev,
1897                                       unsigned int index,
1898                                       struct plat_sci_port *p,
1899                                       struct sci_port *sciport)
1900 {
1901         struct sh_sci_priv *priv = platform_get_drvdata(dev);
1902         unsigned long flags;
1903         int ret;
1904
1905         /* Sanity check */
1906         if (unlikely(index >= SCI_NPORTS)) {
1907                 dev_notice(&dev->dev, "Attempting to register port "
1908                            "%d when only %d are available.\n",
1909                            index+1, SCI_NPORTS);
1910                 dev_notice(&dev->dev, "Consider bumping "
1911                            "CONFIG_SERIAL_SH_SCI_NR_UARTS!\n");
1912                 return 0;
1913         }
1914
1915         ret = sci_init_single(dev, sciport, index, p);
1916         if (ret)
1917                 return ret;
1918
1919         ret = uart_add_one_port(&sci_uart_driver, &sciport->port);
1920         if (ret)
1921                 return ret;
1922
1923         INIT_LIST_HEAD(&sciport->node);
1924
1925         spin_lock_irqsave(&priv->lock, flags);
1926         list_add(&sciport->node, &priv->ports);
1927         spin_unlock_irqrestore(&priv->lock, flags);
1928
1929         return 0;
1930 }
1931
1932 /*
1933  * Register a set of serial devices attached to a platform device.  The
1934  * list is terminated with a zero flags entry, which means we expect
1935  * all entries to have at least UPF_BOOT_AUTOCONF set. Platforms that need
1936  * remapping (such as sh64) should also set UPF_IOREMAP.
1937  */
1938 static int __devinit sci_probe(struct platform_device *dev)
1939 {
1940         struct plat_sci_port *p = dev->dev.platform_data;
1941         struct sh_sci_priv *priv;
1942         int i, ret = -EINVAL;
1943
1944 #ifdef CONFIG_SERIAL_SH_SCI_CONSOLE
1945         if (is_early_platform_device(dev)) {
1946                 if (dev->id == -1)
1947                         return -ENOTSUPP;
1948                 early_serial_console.index = dev->id;
1949                 early_serial_console.data = &early_serial_port.port;
1950                 sci_init_single(NULL, &early_serial_port, dev->id, p);
1951                 serial_console_setup(&early_serial_console, early_serial_buf);
1952                 if (!strstr(early_serial_buf, "keep"))
1953                         early_serial_console.flags |= CON_BOOT;
1954                 register_console(&early_serial_console);
1955                 return 0;
1956         }
1957 #endif
1958
1959         priv = kzalloc(sizeof(*priv), GFP_KERNEL);
1960         if (!priv)
1961                 return -ENOMEM;
1962
1963         INIT_LIST_HEAD(&priv->ports);
1964         spin_lock_init(&priv->lock);
1965         platform_set_drvdata(dev, priv);
1966
1967         priv->clk_nb.notifier_call = sci_notifier;
1968         cpufreq_register_notifier(&priv->clk_nb, CPUFREQ_TRANSITION_NOTIFIER);
1969
1970         if (dev->id != -1) {
1971                 ret = sci_probe_single(dev, dev->id, p, &sci_ports[dev->id]);
1972                 if (ret)
1973                         goto err_unreg;
1974         } else {
1975                 for (i = 0; p && p->flags != 0; p++, i++) {
1976                         ret = sci_probe_single(dev, i, p, &sci_ports[i]);
1977                         if (ret)
1978                                 goto err_unreg;
1979                 }
1980         }
1981
1982 #ifdef CONFIG_SH_STANDARD_BIOS
1983         sh_bios_gdb_detach();
1984 #endif
1985
1986         return 0;
1987
1988 err_unreg:
1989         sci_remove(dev);
1990         return ret;
1991 }
1992
1993 static int sci_suspend(struct device *dev)
1994 {
1995         struct sh_sci_priv *priv = dev_get_drvdata(dev);
1996         struct sci_port *p;
1997         unsigned long flags;
1998
1999         spin_lock_irqsave(&priv->lock, flags);
2000         list_for_each_entry(p, &priv->ports, node)
2001                 uart_suspend_port(&sci_uart_driver, &p->port);
2002         spin_unlock_irqrestore(&priv->lock, flags);
2003
2004         return 0;
2005 }
2006
2007 static int sci_resume(struct device *dev)
2008 {
2009         struct sh_sci_priv *priv = dev_get_drvdata(dev);
2010         struct sci_port *p;
2011         unsigned long flags;
2012
2013         spin_lock_irqsave(&priv->lock, flags);
2014         list_for_each_entry(p, &priv->ports, node)
2015                 uart_resume_port(&sci_uart_driver, &p->port);
2016         spin_unlock_irqrestore(&priv->lock, flags);
2017
2018         return 0;
2019 }
2020
2021 static const struct dev_pm_ops sci_dev_pm_ops = {
2022         .suspend        = sci_suspend,
2023         .resume         = sci_resume,
2024 };
2025
2026 static struct platform_driver sci_driver = {
2027         .probe          = sci_probe,
2028         .remove         = sci_remove,
2029         .driver         = {
2030                 .name   = "sh-sci",
2031                 .owner  = THIS_MODULE,
2032                 .pm     = &sci_dev_pm_ops,
2033         },
2034 };
2035
2036 static int __init sci_init(void)
2037 {
2038         int ret;
2039
2040         printk(banner);
2041
2042         ret = uart_register_driver(&sci_uart_driver);
2043         if (likely(ret == 0)) {
2044                 ret = platform_driver_register(&sci_driver);
2045                 if (unlikely(ret))
2046                         uart_unregister_driver(&sci_uart_driver);
2047         }
2048
2049         return ret;
2050 }
2051
2052 static void __exit sci_exit(void)
2053 {
2054         platform_driver_unregister(&sci_driver);
2055         uart_unregister_driver(&sci_uart_driver);
2056 }
2057
2058 #ifdef CONFIG_SERIAL_SH_SCI_CONSOLE
2059 early_platform_init_buffer("earlyprintk", &sci_driver,
2060                            early_serial_buf, ARRAY_SIZE(early_serial_buf));
2061 #endif
2062 module_init(sci_init);
2063 module_exit(sci_exit);
2064
2065 MODULE_LICENSE("GPL");
2066 MODULE_ALIAS("platform:sh-sci");