bb794c7845971106963ef5686815dcf6ce7c2cc8
[~shefty/rdma-dev.git] / drivers / mmc / core / core.c
1 /*
2  *  linux/drivers/mmc/core/core.c
3  *
4  *  Copyright (C) 2003-2004 Russell King, All Rights Reserved.
5  *  SD support Copyright (C) 2004 Ian Molton, All Rights Reserved.
6  *  Copyright (C) 2005-2008 Pierre Ossman, All Rights Reserved.
7  *  MMCv4 support Copyright (C) 2006 Philip Langdale, All Rights Reserved.
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License version 2 as
11  * published by the Free Software Foundation.
12  */
13 #include <linux/module.h>
14 #include <linux/init.h>
15 #include <linux/interrupt.h>
16 #include <linux/completion.h>
17 #include <linux/device.h>
18 #include <linux/delay.h>
19 #include <linux/pagemap.h>
20 #include <linux/err.h>
21 #include <linux/leds.h>
22 #include <linux/scatterlist.h>
23 #include <linux/log2.h>
24 #include <linux/regulator/consumer.h>
25 #include <linux/pm_runtime.h>
26 #include <linux/suspend.h>
27 #include <linux/fault-inject.h>
28 #include <linux/random.h>
29 #include <linux/slab.h>
30
31 #include <linux/mmc/card.h>
32 #include <linux/mmc/host.h>
33 #include <linux/mmc/mmc.h>
34 #include <linux/mmc/sd.h>
35
36 #include "core.h"
37 #include "bus.h"
38 #include "host.h"
39 #include "sdio_bus.h"
40
41 #include "mmc_ops.h"
42 #include "sd_ops.h"
43 #include "sdio_ops.h"
44
45 /* If the device is not responding */
46 #define MMC_CORE_TIMEOUT_MS     (10 * 60 * 1000) /* 10 minute timeout */
47
48 /*
49  * Background operations can take a long time, depending on the housekeeping
50  * operations the card has to perform.
51  */
52 #define MMC_BKOPS_MAX_TIMEOUT   (4 * 60 * 1000) /* max time to wait in ms */
53
54 static struct workqueue_struct *workqueue;
55 static const unsigned freqs[] = { 400000, 300000, 200000, 100000 };
56
57 /*
58  * Enabling software CRCs on the data blocks can be a significant (30%)
59  * performance cost, and for other reasons may not always be desired.
60  * So we allow it it to be disabled.
61  */
62 bool use_spi_crc = 1;
63 module_param(use_spi_crc, bool, 0);
64
65 /*
66  * We normally treat cards as removed during suspend if they are not
67  * known to be on a non-removable bus, to avoid the risk of writing
68  * back data to a different card after resume.  Allow this to be
69  * overridden if necessary.
70  */
71 #ifdef CONFIG_MMC_UNSAFE_RESUME
72 bool mmc_assume_removable;
73 #else
74 bool mmc_assume_removable = 1;
75 #endif
76 EXPORT_SYMBOL(mmc_assume_removable);
77 module_param_named(removable, mmc_assume_removable, bool, 0644);
78 MODULE_PARM_DESC(
79         removable,
80         "MMC/SD cards are removable and may be removed during suspend");
81
82 /*
83  * Internal function. Schedule delayed work in the MMC work queue.
84  */
85 static int mmc_schedule_delayed_work(struct delayed_work *work,
86                                      unsigned long delay)
87 {
88         return queue_delayed_work(workqueue, work, delay);
89 }
90
91 /*
92  * Internal function. Flush all scheduled work from the MMC work queue.
93  */
94 static void mmc_flush_scheduled_work(void)
95 {
96         flush_workqueue(workqueue);
97 }
98
99 #ifdef CONFIG_FAIL_MMC_REQUEST
100
101 /*
102  * Internal function. Inject random data errors.
103  * If mmc_data is NULL no errors are injected.
104  */
105 static void mmc_should_fail_request(struct mmc_host *host,
106                                     struct mmc_request *mrq)
107 {
108         struct mmc_command *cmd = mrq->cmd;
109         struct mmc_data *data = mrq->data;
110         static const int data_errors[] = {
111                 -ETIMEDOUT,
112                 -EILSEQ,
113                 -EIO,
114         };
115
116         if (!data)
117                 return;
118
119         if (cmd->error || data->error ||
120             !should_fail(&host->fail_mmc_request, data->blksz * data->blocks))
121                 return;
122
123         data->error = data_errors[random32() % ARRAY_SIZE(data_errors)];
124         data->bytes_xfered = (random32() % (data->bytes_xfered >> 9)) << 9;
125 }
126
127 #else /* CONFIG_FAIL_MMC_REQUEST */
128
129 static inline void mmc_should_fail_request(struct mmc_host *host,
130                                            struct mmc_request *mrq)
131 {
132 }
133
134 #endif /* CONFIG_FAIL_MMC_REQUEST */
135
136 /**
137  *      mmc_request_done - finish processing an MMC request
138  *      @host: MMC host which completed request
139  *      @mrq: MMC request which request
140  *
141  *      MMC drivers should call this function when they have completed
142  *      their processing of a request.
143  */
144 void mmc_request_done(struct mmc_host *host, struct mmc_request *mrq)
145 {
146         struct mmc_command *cmd = mrq->cmd;
147         int err = cmd->error;
148
149         if (err && cmd->retries && mmc_host_is_spi(host)) {
150                 if (cmd->resp[0] & R1_SPI_ILLEGAL_COMMAND)
151                         cmd->retries = 0;
152         }
153
154         if (err && cmd->retries && !mmc_card_removed(host->card)) {
155                 /*
156                  * Request starter must handle retries - see
157                  * mmc_wait_for_req_done().
158                  */
159                 if (mrq->done)
160                         mrq->done(mrq);
161         } else {
162                 mmc_should_fail_request(host, mrq);
163
164                 led_trigger_event(host->led, LED_OFF);
165
166                 pr_debug("%s: req done (CMD%u): %d: %08x %08x %08x %08x\n",
167                         mmc_hostname(host), cmd->opcode, err,
168                         cmd->resp[0], cmd->resp[1],
169                         cmd->resp[2], cmd->resp[3]);
170
171                 if (mrq->data) {
172                         pr_debug("%s:     %d bytes transferred: %d\n",
173                                 mmc_hostname(host),
174                                 mrq->data->bytes_xfered, mrq->data->error);
175                 }
176
177                 if (mrq->stop) {
178                         pr_debug("%s:     (CMD%u): %d: %08x %08x %08x %08x\n",
179                                 mmc_hostname(host), mrq->stop->opcode,
180                                 mrq->stop->error,
181                                 mrq->stop->resp[0], mrq->stop->resp[1],
182                                 mrq->stop->resp[2], mrq->stop->resp[3]);
183                 }
184
185                 if (mrq->done)
186                         mrq->done(mrq);
187
188                 mmc_host_clk_release(host);
189         }
190 }
191
192 EXPORT_SYMBOL(mmc_request_done);
193
194 static void
195 mmc_start_request(struct mmc_host *host, struct mmc_request *mrq)
196 {
197 #ifdef CONFIG_MMC_DEBUG
198         unsigned int i, sz;
199         struct scatterlist *sg;
200 #endif
201
202         if (mrq->sbc) {
203                 pr_debug("<%s: starting CMD%u arg %08x flags %08x>\n",
204                          mmc_hostname(host), mrq->sbc->opcode,
205                          mrq->sbc->arg, mrq->sbc->flags);
206         }
207
208         pr_debug("%s: starting CMD%u arg %08x flags %08x\n",
209                  mmc_hostname(host), mrq->cmd->opcode,
210                  mrq->cmd->arg, mrq->cmd->flags);
211
212         if (mrq->data) {
213                 pr_debug("%s:     blksz %d blocks %d flags %08x "
214                         "tsac %d ms nsac %d\n",
215                         mmc_hostname(host), mrq->data->blksz,
216                         mrq->data->blocks, mrq->data->flags,
217                         mrq->data->timeout_ns / 1000000,
218                         mrq->data->timeout_clks);
219         }
220
221         if (mrq->stop) {
222                 pr_debug("%s:     CMD%u arg %08x flags %08x\n",
223                          mmc_hostname(host), mrq->stop->opcode,
224                          mrq->stop->arg, mrq->stop->flags);
225         }
226
227         WARN_ON(!host->claimed);
228
229         mrq->cmd->error = 0;
230         mrq->cmd->mrq = mrq;
231         if (mrq->data) {
232                 BUG_ON(mrq->data->blksz > host->max_blk_size);
233                 BUG_ON(mrq->data->blocks > host->max_blk_count);
234                 BUG_ON(mrq->data->blocks * mrq->data->blksz >
235                         host->max_req_size);
236
237 #ifdef CONFIG_MMC_DEBUG
238                 sz = 0;
239                 for_each_sg(mrq->data->sg, sg, mrq->data->sg_len, i)
240                         sz += sg->length;
241                 BUG_ON(sz != mrq->data->blocks * mrq->data->blksz);
242 #endif
243
244                 mrq->cmd->data = mrq->data;
245                 mrq->data->error = 0;
246                 mrq->data->mrq = mrq;
247                 if (mrq->stop) {
248                         mrq->data->stop = mrq->stop;
249                         mrq->stop->error = 0;
250                         mrq->stop->mrq = mrq;
251                 }
252         }
253         mmc_host_clk_hold(host);
254         led_trigger_event(host->led, LED_FULL);
255         host->ops->request(host, mrq);
256 }
257
258 /**
259  *      mmc_start_bkops - start BKOPS for supported cards
260  *      @card: MMC card to start BKOPS
261  *      @form_exception: A flag to indicate if this function was
262  *                       called due to an exception raised by the card
263  *
264  *      Start background operations whenever requested.
265  *      When the urgent BKOPS bit is set in a R1 command response
266  *      then background operations should be started immediately.
267 */
268 void mmc_start_bkops(struct mmc_card *card, bool from_exception)
269 {
270         int err;
271         int timeout;
272         bool use_busy_signal;
273
274         BUG_ON(!card);
275
276         if (!card->ext_csd.bkops_en || mmc_card_doing_bkops(card))
277                 return;
278
279         err = mmc_read_bkops_status(card);
280         if (err) {
281                 pr_err("%s: Failed to read bkops status: %d\n",
282                        mmc_hostname(card->host), err);
283                 return;
284         }
285
286         if (!card->ext_csd.raw_bkops_status)
287                 return;
288
289         if (card->ext_csd.raw_bkops_status < EXT_CSD_BKOPS_LEVEL_2 &&
290             from_exception)
291                 return;
292
293         mmc_claim_host(card->host);
294         if (card->ext_csd.raw_bkops_status >= EXT_CSD_BKOPS_LEVEL_2) {
295                 timeout = MMC_BKOPS_MAX_TIMEOUT;
296                 use_busy_signal = true;
297         } else {
298                 timeout = 0;
299                 use_busy_signal = false;
300         }
301
302         err = __mmc_switch(card, EXT_CSD_CMD_SET_NORMAL,
303                         EXT_CSD_BKOPS_START, 1, timeout, use_busy_signal);
304         if (err) {
305                 pr_warn("%s: Error %d starting bkops\n",
306                         mmc_hostname(card->host), err);
307                 goto out;
308         }
309
310         /*
311          * For urgent bkops status (LEVEL_2 and more)
312          * bkops executed synchronously, otherwise
313          * the operation is in progress
314          */
315         if (!use_busy_signal)
316                 mmc_card_set_doing_bkops(card);
317 out:
318         mmc_release_host(card->host);
319 }
320 EXPORT_SYMBOL(mmc_start_bkops);
321
322 /*
323  * mmc_wait_data_done() - done callback for data request
324  * @mrq: done data request
325  *
326  * Wakes up mmc context, passed as a callback to host controller driver
327  */
328 static void mmc_wait_data_done(struct mmc_request *mrq)
329 {
330         mrq->host->context_info.is_done_rcv = true;
331         wake_up_interruptible(&mrq->host->context_info.wait);
332 }
333
334 static void mmc_wait_done(struct mmc_request *mrq)
335 {
336         complete(&mrq->completion);
337 }
338
339 /*
340  *__mmc_start_data_req() - starts data request
341  * @host: MMC host to start the request
342  * @mrq: data request to start
343  *
344  * Sets the done callback to be called when request is completed by the card.
345  * Starts data mmc request execution
346  */
347 static int __mmc_start_data_req(struct mmc_host *host, struct mmc_request *mrq)
348 {
349         mrq->done = mmc_wait_data_done;
350         mrq->host = host;
351         if (mmc_card_removed(host->card)) {
352                 mrq->cmd->error = -ENOMEDIUM;
353                 return -ENOMEDIUM;
354         }
355         mmc_start_request(host, mrq);
356
357         return 0;
358 }
359
360 static int __mmc_start_req(struct mmc_host *host, struct mmc_request *mrq)
361 {
362         init_completion(&mrq->completion);
363         mrq->done = mmc_wait_done;
364         if (mmc_card_removed(host->card)) {
365                 mrq->cmd->error = -ENOMEDIUM;
366                 complete(&mrq->completion);
367                 return -ENOMEDIUM;
368         }
369         mmc_start_request(host, mrq);
370         return 0;
371 }
372
373 /*
374  * mmc_wait_for_data_req_done() - wait for request completed
375  * @host: MMC host to prepare the command.
376  * @mrq: MMC request to wait for
377  *
378  * Blocks MMC context till host controller will ack end of data request
379  * execution or new request notification arrives from the block layer.
380  * Handles command retries.
381  *
382  * Returns enum mmc_blk_status after checking errors.
383  */
384 static int mmc_wait_for_data_req_done(struct mmc_host *host,
385                                       struct mmc_request *mrq,
386                                       struct mmc_async_req *next_req)
387 {
388         struct mmc_command *cmd;
389         struct mmc_context_info *context_info = &host->context_info;
390         int err;
391         unsigned long flags;
392
393         while (1) {
394                 wait_event_interruptible(context_info->wait,
395                                 (context_info->is_done_rcv ||
396                                  context_info->is_new_req));
397                 spin_lock_irqsave(&context_info->lock, flags);
398                 context_info->is_waiting_last_req = false;
399                 spin_unlock_irqrestore(&context_info->lock, flags);
400                 if (context_info->is_done_rcv) {
401                         context_info->is_done_rcv = false;
402                         context_info->is_new_req = false;
403                         cmd = mrq->cmd;
404                         if (!cmd->error || !cmd->retries ||
405                             mmc_card_removed(host->card)) {
406                                 err = host->areq->err_check(host->card,
407                                                             host->areq);
408                                 break; /* return err */
409                         } else {
410                                 pr_info("%s: req failed (CMD%u): %d, retrying...\n",
411                                         mmc_hostname(host),
412                                         cmd->opcode, cmd->error);
413                                 cmd->retries--;
414                                 cmd->error = 0;
415                                 host->ops->request(host, mrq);
416                                 continue; /* wait for done/new event again */
417                         }
418                 } else if (context_info->is_new_req) {
419                         context_info->is_new_req = false;
420                         if (!next_req) {
421                                 err = MMC_BLK_NEW_REQUEST;
422                                 break; /* return err */
423                         }
424                 }
425         }
426         return err;
427 }
428
429 static void mmc_wait_for_req_done(struct mmc_host *host,
430                                   struct mmc_request *mrq)
431 {
432         struct mmc_command *cmd;
433
434         while (1) {
435                 wait_for_completion(&mrq->completion);
436
437                 cmd = mrq->cmd;
438                 if (!cmd->error || !cmd->retries ||
439                     mmc_card_removed(host->card))
440                         break;
441
442                 pr_debug("%s: req failed (CMD%u): %d, retrying...\n",
443                          mmc_hostname(host), cmd->opcode, cmd->error);
444                 cmd->retries--;
445                 cmd->error = 0;
446                 host->ops->request(host, mrq);
447         }
448 }
449
450 /**
451  *      mmc_pre_req - Prepare for a new request
452  *      @host: MMC host to prepare command
453  *      @mrq: MMC request to prepare for
454  *      @is_first_req: true if there is no previous started request
455  *                     that may run in parellel to this call, otherwise false
456  *
457  *      mmc_pre_req() is called in prior to mmc_start_req() to let
458  *      host prepare for the new request. Preparation of a request may be
459  *      performed while another request is running on the host.
460  */
461 static void mmc_pre_req(struct mmc_host *host, struct mmc_request *mrq,
462                  bool is_first_req)
463 {
464         if (host->ops->pre_req) {
465                 mmc_host_clk_hold(host);
466                 host->ops->pre_req(host, mrq, is_first_req);
467                 mmc_host_clk_release(host);
468         }
469 }
470
471 /**
472  *      mmc_post_req - Post process a completed request
473  *      @host: MMC host to post process command
474  *      @mrq: MMC request to post process for
475  *      @err: Error, if non zero, clean up any resources made in pre_req
476  *
477  *      Let the host post process a completed request. Post processing of
478  *      a request may be performed while another reuqest is running.
479  */
480 static void mmc_post_req(struct mmc_host *host, struct mmc_request *mrq,
481                          int err)
482 {
483         if (host->ops->post_req) {
484                 mmc_host_clk_hold(host);
485                 host->ops->post_req(host, mrq, err);
486                 mmc_host_clk_release(host);
487         }
488 }
489
490 /**
491  *      mmc_start_req - start a non-blocking request
492  *      @host: MMC host to start command
493  *      @areq: async request to start
494  *      @error: out parameter returns 0 for success, otherwise non zero
495  *
496  *      Start a new MMC custom command request for a host.
497  *      If there is on ongoing async request wait for completion
498  *      of that request and start the new one and return.
499  *      Does not wait for the new request to complete.
500  *
501  *      Returns the completed request, NULL in case of none completed.
502  *      Wait for the an ongoing request (previoulsy started) to complete and
503  *      return the completed request. If there is no ongoing request, NULL
504  *      is returned without waiting. NULL is not an error condition.
505  */
506 struct mmc_async_req *mmc_start_req(struct mmc_host *host,
507                                     struct mmc_async_req *areq, int *error)
508 {
509         int err = 0;
510         int start_err = 0;
511         struct mmc_async_req *data = host->areq;
512
513         /* Prepare a new request */
514         if (areq)
515                 mmc_pre_req(host, areq->mrq, !host->areq);
516
517         if (host->areq) {
518                         err = mmc_wait_for_data_req_done(host, host->areq->mrq,
519                                         areq);
520                         if (err == MMC_BLK_NEW_REQUEST) {
521                                 if (error)
522                                         *error = err;
523                                 /*
524                                  * The previous request was not completed,
525                                  * nothing to return
526                                  */
527                                 return NULL;
528                         }
529                 /*
530                  * Check BKOPS urgency for each R1 response
531                  */
532                 if (host->card && mmc_card_mmc(host->card) &&
533                     ((mmc_resp_type(host->areq->mrq->cmd) == MMC_RSP_R1) ||
534                      (mmc_resp_type(host->areq->mrq->cmd) == MMC_RSP_R1B)) &&
535                     (host->areq->mrq->cmd->resp[0] & R1_EXCEPTION_EVENT))
536                         mmc_start_bkops(host->card, true);
537         }
538
539         if (!err && areq)
540                 start_err = __mmc_start_data_req(host, areq->mrq);
541
542         if (host->areq)
543                 mmc_post_req(host, host->areq->mrq, 0);
544
545          /* Cancel a prepared request if it was not started. */
546         if ((err || start_err) && areq)
547                         mmc_post_req(host, areq->mrq, -EINVAL);
548
549         if (err)
550                 host->areq = NULL;
551         else
552                 host->areq = areq;
553
554         if (error)
555                 *error = err;
556         return data;
557 }
558 EXPORT_SYMBOL(mmc_start_req);
559
560 /**
561  *      mmc_wait_for_req - start a request and wait for completion
562  *      @host: MMC host to start command
563  *      @mrq: MMC request to start
564  *
565  *      Start a new MMC custom command request for a host, and wait
566  *      for the command to complete. Does not attempt to parse the
567  *      response.
568  */
569 void mmc_wait_for_req(struct mmc_host *host, struct mmc_request *mrq)
570 {
571         __mmc_start_req(host, mrq);
572         mmc_wait_for_req_done(host, mrq);
573 }
574 EXPORT_SYMBOL(mmc_wait_for_req);
575
576 /**
577  *      mmc_interrupt_hpi - Issue for High priority Interrupt
578  *      @card: the MMC card associated with the HPI transfer
579  *
580  *      Issued High Priority Interrupt, and check for card status
581  *      until out-of prg-state.
582  */
583 int mmc_interrupt_hpi(struct mmc_card *card)
584 {
585         int err;
586         u32 status;
587         unsigned long prg_wait;
588
589         BUG_ON(!card);
590
591         if (!card->ext_csd.hpi_en) {
592                 pr_info("%s: HPI enable bit unset\n", mmc_hostname(card->host));
593                 return 1;
594         }
595
596         mmc_claim_host(card->host);
597         err = mmc_send_status(card, &status);
598         if (err) {
599                 pr_err("%s: Get card status fail\n", mmc_hostname(card->host));
600                 goto out;
601         }
602
603         switch (R1_CURRENT_STATE(status)) {
604         case R1_STATE_IDLE:
605         case R1_STATE_READY:
606         case R1_STATE_STBY:
607         case R1_STATE_TRAN:
608                 /*
609                  * In idle and transfer states, HPI is not needed and the caller
610                  * can issue the next intended command immediately
611                  */
612                 goto out;
613         case R1_STATE_PRG:
614                 break;
615         default:
616                 /* In all other states, it's illegal to issue HPI */
617                 pr_debug("%s: HPI cannot be sent. Card state=%d\n",
618                         mmc_hostname(card->host), R1_CURRENT_STATE(status));
619                 err = -EINVAL;
620                 goto out;
621         }
622
623         err = mmc_send_hpi_cmd(card, &status);
624         if (err)
625                 goto out;
626
627         prg_wait = jiffies + msecs_to_jiffies(card->ext_csd.out_of_int_time);
628         do {
629                 err = mmc_send_status(card, &status);
630
631                 if (!err && R1_CURRENT_STATE(status) == R1_STATE_TRAN)
632                         break;
633                 if (time_after(jiffies, prg_wait))
634                         err = -ETIMEDOUT;
635         } while (!err);
636
637 out:
638         mmc_release_host(card->host);
639         return err;
640 }
641 EXPORT_SYMBOL(mmc_interrupt_hpi);
642
643 /**
644  *      mmc_wait_for_cmd - start a command and wait for completion
645  *      @host: MMC host to start command
646  *      @cmd: MMC command to start
647  *      @retries: maximum number of retries
648  *
649  *      Start a new MMC command for a host, and wait for the command
650  *      to complete.  Return any error that occurred while the command
651  *      was executing.  Do not attempt to parse the response.
652  */
653 int mmc_wait_for_cmd(struct mmc_host *host, struct mmc_command *cmd, int retries)
654 {
655         struct mmc_request mrq = {NULL};
656
657         WARN_ON(!host->claimed);
658
659         memset(cmd->resp, 0, sizeof(cmd->resp));
660         cmd->retries = retries;
661
662         mrq.cmd = cmd;
663         cmd->data = NULL;
664
665         mmc_wait_for_req(host, &mrq);
666
667         return cmd->error;
668 }
669
670 EXPORT_SYMBOL(mmc_wait_for_cmd);
671
672 /**
673  *      mmc_stop_bkops - stop ongoing BKOPS
674  *      @card: MMC card to check BKOPS
675  *
676  *      Send HPI command to stop ongoing background operations to
677  *      allow rapid servicing of foreground operations, e.g. read/
678  *      writes. Wait until the card comes out of the programming state
679  *      to avoid errors in servicing read/write requests.
680  */
681 int mmc_stop_bkops(struct mmc_card *card)
682 {
683         int err = 0;
684
685         BUG_ON(!card);
686         err = mmc_interrupt_hpi(card);
687
688         /*
689          * If err is EINVAL, we can't issue an HPI.
690          * It should complete the BKOPS.
691          */
692         if (!err || (err == -EINVAL)) {
693                 mmc_card_clr_doing_bkops(card);
694                 err = 0;
695         }
696
697         return err;
698 }
699 EXPORT_SYMBOL(mmc_stop_bkops);
700
701 int mmc_read_bkops_status(struct mmc_card *card)
702 {
703         int err;
704         u8 *ext_csd;
705
706         /*
707          * In future work, we should consider storing the entire ext_csd.
708          */
709         ext_csd = kmalloc(512, GFP_KERNEL);
710         if (!ext_csd) {
711                 pr_err("%s: could not allocate buffer to receive the ext_csd.\n",
712                        mmc_hostname(card->host));
713                 return -ENOMEM;
714         }
715
716         mmc_claim_host(card->host);
717         err = mmc_send_ext_csd(card, ext_csd);
718         mmc_release_host(card->host);
719         if (err)
720                 goto out;
721
722         card->ext_csd.raw_bkops_status = ext_csd[EXT_CSD_BKOPS_STATUS];
723         card->ext_csd.raw_exception_status = ext_csd[EXT_CSD_EXP_EVENTS_STATUS];
724 out:
725         kfree(ext_csd);
726         return err;
727 }
728 EXPORT_SYMBOL(mmc_read_bkops_status);
729
730 /**
731  *      mmc_set_data_timeout - set the timeout for a data command
732  *      @data: data phase for command
733  *      @card: the MMC card associated with the data transfer
734  *
735  *      Computes the data timeout parameters according to the
736  *      correct algorithm given the card type.
737  */
738 void mmc_set_data_timeout(struct mmc_data *data, const struct mmc_card *card)
739 {
740         unsigned int mult;
741
742         /*
743          * SDIO cards only define an upper 1 s limit on access.
744          */
745         if (mmc_card_sdio(card)) {
746                 data->timeout_ns = 1000000000;
747                 data->timeout_clks = 0;
748                 return;
749         }
750
751         /*
752          * SD cards use a 100 multiplier rather than 10
753          */
754         mult = mmc_card_sd(card) ? 100 : 10;
755
756         /*
757          * Scale up the multiplier (and therefore the timeout) by
758          * the r2w factor for writes.
759          */
760         if (data->flags & MMC_DATA_WRITE)
761                 mult <<= card->csd.r2w_factor;
762
763         data->timeout_ns = card->csd.tacc_ns * mult;
764         data->timeout_clks = card->csd.tacc_clks * mult;
765
766         /*
767          * SD cards also have an upper limit on the timeout.
768          */
769         if (mmc_card_sd(card)) {
770                 unsigned int timeout_us, limit_us;
771
772                 timeout_us = data->timeout_ns / 1000;
773                 if (mmc_host_clk_rate(card->host))
774                         timeout_us += data->timeout_clks * 1000 /
775                                 (mmc_host_clk_rate(card->host) / 1000);
776
777                 if (data->flags & MMC_DATA_WRITE)
778                         /*
779                          * The MMC spec "It is strongly recommended
780                          * for hosts to implement more than 500ms
781                          * timeout value even if the card indicates
782                          * the 250ms maximum busy length."  Even the
783                          * previous value of 300ms is known to be
784                          * insufficient for some cards.
785                          */
786                         limit_us = 3000000;
787                 else
788                         limit_us = 100000;
789
790                 /*
791                  * SDHC cards always use these fixed values.
792                  */
793                 if (timeout_us > limit_us || mmc_card_blockaddr(card)) {
794                         data->timeout_ns = limit_us * 1000;
795                         data->timeout_clks = 0;
796                 }
797         }
798
799         /*
800          * Some cards require longer data read timeout than indicated in CSD.
801          * Address this by setting the read timeout to a "reasonably high"
802          * value. For the cards tested, 300ms has proven enough. If necessary,
803          * this value can be increased if other problematic cards require this.
804          */
805         if (mmc_card_long_read_time(card) && data->flags & MMC_DATA_READ) {
806                 data->timeout_ns = 300000000;
807                 data->timeout_clks = 0;
808         }
809
810         /*
811          * Some cards need very high timeouts if driven in SPI mode.
812          * The worst observed timeout was 900ms after writing a
813          * continuous stream of data until the internal logic
814          * overflowed.
815          */
816         if (mmc_host_is_spi(card->host)) {
817                 if (data->flags & MMC_DATA_WRITE) {
818                         if (data->timeout_ns < 1000000000)
819                                 data->timeout_ns = 1000000000;  /* 1s */
820                 } else {
821                         if (data->timeout_ns < 100000000)
822                                 data->timeout_ns =  100000000;  /* 100ms */
823                 }
824         }
825 }
826 EXPORT_SYMBOL(mmc_set_data_timeout);
827
828 /**
829  *      mmc_align_data_size - pads a transfer size to a more optimal value
830  *      @card: the MMC card associated with the data transfer
831  *      @sz: original transfer size
832  *
833  *      Pads the original data size with a number of extra bytes in
834  *      order to avoid controller bugs and/or performance hits
835  *      (e.g. some controllers revert to PIO for certain sizes).
836  *
837  *      Returns the improved size, which might be unmodified.
838  *
839  *      Note that this function is only relevant when issuing a
840  *      single scatter gather entry.
841  */
842 unsigned int mmc_align_data_size(struct mmc_card *card, unsigned int sz)
843 {
844         /*
845          * FIXME: We don't have a system for the controller to tell
846          * the core about its problems yet, so for now we just 32-bit
847          * align the size.
848          */
849         sz = ((sz + 3) / 4) * 4;
850
851         return sz;
852 }
853 EXPORT_SYMBOL(mmc_align_data_size);
854
855 /**
856  *      __mmc_claim_host - exclusively claim a host
857  *      @host: mmc host to claim
858  *      @abort: whether or not the operation should be aborted
859  *
860  *      Claim a host for a set of operations.  If @abort is non null and
861  *      dereference a non-zero value then this will return prematurely with
862  *      that non-zero value without acquiring the lock.  Returns zero
863  *      with the lock held otherwise.
864  */
865 int __mmc_claim_host(struct mmc_host *host, atomic_t *abort)
866 {
867         DECLARE_WAITQUEUE(wait, current);
868         unsigned long flags;
869         int stop;
870
871         might_sleep();
872
873         add_wait_queue(&host->wq, &wait);
874         spin_lock_irqsave(&host->lock, flags);
875         while (1) {
876                 set_current_state(TASK_UNINTERRUPTIBLE);
877                 stop = abort ? atomic_read(abort) : 0;
878                 if (stop || !host->claimed || host->claimer == current)
879                         break;
880                 spin_unlock_irqrestore(&host->lock, flags);
881                 schedule();
882                 spin_lock_irqsave(&host->lock, flags);
883         }
884         set_current_state(TASK_RUNNING);
885         if (!stop) {
886                 host->claimed = 1;
887                 host->claimer = current;
888                 host->claim_cnt += 1;
889         } else
890                 wake_up(&host->wq);
891         spin_unlock_irqrestore(&host->lock, flags);
892         remove_wait_queue(&host->wq, &wait);
893         if (host->ops->enable && !stop && host->claim_cnt == 1)
894                 host->ops->enable(host);
895         return stop;
896 }
897
898 EXPORT_SYMBOL(__mmc_claim_host);
899
900 /**
901  *      mmc_try_claim_host - try exclusively to claim a host
902  *      @host: mmc host to claim
903  *
904  *      Returns %1 if the host is claimed, %0 otherwise.
905  */
906 int mmc_try_claim_host(struct mmc_host *host)
907 {
908         int claimed_host = 0;
909         unsigned long flags;
910
911         spin_lock_irqsave(&host->lock, flags);
912         if (!host->claimed || host->claimer == current) {
913                 host->claimed = 1;
914                 host->claimer = current;
915                 host->claim_cnt += 1;
916                 claimed_host = 1;
917         }
918         spin_unlock_irqrestore(&host->lock, flags);
919         if (host->ops->enable && claimed_host && host->claim_cnt == 1)
920                 host->ops->enable(host);
921         return claimed_host;
922 }
923 EXPORT_SYMBOL(mmc_try_claim_host);
924
925 /**
926  *      mmc_release_host - release a host
927  *      @host: mmc host to release
928  *
929  *      Release a MMC host, allowing others to claim the host
930  *      for their operations.
931  */
932 void mmc_release_host(struct mmc_host *host)
933 {
934         unsigned long flags;
935
936         WARN_ON(!host->claimed);
937
938         if (host->ops->disable && host->claim_cnt == 1)
939                 host->ops->disable(host);
940
941         spin_lock_irqsave(&host->lock, flags);
942         if (--host->claim_cnt) {
943                 /* Release for nested claim */
944                 spin_unlock_irqrestore(&host->lock, flags);
945         } else {
946                 host->claimed = 0;
947                 host->claimer = NULL;
948                 spin_unlock_irqrestore(&host->lock, flags);
949                 wake_up(&host->wq);
950         }
951 }
952 EXPORT_SYMBOL(mmc_release_host);
953
954 /*
955  * Internal function that does the actual ios call to the host driver,
956  * optionally printing some debug output.
957  */
958 static inline void mmc_set_ios(struct mmc_host *host)
959 {
960         struct mmc_ios *ios = &host->ios;
961
962         pr_debug("%s: clock %uHz busmode %u powermode %u cs %u Vdd %u "
963                 "width %u timing %u\n",
964                  mmc_hostname(host), ios->clock, ios->bus_mode,
965                  ios->power_mode, ios->chip_select, ios->vdd,
966                  ios->bus_width, ios->timing);
967
968         if (ios->clock > 0)
969                 mmc_set_ungated(host);
970         host->ops->set_ios(host, ios);
971 }
972
973 /*
974  * Control chip select pin on a host.
975  */
976 void mmc_set_chip_select(struct mmc_host *host, int mode)
977 {
978         mmc_host_clk_hold(host);
979         host->ios.chip_select = mode;
980         mmc_set_ios(host);
981         mmc_host_clk_release(host);
982 }
983
984 /*
985  * Sets the host clock to the highest possible frequency that
986  * is below "hz".
987  */
988 static void __mmc_set_clock(struct mmc_host *host, unsigned int hz)
989 {
990         WARN_ON(hz < host->f_min);
991
992         if (hz > host->f_max)
993                 hz = host->f_max;
994
995         host->ios.clock = hz;
996         mmc_set_ios(host);
997 }
998
999 void mmc_set_clock(struct mmc_host *host, unsigned int hz)
1000 {
1001         mmc_host_clk_hold(host);
1002         __mmc_set_clock(host, hz);
1003         mmc_host_clk_release(host);
1004 }
1005
1006 #ifdef CONFIG_MMC_CLKGATE
1007 /*
1008  * This gates the clock by setting it to 0 Hz.
1009  */
1010 void mmc_gate_clock(struct mmc_host *host)
1011 {
1012         unsigned long flags;
1013
1014         spin_lock_irqsave(&host->clk_lock, flags);
1015         host->clk_old = host->ios.clock;
1016         host->ios.clock = 0;
1017         host->clk_gated = true;
1018         spin_unlock_irqrestore(&host->clk_lock, flags);
1019         mmc_set_ios(host);
1020 }
1021
1022 /*
1023  * This restores the clock from gating by using the cached
1024  * clock value.
1025  */
1026 void mmc_ungate_clock(struct mmc_host *host)
1027 {
1028         /*
1029          * We should previously have gated the clock, so the clock shall
1030          * be 0 here! The clock may however be 0 during initialization,
1031          * when some request operations are performed before setting
1032          * the frequency. When ungate is requested in that situation
1033          * we just ignore the call.
1034          */
1035         if (host->clk_old) {
1036                 BUG_ON(host->ios.clock);
1037                 /* This call will also set host->clk_gated to false */
1038                 __mmc_set_clock(host, host->clk_old);
1039         }
1040 }
1041
1042 void mmc_set_ungated(struct mmc_host *host)
1043 {
1044         unsigned long flags;
1045
1046         /*
1047          * We've been given a new frequency while the clock is gated,
1048          * so make sure we regard this as ungating it.
1049          */
1050         spin_lock_irqsave(&host->clk_lock, flags);
1051         host->clk_gated = false;
1052         spin_unlock_irqrestore(&host->clk_lock, flags);
1053 }
1054
1055 #else
1056 void mmc_set_ungated(struct mmc_host *host)
1057 {
1058 }
1059 #endif
1060
1061 /*
1062  * Change the bus mode (open drain/push-pull) of a host.
1063  */
1064 void mmc_set_bus_mode(struct mmc_host *host, unsigned int mode)
1065 {
1066         mmc_host_clk_hold(host);
1067         host->ios.bus_mode = mode;
1068         mmc_set_ios(host);
1069         mmc_host_clk_release(host);
1070 }
1071
1072 /*
1073  * Change data bus width of a host.
1074  */
1075 void mmc_set_bus_width(struct mmc_host *host, unsigned int width)
1076 {
1077         mmc_host_clk_hold(host);
1078         host->ios.bus_width = width;
1079         mmc_set_ios(host);
1080         mmc_host_clk_release(host);
1081 }
1082
1083 /**
1084  * mmc_vdd_to_ocrbitnum - Convert a voltage to the OCR bit number
1085  * @vdd:        voltage (mV)
1086  * @low_bits:   prefer low bits in boundary cases
1087  *
1088  * This function returns the OCR bit number according to the provided @vdd
1089  * value. If conversion is not possible a negative errno value returned.
1090  *
1091  * Depending on the @low_bits flag the function prefers low or high OCR bits
1092  * on boundary voltages. For example,
1093  * with @low_bits = true, 3300 mV translates to ilog2(MMC_VDD_32_33);
1094  * with @low_bits = false, 3300 mV translates to ilog2(MMC_VDD_33_34);
1095  *
1096  * Any value in the [1951:1999] range translates to the ilog2(MMC_VDD_20_21).
1097  */
1098 static int mmc_vdd_to_ocrbitnum(int vdd, bool low_bits)
1099 {
1100         const int max_bit = ilog2(MMC_VDD_35_36);
1101         int bit;
1102
1103         if (vdd < 1650 || vdd > 3600)
1104                 return -EINVAL;
1105
1106         if (vdd >= 1650 && vdd <= 1950)
1107                 return ilog2(MMC_VDD_165_195);
1108
1109         if (low_bits)
1110                 vdd -= 1;
1111
1112         /* Base 2000 mV, step 100 mV, bit's base 8. */
1113         bit = (vdd - 2000) / 100 + 8;
1114         if (bit > max_bit)
1115                 return max_bit;
1116         return bit;
1117 }
1118
1119 /**
1120  * mmc_vddrange_to_ocrmask - Convert a voltage range to the OCR mask
1121  * @vdd_min:    minimum voltage value (mV)
1122  * @vdd_max:    maximum voltage value (mV)
1123  *
1124  * This function returns the OCR mask bits according to the provided @vdd_min
1125  * and @vdd_max values. If conversion is not possible the function returns 0.
1126  *
1127  * Notes wrt boundary cases:
1128  * This function sets the OCR bits for all boundary voltages, for example
1129  * [3300:3400] range is translated to MMC_VDD_32_33 | MMC_VDD_33_34 |
1130  * MMC_VDD_34_35 mask.
1131  */
1132 u32 mmc_vddrange_to_ocrmask(int vdd_min, int vdd_max)
1133 {
1134         u32 mask = 0;
1135
1136         if (vdd_max < vdd_min)
1137                 return 0;
1138
1139         /* Prefer high bits for the boundary vdd_max values. */
1140         vdd_max = mmc_vdd_to_ocrbitnum(vdd_max, false);
1141         if (vdd_max < 0)
1142                 return 0;
1143
1144         /* Prefer low bits for the boundary vdd_min values. */
1145         vdd_min = mmc_vdd_to_ocrbitnum(vdd_min, true);
1146         if (vdd_min < 0)
1147                 return 0;
1148
1149         /* Fill the mask, from max bit to min bit. */
1150         while (vdd_max >= vdd_min)
1151                 mask |= 1 << vdd_max--;
1152
1153         return mask;
1154 }
1155 EXPORT_SYMBOL(mmc_vddrange_to_ocrmask);
1156
1157 #ifdef CONFIG_REGULATOR
1158
1159 /**
1160  * mmc_regulator_get_ocrmask - return mask of supported voltages
1161  * @supply: regulator to use
1162  *
1163  * This returns either a negative errno, or a mask of voltages that
1164  * can be provided to MMC/SD/SDIO devices using the specified voltage
1165  * regulator.  This would normally be called before registering the
1166  * MMC host adapter.
1167  */
1168 int mmc_regulator_get_ocrmask(struct regulator *supply)
1169 {
1170         int                     result = 0;
1171         int                     count;
1172         int                     i;
1173
1174         count = regulator_count_voltages(supply);
1175         if (count < 0)
1176                 return count;
1177
1178         for (i = 0; i < count; i++) {
1179                 int             vdd_uV;
1180                 int             vdd_mV;
1181
1182                 vdd_uV = regulator_list_voltage(supply, i);
1183                 if (vdd_uV <= 0)
1184                         continue;
1185
1186                 vdd_mV = vdd_uV / 1000;
1187                 result |= mmc_vddrange_to_ocrmask(vdd_mV, vdd_mV);
1188         }
1189
1190         return result;
1191 }
1192 EXPORT_SYMBOL_GPL(mmc_regulator_get_ocrmask);
1193
1194 /**
1195  * mmc_regulator_set_ocr - set regulator to match host->ios voltage
1196  * @mmc: the host to regulate
1197  * @supply: regulator to use
1198  * @vdd_bit: zero for power off, else a bit number (host->ios.vdd)
1199  *
1200  * Returns zero on success, else negative errno.
1201  *
1202  * MMC host drivers may use this to enable or disable a regulator using
1203  * a particular supply voltage.  This would normally be called from the
1204  * set_ios() method.
1205  */
1206 int mmc_regulator_set_ocr(struct mmc_host *mmc,
1207                         struct regulator *supply,
1208                         unsigned short vdd_bit)
1209 {
1210         int                     result = 0;
1211         int                     min_uV, max_uV;
1212
1213         if (vdd_bit) {
1214                 int             tmp;
1215                 int             voltage;
1216
1217                 /*
1218                  * REVISIT mmc_vddrange_to_ocrmask() may have set some
1219                  * bits this regulator doesn't quite support ... don't
1220                  * be too picky, most cards and regulators are OK with
1221                  * a 0.1V range goof (it's a small error percentage).
1222                  */
1223                 tmp = vdd_bit - ilog2(MMC_VDD_165_195);
1224                 if (tmp == 0) {
1225                         min_uV = 1650 * 1000;
1226                         max_uV = 1950 * 1000;
1227                 } else {
1228                         min_uV = 1900 * 1000 + tmp * 100 * 1000;
1229                         max_uV = min_uV + 100 * 1000;
1230                 }
1231
1232                 /*
1233                  * If we're using a fixed/static regulator, don't call
1234                  * regulator_set_voltage; it would fail.
1235                  */
1236                 voltage = regulator_get_voltage(supply);
1237
1238                 if (regulator_count_voltages(supply) == 1)
1239                         min_uV = max_uV = voltage;
1240
1241                 if (voltage < 0)
1242                         result = voltage;
1243                 else if (voltage < min_uV || voltage > max_uV)
1244                         result = regulator_set_voltage(supply, min_uV, max_uV);
1245                 else
1246                         result = 0;
1247
1248                 if (result == 0 && !mmc->regulator_enabled) {
1249                         result = regulator_enable(supply);
1250                         if (!result)
1251                                 mmc->regulator_enabled = true;
1252                 }
1253         } else if (mmc->regulator_enabled) {
1254                 result = regulator_disable(supply);
1255                 if (result == 0)
1256                         mmc->regulator_enabled = false;
1257         }
1258
1259         if (result)
1260                 dev_err(mmc_dev(mmc),
1261                         "could not set regulator OCR (%d)\n", result);
1262         return result;
1263 }
1264 EXPORT_SYMBOL_GPL(mmc_regulator_set_ocr);
1265
1266 int mmc_regulator_get_supply(struct mmc_host *mmc)
1267 {
1268         struct device *dev = mmc_dev(mmc);
1269         struct regulator *supply;
1270         int ret;
1271
1272         supply = devm_regulator_get(dev, "vmmc");
1273         mmc->supply.vmmc = supply;
1274         mmc->supply.vqmmc = devm_regulator_get(dev, "vqmmc");
1275
1276         if (IS_ERR(supply))
1277                 return PTR_ERR(supply);
1278
1279         ret = mmc_regulator_get_ocrmask(supply);
1280         if (ret > 0)
1281                 mmc->ocr_avail = ret;
1282         else
1283                 dev_warn(mmc_dev(mmc), "Failed getting OCR mask: %d\n", ret);
1284
1285         return 0;
1286 }
1287 EXPORT_SYMBOL_GPL(mmc_regulator_get_supply);
1288
1289 #endif /* CONFIG_REGULATOR */
1290
1291 /*
1292  * Mask off any voltages we don't support and select
1293  * the lowest voltage
1294  */
1295 u32 mmc_select_voltage(struct mmc_host *host, u32 ocr)
1296 {
1297         int bit;
1298
1299         ocr &= host->ocr_avail;
1300
1301         bit = ffs(ocr);
1302         if (bit) {
1303                 bit -= 1;
1304
1305                 ocr &= 3 << bit;
1306
1307                 mmc_host_clk_hold(host);
1308                 host->ios.vdd = bit;
1309                 mmc_set_ios(host);
1310                 mmc_host_clk_release(host);
1311         } else {
1312                 pr_warning("%s: host doesn't support card's voltages\n",
1313                                 mmc_hostname(host));
1314                 ocr = 0;
1315         }
1316
1317         return ocr;
1318 }
1319
1320 int __mmc_set_signal_voltage(struct mmc_host *host, int signal_voltage)
1321 {
1322         int err = 0;
1323         int old_signal_voltage = host->ios.signal_voltage;
1324
1325         host->ios.signal_voltage = signal_voltage;
1326         if (host->ops->start_signal_voltage_switch) {
1327                 mmc_host_clk_hold(host);
1328                 err = host->ops->start_signal_voltage_switch(host, &host->ios);
1329                 mmc_host_clk_release(host);
1330         }
1331
1332         if (err)
1333                 host->ios.signal_voltage = old_signal_voltage;
1334
1335         return err;
1336
1337 }
1338
1339 int mmc_set_signal_voltage(struct mmc_host *host, int signal_voltage)
1340 {
1341         struct mmc_command cmd = {0};
1342         int err = 0;
1343
1344         BUG_ON(!host);
1345
1346         /*
1347          * Send CMD11 only if the request is to switch the card to
1348          * 1.8V signalling.
1349          */
1350         if (signal_voltage != MMC_SIGNAL_VOLTAGE_330) {
1351                 cmd.opcode = SD_SWITCH_VOLTAGE;
1352                 cmd.arg = 0;
1353                 cmd.flags = MMC_RSP_R1 | MMC_CMD_AC;
1354
1355                 err = mmc_wait_for_cmd(host, &cmd, 0);
1356                 if (err)
1357                         return err;
1358
1359                 if (!mmc_host_is_spi(host) && (cmd.resp[0] & R1_ERROR))
1360                         return -EIO;
1361         }
1362
1363         return __mmc_set_signal_voltage(host, signal_voltage);
1364 }
1365
1366 /*
1367  * Select timing parameters for host.
1368  */
1369 void mmc_set_timing(struct mmc_host *host, unsigned int timing)
1370 {
1371         mmc_host_clk_hold(host);
1372         host->ios.timing = timing;
1373         mmc_set_ios(host);
1374         mmc_host_clk_release(host);
1375 }
1376
1377 /*
1378  * Select appropriate driver type for host.
1379  */
1380 void mmc_set_driver_type(struct mmc_host *host, unsigned int drv_type)
1381 {
1382         mmc_host_clk_hold(host);
1383         host->ios.drv_type = drv_type;
1384         mmc_set_ios(host);
1385         mmc_host_clk_release(host);
1386 }
1387
1388 /*
1389  * Apply power to the MMC stack.  This is a two-stage process.
1390  * First, we enable power to the card without the clock running.
1391  * We then wait a bit for the power to stabilise.  Finally,
1392  * enable the bus drivers and clock to the card.
1393  *
1394  * We must _NOT_ enable the clock prior to power stablising.
1395  *
1396  * If a host does all the power sequencing itself, ignore the
1397  * initial MMC_POWER_UP stage.
1398  */
1399 static void mmc_power_up(struct mmc_host *host)
1400 {
1401         int bit;
1402
1403         if (host->ios.power_mode == MMC_POWER_ON)
1404                 return;
1405
1406         mmc_host_clk_hold(host);
1407
1408         /* If ocr is set, we use it */
1409         if (host->ocr)
1410                 bit = ffs(host->ocr) - 1;
1411         else
1412                 bit = fls(host->ocr_avail) - 1;
1413
1414         host->ios.vdd = bit;
1415         if (mmc_host_is_spi(host))
1416                 host->ios.chip_select = MMC_CS_HIGH;
1417         else
1418                 host->ios.chip_select = MMC_CS_DONTCARE;
1419         host->ios.bus_mode = MMC_BUSMODE_PUSHPULL;
1420         host->ios.power_mode = MMC_POWER_UP;
1421         host->ios.bus_width = MMC_BUS_WIDTH_1;
1422         host->ios.timing = MMC_TIMING_LEGACY;
1423         mmc_set_ios(host);
1424
1425         /* Set signal voltage to 3.3V */
1426         __mmc_set_signal_voltage(host, MMC_SIGNAL_VOLTAGE_330);
1427
1428         /*
1429          * This delay should be sufficient to allow the power supply
1430          * to reach the minimum voltage.
1431          */
1432         mmc_delay(10);
1433
1434         host->ios.clock = host->f_init;
1435
1436         host->ios.power_mode = MMC_POWER_ON;
1437         mmc_set_ios(host);
1438
1439         /*
1440          * This delay must be at least 74 clock sizes, or 1 ms, or the
1441          * time required to reach a stable voltage.
1442          */
1443         mmc_delay(10);
1444
1445         mmc_host_clk_release(host);
1446 }
1447
1448 void mmc_power_off(struct mmc_host *host)
1449 {
1450         if (host->ios.power_mode == MMC_POWER_OFF)
1451                 return;
1452
1453         mmc_host_clk_hold(host);
1454
1455         host->ios.clock = 0;
1456         host->ios.vdd = 0;
1457
1458
1459         /*
1460          * Reset ocr mask to be the highest possible voltage supported for
1461          * this mmc host. This value will be used at next power up.
1462          */
1463         host->ocr = 1 << (fls(host->ocr_avail) - 1);
1464
1465         if (!mmc_host_is_spi(host)) {
1466                 host->ios.bus_mode = MMC_BUSMODE_OPENDRAIN;
1467                 host->ios.chip_select = MMC_CS_DONTCARE;
1468         }
1469         host->ios.power_mode = MMC_POWER_OFF;
1470         host->ios.bus_width = MMC_BUS_WIDTH_1;
1471         host->ios.timing = MMC_TIMING_LEGACY;
1472         mmc_set_ios(host);
1473
1474         /*
1475          * Some configurations, such as the 802.11 SDIO card in the OLPC
1476          * XO-1.5, require a short delay after poweroff before the card
1477          * can be successfully turned on again.
1478          */
1479         mmc_delay(1);
1480
1481         mmc_host_clk_release(host);
1482 }
1483
1484 void mmc_power_cycle(struct mmc_host *host)
1485 {
1486         mmc_power_off(host);
1487         /* Wait at least 1 ms according to SD spec */
1488         mmc_delay(1);
1489         mmc_power_up(host);
1490 }
1491
1492 /*
1493  * Cleanup when the last reference to the bus operator is dropped.
1494  */
1495 static void __mmc_release_bus(struct mmc_host *host)
1496 {
1497         BUG_ON(!host);
1498         BUG_ON(host->bus_refs);
1499         BUG_ON(!host->bus_dead);
1500
1501         host->bus_ops = NULL;
1502 }
1503
1504 /*
1505  * Increase reference count of bus operator
1506  */
1507 static inline void mmc_bus_get(struct mmc_host *host)
1508 {
1509         unsigned long flags;
1510
1511         spin_lock_irqsave(&host->lock, flags);
1512         host->bus_refs++;
1513         spin_unlock_irqrestore(&host->lock, flags);
1514 }
1515
1516 /*
1517  * Decrease reference count of bus operator and free it if
1518  * it is the last reference.
1519  */
1520 static inline void mmc_bus_put(struct mmc_host *host)
1521 {
1522         unsigned long flags;
1523
1524         spin_lock_irqsave(&host->lock, flags);
1525         host->bus_refs--;
1526         if ((host->bus_refs == 0) && host->bus_ops)
1527                 __mmc_release_bus(host);
1528         spin_unlock_irqrestore(&host->lock, flags);
1529 }
1530
1531 /*
1532  * Assign a mmc bus handler to a host. Only one bus handler may control a
1533  * host at any given time.
1534  */
1535 void mmc_attach_bus(struct mmc_host *host, const struct mmc_bus_ops *ops)
1536 {
1537         unsigned long flags;
1538
1539         BUG_ON(!host);
1540         BUG_ON(!ops);
1541
1542         WARN_ON(!host->claimed);
1543
1544         spin_lock_irqsave(&host->lock, flags);
1545
1546         BUG_ON(host->bus_ops);
1547         BUG_ON(host->bus_refs);
1548
1549         host->bus_ops = ops;
1550         host->bus_refs = 1;
1551         host->bus_dead = 0;
1552
1553         spin_unlock_irqrestore(&host->lock, flags);
1554 }
1555
1556 /*
1557  * Remove the current bus handler from a host.
1558  */
1559 void mmc_detach_bus(struct mmc_host *host)
1560 {
1561         unsigned long flags;
1562
1563         BUG_ON(!host);
1564
1565         WARN_ON(!host->claimed);
1566         WARN_ON(!host->bus_ops);
1567
1568         spin_lock_irqsave(&host->lock, flags);
1569
1570         host->bus_dead = 1;
1571
1572         spin_unlock_irqrestore(&host->lock, flags);
1573
1574         mmc_bus_put(host);
1575 }
1576
1577 /**
1578  *      mmc_detect_change - process change of state on a MMC socket
1579  *      @host: host which changed state.
1580  *      @delay: optional delay to wait before detection (jiffies)
1581  *
1582  *      MMC drivers should call this when they detect a card has been
1583  *      inserted or removed. The MMC layer will confirm that any
1584  *      present card is still functional, and initialize any newly
1585  *      inserted.
1586  */
1587 void mmc_detect_change(struct mmc_host *host, unsigned long delay)
1588 {
1589 #ifdef CONFIG_MMC_DEBUG
1590         unsigned long flags;
1591         spin_lock_irqsave(&host->lock, flags);
1592         WARN_ON(host->removed);
1593         spin_unlock_irqrestore(&host->lock, flags);
1594 #endif
1595         host->detect_change = 1;
1596         mmc_schedule_delayed_work(&host->detect, delay);
1597 }
1598
1599 EXPORT_SYMBOL(mmc_detect_change);
1600
1601 void mmc_init_erase(struct mmc_card *card)
1602 {
1603         unsigned int sz;
1604
1605         if (is_power_of_2(card->erase_size))
1606                 card->erase_shift = ffs(card->erase_size) - 1;
1607         else
1608                 card->erase_shift = 0;
1609
1610         /*
1611          * It is possible to erase an arbitrarily large area of an SD or MMC
1612          * card.  That is not desirable because it can take a long time
1613          * (minutes) potentially delaying more important I/O, and also the
1614          * timeout calculations become increasingly hugely over-estimated.
1615          * Consequently, 'pref_erase' is defined as a guide to limit erases
1616          * to that size and alignment.
1617          *
1618          * For SD cards that define Allocation Unit size, limit erases to one
1619          * Allocation Unit at a time.  For MMC cards that define High Capacity
1620          * Erase Size, whether it is switched on or not, limit to that size.
1621          * Otherwise just have a stab at a good value.  For modern cards it
1622          * will end up being 4MiB.  Note that if the value is too small, it
1623          * can end up taking longer to erase.
1624          */
1625         if (mmc_card_sd(card) && card->ssr.au) {
1626                 card->pref_erase = card->ssr.au;
1627                 card->erase_shift = ffs(card->ssr.au) - 1;
1628         } else if (card->ext_csd.hc_erase_size) {
1629                 card->pref_erase = card->ext_csd.hc_erase_size;
1630         } else {
1631                 sz = (card->csd.capacity << (card->csd.read_blkbits - 9)) >> 11;
1632                 if (sz < 128)
1633                         card->pref_erase = 512 * 1024 / 512;
1634                 else if (sz < 512)
1635                         card->pref_erase = 1024 * 1024 / 512;
1636                 else if (sz < 1024)
1637                         card->pref_erase = 2 * 1024 * 1024 / 512;
1638                 else
1639                         card->pref_erase = 4 * 1024 * 1024 / 512;
1640                 if (card->pref_erase < card->erase_size)
1641                         card->pref_erase = card->erase_size;
1642                 else {
1643                         sz = card->pref_erase % card->erase_size;
1644                         if (sz)
1645                                 card->pref_erase += card->erase_size - sz;
1646                 }
1647         }
1648 }
1649
1650 static unsigned int mmc_mmc_erase_timeout(struct mmc_card *card,
1651                                           unsigned int arg, unsigned int qty)
1652 {
1653         unsigned int erase_timeout;
1654
1655         if (arg == MMC_DISCARD_ARG ||
1656             (arg == MMC_TRIM_ARG && card->ext_csd.rev >= 6)) {
1657                 erase_timeout = card->ext_csd.trim_timeout;
1658         } else if (card->ext_csd.erase_group_def & 1) {
1659                 /* High Capacity Erase Group Size uses HC timeouts */
1660                 if (arg == MMC_TRIM_ARG)
1661                         erase_timeout = card->ext_csd.trim_timeout;
1662                 else
1663                         erase_timeout = card->ext_csd.hc_erase_timeout;
1664         } else {
1665                 /* CSD Erase Group Size uses write timeout */
1666                 unsigned int mult = (10 << card->csd.r2w_factor);
1667                 unsigned int timeout_clks = card->csd.tacc_clks * mult;
1668                 unsigned int timeout_us;
1669
1670                 /* Avoid overflow: e.g. tacc_ns=80000000 mult=1280 */
1671                 if (card->csd.tacc_ns < 1000000)
1672                         timeout_us = (card->csd.tacc_ns * mult) / 1000;
1673                 else
1674                         timeout_us = (card->csd.tacc_ns / 1000) * mult;
1675
1676                 /*
1677                  * ios.clock is only a target.  The real clock rate might be
1678                  * less but not that much less, so fudge it by multiplying by 2.
1679                  */
1680                 timeout_clks <<= 1;
1681                 timeout_us += (timeout_clks * 1000) /
1682                               (mmc_host_clk_rate(card->host) / 1000);
1683
1684                 erase_timeout = timeout_us / 1000;
1685
1686                 /*
1687                  * Theoretically, the calculation could underflow so round up
1688                  * to 1ms in that case.
1689                  */
1690                 if (!erase_timeout)
1691                         erase_timeout = 1;
1692         }
1693
1694         /* Multiplier for secure operations */
1695         if (arg & MMC_SECURE_ARGS) {
1696                 if (arg == MMC_SECURE_ERASE_ARG)
1697                         erase_timeout *= card->ext_csd.sec_erase_mult;
1698                 else
1699                         erase_timeout *= card->ext_csd.sec_trim_mult;
1700         }
1701
1702         erase_timeout *= qty;
1703
1704         /*
1705          * Ensure at least a 1 second timeout for SPI as per
1706          * 'mmc_set_data_timeout()'
1707          */
1708         if (mmc_host_is_spi(card->host) && erase_timeout < 1000)
1709                 erase_timeout = 1000;
1710
1711         return erase_timeout;
1712 }
1713
1714 static unsigned int mmc_sd_erase_timeout(struct mmc_card *card,
1715                                          unsigned int arg,
1716                                          unsigned int qty)
1717 {
1718         unsigned int erase_timeout;
1719
1720         if (card->ssr.erase_timeout) {
1721                 /* Erase timeout specified in SD Status Register (SSR) */
1722                 erase_timeout = card->ssr.erase_timeout * qty +
1723                                 card->ssr.erase_offset;
1724         } else {
1725                 /*
1726                  * Erase timeout not specified in SD Status Register (SSR) so
1727                  * use 250ms per write block.
1728                  */
1729                 erase_timeout = 250 * qty;
1730         }
1731
1732         /* Must not be less than 1 second */
1733         if (erase_timeout < 1000)
1734                 erase_timeout = 1000;
1735
1736         return erase_timeout;
1737 }
1738
1739 static unsigned int mmc_erase_timeout(struct mmc_card *card,
1740                                       unsigned int arg,
1741                                       unsigned int qty)
1742 {
1743         if (mmc_card_sd(card))
1744                 return mmc_sd_erase_timeout(card, arg, qty);
1745         else
1746                 return mmc_mmc_erase_timeout(card, arg, qty);
1747 }
1748
1749 static int mmc_do_erase(struct mmc_card *card, unsigned int from,
1750                         unsigned int to, unsigned int arg)
1751 {
1752         struct mmc_command cmd = {0};
1753         unsigned int qty = 0;
1754         unsigned long timeout;
1755         int err;
1756
1757         /*
1758          * qty is used to calculate the erase timeout which depends on how many
1759          * erase groups (or allocation units in SD terminology) are affected.
1760          * We count erasing part of an erase group as one erase group.
1761          * For SD, the allocation units are always a power of 2.  For MMC, the
1762          * erase group size is almost certainly also power of 2, but it does not
1763          * seem to insist on that in the JEDEC standard, so we fall back to
1764          * division in that case.  SD may not specify an allocation unit size,
1765          * in which case the timeout is based on the number of write blocks.
1766          *
1767          * Note that the timeout for secure trim 2 will only be correct if the
1768          * number of erase groups specified is the same as the total of all
1769          * preceding secure trim 1 commands.  Since the power may have been
1770          * lost since the secure trim 1 commands occurred, it is generally
1771          * impossible to calculate the secure trim 2 timeout correctly.
1772          */
1773         if (card->erase_shift)
1774                 qty += ((to >> card->erase_shift) -
1775                         (from >> card->erase_shift)) + 1;
1776         else if (mmc_card_sd(card))
1777                 qty += to - from + 1;
1778         else
1779                 qty += ((to / card->erase_size) -
1780                         (from / card->erase_size)) + 1;
1781
1782         if (!mmc_card_blockaddr(card)) {
1783                 from <<= 9;
1784                 to <<= 9;
1785         }
1786
1787         if (mmc_card_sd(card))
1788                 cmd.opcode = SD_ERASE_WR_BLK_START;
1789         else
1790                 cmd.opcode = MMC_ERASE_GROUP_START;
1791         cmd.arg = from;
1792         cmd.flags = MMC_RSP_SPI_R1 | MMC_RSP_R1 | MMC_CMD_AC;
1793         err = mmc_wait_for_cmd(card->host, &cmd, 0);
1794         if (err) {
1795                 pr_err("mmc_erase: group start error %d, "
1796                        "status %#x\n", err, cmd.resp[0]);
1797                 err = -EIO;
1798                 goto out;
1799         }
1800
1801         memset(&cmd, 0, sizeof(struct mmc_command));
1802         if (mmc_card_sd(card))
1803                 cmd.opcode = SD_ERASE_WR_BLK_END;
1804         else
1805                 cmd.opcode = MMC_ERASE_GROUP_END;
1806         cmd.arg = to;
1807         cmd.flags = MMC_RSP_SPI_R1 | MMC_RSP_R1 | MMC_CMD_AC;
1808         err = mmc_wait_for_cmd(card->host, &cmd, 0);
1809         if (err) {
1810                 pr_err("mmc_erase: group end error %d, status %#x\n",
1811                        err, cmd.resp[0]);
1812                 err = -EIO;
1813                 goto out;
1814         }
1815
1816         memset(&cmd, 0, sizeof(struct mmc_command));
1817         cmd.opcode = MMC_ERASE;
1818         cmd.arg = arg;
1819         cmd.flags = MMC_RSP_SPI_R1B | MMC_RSP_R1B | MMC_CMD_AC;
1820         cmd.cmd_timeout_ms = mmc_erase_timeout(card, arg, qty);
1821         err = mmc_wait_for_cmd(card->host, &cmd, 0);
1822         if (err) {
1823                 pr_err("mmc_erase: erase error %d, status %#x\n",
1824                        err, cmd.resp[0]);
1825                 err = -EIO;
1826                 goto out;
1827         }
1828
1829         if (mmc_host_is_spi(card->host))
1830                 goto out;
1831
1832         timeout = jiffies + msecs_to_jiffies(MMC_CORE_TIMEOUT_MS);
1833         do {
1834                 memset(&cmd, 0, sizeof(struct mmc_command));
1835                 cmd.opcode = MMC_SEND_STATUS;
1836                 cmd.arg = card->rca << 16;
1837                 cmd.flags = MMC_RSP_R1 | MMC_CMD_AC;
1838                 /* Do not retry else we can't see errors */
1839                 err = mmc_wait_for_cmd(card->host, &cmd, 0);
1840                 if (err || (cmd.resp[0] & 0xFDF92000)) {
1841                         pr_err("error %d requesting status %#x\n",
1842                                 err, cmd.resp[0]);
1843                         err = -EIO;
1844                         goto out;
1845                 }
1846
1847                 /* Timeout if the device never becomes ready for data and
1848                  * never leaves the program state.
1849                  */
1850                 if (time_after(jiffies, timeout)) {
1851                         pr_err("%s: Card stuck in programming state! %s\n",
1852                                 mmc_hostname(card->host), __func__);
1853                         err =  -EIO;
1854                         goto out;
1855                 }
1856
1857         } while (!(cmd.resp[0] & R1_READY_FOR_DATA) ||
1858                  (R1_CURRENT_STATE(cmd.resp[0]) == R1_STATE_PRG));
1859 out:
1860         return err;
1861 }
1862
1863 /**
1864  * mmc_erase - erase sectors.
1865  * @card: card to erase
1866  * @from: first sector to erase
1867  * @nr: number of sectors to erase
1868  * @arg: erase command argument (SD supports only %MMC_ERASE_ARG)
1869  *
1870  * Caller must claim host before calling this function.
1871  */
1872 int mmc_erase(struct mmc_card *card, unsigned int from, unsigned int nr,
1873               unsigned int arg)
1874 {
1875         unsigned int rem, to = from + nr;
1876
1877         if (!(card->host->caps & MMC_CAP_ERASE) ||
1878             !(card->csd.cmdclass & CCC_ERASE))
1879                 return -EOPNOTSUPP;
1880
1881         if (!card->erase_size)
1882                 return -EOPNOTSUPP;
1883
1884         if (mmc_card_sd(card) && arg != MMC_ERASE_ARG)
1885                 return -EOPNOTSUPP;
1886
1887         if ((arg & MMC_SECURE_ARGS) &&
1888             !(card->ext_csd.sec_feature_support & EXT_CSD_SEC_ER_EN))
1889                 return -EOPNOTSUPP;
1890
1891         if ((arg & MMC_TRIM_ARGS) &&
1892             !(card->ext_csd.sec_feature_support & EXT_CSD_SEC_GB_CL_EN))
1893                 return -EOPNOTSUPP;
1894
1895         if (arg == MMC_SECURE_ERASE_ARG) {
1896                 if (from % card->erase_size || nr % card->erase_size)
1897                         return -EINVAL;
1898         }
1899
1900         if (arg == MMC_ERASE_ARG) {
1901                 rem = from % card->erase_size;
1902                 if (rem) {
1903                         rem = card->erase_size - rem;
1904                         from += rem;
1905                         if (nr > rem)
1906                                 nr -= rem;
1907                         else
1908                                 return 0;
1909                 }
1910                 rem = nr % card->erase_size;
1911                 if (rem)
1912                         nr -= rem;
1913         }
1914
1915         if (nr == 0)
1916                 return 0;
1917
1918         to = from + nr;
1919
1920         if (to <= from)
1921                 return -EINVAL;
1922
1923         /* 'from' and 'to' are inclusive */
1924         to -= 1;
1925
1926         return mmc_do_erase(card, from, to, arg);
1927 }
1928 EXPORT_SYMBOL(mmc_erase);
1929
1930 int mmc_can_erase(struct mmc_card *card)
1931 {
1932         if ((card->host->caps & MMC_CAP_ERASE) &&
1933             (card->csd.cmdclass & CCC_ERASE) && card->erase_size)
1934                 return 1;
1935         return 0;
1936 }
1937 EXPORT_SYMBOL(mmc_can_erase);
1938
1939 int mmc_can_trim(struct mmc_card *card)
1940 {
1941         if (card->ext_csd.sec_feature_support & EXT_CSD_SEC_GB_CL_EN)
1942                 return 1;
1943         return 0;
1944 }
1945 EXPORT_SYMBOL(mmc_can_trim);
1946
1947 int mmc_can_discard(struct mmc_card *card)
1948 {
1949         /*
1950          * As there's no way to detect the discard support bit at v4.5
1951          * use the s/w feature support filed.
1952          */
1953         if (card->ext_csd.feature_support & MMC_DISCARD_FEATURE)
1954                 return 1;
1955         return 0;
1956 }
1957 EXPORT_SYMBOL(mmc_can_discard);
1958
1959 int mmc_can_sanitize(struct mmc_card *card)
1960 {
1961         if (!mmc_can_trim(card) && !mmc_can_erase(card))
1962                 return 0;
1963         if (card->ext_csd.sec_feature_support & EXT_CSD_SEC_SANITIZE)
1964                 return 1;
1965         return 0;
1966 }
1967 EXPORT_SYMBOL(mmc_can_sanitize);
1968
1969 int mmc_can_secure_erase_trim(struct mmc_card *card)
1970 {
1971         if (card->ext_csd.sec_feature_support & EXT_CSD_SEC_ER_EN)
1972                 return 1;
1973         return 0;
1974 }
1975 EXPORT_SYMBOL(mmc_can_secure_erase_trim);
1976
1977 int mmc_erase_group_aligned(struct mmc_card *card, unsigned int from,
1978                             unsigned int nr)
1979 {
1980         if (!card->erase_size)
1981                 return 0;
1982         if (from % card->erase_size || nr % card->erase_size)
1983                 return 0;
1984         return 1;
1985 }
1986 EXPORT_SYMBOL(mmc_erase_group_aligned);
1987
1988 static unsigned int mmc_do_calc_max_discard(struct mmc_card *card,
1989                                             unsigned int arg)
1990 {
1991         struct mmc_host *host = card->host;
1992         unsigned int max_discard, x, y, qty = 0, max_qty, timeout;
1993         unsigned int last_timeout = 0;
1994
1995         if (card->erase_shift)
1996                 max_qty = UINT_MAX >> card->erase_shift;
1997         else if (mmc_card_sd(card))
1998                 max_qty = UINT_MAX;
1999         else
2000                 max_qty = UINT_MAX / card->erase_size;
2001
2002         /* Find the largest qty with an OK timeout */
2003         do {
2004                 y = 0;
2005                 for (x = 1; x && x <= max_qty && max_qty - x >= qty; x <<= 1) {
2006                         timeout = mmc_erase_timeout(card, arg, qty + x);
2007                         if (timeout > host->max_discard_to)
2008                                 break;
2009                         if (timeout < last_timeout)
2010                                 break;
2011                         last_timeout = timeout;
2012                         y = x;
2013                 }
2014                 qty += y;
2015         } while (y);
2016
2017         if (!qty)
2018                 return 0;
2019
2020         if (qty == 1)
2021                 return 1;
2022
2023         /* Convert qty to sectors */
2024         if (card->erase_shift)
2025                 max_discard = --qty << card->erase_shift;
2026         else if (mmc_card_sd(card))
2027                 max_discard = qty;
2028         else
2029                 max_discard = --qty * card->erase_size;
2030
2031         return max_discard;
2032 }
2033
2034 unsigned int mmc_calc_max_discard(struct mmc_card *card)
2035 {
2036         struct mmc_host *host = card->host;
2037         unsigned int max_discard, max_trim;
2038
2039         if (!host->max_discard_to)
2040                 return UINT_MAX;
2041
2042         /*
2043          * Without erase_group_def set, MMC erase timeout depends on clock
2044          * frequence which can change.  In that case, the best choice is
2045          * just the preferred erase size.
2046          */
2047         if (mmc_card_mmc(card) && !(card->ext_csd.erase_group_def & 1))
2048                 return card->pref_erase;
2049
2050         max_discard = mmc_do_calc_max_discard(card, MMC_ERASE_ARG);
2051         if (mmc_can_trim(card)) {
2052                 max_trim = mmc_do_calc_max_discard(card, MMC_TRIM_ARG);
2053                 if (max_trim < max_discard)
2054                         max_discard = max_trim;
2055         } else if (max_discard < card->erase_size) {
2056                 max_discard = 0;
2057         }
2058         pr_debug("%s: calculated max. discard sectors %u for timeout %u ms\n",
2059                  mmc_hostname(host), max_discard, host->max_discard_to);
2060         return max_discard;
2061 }
2062 EXPORT_SYMBOL(mmc_calc_max_discard);
2063
2064 int mmc_set_blocklen(struct mmc_card *card, unsigned int blocklen)
2065 {
2066         struct mmc_command cmd = {0};
2067
2068         if (mmc_card_blockaddr(card) || mmc_card_ddr_mode(card))
2069                 return 0;
2070
2071         cmd.opcode = MMC_SET_BLOCKLEN;
2072         cmd.arg = blocklen;
2073         cmd.flags = MMC_RSP_SPI_R1 | MMC_RSP_R1 | MMC_CMD_AC;
2074         return mmc_wait_for_cmd(card->host, &cmd, 5);
2075 }
2076 EXPORT_SYMBOL(mmc_set_blocklen);
2077
2078 int mmc_set_blockcount(struct mmc_card *card, unsigned int blockcount,
2079                         bool is_rel_write)
2080 {
2081         struct mmc_command cmd = {0};
2082
2083         cmd.opcode = MMC_SET_BLOCK_COUNT;
2084         cmd.arg = blockcount & 0x0000FFFF;
2085         if (is_rel_write)
2086                 cmd.arg |= 1 << 31;
2087         cmd.flags = MMC_RSP_SPI_R1 | MMC_RSP_R1 | MMC_CMD_AC;
2088         return mmc_wait_for_cmd(card->host, &cmd, 5);
2089 }
2090 EXPORT_SYMBOL(mmc_set_blockcount);
2091
2092 static void mmc_hw_reset_for_init(struct mmc_host *host)
2093 {
2094         if (!(host->caps & MMC_CAP_HW_RESET) || !host->ops->hw_reset)
2095                 return;
2096         mmc_host_clk_hold(host);
2097         host->ops->hw_reset(host);
2098         mmc_host_clk_release(host);
2099 }
2100
2101 int mmc_can_reset(struct mmc_card *card)
2102 {
2103         u8 rst_n_function;
2104
2105         if (!mmc_card_mmc(card))
2106                 return 0;
2107         rst_n_function = card->ext_csd.rst_n_function;
2108         if ((rst_n_function & EXT_CSD_RST_N_EN_MASK) != EXT_CSD_RST_N_ENABLED)
2109                 return 0;
2110         return 1;
2111 }
2112 EXPORT_SYMBOL(mmc_can_reset);
2113
2114 static int mmc_do_hw_reset(struct mmc_host *host, int check)
2115 {
2116         struct mmc_card *card = host->card;
2117
2118         if (!host->bus_ops->power_restore)
2119                 return -EOPNOTSUPP;
2120
2121         if (!(host->caps & MMC_CAP_HW_RESET) || !host->ops->hw_reset)
2122                 return -EOPNOTSUPP;
2123
2124         if (!card)
2125                 return -EINVAL;
2126
2127         if (!mmc_can_reset(card))
2128                 return -EOPNOTSUPP;
2129
2130         mmc_host_clk_hold(host);
2131         mmc_set_clock(host, host->f_init);
2132
2133         host->ops->hw_reset(host);
2134
2135         /* If the reset has happened, then a status command will fail */
2136         if (check) {
2137                 struct mmc_command cmd = {0};
2138                 int err;
2139
2140                 cmd.opcode = MMC_SEND_STATUS;
2141                 if (!mmc_host_is_spi(card->host))
2142                         cmd.arg = card->rca << 16;
2143                 cmd.flags = MMC_RSP_SPI_R2 | MMC_RSP_R1 | MMC_CMD_AC;
2144                 err = mmc_wait_for_cmd(card->host, &cmd, 0);
2145                 if (!err) {
2146                         mmc_host_clk_release(host);
2147                         return -ENOSYS;
2148                 }
2149         }
2150
2151         host->card->state &= ~(MMC_STATE_HIGHSPEED | MMC_STATE_HIGHSPEED_DDR);
2152         if (mmc_host_is_spi(host)) {
2153                 host->ios.chip_select = MMC_CS_HIGH;
2154                 host->ios.bus_mode = MMC_BUSMODE_PUSHPULL;
2155         } else {
2156                 host->ios.chip_select = MMC_CS_DONTCARE;
2157                 host->ios.bus_mode = MMC_BUSMODE_OPENDRAIN;
2158         }
2159         host->ios.bus_width = MMC_BUS_WIDTH_1;
2160         host->ios.timing = MMC_TIMING_LEGACY;
2161         mmc_set_ios(host);
2162
2163         mmc_host_clk_release(host);
2164
2165         return host->bus_ops->power_restore(host);
2166 }
2167
2168 int mmc_hw_reset(struct mmc_host *host)
2169 {
2170         return mmc_do_hw_reset(host, 0);
2171 }
2172 EXPORT_SYMBOL(mmc_hw_reset);
2173
2174 int mmc_hw_reset_check(struct mmc_host *host)
2175 {
2176         return mmc_do_hw_reset(host, 1);
2177 }
2178 EXPORT_SYMBOL(mmc_hw_reset_check);
2179
2180 static int mmc_rescan_try_freq(struct mmc_host *host, unsigned freq)
2181 {
2182         host->f_init = freq;
2183
2184 #ifdef CONFIG_MMC_DEBUG
2185         pr_info("%s: %s: trying to init card at %u Hz\n",
2186                 mmc_hostname(host), __func__, host->f_init);
2187 #endif
2188         mmc_power_up(host);
2189
2190         /*
2191          * Some eMMCs (with VCCQ always on) may not be reset after power up, so
2192          * do a hardware reset if possible.
2193          */
2194         mmc_hw_reset_for_init(host);
2195
2196         /*
2197          * sdio_reset sends CMD52 to reset card.  Since we do not know
2198          * if the card is being re-initialized, just send it.  CMD52
2199          * should be ignored by SD/eMMC cards.
2200          */
2201         sdio_reset(host);
2202         mmc_go_idle(host);
2203
2204         mmc_send_if_cond(host, host->ocr_avail);
2205
2206         /* Order's important: probe SDIO, then SD, then MMC */
2207         if (!mmc_attach_sdio(host))
2208                 return 0;
2209         if (!mmc_attach_sd(host))
2210                 return 0;
2211         if (!mmc_attach_mmc(host))
2212                 return 0;
2213
2214         mmc_power_off(host);
2215         return -EIO;
2216 }
2217
2218 int _mmc_detect_card_removed(struct mmc_host *host)
2219 {
2220         int ret;
2221
2222         if ((host->caps & MMC_CAP_NONREMOVABLE) || !host->bus_ops->alive)
2223                 return 0;
2224
2225         if (!host->card || mmc_card_removed(host->card))
2226                 return 1;
2227
2228         ret = host->bus_ops->alive(host);
2229         if (ret) {
2230                 mmc_card_set_removed(host->card);
2231                 pr_debug("%s: card remove detected\n", mmc_hostname(host));
2232         }
2233
2234         return ret;
2235 }
2236
2237 int mmc_detect_card_removed(struct mmc_host *host)
2238 {
2239         struct mmc_card *card = host->card;
2240         int ret;
2241
2242         WARN_ON(!host->claimed);
2243
2244         if (!card)
2245                 return 1;
2246
2247         ret = mmc_card_removed(card);
2248         /*
2249          * The card will be considered unchanged unless we have been asked to
2250          * detect a change or host requires polling to provide card detection.
2251          */
2252         if (!host->detect_change && !(host->caps & MMC_CAP_NEEDS_POLL) &&
2253             !(host->caps2 & MMC_CAP2_DETECT_ON_ERR))
2254                 return ret;
2255
2256         host->detect_change = 0;
2257         if (!ret) {
2258                 ret = _mmc_detect_card_removed(host);
2259                 if (ret && (host->caps2 & MMC_CAP2_DETECT_ON_ERR)) {
2260                         /*
2261                          * Schedule a detect work as soon as possible to let a
2262                          * rescan handle the card removal.
2263                          */
2264                         cancel_delayed_work(&host->detect);
2265                         mmc_detect_change(host, 0);
2266                 }
2267         }
2268
2269         return ret;
2270 }
2271 EXPORT_SYMBOL(mmc_detect_card_removed);
2272
2273 void mmc_rescan(struct work_struct *work)
2274 {
2275         struct mmc_host *host =
2276                 container_of(work, struct mmc_host, detect.work);
2277         int i;
2278
2279         if (host->rescan_disable)
2280                 return;
2281
2282         /* If there is a non-removable card registered, only scan once */
2283         if ((host->caps & MMC_CAP_NONREMOVABLE) && host->rescan_entered)
2284                 return;
2285         host->rescan_entered = 1;
2286
2287         mmc_bus_get(host);
2288
2289         /*
2290          * if there is a _removable_ card registered, check whether it is
2291          * still present
2292          */
2293         if (host->bus_ops && host->bus_ops->detect && !host->bus_dead
2294             && !(host->caps & MMC_CAP_NONREMOVABLE))
2295                 host->bus_ops->detect(host);
2296
2297         host->detect_change = 0;
2298
2299         /*
2300          * Let mmc_bus_put() free the bus/bus_ops if we've found that
2301          * the card is no longer present.
2302          */
2303         mmc_bus_put(host);
2304         mmc_bus_get(host);
2305
2306         /* if there still is a card present, stop here */
2307         if (host->bus_ops != NULL) {
2308                 mmc_bus_put(host);
2309                 goto out;
2310         }
2311
2312         /*
2313          * Only we can add a new handler, so it's safe to
2314          * release the lock here.
2315          */
2316         mmc_bus_put(host);
2317
2318         if (host->ops->get_cd && host->ops->get_cd(host) == 0) {
2319                 mmc_claim_host(host);
2320                 mmc_power_off(host);
2321                 mmc_release_host(host);
2322                 goto out;
2323         }
2324
2325         mmc_claim_host(host);
2326         for (i = 0; i < ARRAY_SIZE(freqs); i++) {
2327                 if (!mmc_rescan_try_freq(host, max(freqs[i], host->f_min)))
2328                         break;
2329                 if (freqs[i] <= host->f_min)
2330                         break;
2331         }
2332         mmc_release_host(host);
2333
2334  out:
2335         if (host->caps & MMC_CAP_NEEDS_POLL)
2336                 mmc_schedule_delayed_work(&host->detect, HZ);
2337 }
2338
2339 void mmc_start_host(struct mmc_host *host)
2340 {
2341         host->f_init = max(freqs[0], host->f_min);
2342         host->rescan_disable = 0;
2343         mmc_power_up(host);
2344         mmc_detect_change(host, 0);
2345 }
2346
2347 void mmc_stop_host(struct mmc_host *host)
2348 {
2349 #ifdef CONFIG_MMC_DEBUG
2350         unsigned long flags;
2351         spin_lock_irqsave(&host->lock, flags);
2352         host->removed = 1;
2353         spin_unlock_irqrestore(&host->lock, flags);
2354 #endif
2355
2356         host->rescan_disable = 1;
2357         cancel_delayed_work_sync(&host->detect);
2358         mmc_flush_scheduled_work();
2359
2360         /* clear pm flags now and let card drivers set them as needed */
2361         host->pm_flags = 0;
2362
2363         mmc_bus_get(host);
2364         if (host->bus_ops && !host->bus_dead) {
2365                 /* Calling bus_ops->remove() with a claimed host can deadlock */
2366                 if (host->bus_ops->remove)
2367                         host->bus_ops->remove(host);
2368
2369                 mmc_claim_host(host);
2370                 mmc_detach_bus(host);
2371                 mmc_power_off(host);
2372                 mmc_release_host(host);
2373                 mmc_bus_put(host);
2374                 return;
2375         }
2376         mmc_bus_put(host);
2377
2378         BUG_ON(host->card);
2379
2380         mmc_power_off(host);
2381 }
2382
2383 int mmc_power_save_host(struct mmc_host *host)
2384 {
2385         int ret = 0;
2386
2387 #ifdef CONFIG_MMC_DEBUG
2388         pr_info("%s: %s: powering down\n", mmc_hostname(host), __func__);
2389 #endif
2390
2391         mmc_bus_get(host);
2392
2393         if (!host->bus_ops || host->bus_dead || !host->bus_ops->power_restore) {
2394                 mmc_bus_put(host);
2395                 return -EINVAL;
2396         }
2397
2398         if (host->bus_ops->power_save)
2399                 ret = host->bus_ops->power_save(host);
2400
2401         mmc_bus_put(host);
2402
2403         mmc_power_off(host);
2404
2405         return ret;
2406 }
2407 EXPORT_SYMBOL(mmc_power_save_host);
2408
2409 int mmc_power_restore_host(struct mmc_host *host)
2410 {
2411         int ret;
2412
2413 #ifdef CONFIG_MMC_DEBUG
2414         pr_info("%s: %s: powering up\n", mmc_hostname(host), __func__);
2415 #endif
2416
2417         mmc_bus_get(host);
2418
2419         if (!host->bus_ops || host->bus_dead || !host->bus_ops->power_restore) {
2420                 mmc_bus_put(host);
2421                 return -EINVAL;
2422         }
2423
2424         mmc_power_up(host);
2425         ret = host->bus_ops->power_restore(host);
2426
2427         mmc_bus_put(host);
2428
2429         return ret;
2430 }
2431 EXPORT_SYMBOL(mmc_power_restore_host);
2432
2433 int mmc_card_awake(struct mmc_host *host)
2434 {
2435         int err = -ENOSYS;
2436
2437         if (host->caps2 & MMC_CAP2_NO_SLEEP_CMD)
2438                 return 0;
2439
2440         mmc_bus_get(host);
2441
2442         if (host->bus_ops && !host->bus_dead && host->bus_ops->awake)
2443                 err = host->bus_ops->awake(host);
2444
2445         mmc_bus_put(host);
2446
2447         return err;
2448 }
2449 EXPORT_SYMBOL(mmc_card_awake);
2450
2451 int mmc_card_sleep(struct mmc_host *host)
2452 {
2453         int err = -ENOSYS;
2454
2455         if (host->caps2 & MMC_CAP2_NO_SLEEP_CMD)
2456                 return 0;
2457
2458         mmc_bus_get(host);
2459
2460         if (host->bus_ops && !host->bus_dead && host->bus_ops->sleep)
2461                 err = host->bus_ops->sleep(host);
2462
2463         mmc_bus_put(host);
2464
2465         return err;
2466 }
2467 EXPORT_SYMBOL(mmc_card_sleep);
2468
2469 int mmc_card_can_sleep(struct mmc_host *host)
2470 {
2471         struct mmc_card *card = host->card;
2472
2473         if (card && mmc_card_mmc(card) && card->ext_csd.rev >= 3)
2474                 return 1;
2475         return 0;
2476 }
2477 EXPORT_SYMBOL(mmc_card_can_sleep);
2478
2479 /*
2480  * Flush the cache to the non-volatile storage.
2481  */
2482 int mmc_flush_cache(struct mmc_card *card)
2483 {
2484         struct mmc_host *host = card->host;
2485         int err = 0;
2486
2487         if (!(host->caps2 & MMC_CAP2_CACHE_CTRL))
2488                 return err;
2489
2490         if (mmc_card_mmc(card) &&
2491                         (card->ext_csd.cache_size > 0) &&
2492                         (card->ext_csd.cache_ctrl & 1)) {
2493                 err = mmc_switch(card, EXT_CSD_CMD_SET_NORMAL,
2494                                 EXT_CSD_FLUSH_CACHE, 1, 0);
2495                 if (err)
2496                         pr_err("%s: cache flush error %d\n",
2497                                         mmc_hostname(card->host), err);
2498         }
2499
2500         return err;
2501 }
2502 EXPORT_SYMBOL(mmc_flush_cache);
2503
2504 /*
2505  * Turn the cache ON/OFF.
2506  * Turning the cache OFF shall trigger flushing of the data
2507  * to the non-volatile storage.
2508  * This function should be called with host claimed
2509  */
2510 int mmc_cache_ctrl(struct mmc_host *host, u8 enable)
2511 {
2512         struct mmc_card *card = host->card;
2513         unsigned int timeout;
2514         int err = 0;
2515
2516         if (!(host->caps2 & MMC_CAP2_CACHE_CTRL) ||
2517                         mmc_card_is_removable(host))
2518                 return err;
2519
2520         if (card && mmc_card_mmc(card) &&
2521                         (card->ext_csd.cache_size > 0)) {
2522                 enable = !!enable;
2523
2524                 if (card->ext_csd.cache_ctrl ^ enable) {
2525                         timeout = enable ? card->ext_csd.generic_cmd6_time : 0;
2526                         err = mmc_switch(card, EXT_CSD_CMD_SET_NORMAL,
2527                                         EXT_CSD_CACHE_CTRL, enable, timeout);
2528                         if (err)
2529                                 pr_err("%s: cache %s error %d\n",
2530                                                 mmc_hostname(card->host),
2531                                                 enable ? "on" : "off",
2532                                                 err);
2533                         else
2534                                 card->ext_csd.cache_ctrl = enable;
2535                 }
2536         }
2537
2538         return err;
2539 }
2540 EXPORT_SYMBOL(mmc_cache_ctrl);
2541
2542 #ifdef CONFIG_PM
2543
2544 /**
2545  *      mmc_suspend_host - suspend a host
2546  *      @host: mmc host
2547  */
2548 int mmc_suspend_host(struct mmc_host *host)
2549 {
2550         int err = 0;
2551
2552         cancel_delayed_work(&host->detect);
2553         mmc_flush_scheduled_work();
2554
2555         mmc_bus_get(host);
2556         if (host->bus_ops && !host->bus_dead) {
2557                 if (host->bus_ops->suspend) {
2558                         if (mmc_card_doing_bkops(host->card)) {
2559                                 err = mmc_stop_bkops(host->card);
2560                                 if (err)
2561                                         goto out;
2562                         }
2563                         err = host->bus_ops->suspend(host);
2564                 }
2565
2566                 if (err == -ENOSYS || !host->bus_ops->resume) {
2567                         /*
2568                          * We simply "remove" the card in this case.
2569                          * It will be redetected on resume.  (Calling
2570                          * bus_ops->remove() with a claimed host can
2571                          * deadlock.)
2572                          */
2573                         if (host->bus_ops->remove)
2574                                 host->bus_ops->remove(host);
2575                         mmc_claim_host(host);
2576                         mmc_detach_bus(host);
2577                         mmc_power_off(host);
2578                         mmc_release_host(host);
2579                         host->pm_flags = 0;
2580                         err = 0;
2581                 }
2582         }
2583         mmc_bus_put(host);
2584
2585         if (!err && !mmc_card_keep_power(host))
2586                 mmc_power_off(host);
2587
2588 out:
2589         return err;
2590 }
2591
2592 EXPORT_SYMBOL(mmc_suspend_host);
2593
2594 /**
2595  *      mmc_resume_host - resume a previously suspended host
2596  *      @host: mmc host
2597  */
2598 int mmc_resume_host(struct mmc_host *host)
2599 {
2600         int err = 0;
2601
2602         mmc_bus_get(host);
2603         if (host->bus_ops && !host->bus_dead) {
2604                 if (!mmc_card_keep_power(host)) {
2605                         mmc_power_up(host);
2606                         mmc_select_voltage(host, host->ocr);
2607                         /*
2608                          * Tell runtime PM core we just powered up the card,
2609                          * since it still believes the card is powered off.
2610                          * Note that currently runtime PM is only enabled
2611                          * for SDIO cards that are MMC_CAP_POWER_OFF_CARD
2612                          */
2613                         if (mmc_card_sdio(host->card) &&
2614                             (host->caps & MMC_CAP_POWER_OFF_CARD)) {
2615                                 pm_runtime_disable(&host->card->dev);
2616                                 pm_runtime_set_active(&host->card->dev);
2617                                 pm_runtime_enable(&host->card->dev);
2618                         }
2619                 }
2620                 BUG_ON(!host->bus_ops->resume);
2621                 err = host->bus_ops->resume(host);
2622                 if (err) {
2623                         pr_warning("%s: error %d during resume "
2624                                             "(card was removed?)\n",
2625                                             mmc_hostname(host), err);
2626                         err = 0;
2627                 }
2628         }
2629         host->pm_flags &= ~MMC_PM_KEEP_POWER;
2630         mmc_bus_put(host);
2631
2632         return err;
2633 }
2634 EXPORT_SYMBOL(mmc_resume_host);
2635
2636 /* Do the card removal on suspend if card is assumed removeable
2637  * Do that in pm notifier while userspace isn't yet frozen, so we will be able
2638    to sync the card.
2639 */
2640 int mmc_pm_notify(struct notifier_block *notify_block,
2641                                         unsigned long mode, void *unused)
2642 {
2643         struct mmc_host *host = container_of(
2644                 notify_block, struct mmc_host, pm_notify);
2645         unsigned long flags;
2646         int err = 0;
2647
2648         switch (mode) {
2649         case PM_HIBERNATION_PREPARE:
2650         case PM_SUSPEND_PREPARE:
2651                 if (host->card && mmc_card_mmc(host->card) &&
2652                     mmc_card_doing_bkops(host->card)) {
2653                         err = mmc_stop_bkops(host->card);
2654                         if (err) {
2655                                 pr_err("%s: didn't stop bkops\n",
2656                                         mmc_hostname(host));
2657                                 return err;
2658                         }
2659                         mmc_card_clr_doing_bkops(host->card);
2660                 }
2661
2662                 spin_lock_irqsave(&host->lock, flags);
2663                 host->rescan_disable = 1;
2664                 spin_unlock_irqrestore(&host->lock, flags);
2665                 cancel_delayed_work_sync(&host->detect);
2666
2667                 if (!host->bus_ops || host->bus_ops->suspend)
2668                         break;
2669
2670                 /* Calling bus_ops->remove() with a claimed host can deadlock */
2671                 if (host->bus_ops->remove)
2672                         host->bus_ops->remove(host);
2673
2674                 mmc_claim_host(host);
2675                 mmc_detach_bus(host);
2676                 mmc_power_off(host);
2677                 mmc_release_host(host);
2678                 host->pm_flags = 0;
2679                 break;
2680
2681         case PM_POST_SUSPEND:
2682         case PM_POST_HIBERNATION:
2683         case PM_POST_RESTORE:
2684
2685                 spin_lock_irqsave(&host->lock, flags);
2686                 host->rescan_disable = 0;
2687                 spin_unlock_irqrestore(&host->lock, flags);
2688                 mmc_detect_change(host, 0);
2689
2690         }
2691
2692         return 0;
2693 }
2694 #endif
2695
2696 /**
2697  * mmc_init_context_info() - init synchronization context
2698  * @host: mmc host
2699  *
2700  * Init struct context_info needed to implement asynchronous
2701  * request mechanism, used by mmc core, host driver and mmc requests
2702  * supplier.
2703  */
2704 void mmc_init_context_info(struct mmc_host *host)
2705 {
2706         spin_lock_init(&host->context_info.lock);
2707         host->context_info.is_new_req = false;
2708         host->context_info.is_done_rcv = false;
2709         host->context_info.is_waiting_last_req = false;
2710         init_waitqueue_head(&host->context_info.wait);
2711 }
2712
2713 static int __init mmc_init(void)
2714 {
2715         int ret;
2716
2717         workqueue = alloc_ordered_workqueue("kmmcd", 0);
2718         if (!workqueue)
2719                 return -ENOMEM;
2720
2721         ret = mmc_register_bus();
2722         if (ret)
2723                 goto destroy_workqueue;
2724
2725         ret = mmc_register_host_class();
2726         if (ret)
2727                 goto unregister_bus;
2728
2729         ret = sdio_register_bus();
2730         if (ret)
2731                 goto unregister_host_class;
2732
2733         return 0;
2734
2735 unregister_host_class:
2736         mmc_unregister_host_class();
2737 unregister_bus:
2738         mmc_unregister_bus();
2739 destroy_workqueue:
2740         destroy_workqueue(workqueue);
2741
2742         return ret;
2743 }
2744
2745 static void __exit mmc_exit(void)
2746 {
2747         sdio_unregister_bus();
2748         mmc_unregister_host_class();
2749         mmc_unregister_bus();
2750         destroy_workqueue(workqueue);
2751 }
2752
2753 subsys_initcall(mmc_init);
2754 module_exit(mmc_exit);
2755
2756 MODULE_LICENSE("GPL");